| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 2771 人关注过本帖
标题:又来求助各位老师了,这个网页的数据如何采集?
只看楼主 加入收藏
sdta
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:江苏省连云港市
等 级:版主
威 望:335
帖 子:9841
专家分:27213
注 册:2012-2-5
收藏(1)
得分:0 
以下是引用jinanshui在2021-6-13 19:20:53的发言:

版主老师,能否把代码发上来,供我们学习一下?谢谢.

方法在7楼,只要掌握了ALINES(),解析JSON格式文本基本没问题了。

坚守VFP最后的阵地
2021-06-13 20:00
sdta
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:江苏省连云港市
等 级:版主
威 望:335
帖 子:9841
专家分:27213
注 册:2012-2-5
收藏
得分:10 
这是提取“科研单位学科评估”代码,源码保存在TXT文件中

程序代码:
CREATE CURSOR test (h1 c(4), h2 c(20), h3 c(4), h4 c(6), h5 c(20), h6 c(2), h7 c(20))
lcText = FILETOSTR("评选结果.TXT")
lcText = STREXTRACT(lcText, 'var arr=[', '];' + CHR(13) + CHR(10))
ALINES(laText, lcText, 5, '{"', '":', ',"', '},{"', '},', '}',CHR(13) + CHR(10))
FOR lnj = 1 TO ALEN(laText) STEP 14
    INSERT INTO test VALUES (&laText[lnj + 1], &laText[lnj + 3], &laText[lnj + 5], &laText[lnj + 7], &laText[lnj + 9], &laText[lnj + 11], &laText[lnj + 13])
ENDFOR
BROWSE 

坚守VFP最后的阵地
2021-06-13 20:03
jinanshui
Rank: 2
等 级:论坛游民
帖 子:295
专家分:67
注 册:2009-10-6
收藏
得分:0 
谢谢老师,一定认真学习。
2021-06-13 20:33
jinanshui
Rank: 2
等 级:论坛游民
帖 子:295
专家分:67
注 册:2009-10-6
收藏
得分:0 
以下是引用sdta在2021-6-13 14:46:02的发言:

楼主提供的网址,下载一次后,网页2小时打不开,又找了一个网址:https://www.


老师,我找到了这个网址的源代码(省略了很多),如下,如何找到采集的入口呢?这是我一直困惑的地方

         全国第四轮学科评估结果(最新)
        <span class="select_bar"><a href="/data/sch">按高校查询</a><a href="/data/ser" aria-current="page" class="switch_active nuxt-link-exact-active nuxt-link-active">按学科查询</a></span></p><div class="select_bar"><a href="/data/sch">按高校查询</a><a href="/data/ser" aria-current="page" class="switch_active nuxt-link-exact-active nuxt-link-active">按学科查询</a><a href="/data/result" class="link_a">科研单位学科评估结果</a></div><div class="box_container"><div class="indexSelection"><div class="el-input"><input type="text" disabled="disabled" value=""><span><i class="fa fa-angle-down"></i></span></div></div><div class="lf_style"><div width="200px" class="box_style"><ul class="data-menu"></ul></div><a href="/data/result" target="_blank" class="link_a">科研单位学科评估结果</a></div><div class="box_style rt_style"><div class="top_line"><span class="sub_name"><span class="little_dot"></span><span class="code_str"></span><span class="label_str"></span></span><div class="sub_info">
            参评高校详情
            <span><i class="fa fa-sort-up"></i></span></div></div><div class="sub_detail sub_show">
         
        </div><table class="el-table"><thead><tr><th>序号</th><th>学校代码</th><th>学校名称</th><th>评估结果</th><th>位次百分位</th></tr></thead><tbody></tbody></table></div></div><p class="data_source">数据来源:教育部学位与研究生教育发展中心</p></div></div><div class="blank footer-box"><footer><div class="footer_inside"><div class="f-list"><ul><li>
            青塔产品
          </li><li><a href="/product/hdi" target="_blank" title="全景云数据平台">
              全景云数据平台
            </a></li><li><a href="/product/sda" target="_blank" title="学科云数据平台">
              学科云数据平台
            </a></li><li><a href="/product/dsp" target="_blank" title="定制化数据分析服务">
              定制化数据分析服务
            </a></li></ul><ul><li>
            青塔简介
          </li><li><a href="/about/about?attach=0" target="_blank" title="关于青塔">关于青塔</a></li><li><a href="/about/about?attach=3" target="_blank" title="加入我们">
              加入我们
            </a></li><li><a href="/about/about?attach=4" target="_blank" title="联系我们">
              联系我们
            </a></li></ul></div><div class="f-ba"><span>
          浙公网安备33010502000513号
        </span><a href="https://beian.miit. target="_blank">
          浙ICP备15004817号-2
        </a><span>
          © 2021 青塔
        </span></div></div></footer></div></div></div></div></div><script type="text/javascript">window.__NUXT__={"layout":"default","data":[{}],"error":null,"state":{"currentIndex":0,"listobj":{"type":"","list":[]},"listarr":[],"carouselobj":{},"cityobj":{"id":"","pid":"","name":""},"searchObj":{"keyword":"","job":"","area":"","aname":""},"pwstate":false,"curname":"","dialogobj":{"type":"","status":false,"id":""},"delflag":false,"dbobj":{"status":false,"id":""},"areastate":{"flag":false,"city":{"name":"","id":""}}},"serverRendered":true};</script><script src="/_nuxt/manifest.d090a777221d9fd0e72c.js" defer></script><script src="/_nuxt/layouts/default.cea74c7fa25b6142df9e.js" defer></script><script src="/_nuxt/pages/data/ser.7dd12ede1eda9a714ff3.js" defer></script><script src="/_nuxt/vendor.5b5a883054c014238884.js" defer></script><script src="/_nuxt/app.59697cc5731f817c8187.js" defer></script>
  </body>
</html>


2021-06-14 05:11
schtg
Rank: 12Rank: 12Rank: 12
来 自:Usa
等 级:贵宾
威 望:67
帖 子:1732
专家分:3329
注 册:2012-2-29
收藏
得分:0 
学习啦,谢谢!
2021-06-14 05:38
sdta
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:江苏省连云港市
等 级:版主
威 望:335
帖 子:9841
专家分:27213
注 册:2012-2-5
收藏
得分:0 
用开发者工具找入口,方法在最近1-2个月的网页数据提取贴中找(按 F5 键刷新网页)

图片附件: 游客没有浏览图片的权限,请 登录注册

坚守VFP最后的阵地
2021-06-14 07:19
快速回复:又来求助各位老师了,这个网页的数据如何采集?
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.039362 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved