| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 4391 人关注过本帖, 3 人收藏
标题:请高手指点一下 如何获取这个网页的数据
只看楼主 加入收藏
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:334
专家分:810
注 册:2021-1-9
结帖率:88.24%
收藏(1)
已结贴  问题点数:20 回复次数:40 
请高手指点一下 如何获取这个网页的数据
https://

cUrl = "https://
oHTTP=NEWOBJECT("MSXML2.XMLHTTP")
oHTTP.Open("post", cUrl, .F.)
oHTTP.SETREQUESTHEADER("Content-Type", "text/html;charset=UTF-8")
oHTTP.Send()
lcText = STRCONV(oHTTP.ResponseBody, 11)
? lcText

这样没有取到数据。
搜索更多相关主题的帖子: 网页 获取 数据 project com 
2021-08-28 18:29
schtg
Rank: 12Rank: 12Rank: 12
来 自:Usa
等 级:贵宾
威 望:67
帖 子:1796
专家分:3422
注 册:2012-2-29
收藏
得分:0 
我水平有限,只能这样的,哈哈
图片附件: 游客没有浏览图片的权限,请 登录注册
2021-08-28 20:20
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:334
专家分:810
注 册:2021-1-9
收藏
得分:0 
怎样取得的?请指教一下
2021-08-29 07:43
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:334
专家分:810
注 册:2021-1-9
收藏
得分:0 
笨是笨了点    爬是爬下来了

CLEAR
PUBLIC oie
oie = CREATEOBJECT("internetexplorer.application")
lurl="https://
oie.Navigate(lurl)
DO WHILE oie.Busy OR oie.ReadyState!=4
   * DOEVENTS
    INKEY(2)
    ?? " 请稍候......",TIME()+0h0D
ENDDO
WAIT WINDOW "延时等待中..." TIMEOUT 1
bError = .F.
TRY
    lctext = oie.document.body.innerHTML
CATCH
    bError = .T.
    MESSAGEBOX("网页打开错误",0+16,"出错了")
ENDTRY

**?page=17">尾页
C1 = '<li class="PagedList-skipToLast">'
C2 = '</a></li></ul>'
页数=STREXTRACT(lcText, C1, C2,1)
?页数
C1 = '?page='
C2 = '">尾页'
页数=VAL((STREXTRACT(页数, C1, C2,1)))
 
   

*****标题行*******
C1 = '<th style="width: 20%;">'
C11='<th style="width: 5%;">'
C12='<th style="width: 15%;">'
C2 = "</th>"
a1=''
a1=a1+ALLTRIM(STREXTRACT(lcText, C1, C2,1))+','
a1=a1+ALLTRIM(STREXTRACT(lcText, C11, C2,1))+','
a1=a1+ALLTRIM(STREXTRACT(lcText, C12, C2,1))+','


C1 = '<th>'
C2 = "</th>"
FOR ii=1 TO 6
    a1=a1+ALLTRIM(STREXTRACT(lcText, C1, C2,ii))+','
ENDFOR
a1=a1+CHR(13)


*******************内容*****************
FOR aii1=1 TO 页数
   oie = CREATEOBJECT("internetexplorer.application")                  &&这里为什么不能重复打开??一重复打开就出错
   oie.Navigate(lurl)
   DO WHILE oie.Busy OR oie.ReadyState!=4
      * DOEVENTS
       INKEY(2)
       ?? " 请稍候......",TIME()+0h0D
   ENDDO
   WAIT WINDOW "延时等待中..." TIMEOUT 2
  TRY
      lctext = oie.document.body.innerHTML
  CATCH
     bError = .T.
    MESSAGEBOX("网页打开错误",0+16,"出错了")
  ENDTRY
   C1 = '<td>'
   C2 = "</td>"
   FOR iii=1 TO  10
      a1=a1+ALLTRIM(STREXTRACT(lcText,'<td style="width: 20%;">', C2,iii))+','
      a1=a1+ALLTRIM(STREXTRACT(lcText,'<td style="width: 5%;">', C2,iii))+','
      a1=a1+CHRTRAN(ALLTRIM(STREXTRACT(lcText,'<td style="width: 15%;">', C2,iii)),CHR(10)+CHR(13),'')+','
      FOR ii=1 TO 6
         a1=a1+ALLTRIM(STREXTRACT(lcText, C1, C2,ii+(iii-1)*6))+','
      ENDFOR
      a1=a1+CHR(13)
   ENDFOR
   c1='<li class="PagedList-skipToNext"><a href="'
   c2='" rel="next">下一页'
   lurl="https://(STREXTRACT(lcText, C1, C2,1))
   ?lurl
ENDFOR
?a1  
_CLIPTEXT =a1   
STRTOFILE(a1,'aaa.csv',0)


[此贴子已经被作者于2021-8-29 10:29编辑过]

2021-08-29 10:26
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:334
专家分:810
注 册:2021-1-9
收藏
得分:0 
FOR aii1=1 TO 页数
   oie = CREATEOBJECT("internetexplorer.application")                  &&这里为什么不能在原来的页面重复打开??一重复打开就出错

有没有帮我试一下   把oie = CREATEOBJECT("internetexplorer.application")  屏蔽看出错不?
告诉我一下操作系统和VFP版本号  谢谢
2021-08-29 10:29
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:451
帖 子:10610
专家分:43210
注 册:2014-5-20
收藏
得分:0 
以下是引用nbwww在2021-8-29 10:29:06的发言:

FOR aii1=1 TO 页数
   oie = CREATEOBJECT("internetexplorer.application")                  &&这里为什么不能在原来的页面重复打开??一重复打开就出错

有没有帮我试一下   把oie = CREATEOBJECT("internetexplorer.application")  屏蔽看出错不?
告诉我一下操作系统和VFP版本号  谢谢

来回跑得太快了?
2021-08-29 19:33
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:334
专家分:810
注 册:2021-1-9
收藏
得分:0 
加延时也没用   只能杀进程   一次次打开
2021-08-29 20:17
山中石
Rank: 1
等 级:新手上路
帖 子:12
专家分:0
注 册:2021-8-24
收藏
得分:0 
NloWebBrowser =  CREATEOBJECT("INTERNETEXPLORER.APPLICATION")
 NloWebBrowser.Navigate(PSTR) 这里不同页面
2021-08-29 23:10
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:451
帖 子:10610
专家分:43210
注 册:2014-5-20
收藏
得分:0 
不能打开网页了
https://
2021-08-30 09:54
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:334
专家分:810
注 册:2021-1-9
收藏
得分:0 
可以打开的   有IP限止?
2021-08-30 13:37
快速回复:请高手指点一下 如何获取这个网页的数据
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.019670 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved