| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 1834 人关注过本帖
标题:python 动态网页信息的爬取问题
只看楼主 加入收藏
zzn_kee
Rank: 1
等 级:新手上路
帖 子:1
专家分:0
注 册:2019-9-24
收藏
 问题点数:0 回复次数:2 
python 动态网页信息的爬取问题
学习的B站上关于动态网页爬取的内容,更换了需要提取的网址。显示的数据不对,不清楚是什么意思。与原教学内容不同的是,更改后的网址需要输入用户名密码。
import requests
import sqlite3
import json
from lxml import etree


def find():
    url = 'http://58.213.112.252:8115/yptrade/index.html'

    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

    parmas = {
        '_search': 'false',
        'nd': '1569311443809',
        'rows': '10',
        'page': '1',
        'sord': 'asc',
    }
    response = requests.get(url, headers=header, params=parmas)
    result = response.text
    print(result)


find()

运行结果
C:\python3.6\python.exe C:/Users/Administrator/Desktop/python/猫眼爬虫/省平台.py
<script type='text/javascript'>top.location = 'http://58.213.112.252:8115/sso/login.html';</script>

Process finished with exit code 0
搜索更多相关主题的帖子: 信息 import python 网页 动态 
2019-09-24 16:19
wp231957
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:神界
等 级:贵宾
威 望:423
帖 子:13688
专家分:53332
注 册:2012-10-18
收藏
得分:0 
回复 楼主 zzn_kee
最好用selenium 来做

DO IT YOURSELF !
2019-09-25 09:13
phiplato
Rank: 2
等 级:新手上路
威 望:3
帖 子:22
专家分:7
注 册:2020-4-24
收藏
得分:0 
都有params了,为什么还是get不是post
2020-04-25 07:19
快速回复:python 动态网页信息的爬取问题
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.024548 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved