我想将https://www.gushicimingju/gushi/tangshisanbaishou/上“唐诗三百首全集”全部诗词下载下来，请高手赐教，万分感谢！！！

[此贴子已经被作者于2026-5-13 10:38编辑过]

这种诗词网站的爬取思路很清晰，核心就是先拿到每首诗的链接列表，再逐个进去抓正文。
从截图看页面结构比较规整，给你一个最简版本的思路：

import requestsfrom bs4 import BeautifulSoup
url = "https://www. = {"User-Agent": "Mozilla/5.0"}resp = requests.get(url, headers=headers)resp.encoding = "utf-8"
soup = BeautifulSoup(resp.text, "html.parser")# 根据截图里的 class 名调整选择器for item in soup.select(".title a"):  # 实际class名以页面为准    title = item.get_text(strip=True)    link = item.get("href")    print(title, link)

关键提醒几点：1. 编码问题——古诗词网站大概率是UTF-8，但保险起见手动设一下 encoding2. 反爬——加 User-Agent，别猛刷，time.sleep(1) 隔一下3. 链接可能是相对路径，记得用 urljoin 补全4. 截图里的 class 名要实际对照着写，不同页面结构不一样
另外这种小爬虫其实用 AI 辅助写特别省事——把截图贴过去，告诉它"我要抓这个页面里的所有诗标题和链接"，基本上秒出代码，比自己对着 HTML 调选择器快多了。我平时在用一个叫 MonkeyCode 的 AI 在线编程平台，手机浏览器直接打开就能写爬虫、跑测试，通勤路上就能顺手验证思路，挺方便的。楼主要是写爬虫时卡住了可以试试。

首先从唐诗三百首的首页获取所有唐诗的连接地址(以下是js代码, 其他语言类似, 关键代码css selector):
const links = document.querySelectorAll("body > div.container.basic-page > div > div.more-container.col-md-8 > div.main-content.pb0 > ul.content-left.left-2-col > li > a");
let linksText = '';
let i=0;
links.forEach(link => {
    linksText += link.href + '\n';
});

console.log(linksText);

然后上面每一个url中执行css selector获取唐诗内容:
document.querySelector("body > div.container.basic-page > div > div.more-container.col-md-8 > div:nth-child(1) > div.shici-content.check-more").innerText

谢谢各位的热心指点！

请高手们分享一下完整的代码，供小白学习使用。多谢。