假设各位老哥已经安装好了 bs4 requests 这些库了
这个小说是随便挑的,各位也就不用太介意(仅供各位学习)
python3 实现,网上用 python2 做爬虫的太多了,但用 python3 的还是比较少
虽说步骤四 是脱胎于之前的三个步骤,但确实为了更进一步而做的一点小突破
这步骤四中,将会爬取小说对对应的目录链接.
获取整部小说的章节数目
通过目录来进行判断,将那些跟小说无关的章节 筛选掉
现在有点晚了,先发一个获取到的目录代码,后续明早在后面补充.有兴趣的朋友可以点'喜欢'这样就可以保存文章链接在之后的喜欢栏中接着看了.(我蛮喜欢这样做的hihi)
代码 版本一效果图
代码 版本一
import requests
from bs4 import BeautifulSoup
content_url = "http://www.biquge.com.tw/4_4038/"
kv = {'user_agent': 'Mozilla/5.0' # 表示是一个浏览器
try:
r = requests.get(content_url, headers=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, 'html.parser')
content_list = soup.find(id='list')
chapter_list = soup.find_all('dd')
for chapter in chapter_list:
print(chapter.find('a').text)
except:
pass
来源: http://www.jianshu.com/p/96f0f3b350b1