Python爬取笔趣阁小说,有趣又实用

来源:https://sslljy.blog.csdn.net/

上班想摸鱼?为了摸鱼方便,今天自己写了个爬取笔阁小说的程序。好吧,其实就是找个目的学习python,分享一下。

1. 首先导入相关的模块

import osimport requestsfrom bs4 import BeautifulSoup

2. 向网站发送请求并获取网站数据

Python爬取笔趣阁小说,有趣又实用

网站链接最后的一位数字为一本书的id值,一个数字对应一本小说,我们以id为1的小说为示例。
进入到网站之后,我们发现有一个章节列表,那么我们首先完成对小说列表名称的抓取。

# 声明请求头headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'}
# 创建保存小说文本的文件夹if not os.path.exists('./小说'): os.mkdir('./小说/') # 访问网站并获取页面数据response = requests.get('http://www.biquw.com/book/1/').textprint(response)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Uu2ddyQB-1618914957232)(.素材图片中文显示乱码.png)]

写到这个地方同学们可能会发现了一个问题,当我去正常访问网站的时候为什么返回回来的数据是乱码呢?

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的,python默认的解码方式为utf-8,但是页面编码可能是GBK或者是GB2312等,所以我们需要让python代码很具页面的解码方式自动变化

#### 重新编写访问代码```pythonresponse = requests.get('http://www.biquw.com/book/1/')response.encoding = response.apparent_encodingprint(response.text)
'''这种方式返回的中文数据才是正确的'''

3. 拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后,接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

  1. 首先打开浏览器

  2. 按F12调出开发者工具

  3. 选中元素选择器

  4. 在页面中选中我们想要的数据并定位元素

  5. 观察数据所存在的元素标签

Python爬取笔趣阁小说,有趣又实用


'''根据上图所示,数据是保存在a标签当中的。a的父标签为li,li的父标签为ul标签,ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据,那么需要先获取div标签。并且div标签中包含了class属性,我们可以通过class属性获取指定的div标签,详情看代码~'''# lxml: html解析库 将html代码转成python对象,python可以对html代码进行控制soup = BeautifulSoup(response.text, 'lxml')book_list = soup.find('div', class_='book_list').find_all('a')# soup对象获取批量数据后返回的是一个列表,我们可以对列表进行迭代提取for book in book_list:    book_name = book.text    # 获取到列表数据之后,需要获取文章详情页的链接,链接在a标签的href属性中    book_url = book['href']

4. 获取到小说详情页链接之后进行详情页二次访问并获取文章数据

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)book_info_html.encoding = book_info_html.apparent_encodingsoup = BeautifulSoup(book_info_html.text, 'lxml')


5. 对小说详情页进行静态页面分析

Python爬取笔趣阁小说,有趣又实用

info = soup.find('div', id='htmlContent')print(info.text)

6. 数据下载

with open('./小说/' + book_name + '.txt', 'a', encoding='utf-8') as f:    f.write(info.text)


最后让我们看一下代码效果吧~

Python爬取笔趣阁小说,有趣又实用

抓取的数据


(完)

PS:欢迎在留言区留下你的观点,一起讨论提高。如果今天的文章让你有新的启发,欢迎转发分享给更多人。


Python读者交流群已成立


公众号运营至今,离不开小伙伴们的支持。为了给小伙伴们提供一个互相交流的平台,特地开通了官方交流群。扫描下方二维码备注 进群 或者关注公众号 Python人工智能编程 后获取进群通道。


添加好友,备注【进群


—————END—————


推荐阅读:

7个Python实战项目代码,让你分分钟晋级大神!

Google 内部的 Python 代码风格指南

教你如何用Python查看微信撤回的信息

用Python写了一个青年大学习提醒系统

Python数据可视化,完整版实操指南 !


最近面试BAT,整理一份Python资料《Python学习手册》,覆盖了Python知识点、人工智能、深度学习、机器学习等方面。

获取方式:关注公众号并回复 Python 领取,更多内容陆续奉上。

觉得不错,点个“在看”然后转发出去Python爬取笔趣阁小说,有趣又实用

原创文章,作者:栈长,如若转载,请注明出处:https://www.cxyquan.com/12536.html

发表评论

登录后才能评论

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息