python 爬取壁纸网站,建议收藏学习!


本次爬虫用到的网址是:http://www.netbian.com/index.htm: 彼岸桌面。
里面有很多的好看壁纸,而且都是可以下载高清无损的,还比较不错,所以我就拿这个网站练练手。
作为一个初学者,刚开始的时候,无论的代码的质量如何,总之代码只要能够被正确完整的运行那就很能够让自己开心的,如同我们的游戏一样,能在短时间内得到正向的反馈,我们就会更有兴趣去玩。
学习也是如此,只要我们能够在短期内得到学习带来的反馈,那么我们的对于学习的欲望也是强烈的。
作为一个菜鸡,能够完整的完整此次爬虫程序的编写,那便是一个最大的收货,但其实我在此次过程中的收获远不止此。
好的代码其实应该具有以下特性
  1. 能够满足最关键的需求
  2. 容易理解
  3. 有充分的注释
  4. 使用规范的命名
  5. 没有明显的安全问题
  6. 经过充分的测试
就以充分的测试为例,经常写代码的就应该知道,尽管多数时候你的代码没有BUG,但那仅仅说明只是大多数情况下是稳定的,但是在某些条件下就会出错(达到出错条件,存在逻辑问题的时候等)。这是肯定的。
至于什么原因,不同的代码有不同的原因。如果代码程序都是一次就能完善的,那么我们使用的软件的软件就不会经常更新了。其他其中的道理就不一 一道说了,久而自知。
好的代码一般具有的5大特性
1.便于维护
2.可复用
3.可扩展
4.强灵活性
5.健壮性
经过我的代码运行我发现时间复杂度比较大,因此这是我将要改进的地方,但也不止于此。也有很多利用得不合理的地方,至于存在的不足的地方就待我慢慢提升改进吧!
路过的大佬欢迎留下您宝贵的代码修改意见,

完整代码如下

  1. import os

  2. import bs4

  3. import re

  4. import time

  5. import requests

  6. from bs4 import BeautifulSoup

  7.  

  8. def getHTMLText(url, headers):

  9. """向目标服务器发起请求并返回响应"""

  10. try:

  11. = requests.get(url=url, headers=headers)

  12. r.encoding = r.apparent_encoding

  13. soup = BeautifulSoup(r.text, "html.parser")

  14. return soup

  15. except:

  16. return ""

  17.  

  18. def CreateFolder():

  19. """创建存储数据文件夹"""

  20. flag = True

  21. while flag == 1:

  22. file = input("请输入保存数据文件夹的名称:")

  23. if not os.path.exists(file):

  24. os.mkdir(file)

  25. flag = False

  26. else:

  27. print('该文件已存在,请重新输入')

  28. flag = True

  29.  

  30. # os.path.abspath(file) 获取文件夹的绝对路径

  31. path = os.path.abspath(file) + "\"

  32. return path

  33.  

  34. def fillUnivList(ulist, soup):

  35. """获取每一张图片的原图页面"""

  36. # [0]使得获得的ul是 <class 'bs4.BeautifulSoup'> 类型

  37. div = soup.find_all('div', 'list')[0]

  38. for a in div('a'):

  39. if isinstance(a, bs4.element.Tag):

  40. hr = a.attrs['href']

  41. href = re.findall(r'/desk/[1-9]d{4}.htm', hr)

  42. if bool(href) == True:

  43. ulist.append(href[0])

  44.  

  45. return ulist

  46.  

  47. def DownloadPicture(left_url,list,path):

  48. for right in list:

  49. url = left_url + right

  50. = requests.get(url=url, timeout=10)

  51. r.encoding = r.apparent_encoding

  52. soup = BeautifulSoup(r.text,"html.parser")

  53. tag = soup.find_all("p")

  54. # 获取img标签的alt属性,给保存图片命名

  55. name = tag[0].a.img.attrs['alt']

  56. img_name = name + ".jpg"

  57. # 获取图片的信息

  58. img_src = tag[0].a.img.attrs['src']

  59. try:

  60. img_data = requests.get(url=img_src)

  61. except:

  62. continue

  63.  

  64. img_path = path + img_name

  65. with open(img_path,'wb') as fp:

  66. fp.write(img_data.content)

  67. print(img_name, " ******下载完成!")

  68.  

  69. def PageNumurl(urls):

  70. num = int(input("请输入爬取所到的页码数:"))

  71. for i in range(2,num+1):

  72. = "http://www.netbian.com/index_" + str(i) + ".htm"

  73. urls.append(u)

  74.  

  75. return urls

  76.  

  77.  

  78. if __name__ == "__main__":

  79. uinfo = []

  80. left_url = "http://www.netbian.com"

  81. urls = ["http://www.netbian.com/index.htm"]

  82. headers = {

  83. "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"

  84. }

  85. start = time.time()

  86. # 1.创建保存数据的文件夹

  87. path = CreateFolder()

  88. # 2. 确定要爬取的页面数并返回每一页的链接

  89. PageNumurl(urls)

  90. = int(input("访问的起始页面:"))

  91. for i in urls[n-1:]:

  92. # 3.获取每一个页面的首页数据文本

  93. soup = getHTMLText(i, headers)

  94. # 4.访问原图所在页链接并返回图片的链接

  95. page_list = fillUnivList(uinfo, soup)

  96. # 5.下载原图

  97. DownloadPicture(left_url, page_list, path)

  98.  

  99. print("全部下载完成!", "共" + str(len(os.listdir(path))) + "张图片")

  100. end = time.time()

  101. print("共耗时" + str(end-start) + "秒")

  102.  

运行

部分展示结果如下:

以上就是python 爬取壁纸网站的示例的详细内容

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜

END

PS:欢迎在留言区留下你的观点,一起讨论提高。如果今天的文章让你有新的启发,欢迎转发分享给更多人。


Python读者交流群已成立


公众号运营至今,离不开小伙伴们的支持。为了给小伙伴们提供一个互相交流的平台,特地开通了官方交流群。扫描下方二维码备注 进群 或者关注公众号 Python人工智能编程 后获取进群通道。


添加好友,备注【进群


—————END—————


推荐阅读:



最近面试BAT,整理一份Python资料《Python学习手册》,覆盖了Python知识点、人工智能、深度学习、机器学习等方面。

获取方式:关注公众号并回复 Python 领取,更多内容陆续奉上。

觉得不错,点个“在看”然后转发出去


原创文章,作者:栈长,如若转载,请注明出处:https://www.cxyquan.com/11389.html

发表评论

登录后才能评论

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息