今天小编给大家分享一下python批量抓取的方法的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。
其中用到urllib2模块和正则表达式模块。下面直接上代码：
1 用python批量抓取
2
3 #!/usr/bin/env python
4 #-*- coding: utf-8 -*-
5 #通过urllib(2)模块下载网络内容
6 import urllib,urllib2,gevent
7 #引入正则表达式模块，时间模块
8 import re,time
9 from gevent import monkey
15 monkey.patch_all()
16
17 def geturllist(url):
18 url_list=[]
19 print url
20 s = urllib2.urlopen(url)
21 text = s.read()
22 #正则匹配，匹配其中的图片
23 html = re.search(r’
24 urls = re.finditer(r’
25 for i in urls:
26 url=i.group(1).strip()+str(“jpg”)
27 url_list.append(url)
28 return url_list
29
30 def download(down_url):
31 name=str(time.time())[:-3]+”_”+re.sub(‘.+?/’,”,down_url)
32 print name
33 urllib.urlretrieve(down_url, “D:TEMP”+name)
34
35 def getpageurl():
36 page_list = []
37 #进行列表页循环
38 for page in range(1,700):
39 url=”http://jandan.net/ooxx/page-“+str(page)+”#comments”
40 #把生成的url加入到page_list中
41 page_list.append(url)
42 print page_list
43 return page_list
44 if __name__ == ‘__main__’:
45 jobs = []
46 pageurl = getpageurl()[::-1]
47 #进行图片下载
48 for i in pageurl:
49 for (downurl) in geturllist(i):
50 jobs.append(gevent.spawn(download, downurl))
51 gevent.joinall(jobs)以上就是“python批量抓取的方法”这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，小编每天都会为大家免费云主机域名更新不同的知识，如果还想学习更多的知识，请关注百云主机行业资讯频道。
这篇文章主要介绍了html5中新增加的属性有哪些，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。 html5中新增加的属性有：placeholder、calendar、Draggable、auto…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
