python数据爬下来保存在哪里

互联网 19-10-30

昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。 (推荐学习:Python视频教程)

python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。

#coding=utf-8 import urllib.request import re import os   ''' Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据 urlopen 方法用来打开一个url read方法 用于读取Url上的数据 '''   def getHtml(url):     page = urllib.request.urlopen(url);     html = page.read();     return html;   def getImg(html):     imglist = re.findall('img src="(http.*?)"',html)     return imglist   html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8"); imagesUrl = getImg(html);   if os.path.exists("D:/imags") == False:     os.mkdir("D:/imags");      count = 0; for url in imagesUrl:     print(url)     if(url.find('.') != -1):         name = url[url.find('.',len(url) - 5):];         bytes = urllib.request.urlopen(url);         f = open("D:/imags/"+str(count)+name, 'wb');         f.write(bytes.read());         f.flush();         f.close();         count+=1;

经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。

注:上面的程序基于 python 3.5。python3 和 python2 还是有些区别的。我刚开始看基础语法的时候就栽了一些坑里。

以上就是python数据爬下来保存在哪里的详细内容,更多内容请关注技术你好其它相关文章!

来源链接:
免责声明:
1.资讯内容不构成投资建议,投资者应独立决策并自行承担风险
2.本文版权归属原作所有,仅代表作者本人观点,不代表本站的观点或立场
标签: Python
上一篇:php获取远程图片并下载保存到本地的方法分析 下一篇:python安装以后怎么用

相关资讯