网络爬虫，爬取二手房源

　　一、相信有很多朋友在学习python后，一定都有过使用这门语言编写爬虫的想法。刚刚学习了python的小白（因为很白所以叫小白）我也是如此。这里小白和小白的伙伴就以python新手的身份分享一下我们使用python爬虫爬取二手房网的房源信息的过程。如有大佬路过，求大佬指出其中需要改进的地方，小白我感激不尽。
　　编写爬虫之前，我们首先应该搞清楚爬虫到底是干什么的。这里语言表达力不足的小白只好借用度娘上的答案向大家介绍一下：
　　网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
　　大概了解爬虫后，我们就要开始做编写爬虫的准备工作了。首先是我们已经确定是用python语言进行编写，然后我们就要确定使用什么开发平台和环境了，这里，小白使用的是Windows平台（准备之前查了一些资料，看到一些大佬说就开发而言，linux比windows用起来舒服，所以大家也可以试试linux），开发环境是pycharm2021社区版（开始下载了专业版，但是发现每天打开都需要输入激活码，并且对于我们一般人来说社区版也够用了，于是重新下载了社区版）。
　　接下来应该就是要准备编写爬虫了，其实，在小白看来，编写爬虫其实就是各种库的应用。首先说一下我们的大概思路：爬取数据解析数据存储数据。第一步我们需要安装我们需要的库，安装方法网上很多，这里就不具体说了。接下来是导入我们需要的库，导入库的语句为import库；例如在我的代码中需要的库导入如下：
　　coding：utf8fromurllibimportrequestimportreimporttimeimportthreadingimportrandomimportpymysqlfromhashlibimportmd5fromuainfoimportualistfromfakeuseragentimportUserAgentimportsysclassstudy（）：definit（self）：self。urlhttps：bj。lianjia。comershoufangpg｛｝1。请求函数defgethtml（self，url）：uaUserAgent（）print（ua。chrome）headers｛UserAgent：ua。chrome｝reqrequest。Request（urlurl，headersheaders）resrequest。urlopen（req）本网站使用utf8的编码格式htmlres。read（）。decode（utf8，ignore）returnhtml2。正则解析函数defrefunc（self，rebds，html）：patternre。compile（rebds，re。S）rlistpattern。findall（html）returnrlist格式化，正则表达式匹配页面defparsehtml（self，oneurl）：调用请求函数，获取一级页面onehtmlself。gethtml（oneurl）print（onehtml）rebds（。？）rebds。？rebds（。？）。？spanclassgoodhousetagtagBlock（。？）spanrebds（。？）。？spanclassgoodhousetagtagBlock（。？）spanspanclasspositionIconspan（。？）（。？）spanclasshouseIconspan（。？）spanclassstarIconspan（。？）（。？）iispanclass（。？）spani万ispan（。？）spanlinklistself。refunc（rebds，onehtml）print（linklist）forlinkinlinklist：print（link）print（100）对于部分正常可以获取到最大页码数，可以采用defgetmaxpage（self，oneurl）：onehtmlself。gethtml（oneurl）print（onehtml）rebds（。？）print（rebds）linklistself。refunc（rebds，onehtml）print（linklist）returnlinklist〔linklist。len（）1〕〔1〕；defrun（self）：foriinrange（100）：urlself。url。format（i）定时抓取当前最新的数据self。parsehtml（url）输出当地时间print（time。strftime（YmdH：M：S，time。localtime（）））设置一个定时器，循环输出时间timerthreading。Timer（66060，self。run）启动线程timer。start（）self。parsehtml（https：bj。lianjia。comershoufangpg1）ifnamemain：spiderstudy（）spider。run（）