2020年9月12日星期六

63B 《零基礎入門學習Python》筆記第063講：論一隻爬蟲的自我修養11：Scrapy框架之初窺門徑(中)

一切OK了，接下來就是寫我們的代碼了，把它投入到生產線上去實現：

我們退出shell （使用命令exit()），回到我們的CMD，








#CMD窗口








In [48]: exit()


























C:\Users\XiangyangDai\Desktop\tutorial>

修改我們的Spider 代碼，也就是 dmoz_spider.py。我們就按剛才從shell 獲得的經驗來寫parse() 函數。








#dmoz_spider.py








import scrapy

















class DmozSpider(scrapy.Spider):








        name = "dmoz"








        allowed_domains = ['dmozdir.org/Category']








        start_urls = ['http://www.dmozdir.org/Category/?SmallPath=411']








                     # 'http://www.dmozdir.org/Category/?SmallPath=411']

















        def parse(self, response):








                titles = response.selector.xpath('//ul/li/h4/a/text()').extract()  #标题 title








                links = response.selector.xpath('//ul/li/h4/a/@href').extract()  #超链接 link








                decss = response.selector.xpath('//ul/li/p/text()').extract()   #描述 decs








                if len(titles) == len(links) == len(decss):








                        for i in range(len(titles)):








                                print(titles[i], links[i], decss[i])

寫好之後，保存，進入CMD，在tutorial根目錄下執行命令：scrapy crawl dmoz








#CMD窗口








C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz








2018-12-17 19:32:48 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)








2018-12-17 19:32:48 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul  5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0








2018-12-17 19:32:48 [scrapy.crawler] INFO: Overridden settings: {'SPIDER_MODULES': ['tutorial.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutorial', 'NEWSPIDER_MODULE': 'tutorial.spiders'}








2018-12-17 19:32:48 [scrapy.middleware] INFO: Enabled extensions:








['scrapy.extensions.telnet.TelnetConsole',








'scrapy.extensions.corestats.CoreStats',








'scrapy.extensions.logstats.LogStats']








2018-12-17 19:32:49 [scrapy.middleware] INFO: Enabled downloader middlewares:








['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',








'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',








'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',








'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',








'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',








'scrapy.downloadermiddlewares.retry.RetryMiddleware',








'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',








'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',








'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',








'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',








'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',








'scrapy.downloadermiddlewares.stats.DownloaderStats']








2018-12-17 19:32:49 [scrapy.middleware] INFO: Enabled spider middlewares:








['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',








'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',








'scrapy.spidermiddlewares.referer.RefererMiddleware',








'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',








'scrapy.spidermiddlewares.depth.DepthMiddleware']








2018-12-17 19:32:49 [scrapy.middleware] INFO: Enabled item pipelines:








[]








2018-12-17 19:32:49 [scrapy.core.engine] INFO: Spider opened








2018-12-17 19:32:49 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)








2018-12-17 19:32:49 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023








2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)








2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)








2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)








中国论文写发网 http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml 中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com








专注代写论文网,论文代写,硕士论文代写,博士论文代写 http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml 专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!








论文天下 http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml 论文天下，免费提供：论文范文，免费论文，论文大全， 论文下载，论文格式，论文提纲，论文发表，论文开题报告，论文题目等资料的查阅，有偿提供：论文代写、代发服 务！








河南教师网 http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml 河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔 记/中国招教网/河南招教网/河南教师资格网








久久论文检测 http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml 久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧！








李国旺工作室 http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml 高三政治教学，政治高考，高中政治新课标，政治试卷，高中政治网址。








笔杆子论文 http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml 笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务








中国论文热线网 http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml 中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com








就要学习网 http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml 就要学习网是集教案，课件，试卷，毕业论文，教学视频为一体的免费资源网。








新论文代写网 http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml 毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论 文网|代做毕业设计|怎样写毕业论文








天喜缘婚介网-最好的婚征婚介网站 http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml 天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站，交友网站，及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体，网下有实体店面-济南市市中区天喜缘婚介婚庆中心，不定期举办联谊活动，保证会员成功率








成都盛世阳光婚庆策划有限公司 http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml 诚信投资控股集团属于四川省大型企业集团，川内排于前20名，注册资金3.5亿元，拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京 、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。








情人网 http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml 情人网交友中心为你提供最佳的网上情人交友机会，足不出户便能让你有更多的选择！








国际免费婚介交友网站-相约100 http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml 国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务








安徽婚庆网 http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml 安徽婚庆网








聚缘北海交友网 http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml 聚缘北海交友网是北海地区较规范的婚恋交友网站，致力于营造有趣而安全的网络交友社区，提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。








爱我吧婚恋网 http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml 爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台，提供科学、高效的全程服务，帮助真心寻找终身伴侣的人士实现和谐婚恋，努力营造国内最专业、严肃的婚恋交 友平








77国际交友网 http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml 纯公益性，爱心社交网站，为广大青年及单身人士提供的全免费交友平台。








东莞韩风尚婚纱摄影工作室 http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml 东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室，韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望








百合婚礼社区 http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml 百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面








2018-12-17 19:32:49 [scrapy.core.engine] INFO: Closing spider (finished)








2018-12-17 19:32:49 [scrapy.statscollectors] INFO: Dumping Scrapy stats:








{'downloader/request_bytes': 698,








'downloader/request_count': 3,








'downloader/request_method_count/GET': 3,








'downloader/response_bytes': 14618,








'downloader/response_count': 3,








'downloader/response_status_count/200': 3,








'finish_reason': 'finished',








'finish_time': datetime.datetime(2018, 12, 17, 11, 32, 49, 552593),








'log_count/DEBUG': 4,








'log_count/INFO': 7,








'response_received_count': 3,








'scheduler/dequeued': 2,








'scheduler/dequeued/memory': 2,








'scheduler/enqueued': 2,








'scheduler/enqueued/memory': 2,








'start_time': datetime.datetime(2018, 12, 17, 11, 32, 49, 93393)}








2018-12-17 19:32:49 [scrapy.core.engine] INFO: Spider closed (finished)

我們就看中間這一部分：








2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)








2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)








中国论文写发网 http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml 中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com








专注代写论文网,论文代写,硕士论文代写,博士论文代写 http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml 专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!








论文天下 http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml 论文天下，免费提供：论文范文，免费论文，论文大全， 论文下载，论文格式，论文提纲，论文发表，论文开题报告，论文题目等资料的查阅，有偿提供：论文代写、代发服 务！








河南教师网 http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml 河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔 记/中国招教网/河南招教网/河南教师资格网








久久论文检测 http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml 久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧！








李国旺工作室 http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml 高三政治教学，政治高考，高中政治新课标，政治试卷，高中政治网址。








笔杆子论文 http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml 笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务








中国论文热线网 http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml 中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com








就要学习网 http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml 就要学习网是集教案，课件，试卷，毕业论文，教学视频为一体的免费资源网。








新论文代写网 http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml 毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论 文网|代做毕业设计|怎样写毕业论文








天喜缘婚介网-最好的婚征婚介网站 http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml 天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站，交友网站，及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体，网下有实体店面-济南市市中区天喜缘婚介婚庆中心，不定期举办联谊活动，保证会员成功率








成都盛世阳光婚庆策划有限公司 http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml 诚信投资控股集团属于四川省大型企业集团，川内排于前20名，注册资金3.5亿元，拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京 、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。








情人网 http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml 情人网交友中心为你提供最佳的网上情人交友机会，足不出户便能让你有更多的选择！








国际免费婚介交友网站-相约100 http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml 国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务








安徽婚庆网 http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml 安徽婚庆网








聚缘北海交友网 http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml 聚缘北海交友网是北海地区较规范的婚恋交友网站，致力于营造有趣而安全的网络交友社区，提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。








爱我吧婚恋网 http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml 爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台，提供科学、高效的全程服务，帮助真心寻找终身伴侣的人士实现和谐婚恋，努力营造国内最专业、严肃的婚恋交 友平








77国际交友网 http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml 纯公益性，爱心社交网站，为广大青年及单身人士提供的全免费交友平台。








东莞韩风尚婚纱摄影工作室 http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml 东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室，韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望








百合婚礼社区 http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml 百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面

上面的結果沒有錯誤。

這個是爬和取的過程，我們接下來就要使用Items，我們前面說過，Items 是我們自定義的容器，用法和Python的字典是一樣的，我們希望Spider 將爬取然後篩選後的數據存放到Items 容器裡面，我們剛才也在parse 裡寫了篩選出Items 對應的數據的方法了。篩選之後，我希望將它存放到Items 中去。

我們的items.py在tutorial/items.py路徑下，items既是容器，也是一個類，類名我們在這個項目中定義為DmozItem。

我們需要把items導入到spider中，才可以使用它，於是，我們在 dmoz_spider.py文件中寫道：

from turtorial.items import DmozItem








#dmoz_spider.py








import scrapy








from tutorial.items import DmozItem

















class DmozSpider(scrapy.Spider):








name = "dmoz"








allowed_domains = ['dmozdir.org/Category']








start_urls = ['http://www.dmozdir.org/Category/?SmallPath=230',








'http://www.dmozdir.org/Category/?SmallPath=411']

















def parse(self, response):








titles = response.selector.xpath('//ul/li/h4/a/text()').extract()  #标题 title








links = response.selector.xpath('//ul/li/h4/a/@href').extract()  #超链接 link








descs = response.selector.xpath('//ul/li/p/text()').extract()   #描述 desc








items = []








if len(titles) == len(links) == len(descs):








for i in range(len(titles)):








#print(titles[i], links[i], decss[i])








item = DmozItem()








#每一组保存为一个字典








item['title'] = titles[i]








item['link'] = links[i]








item['desc'] = descs[i]








#将每个字典添加到列表中








items.append(item)








return items

然後我們在CMD中，tutorail的根目錄下，執行命令：scrapy crawl dmoz -o items.json -t json

-o 文件名-t 保存形式。








#CMD窗口








C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz -o items.json -t json








2018-12-17 20:49:28 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)








2018-12-17 20:49:28 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul  5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0








2018-12-17 20:49:28 [scrapy.crawler] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'FEED_URI': 'items.json', 'BOT_NAME': 'tutorial', 'ROBOTSTXT_OBEY': True, 'FEED_FORMAT': 'json'}








2018-12-17 20:49:28 [scrapy.middleware] INFO: Enabled extensions:








['scrapy.extensions.feedexport.FeedExporter',








'scrapy.extensions.corestats.CoreStats',








'scrapy.extensions.telnet.TelnetConsole',








'scrapy.extensions.logstats.LogStats']








2018-12-17 20:49:29 [scrapy.middleware] INFO: Enabled downloader middlewares:








['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',








'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',








'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',








'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',








'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',








'scrapy.downloadermiddlewares.retry.RetryMiddleware',








'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',








'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',








'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',








'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',








'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',








'scrapy.downloadermiddlewares.stats.DownloaderStats']








2018-12-17 20:49:29 [scrapy.middleware] INFO: Enabled spider middlewares:








['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',








'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',








'scrapy.spidermiddlewares.referer.RefererMiddleware',








'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',








'scrapy.spidermiddlewares.depth.DepthMiddleware']








2018-12-17 20:49:29 [scrapy.middleware] INFO: Enabled item pipelines:








['tutorial.pipelines.TutorialPipeline']








2018-12-17 20:49:29 [scrapy.core.engine] INFO: Spider opened








2018-12-17 20:49:29 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)








2018-12-17 20:49:29 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023








2018-12-17 20:49:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)








2018-12-17 20:49:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)








2018-12-17 20:49:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com',








'link': 'http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml',








'title': '中国论文写发网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!',








'link': 'http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml',








'title': '专注代写论文网,论文代写,硕士论文代写,博士论文代写'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '论文天下，免费提供：论文范文，免费论文，论文大全， '








'论文下载，论文格式，论文提纲，论文发表，论文开题报告，论文题目等资料的查阅，有偿提供：论文代写、代发服务！',








'link': 'http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml',








'title': '论文天下'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔记/中国招教网/河南招教网/河南教师资格网',








'link': 'http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml',








'title': '河南教师网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧！',








'link': 'http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml',








'title': '久久论文检测'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '高三政治教学，政治高考，高中政治新课标，政治试卷，高中政治网址。',








'link': 'http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml',








'title': '李国旺工作室'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务',








'link': 'http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml',








'title': '笔杆子论文'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com',








'link': 'http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml',








'title': '中国论文热线网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '就要学习网是集教案，课件，试卷，毕业论文，教学视频为一体的免费资源网。',








'link': 'http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml',








'title': '就要学习网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>








{'desc': '毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论文网|代做毕业设计|怎样写毕业论文',








'link': 'http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml',








'title': '新论文代写网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站，交友网站，及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体，网下有实体店面-济南市市中区天喜缘婚介婚庆中心，不定期举办联谊活动，保证会员成功率',








'link': 'http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml',








'title': '天喜缘婚介网-最好的婚征婚介网站'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '诚信投资控股集团属于四川省大型企业集团，川内排于前20名，注册资金3.5亿元，拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。',








'link': 'http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml',








'title': '成都盛世阳光婚庆策划有限公司'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '情人网交友中心为你提供最佳的网上情人交友机会，足不出户便能让你有更多的选择！',








'link': 'http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml',








'title': '情人网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务',








'link': 'http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml',








'title': '国际免费婚介交友网站-相约100'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '安徽婚庆网',








'link': 'http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml',








'title': '安徽婚庆网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '聚缘北海交友网是北海地区较规范的婚恋交友网站，致力于营造有趣而安全的网络交友社区，提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。',








'link': 'http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml',








'title': '聚缘北海交友网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台，提供科学、高效的全程服务，帮助真心寻找终身伴侣的人士实现和谐婚恋，努力营造国内最专业、严肃的婚恋交友平',








'link': 'http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml',








'title': '爱我吧婚恋网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '纯公益性，爱心社交网站，为广大青年及单身人士提供的全免费交友平台。',








'link': 'http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml',








'title': '77国际交友网'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室，韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望',








'link': 'http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml',








'title': '东莞韩风尚婚纱摄影工作室'}








2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>








{'desc': '百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面',








'link': 'http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml',








'title': '百合婚礼社区'}








2018-12-17 20:49:30 [scrapy.core.engine] INFO: Closing spider (finished)








2018-12-17 20:49:30 [scrapy.extensions.feedexport] INFO: Stored json feed (20 items) in: items.json








2018-12-17 20:49:30 [scrapy.statscollectors] INFO: Dumping Scrapy stats:








{'downloader/request_bytes': 698,








'downloader/request_count': 3,








'downloader/request_method_count/GET': 3,








'downloader/response_bytes': 14618,








'downloader/response_count': 3,








'downloader/response_status_count/200': 3,








'finish_reason': 'finished',








'finish_time': datetime.datetime(2018, 12, 17, 12, 49, 30, 79269),








'item_scraped_count': 20,








'log_count/DEBUG': 24,








'log_count/INFO': 8,








'response_received_count': 3,








'scheduler/dequeued': 2,








'scheduler/dequeued/memory': 2,








'scheduler/enqueued': 2,








'scheduler/enqueued/memory': 2,








'start_time': datetime.datetime(2018, 12, 17, 12, 49, 29, 574379)}








2018-12-17 20:49:30 [scrapy.core.engine] INFO: Spider closed (finished)

0 留言:

發佈留言

訂閱：發佈留言 (Atom)

大澳飛宇程式研究

註冊

關於我

最新文章

追蹤者

總網頁檢視次數

Blog Archive

網誌封存