具体看下文目录。本资源已做7Z压缩包防和谐处理，下载到电脑之后解压再观看。

掌握：xpath， css选择器 / items设计 / pipeline， twisted保存数据到mysql

掌握：session和cookie原理 / scrapy FormRequest和requests模拟知乎登陆item loader方式提取数据

掌握：link extractor / scrapy Rule提取url / CrawlSpider爬取全站

适合对爬虫感兴趣、想做大数据开发却找不到数据，又不知如何搭建一套稳定可靠的分布式爬虫的同学，想搭建搜索引擎但是不知道如何入手的同学。

课程目录

├─聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎

│ │ 爬虫源码(1).zip

│ │ 爬虫源码.zip

│ │ 爬虫讲师源代码.zip

│ │

│ │

│ ├─第1章 课程介绍

│ │ 1-1 python分布式爬虫打造搜索引擎简介.avi

│ │ 第一章.mp4

│ │

│ ├─第2章 windows下搭建开发环境

│ │ 2-1 pycharm的安装和简单使用.mp4

│ │ 2-2 mysql和navicat的安装和使用.mp4

│ │ 2-3 windows和linux下安装python2和python3.mp4

│ │ 2-4 虚拟环境的安装和配置.mp4

│ │

│ ├─第3章 爬虫基础知识回顾

│ │ 新增–3章-深度优先.mp4

│ │ 第三章1-2节.mp4

│ │ 第三章3-4节.mp4

│ │ 第三章6-5节 从15.15开始看，在回看.mp4

│ │

│ ├─第4章 scrapy爬取知名技术文章网站

│ │ └─4

│ │ 1-3.mp4

│ │ 16.mp4

│ │ 17.mp4

│ │ 4-4 5.mp4

│ │ 4-6 7.mp4

│ │ 4-8 9.mp4

│ │ 第四章7-15.mp4

│ │

│ ├─第5章 scrapy爬去知名问答网站

│ │ └─5

│ │ 17.mp4

│ │ 6-16.mp4

│ │ 爬虫第五章1-5.mp4

│ │

│ ├─第6章 通过CrawlSpider对招聘网站进行整站爬取

│ │ └─6

│ │ 1-4.mp4

│ │ 5-7以及第七章第一节.mp4

│ │

│ ├─第7章 Scrapy突破反爬虫的限制

│ │ └─7

│ │ 第七章2-10.mp4

│ │

│ ├─第8章 scrapy进阶开发

│ │ 10.mp4

│ │ 1selenium动态网页与请求.mp4

│ │ 2selenium模拟登陆微博.mp4

│ │ 3chromedriver不加载图片.mp4

│ │ 4selenium集成到scrapy.mp4

│ │ 5其余动态网页获取介绍.59.mp4

│ │ 7 scrapy url 去重原理.mp4

│ │ 8 scripy telnet.mp4

│ │ 8-12+scrapy扩展开发.avi

│ │ 8-6+scrapy的暂停与重启.avi

│ │ 8-9+spider+middleware+详解.avi

│ │ 9.32.mp4

│ │

│ ├─第9章 scrapy-redis分布式爬虫

│ │ 9-1分布式爬虫要点.mp4

│ │ 9-2.mp4

│ │ 9-3.mp4

│ │ 9-4+scrapy-redis编写分布式爬虫代码.avi

│ │ 9-5.12.mp4

│ │ 9-6.mp4

│ │ 9-7.mp4

│ ├─第10章 elasticsearch搜索引擎的使用

│ │ 10-1 elasticsearch介绍.mp4

│ │ 10-10.mp4

│ │ 10-11.mp4

│ │ 10-12.mp4

│ │ 10-2安装.mp4

│ │ 10-3.mp4

│ │ 10-4.mp4

│ │ 10-5倒排索引.mp4

│ │ 10-6.mp4

│ │ 10-7.mp4

│ │ 10-8.mp4

│ │ 10-9.mp4

│ │ 10.mp4

│ │ 11 scrapy扩展开发.mp4

│ │ 1selenium动态网页与请求.mp4

│ │ 2017.05.06-09.29.24.mp4

│ │ 2selenium模拟登陆微博.mp4

│ │ 3chromedriver不加载图片.mp4

│ │ 4selenium集成到scrapy.mp4

│ │ 5其余动态网页获取介绍.59.mp4

│ │ 6scrapy的暂停和重启.mp4

│ │ 7 scrapy url 去重原理.mp4

│ │ 8 scripy telnet.mp4

│ │ 9.32.mp4

│ │

│ └─第十一

│ 11-1 es完成搜索建议.mp4

│ 11-2.mp4

│ 11-3.mp4

│ 11-4.mp4

│ 11-5.mp4

│ 11-6.10.mp4

│ 11-7.mp4

│ 11-8+搜索记录、热门搜索功能实现+-+1.avi

│ 11-9+搜索记录、热门搜索功能实现+-+2.avi

│ │

│ ├─第12章 scrapyd部署scrapy爬虫

│ │ 12章.mp4

│ │

│ ├─第13章 课程总结

│ │ 2017.05.06-15.19.51.mp4

 

分B式PC必X框架Scrapy