Python3 网络爬虫学习

以下是学习框架

爬虫基础入门

1. 什么是爬虫？
2. HTTP 基本原理
3. Web 网页基础
4. Session 和 Cookie
5. urllib 爬虫初体验
6. 方便好用的 requests
7. 强大灵活的正则表达式
8. 基础爬虫案例爬取实战

页面解析和数据存储

1. 网页解析利器 XPath 初体验
2. 新兴网页解析利器 parsel 
3. 简易的 TXT 纯文本文件存储
4. 方便灵活的 JSON 文本文件存储
5. 高效实用的 MongoDB 文档存储
6. 关系型数据库 MySQL 存储
7. 当爬虫遇见 RabbitMQ 消息队列
8. 便于高效检索的 Elasticsearch 存储

Ajax 分析和动态渲染页面爬取

1. 什么是 Ajax？
2. Ajax 分析方法
3. Ajax 案例爬取实战
4. 经典动态渲染工具 Selenium 的使用
5. 新兴动态渲染工具 Playwright 的使用

异步爬虫和模拟登录

1. 协程的基本原理
2. aiohttp 的基本使用
3. 模拟登录的基本原理
4. Session + Cookie 模拟登录爬取实战

验证码的处理

1. OCR 识别验证码
2. OpenCV 图像匹配识别滑动验证码缺口
3. 深度学习识别滑动验证码缺口

代理的使用

1. 代理的基本原理
2. 代理的基本使用
3. 高效代理池的维护
4. ADSL 拨号代理的使用

JavaScript 混淆、逆向技术

1. JavaScript 网站加密和混淆技术简介
2. JavaScript 逆向调试技巧
3. JavaScript Hook 的用法
4. Python 模拟执行 JavaScript

App 爬虫和安卓逆向

页面智能解析

Scrapy 框架和分布式爬虫

爬虫的部署、维护、监控