-
tcp 协议: 网络游戏
- 外挂: 1,解包工具 2,抓包工具
- 软件: wireshark
-
http 通信
-
前后端交互过程
-
学习的作用 :去对应公司面试
-
模拟网络情况
- 下载上限下限速度
- 模拟用户真实看到的情况
- 对于它优化,开发都有好处
-
http client server 一应一答 没有加密
-
https 证书(有权威机构) 非对称加密 抓包: 信任一个证书
-
-
搜索引擎
- query -> page rank(类似 权重)
- 数据统计
-
爬虫的分类:
- 裸请求 百度 google
- 反爬虫策略
- js 频繁上新的页面 纯js
-
组成部分 程序的分离
- Downloader 下载页面 requests
- HTMLParser 解析页面 pyquery lxml 类似操作 dom
- DataModel 字段 - element 业务逻辑
-
注意
- 先下载页面,如果没有更新过应该不在下载第二次 假如那个网站突然封掉了呢
- 这个拆分可以方便逻辑的扩展
- 那些内容不可以爬 (做一个文明的程序员)/robots.txt