skill in a word 一点就通，大道至简！
- 2005~2021年
wget http://www.stats.gov.cn/tjsj/ndsj/2021/left.htm|
xargs cat left.htm|
grep href|grep html|
awk -F "'" '{print " http://www.stats.gov.cn/tjsj/ndsj/2021/"$2}'|
grep -E '.jpg|.htm'|
xargs wget
- 2007~2021年
wget http://www.stats.gov.cn/tjsj/ndsj/2021/left_.htm|
xargs cat left_.htm|
grep href|
grep html|
awk -F "'" '{print " http://www.stats.gov.cn/tjsj/ndsj/2021/"$2}'|
grep -E '.jpg|.htm'|
xargs wget
- 2013~2021年
wget http://www.stats.gov.cn/tjsj/tjgb/ndtjgb/index.html|
xargs cat index.html |
grep -E "t202|
t201[4-9]"|
grep "cont_tit"|
awk -F '"' '{print "http://www.stats.gov.cn/"$2}'|
xargs wget
- 下载第39~48次《**互联网络发展状况统计报告》
wget http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/index.htm|
cat index.htm |
grep "次"|
grep pdf|
awk -F "</a>" '{print $1}'|
awk -F "=" '{print " http://www.cnnic.net.cn/hlwfzyj/hlwxzbg "$3}'|
sed 's/target//g'|
sed 's/"_blank">//g'|
awk -F "'" '{print $1$2}'|
sed 's/ //g'|
sed 's/hlwxzbg./hlwxzbg/g'|
xargs wget -c
- 问题描述：
1.ipad未越狱，设备和系统都有点古老，懒得刷机折腾；
2.没有专用的苹果数据线（上百大洋，能省则省~_~）。
3.空间严重不足，总量16G，没有安装iTunes。
4.可以正常wifi无线联网。
5.照片和图片截屏，有上千张，需要备份到笔记本上。
6.ipad开启ES-wifi传输后，可以浏览下载照片，需要手工逐个点击，心累啊！
- 解决过程：
- ipad端操作：
1.ipad上安装“ES文件浏览器"，app store里完成。
2.把系统中照片，复制到ES文件浏览器（必须：没有越狱，系统照片无法访问）。
3.开启WiFi传输（默认可上传，第2步复制后可下载系统图片）。
- 笔记本端操作：
1.windows系统上安装wget（任意版本）。
源码编译安装：http://ftp.gnu.org/gnu/wget/wget-latest.tar.gz
exe文件下载：https://jaist.dl.sourceforge.net/project/gnuwin32/wget/1.11.4-1/wget-1.11.4-1-setup.exe
2.获取pad图片的下载地址，编辑批处理文件mypad.bat，格式如下：
wget -c http://192.168.0.100:5050/download?path=%%2Fphoto%%2FIMG_0001.PNG -O 0001.PNG
...
wget -c http://192.168.0.100:5050/download?path=%%2Fphoto%%2FIMG_9999.PNG -O 9999.PNG
说明：
浏览器访问图片原始地址：http://192.168.0.100:5050/download?path=%2Fphoto%2FIMG_0001.PNG
windows下“%”为系统默认符合，需要转义，用两个%代替一个%：%换为%%。
3.泡杯茶，执行mypad.bat。
4.收工，需要时间取决于图片大小，数量和WiFi速度。
- 太大，太多，太慢，不要怪我^_^。
- 1.删除空格，按下 Ctrl + h 键盘组合键，弹出“查找和替换”对话框，点开“其他选项”，选中“正则表达式”， 在“查找内容”中输入：[:space:]
- 2.续查找替换操作，在“查找内容”中输入：^$
- 3.点击“全部替换”，删除全部空行。
- 大量数据分批删除（文件上万个+）
ls *|xargs -n 100 rm -rf
- python3启动web服务
标准启动模式：
python -m http.server 8000
后台启动模式：
nohup python -m http.server 8000 &
指定日志文件启动模式：
nohup python -m http.server 8000 >> test.log 2>&1 &
- python2启动web服务
标准启动模式：
python -m SimpleHTTPServer 8000
后台启动模式：
nohup python -m SimpleHTTPServer 8000 &
指定日志文件启动模式：
nohup python -m http.server 8000 >> test.log 2>&1 &
- 日常运维三十六计
1.运维值班要保证手机电量充足，7x24为业务待命
2.应对故障要先恢复再排查，无计可施重启试试
3.慎防进程D状态，及时监控保可用
4.一人一次只做一个变更，降低人为失误风险
5.数据备份任务要监控，并定时检查备份档的有效性
6.尽量提前预警，避免告警救火
7.灾难的紧急预案一定要有演练的机制，养兵千日用兵一时
8.运维工作互备，工作交接要留文档
9．运维的标配软技能：责任心、沟通力、执行力
10．用流程保证质量，用自动化保证效率
11．对不可逆的倒除或修改操作，尽量延迟或慢速执行
12．批量操作，请先灰度再全量
13．开放外网高危端口需谨慎，网络安全要牢记
14．变更操作先备份再修改
15．尽可能保证发布操作能被回滚，并且发布故障要优先回滚
16．root操作需留神，sudo授权更安全可控
17．删除操作脚本请交叉检查二次确认
18．将重复三次以上的操作脚本化
19．crontab写绝对路径，输入输出重定向
20.修改内核参数需区分一次性修改或随机启动修改
21．保持应用运行的独立性，防止交叉依赖的程序存在
22．从每个故障中学习和提高，通免重犯同一个错误
23．每个偶然的故障背后都深藏着必然的联系．找到问题根源并优化掉
24.运维规范变现步骤：文档化、工具化、系统化、自动化
25．日常运维口令：打补丁、传文件、批处理、改配置、包管理、看监控
26．日志管理使用轮换机制，防止硬盘空间使用率无限增大
27．先量化管理运维对象．再优化管理运维对象
28．容量规划牢记从3个角度评估：主机负载、应用性能、业务请求量
29．保持运维对象的标准化与一致性．如处女座般梳理整洁生产环境
30．配置文件不要写死ip，巧用名字服务解藕更高效
31．运维脚本和工具要版本化管理
32．采用高可用的集群化部署，应防止单点
33．敏感权限应定期回顾和检查，及时清理离职转岗的人员权限
34．服务上线一定要有监控，保证质量可度量
35．对生产环境的变更操作后．要有持续关注机制．确保服务质量不受影晌
36．容量管理要做好，每日关注高低负载
- DBA运维三十六计
1.任何时候做好最坏的打算
2.角色权限要划分清楚，开发权限要最小化原则
3.坚持数据库运维定期演习
4.核心岗位手机24小时畅通状态，任何岗位都要主备责任人
5.养成日常巡检核心监控属性的习惯
6.权限管理自动化，做好审核和审计
7.没有规则创造规则，有规则遵守规则
8.数据下线后环境及时清理，不要残留
9.数据备份100%覆盖，100%可恢复，每年至少2次恢复演练
10.避免单点：有效可恢复的数据备份，有效可切换的从节点
11.对生产环境保持敬畏之心
12.非工作时间不要实施普通变更
13.变更自动推送通知和报告，保持信息对齐
14.上线SQL先Explain，执行计划可以做固化
15.知己知彼，了解所做操作产生的结果才去做
16.减操作确保可逆，最少一套恢复方案，重大变更要有操作和回滚方案，要双人检验且审批通过
17.数据库具备限流能力
18.建立业务放量流程沟通机制，事前周知快速扩容，事中容量监控，事后资源总结
19.做好日常数据库容量度量，用历史数据推算下一个容量高峰
20.节假日前做好数据容量规划
21.主动分析业务数据访问行为，了解业务数据生命周期，优化业务成本并推动业务改进
22.定期的性能优化避免业务量突增导致的雪崩
23.业务初期做好分库的规划
24.对索引要根据访问类型做战略性规划
25.主动推动业务对热记录、肥胖记录的优化
26.精通业务，推动业务采用更合适的架构方案
27.数据恢复手段简单高效，提纯成web化工具，减少脚本使用
28.工具上线前要严格测试和灰度验证
29.工具开发要实施代码审阅，工具代码逻辑间要打好日志
30.故障处理自动化，缩短影响业务质量时长
31.数据监控多维化，立体化，覆盖所有的监控节点和粒度
32.数据垂直分层自动调度（内存、SSD、SAS、SATA）做到成本与效率的性价比最高
33.数据搬迁调度自动化，聚焦资源调度管理
34.调度任务集中化，保障关键调度任务可管理，可监控
35.数据迁移后台要双向记录对比匹配
36.备份系统自动化，中心化调度，保障故障效率和可用性