FudanPT
复旦大学研究生入学考试初试成绩爬取,都怪复旦大学不提供排名
Toy Level Website
为了快速上线函数名,文件名都是随便取的,以及没有做任何的安全措施,总之是个玩具级的网站。
隐藏了数据库连接中的用户名和密码。
网站只入库了专业代码为085211的专硕和081201、081202、081203以及083900的学硕(计算机全部和工研院计算机方向的全部)。
只需要简单将post_data['nd']
更改为当前年份就可以进行成绩爬取了。
post_data['nd'] = '2020'
Update
-
2019-3-6
复旦大学公布了校线:专硕360,学硕340。网站运行半个月后正式关闭。竟然没有被封IP!共统计到492人。其中专硕360及以上共185人,学硕340级以上30人。
-
2019-3-xx
复旦大学计算机学院公布了院线:专硕362,学硕345。
To Do
-
爬虫优化?
-
自动验证码识别
Nginx + uwsgi + django
-
pip install uwsgi 失败
报错为:
lto1: fatal error: bytecode stream generated with LTO verstrion 6.0 instead of the expected 4.1
使用conda安装:
conda install -c conda-forge uwsgi python==3.6 conda install -c conda-forge libiconv
uwsgi缺少各种libxxx.so.x.x 参考uwsgi loading shared libraries:libicui18n.so.58 异常处理
$ which uwsgi /home/username/anaconda3/bin/uwsgi $ ldd /home/username/anaconda3/bin/uwsgi libicui18n.so.58 => not found libicuuc.so.58 => not found $ find -name libicui18n.so.58 /home/username/anaconda3/blablabla/libicui18n.so.58 $ ln -s /home/username/anaconda3/blablabla/libicui18n.so.58 /lib $ ln -s /home/username/anaconda3/blablabla/libicui18n.so.58 /lib64
-
通过.ini文件配置uwsgi并启动。
-
uwsgi 启动停止重启
-
启动:
uwsgi --ini xxx.ini
-
重启:
uwsgi --reload xxx.pid
-
停止:
uwsgi --stop xxx.pid
.pid 文件需要在uwsgi的配置文件uwsgi.ini文件中设置
pidfile=%(chdir)/uwsgi/uwsgi.pid
- 强制关闭:
sudo killall -9 uwsgi
-
-
-
nginx 配置
- nginx 启动:
sudo nginx
- nginx 重启:
sudo nginx -s reload
- nginx 关闭:
sudo nginx -s stop
- nginx 启动:
-
mysql
create database student; create table student( id bigint auto_increment primary key ; number longtext; type int; grade int; );