/cnki-journal-info

A spider to crawl CNKI journal info

Primary LanguagePython

使用Scrapy爬取CNKI期刊信息

  • 截止到2023年11月，按照学科分类CNKI共收录 11615种期刊。由于存在跨学科期刊，最终爬取的数据量要低于该数值；
  • 爬取的期刊信息涵盖期刊名称、主办单位、出版周期、ISSN号、CN号、所属学科、影响因子、字母标识、收录数据库等字段；

运行爬虫

本仓库提供 爬取的数据集，可直接下载使用。如果想要自行爬取，请参考如下步骤：

git clone https://github.com/doublessay/cnki-journal-info.git
cd cnki-journal-info

# 建议使用虚拟环境
python -m venv venv

# 激活虚拟环境
source venv/bin/activate # Mac/Linux
.\venv\Scripts\activate # Windows

# 安装依赖
pip install -r requirements.txt

# 运行爬虫
scrapy crawl journal -o dataset/2023-11-30.csv

爬取策略

  1. 使用随机User-Agent，借助 fake-useragent 库构造一个Middleware；
  2. 并发请求设置为3，下载延迟设置为1秒，禁用cookie；

统计分析

  1. 创刊时间最早的5种期刊
期刊名称 曾用刊名 主办单位 创刊时间 url
中华医学杂志(英文版) Chinese Medical Journal 中华医学会 1887 https://navi.cnki.net/knavi/journals/ZHSS/detail
苏州大学学报(哲学社会科学版) 学桴(东吴月报);苏州科技学院学报(社会科学版) 苏州大学 1906 https://navi.cnki.net/knavi/journals/SZDX/detail
西北大学学报(自然科学版) 西北大学 1913 https://navi.cnki.net/knavi/journals/XBDZ/detail
西北大学学报(哲学社会科学版) 西北大学 1913 https://navi.cnki.net/knavi/journals/XBDS/detail
科学 上海科学技术出版社有限公司 1915 https://navi.cnki.net/knavi/journals/KXZZ/detail
  1. 创刊时间分布折线图

  1. 综合影响因子1最高的5种期刊
期刊名称 主办单位 专题名称 综合影响因子 url
管理世界 国务院发展研究中心 管理学 22.557 https://navi.cnki.net/knavi/journals/GLSJ/detail
求是 **共产党**委员会 政治军事法律综合 21.357 https://navi.cnki.net/knavi/journals/QUSI/detail
**工业经济 **社会科学院工业经济研究所 工业经济 18.213 https://navi.cnki.net/knavi/journals/GGYY/detail
经济研究 **社会科学院经济研究所 经济与管理综合 15.382 https://navi.cnki.net/knavi/journals/JJYJ/detail
**社会科学 **社会科学院 教育综合 11.783 https://navi.cnki.net/knavi/journals/ZSHK/detail
  1. 平均下载次数最高的5种期刊
期刊名称 主办单位 专题名称 平均下载次数 url
公共管理学报 哈尔滨工业大学管理学院 管理学 3084.01 https://navi.cnki.net/knavi/journals/GGGL/detail
经济研究 **社会科学院经济研究所 经济与管理综合 2907.93 https://navi.cnki.net/knavi/journals/JJYJ/detail
经济学(季刊) 北京大学 经济理论及经济**史 2841.92 https://navi.cnki.net/knavi/journals/JJXU/detail
管理世界 国务院发展研究中心 管理学 2835.96 https://navi.cnki.net/knavi/journals/GLSJ/detail
**社会科学 **社会科学院 教育综合 2743.52 https://navi.cnki.net/knavi/journals/ZSHK/detail
  1. CNKI收录的CSCD(2023-2024)期刊(1238种)
期刊名称 主办单位 专题名称 url
Asian Herpetological Research **科学院成都生物研究所;**科技出版传媒股份有限公司 生物学 https://navi.cnki.net/knavi/journals/YZLQ/detail
Research in Astronomy and Astrophysics **科学院国家天文台;**天文学会 天文学 https://navi.cnki.net/knavi/journals/TTWL/detail
Journal of Oceanology and Limnology **海洋湖沼学会 海洋学 https://navi.cnki.net/knavi/journals/HYFW/detail
Theoretical and Applied Mechanics Letters **科学院力学研究所;**力学学会 力学 https://navi.cnki.net/knavi/journals/LXKB/detail
Journal of Systems Science and Information **系统工程学会;**科技出版传媒股份有限公司 非线性科学与系统科学;计算机软件及计算机应用 https://navi.cnki.net/knavi/journals/JSSI/detail
...
  1. CNKI收录的CSSCI(2021-2022)期刊(813种)
期刊名称 主办单位 专题名称 url
**社会经济史研究 厦门大学历史研究所 **通史;经济体制改革 https://navi.cnki.net/knavi/journals/ZSJY/detail
**社会科学 **社会科学院 经济与管理综合 https://navi.cnki.net/knavi/journals/XJSH/detail
印度洋经济体研究 云南财经大学 经济体制改革 https://navi.cnki.net/knavi/journals/YDYY/detail
地方财政研究 东北财经大学;辽宁省财政科学研究所 财政与税收 https://navi.cnki.net/knavi/journals/DFCZ/detail
财务研究 **财政杂志社 会计 https://navi.cnki.net/knavi/journals/CWYJ/detail
...
  1. CNKI收录的SCI(2023)期刊(178种)
期刊名称 主办单位 专题名称 url
Asian Herpetological Research **科学院成都生物研究所;**科技出版传媒股份有限公司 生物学 https://navi.cnki.net/knavi/journals/YZLQ/detail
Research in Astronomy and Astrophysics **科学院国家天文台;**天文学会 天文学 https://navi.cnki.net/knavi/journals/TTWL/detail
Journal of Oceanology and Limnology **海洋湖沼学会 海洋学 https://navi.cnki.net/knavi/journals/HYFW/detail
China Communications **通信学会 电信技术;信息经济与邮政经济 https://navi.cnki.net/knavi/journals/ZGTO/detail
Journal of Computer Science & Technology **计算机学会;**科学院计算技术研究所 电子信息科学综合 https://navi.cnki.net/knavi/journals/JSKB/detail
...

Footnotes

  1. 综合影响因子是指被评价期刊前两年发表的可被引文献在统计年的被引用总次数与该期刊在前两年内发表的可被引文献总量之比。复合影响因子的统计范围不仅包含期刊，还包含硕博士论文和会议论文。 ↩