/arxiv

使用GitHub Actions，每日定时爬取论文信息

Primary LanguagePythonMIT LicenseMIT

Paper_Crawler

从各大学术搜索平台上爬论文信息

使用GitHub Actions定时爬取

Usage

1. fork或clone到自己仓库中

2. 修改配置

修改config.ini中配置，其中：

  • page_size: 每次API请求论文数
  • query: 键为主题类别，值为关键字(列表)
  • sort_by: 排序方式
  • sort_order: 升序或降序
  • subjectcategory: 主题(默认已选择部分与安全相关的主题)

3. 爬取数据

每次push或每天在国际标准时间22点（北京时间早上6点）运行。

数据存储在./*_db下。

Currently Supports

  • arXiv

Reference