Scrapy-CVE-CNVD

基于scrapy框架，获取每日最新的CVE和CNVD漏洞，主要目的用于安全研究，获取最新安全咨询，无任何漏洞利用细节，严禁用于非法活动。

为了保证信息的易读性，CVE漏洞详细信息主要参照CNNVD官网信息，可能导致部分CVE无法被收录。更多信息可以通过关注CVE官方的Twitter获取。

Start

Docker-compose部署

修改crontabfile配置邮箱等信息

PATH=/opt/someApp/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
# 个人的账号信息
EMAIL_USER=xxx@163.com
EMAIL_PASS=xxxxxxxxxxxxxx
EMAIL_TO=xxx@163.com
# 10分钟执行一次
*/10 * * * * cd /root/vuls && ./run.sh >> /var/log/cron.log

构建（网络问题多重试几次）

cd Scrapy-CVE-CNVD
docker-compose build

运行（首次运行需等待一段时间）

docker-compose up -d

本地部署

下载项目

git clone https://github.com/ttonys/Scrapy-CVE-CNVD

安装依赖(python3环境)

pip install -r requirements.txt

redis安装----docker

docker pull redis
docker run -itd --name redis-test -p 6379:6379 redis

redis安装----本机

参照网上教程

修改配置，Scrapy-CVE-CNVD/OnePiece/pipelines.py文件36-38行，使用自己注册163邮箱，以及所获取的授权码（非个人密码）

fromaddr = 'xxxx@163.com'
password = 'xxxxxxxxxxxxxx'
toaddrs = 'xxxx@163.com'

修改配置，Scrapy-CVE-CNVD/OnePiece/settings.py文件，配置个人的redis服务器ip、端口和密码

REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
REDIS_PARAMS = {
'password': '123456',
}

修改配置，Scrapy-CVE-CNVD/run.sh中，将路径修改为自己本机的路径，参照如下：

#!/bin/bash
cd /root/Scrapy-CVE-CNVD
/usr/local/bin/scrapy crawl all-redis

测试，将Scrapy-CVE-CNVD路径下文件改为755权限（chmod -R 755 Scrapy-CVE-CNVD），运行./run.sh，查看是否收到邮件通知

添加定时任务，注意使用绝对路径，按照本机实际路径填写，参考如下（每天下午2点半执行）：

30 14 * * * /root/Scrapy-CVE-CNVD/run.sh

Source

国家信息安全漏洞共享平台

https://www.cnvd.org.cn/

国家信息安全漏洞库

http://www.cnnvd.org.cn/

today-cve

https://cassandra.cerias.purdue.edu/CVE_changes/today.html

cve官网

https://cve.mitre.org/

Demo

数据保存