/SecurityDaily

一款用于搜集安全社区各种资讯(博客、公告、情报)的工具

Primary LanguagePythonGNU General Public License v3.0GPL-3.0

SecurityDaily

一款用于搜集安全社区各种资讯(博客、公告、情报)的工具,由原BlogSpider项目迁移而来,将更加关注信息搜集的功能。

重要更新

将开发新的AI总结功能,将获取到的网页文本类容做简要概括并展示,提高阅读效率。

任务配置页面:

结果展示页面:

知识早餐计划

就像身体需要吃早餐,头脑也需要补充知识

每个早晨,打开工具,让它帮你获取先知、安全客、freebuf、嘶吼等安全社区的资讯,进步源于不断学习。

特性

  • 以xpath表达式作为爬虫的规则库
  • 以web形式向用户提供服务、结果展示
  • 采用协程机制,加快爬取效率
  • 支持MySQL、SQLite两种数据库

即将开发:

  • 支持设置定时任务保证固定周期自动爬取数据
  • 支持AI能力对文章内容快速总结并展示

安装

1.下载源码

git clone https://github.com/L1nf3ng/SecurityDaily.git -b main

2.安装依赖

cd SecurityDaily && python -m pip install -r requirements.txt

3.配置数据库

本项目支持两种数据库:


如果使用的是MySQL数据库,将项目根目录下的mysql.sql文件拷入某个系统目录(例如:/home/),然后进入MySQL执行脚本:

> source /home/mysql.sql

执行完会新建一个名为SecurityDaily的数据库,对某个mysql用户授予该数据库的全部权力:

> grant all on SecurityDaily.* to 'your_mysql_account'@'%'; flush privileges;

切换到项目dashboard目录下的config.py文件,配置对应的MySQL连接参数。


如果使用的是SQLite数据库(本地数据库),则在项目根目录下创建名为SecurityDaily.db的数据库,进入该数据库后,执行:

>.read sqlite3.sql


数据库通过config.py文件DATABASE_TYPE参数切换。

4.运行项目

回到项目根目录,运行:

# 如果是linux
export FLASK_APP=dashboard
# 如果是CMD
set FLASK_APP=dashboard
# 如果是PowerShell
$env:FLASK_APP=dashboard

python -m flask run

或者进入dashboard文件夹:

python __init__.py