fofa 2.0

简介

fofa的理想是建立一个针对全球范围的最全的网站数据信息库，提供给网民（更多的是安全技术研究人员）进行查询。比如可以做CMS识别等等。

运行环境：redis、mysql、sphinx

运行

$ git clone https://github.com/LubyRuffy/fofa.git
$ cd fofa
$ bundle install
配置和启动es
配置和启动redis
配置和启动mysql
配置database.yml，编辑es,redis和mysql服务器地址端口
如果MySQL结构都建立了，es和redis都启动了，那么：
$ rake fofa:restart_all

elasticsearch配置

搭建好es服务器，然后配置database.yml。

mysql配置

搭建好服务器，然后配置database.yml。通过rake db:schema:load来生成数据库结构，这时数据是空的。

redis配置

搭建好服务器，然后配置database.yml。

管理web服务器:

rake fofa:start_unicorn
rake fofa:stop_unicorn
rake fofa:restart_unicorn

管理worker

worker就是用来执行任务的（也就是爬虫）

rake fofa:start_workers
rake fofa:stop_workers
rake fofa:restart_workers

查看任务：

本机调试时可以通过127.0.0.1/sidekiq来查看任务队列执行情况。

附带工具：

db_link_crawler.rb 从数据库中取body分析所有url提交到任务队列的工具
analysis_fingerprint_from_urls.rb 提供满足某cms指纹的几个URL，自动分析出查询的关键字
anaylysis_daemon.rb 放到crontab -e里面执行的脚本，用于更新统计报表
link_crawler.rb 输入一个其实url，递归爬行host的工具，只爬首页
addhost.rb 测试模拟处理url的工具，可以制定是否强制刷新（默认90天内更新的不会处理）

可选cron任务：

每天3点更新一下统计数据： 03 00 * * * $SS_DIR/fofa/tools/anaylysis_daemon.rb >> $SS_DIR/analysis_cms_crontab.log

查看redis任务队列：

watch -n 5 redis-cli -hlocahost llen fofa:queue:process_url 如果数据库不同，记得修改-n参数 watch -n 5 redis-cli -n 15 -hlocahost llen fofa:queue:process_url

漏洞测试：

./fofacli/fofacli.rb elasticsearch_rce_CVE-2014-3120.rb 'fofaquery=(header="application/json" && body="build_hash") || body="You Know, for Search"' e
./fofacli/fofacli.rb oa80000_default_account.rb fofaquery='body="/OAapp/WebObjects/OAapp.woa"' e
通过FOFA_PROXY=1.1.1.1:8080这种形式来设置代理

数据导入（主要是exploits）：

初次结构建立：RAILS_ENV=production rake db:migrate 每次更新exploits后： RAILS_ENV=production ./tools/import_exploits_to_db.rb

处理URL需要注意的坑：

一个主机带所有端口的形式，这种一般是用来做关键字的垃圾数据，丢弃
一个ip用不同的进制形式表现，也是做关键字的垃圾数据，丢弃。参考：http://www.pc-help.org/obscure.htm
很多GFW原因导致不可以访问的网站需要丢弃（在尝试请求多次失败后，自动加入黑名单，不用去配置）
泛解析域名，通常是随机生成固定的字符串，大多也是做游戏广告等关键字的垃圾站，丢弃

JohnChu101/fofa