/Minos

一个基于Tornado/mongodb/redis的社区系统。

Primary LanguageJavaScriptOtherNOASSERTION

Minos社区

一个基于Tornado/Mongodb/Redis的简约社区系统。

特点

  • 简单:去除传统社区中多数不常用到的功能,保留精华。(这里向 http://zone.wooyun.org 学习)
  • 高效:
    • mongodb:数据库设计合理,以空间换取时间,尽量减少数据库查询次数。
    • 异步:tornado+motor全异步库,增加web高并发访问效率
    • redis:抛弃php中以文件形式保存session的做法,以redis内存数据库保存session,增加速度。
  • 安全:
    • CSP:全站默认开启CSP,以新一代的前端安全策略防御前端安全问题(包括XSS/CSRF/Clickjacking等)。
    • Secure by default原则:使用默认的安全机制,所有业务逻辑问题为安全让步。不符合安全的业务都没有被加入Minos。tornado框架及其安全理念对Minos的安全有突出贡献。
    • 注入漏洞:tornado不允许嵌套解析,用户通过GET/POST传入的参数只是字符串,不会成为list或dict,所以正常情况下不会造成mongodb的注入。
    • 文件上传:python将不会去解析用户上传的任何文件。另外Minos在用户上传时仍然会检查后缀,为防止XSS。
    • XSS漏洞:Tornado框架原则上所有输出在模板里的变量都会经过“HTML实体化”,包括单引号,一般情况下不会存在XSS漏洞。另外,社区帖子内容为富文本,将经过富文本过滤器Python-XSS-Filter( https://github.com/phith0n/python-xss-filter )过滤并输出。
    • CSRF漏洞:Tornado框架在开启xsrf_cookies后,所有POST表单如果没有Token将不会被接受。Minos默认开启xsrf_cookies,并且所有增删改查操作均通过POST进行。
    • 密码存储:Minos中,用户密码使用bcrypt库计算哈希后存入数据库,加密方法类似Wordpress,不能被简单破译。
  • 稳定:作者女座的性格处理所有已知问题,不允许一个warning。Minos已在debian上稳定运行多日。
  • 响应式:框架AmazeUI是一个mobile first的前端框架,对于各种屏幕的适应性都很好,加上我在手机屏幕大小的情况下隐藏了很多不必要的功能,所以在手机端也能愉快地看文章啦~

架构简要说明

├── controller(所有控制器)
├── download(无用,暂时留着)
├── extends(第三方依赖库)
├── model(伪模块类,主要功能是数据库入库前检测)
├── static(静态文件,能够直接通过HTTP请求)
├── templates(模板)
├── util(通用函数与类库)
├── main.py(运行Server)
├── README.md(项目说明)
├── config.yaml.sample(配置文件示例)
└── requirements.txt(python库依赖)

安装与运行步骤

以下是安装步骤。

  • 安装并运行Mongodb、Redis

    • Mongodb: https://www.mongodb.org/
    • Redis: http://redis.io/
      注意,Mongodb、redis请保持端口不要对外开放(监听127.0.0.1,而不是你的外网IP),或者设置密码。
      注意,mongodb版本需要在2.6及以上!不要直接apt-get安装mongodb,源里的版本普遍比较低!
  • 下载Minos

从github下载最新版Minos源码。

$ git clone https://github.com/phith0n/Minos.git
$ cd Minos
  • 安装依赖项

     $ apt-get install libcurl4-openssl-dev
     $ pip install -r requirements.txt
    

安装中可能出现一些问题,主要原因是安装PIL/bcrypt等库的时候,可能会要求一些Linux下的依赖库。
Mac下安装PIL出错:http://stackoverflow.com/questions/20325473/error-installing-python-image-library-using-pip-on-mac-os-x-10-9
安装bcrypt出错:apt-get install build-essential libssl-dev libffi-dev python-dev
http://stackoverflow.com/questions/22073516/failed-to-install-python-cryptography-package-with-pip-and-setup-py
安装PIL出错:
ImportError: The _imagingft C module is not installed
http://stackoverflow.com/questions/4011705/python-the-imagingft-c-module-is-not-installed
http://stackoverflow.com/questions/4984979/no-module-named-imagingft
一个很怪的问题,我的解决方案是:
pip install pil Pillow
安装Pillow后就好了。
PIP安装PIL失败:
http://stackoverflow.com/questions/21242107/pip-install-pil-dont-install-into-virtualenv
以上是我安装依赖库时遇到的错误和解决方法。依赖库的安装并不属于Minos安装的一部分,Minos需要的都是常见依赖库,相信很多机器上已经装过这些库了。
有失败的再向我报告吧,共同解决。

  • 编写配置文件

源码中有配置文件config.yaml.sample,以yaml语法编写。请根据.sample文件自行修改配置文件中的配置,并将其改名为config.yaml。
配置文件详细说明见后面。

  • 启动Mongodb、Redis、Minos

     nohup ./main.py --host=waf.science --port=8765 --url=http://waf.science &
    

- -host=domain 你的域名,如waf.science,默认为localhost
- -port=port 你的端口,默认为8765
- -url=url 显示在前端的域名*,默认为“http://” + host + “:” + port
--config=config 配置文件所在路径,默认为当前目录下的config.yaml,正常情况下无需修改

* 这里说明一下。Minos需要监听本地一个端口,默认为8765,则用户可以通过localhost:8765访问。但实际生产环境中,Minos一般搭建在内网,并通过nginx等服务器转发至外网,其URL可能是http://waf.science 。那么,url实际上是显示在前端HTML HEAD <base>中的地址,而host与port才是实际上Minos监听的地址。
如果你不用nginx做转发,想直接搭建Minos在外网服务器,那么只需./main.py --port=80 --url=http://yourdomain.com 即可。

  • 运行后没有管理员。你可以在minos根目录下运行:

    python bin/initdb.py

根据提示,输入管理员账号/密码即可新增一个管理员,并初始化数据库(主要是增加一些索引)

Config.yaml

配置文件详细说明。

数据库配置段:

"database":
	"config": "mongodb://localhost:27017/" 
	"db": "minos"
  • config: Mongodb数据库连接语句,格式为:mongodb://user:pass@host:port/
  • db: 数据库名称

session配置段(redis)

"session":
	"db": !!int "1"
	"host": "localhost"
	"port": !!int "6379"
  • db: redis数据库db(redis默认16个db,1就是其中的第2个),默认1
  • host: redis主机地址,默认localhost
  • port: redis端口号,默认6379
  • password: redis密码,没有则不用填写

全局配置段

"global":
  "captcha":
    "comment": !!bool "true"
    "login": !!bool "false"
    "register": !!bool "true"
  "cookie_secret": !!python/unicode "secret-key"
  "imagepath": "./static/upimg"
  "init_money": !!int "10"
  "invite_expire": !!int "604800"
  "register": !!python/unicode "open"
  "intranet": !!bool "false"
  "debug": !!bool "true"
  "site":
    "description": "站点描述"
    "keyword": "站点关键词"
    "webname": "站点名称"
  "email":
    "method": "none"
    "url": "https://api.mailgun.net/v3/domain"
    "key": "key-xxxxx"
    "sender": "root@domain"

global段中的所有配置项,均会被注册(覆盖默认的)成为tornado中settings的键。

  • captcha: 配置在评论、注册、登录时,是否需要填写验证码。
  • cookie_secret: Cookie认证密钥、全站加密密钥,请填写一个随机字符串,并不要被他人知道!!否则将会造成用户信息泄露。
  • imagepath: 图片上传相对地址
  • init_money: 用户注册后初始金币数
  • invite_expire: 邀请码过期时间(单位秒)
  • register: 注册类型,有open、invite、close,分别为开放注册、邀请注册、关闭注册。
  • intranet: Minos是否运行于内网(是否为nginx转发),默认false
  • debug: 是否开启调试模式,默认false。
  • site: 站点的页面配置,分别有站点名称、关键词、描述。
  • email: 站点email配置,现仅有一种方式,mailgun。

以上配置中,captcha、cookie_secret、init_money、register、site可以在管理员后台进行修改,所以不必在安装时填写。
cookie_secret在后台修改时,需要Minos下次启动才会生效,谨记。

邮件配置

在config.yaml这一节中并没有详细说到email这一节点。
email是Minos发送邮件的邮件服务器配置,Minos将在用户允许的情况下,在发送站内提醒的同时通过邮件进行提醒。在用户填写了邮箱的情况下,也可以通过邮箱来找回密码。
现在暂时只支持调用maingun的API进行邮件的发送。Mailgun是国外一个非常好的免费邮件服务商,我们可以在mailgun获得一个API,通过HTTP请求发送邮件。
Mailgun地址:https://mailgun.com/
使用教程我就不多说了,Mailgun自己有详细说明。

  "email":
    "method": "none"
    "url": "https://api.mailgun.net/v3/domain"
    "key": "key-xxxxx"
    "sender": "root@domain"

配置中,method的值为none时,将不发送邮件。
method为mailgun,则使用mailgun的方式发送邮件。当使用mailgun的方式发送邮件时,你需要填写url、key,即为mailgun给你的API Base URL和API Key。
sender是邮件中显示的发件人,格式可以邮箱,或者是类似如下:

Excited User <mailgun@domain.com>

格式:昵称 <邮箱>

使用nginx进行反向代理

这是很重要的一章,我建议所有使用Minos的用户都使用nginx作为前端服务器。
nginx简单配置如下(余下提高性能的配置自行设定):

location ^~ /static/
{
        root /home/wwwroot/minos;
        expires      30d;
}

location / {
        proxy_pass_header Server;
        proxy_set_header   Host $host;
        proxy_set_header   X-Real-IP  $remote_addr;
        proxy_pass         http://127.0.0.1:8765;
}

程序默认监听在8765端口,所以proxy_pass http://127.0.0.1:8765; (你需要根据你指定的端口来配置)
proxy_set_header X-Real-IP $remote_addr;
这个很重要,因为Minos运行在内网,所以在程序中获取的remote_ip是网关(nginx)的IP,所以在这里我们一定要将真实IP通过X-Real-IP传递过去。
同时,config.yaml中有一项为“intranet”(是否运行于内网),实际上就是影响IP获取的来源。如果intranet==True的话,IP将从X-Real-IP中获取。如果intranet==False的话,IP将直接从remote_ip获取。 所以我们需要将intranet设置为true。

后续更新

请在非网站目录重新git clone一个minos(为防止更新程序出错破坏源代码),在这个minos根目录下执行其中的bin/update.py

python bin/update.py

则会自动调用git下载最新版Minos,完成后会提示用户输入网站目录,输入网站目录(如 /home/minos),则update.py会自动检查是否存在改动并进行覆盖更新。
执行完成后,重启minos即可完成更新。

注意事项

  1. Minos理论上支持py2/3,但实际上稳定运行于python2。而python3并没有测试。
  2. Minos不能也永远不会支持Windows环境,所以请不要在Windows下运行Minos。
  3. Minos无需初始化数据库,直接运行mongodb即可,无需手工创建db、table等。

TODO

  1. 增加SMTP方式的邮件发送方法。
  2. 编写测试脚本,在py2/3环境下进行测试。
  3. 增加多语言支持。
  4. 增加网站底部自定义,使之可以填写:备案信息、统计代码等。

LICENSE

开源协议:MPL
请遵守MPL协议,对Minos进行二次开发与使用。
你可以对Minos进行修改、使用,但版权属于原作者,未经作者许可不允许进行商业使用。

enter image description here