jobsVisualization

可视化筛选你中意的工作。

Inspired by bokeh example app movies

该项目的的可视化和交互部分由bokeh驱动，近期@DonaldDai同学在做bokeh文档的翻译工作,欢迎大家参与。项目地址为：Bokeh-CN

Usage(local/dev)

git clone https://github.com/wwj718/jobsVisualization
virtualenv jobs_env
. jobs_env/bin/activate
pip install -r jobsVisualization/requirements.txt
为了加快安装进度你可以：pip install -r jobsVisualization/requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
bokeh serve --show jobsVisualization

demo

jobs.just4fun.site/jobsVisualization (建议用chrome打开，数据比较多，可能要加载一会儿，这是个待优化地方)

开发环境

mac OSX python2.7

依赖

原始数据：lagouSpider-newest.csv
- 来自于我的爬虫项目:jobSpider
pandas
bokeh 0.11.1
在ubuntu下可能需要python-dev

浏览器兼容性

在max osx下dev状态的应用兼容对html5友好的浏览器：chrome/firefox/safiri
在ubuntu14.04下部署的应用，仅支持chrome，尚不清楚原因，似乎是静态文件出现了乱码（怀疑是nginx的缘故）

todo

封装到docker，采用-v把目录映射进去
- 自行编译dockerfile（基于pandas）,看看其他python库如何编译
  - https://github.com/Jim-Holmstroem/docker-bokeh
  - 如何映射目录

优化

计算在server，交互在client，往返传输数据太大,响应迟钝

策略

思路1：原始数据存在浏览器端，远程用pandas做分析，只传输item_id
思路2：爬虫的爬取结果允许下载，项目跑在本地，远程响应速度太慢

生产环境/部署

ubuntu12.04
nginx
参考：
- http://bokeh.pydata.org/en/latest/docs/user_guide/server.html#userguide-server-deployment-automation
- https://github.com/bokeh/demo.bokehplots.com/tree/master/bokeh

收集静态文件：

cp -r `bokeh info --static` /home/wwj/jobsVisualization/static

启动进程：bokeh serve jobsVisualization --host jobs.just4fun.site --port 5100

nginx反向代理：

server {
    listen 80 ;
    server_name jobs.just4fun.site;

    access_log  /tmp/bokeh.access.log;
    error_log   /tmp/bokeh.error.log debug;

    location / {
        proxy_pass http://127.0.0.1:5100;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_http_version 1.1;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $host:$server_port;
        proxy_buffering off;
    }
    location /apps/static {
                alias /home/wwj/jobsVisualization/static;
            }

}

代码风格

采用google的yapf来统一代码风格

yapf -i filename.py

EmotionalZ/jobsVisualization