亚马逊大爬虫可视化界面Web端

此为亚马逊BI产品网站端，没有爬虫端，这个网站端没有价值，请先启动爬虫端。

亚马逊四站BI产品分布式爬虫端见： Full Golang Automatic Amazon Distributed crawler|spider (USA, Japan, Germany and UK) | 亚马逊四站BI产品分布式爬虫端

v2.0

支持用户权限控制, 精确到每个操作
支持报告数据功能, 允许统计亚马逊产品UV,PV等
支持多站点亚马逊爬虫数据汇聚
支持Asin产品库查找
支持定义类目, 控制爬虫端爬虫策略
支持亚马逊商品大类数据/小类数据查询/筛选
支持数据导出
支持单商品历史趋势查看

此Web框架已经优化，改BUG，定制成为另外的强大的网站，见https://www.github.com/hunterhug/rabbit

请安装Golang1.8环境和Mysql数据库，如何安装请百度。

文件目录

----conf 配置文件夹

	----app.conf 		应用配置文件
	----local_**.ini 	国际化文件

----controllers 控制器
	----admin	后台控制器
		----blog 博客模块
		----rbac 权限模块
	----home 	前台控制器

-----lib 公共库
-----file 上传文件保存地址
-----models ORM模型
	----admin RBAC主要数据库
	----blog 博客主要数据库
	----home 

----routers 路由
----static  静态文件
----views	视图
	----admin 	后台视图
		----default 默认主题
	----home 	前台视图
		----default 默认主题

----log 日志
----doc 说明文档
----test 测试文件夹

运行步骤

1.获取代码

go get -u -v github.com/hunterhug/AmazonBigSpiderWeb
或者
git clone https://www.github.com/hunterhug/AmazonBigSpiderWeb

2.配置MYSQL数据库，更改配置文件conf/app.conf中密码，将459527502改为你的密码，用户名仍然为root

httpport = 8080
db_host = 127.0.0.1
db_port = 3306
db_user = root
db_pass = 459527502
db_name = beauty
db_type = mysql
db_prefix = tb_
usadatadb = root:459527502@tcp(127.0.0.1:3306)/smartdb?charset=utf8
usabasicdb = root:459527502@tcp(127.0.0.1:3306)/smart_base?charset=utf8
usahashdb = root:459527502@tcp(127.0.0.1:3306)/smart_hash?charset=utf8
jpdatadb = root:459527502@tcp(127.0.0.1:3306)/jp_smartdb?charset=utf8
jpbasicdb = root:459527502@tcp(127.0.0.1:3306)/jp_smart_base?charset=utf8
jphashdb = root:459527502@tcp(127.0.0.1:3306)/jp_smart_hash?charset=utf8
dedatadb = root:459527502@tcp(127.0.0.1:3306)/de_smartdb?charset=utf8
debasicdb = root:459527502@tcp(127.0.0.1:3306)/de_smart_base?charset=utf8
dehashdb = root:459527502@tcp(127.0.0.1:3306)/de_smart_hash?charset=utf8
ukdatadb = root:459527502@tcp(127.0.0.1:3306)/uk_smartdb?charset=utf8
ukbasicdb = root:459527502@tcp(127.0.0.1:3306)/uk_smart_base?charset=utf8
ukhashdb = root:459527502@tcp(127.0.0.1:3306)/uk_smart_hash?charset=utf8

运行过程中如果数据库连接爆了，请编辑MYSQL配置文件，添加以下（百度可得），ulimit也需改大。

[mysqld]
max_connections = 15000
max_connect_errors = 6000
open_files_limit = 65535
table_open_cache = 1000

3.初始化基本数据库

go build main.go 
./main -s=1

以上为初始化基本数据库beauty，你还需要自行增加uk_smart_base等八个数据库以及80*4=320个Hash分表数据库，此类数据库初始化请参考爬虫端

4.运行

go build main.go
./main
或者
go run main.go
或者
bee run

5.其他设置

文件上传下载目录加权限:

mkdir file
chmod 777 file

mkdir file/back
mkdir file/data

6.使用

打开浏览器：http://127.0.0.1:8080即可登录，账号密码为admin，admin

项目约定

RBAC权限相关的models统一放在admin文件夹，其他都放在home文件夹. 前台控制相关的controllers统一放在home文件夹，其他都放在admin文件夹 URL router统一M/C/A方式，该正则url需要验证权限，如rbac/public/index，其他如public/index不验证。