中文 | English
Demo | Documentation | Installation | Run | Screenshot | Architecture | Integration | Compare | Community & Sponsorship
Livy访问查看JOB
Flink1.13.6整合引入最新Flink1.16 OGG-JSON解析
AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios.
It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.
| Component | Description | Important Composition |
|---|---|---|
| dataAI | AI FOR ALL DATA PLATFORM artificial intelligence engine | 人工智能引擎 |
| oneShop | BUSINESS FOR ALL DATA PLATFORM | 商业项目 |
| dataApps | BUSINESS FOR ALL DATA PLATFORM CALCULATION ENGINE | 计算引擎 |
| dataDevops | DEVOPS FOR ALL DATA PLATFORM O&M Engine | 运维引擎 |
| assembly | whole package build | 整包构建 |
| docs | Document | 文档 |
| dataGovern | DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine | 数据治理引擎 |
| dataSync | DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine | 数据集成引擎 |
| dataOds | DATA ODS FOR ALL DATA PLATFORM data acquisition engine | 数据采集引擎 |
| dataOlap | OLAP FOR ALL DATA PLATFORM OLAP query engine | OLAP查询引擎 |
| oneLake | DATABASES FOR ALL DATA PLATFORM distributed storage engine | 分布式存储引擎 |
| oneData | MICROSERVICE FOR ALL DATA PLATFORM distributed storage engine | 微服务 |
商城前台：
mall-shopping-app: 商城App
mall-shopping-app-service: 商城App服务
mall-shopping-wc: 商城小程序
mall-shopping-mobile: 商城前台
mall-shopping-pc: 商城pc端
pcAdminService: 商城pc端服务
mobileService: 商城前台服务（小程序和前台接入此接口）
商城后台：
mall-admin-web: 商城后台
pcAdminService: 商城后台服务log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK，负责收集app客户端数据；
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发；
分布式文件系统：hdfs
分布式数据库：hbase、mongodb、elasticsearch
分布式内存存储系统：rediscompute-mr（离线计算）: Hive、MR
compute-realtime（流计算）: storm、flink
multi-dimension-analysis（多维度分析）: kylin, sparktask-schedular: 任务调度
task-ops: 任务运维
data-face: 数据可视化
data-insight: 用户画像分析system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统，实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s，scala，playframework，docker打包平台。
job-schedule: 任务提交平台
10.1 启动前，打包dubbo-servie项目，进入dubbo目录，
执行mvn clean package -DskipTests=TRUE打包，然后执行mvn install.
10.2 启动dubbo项目，配置tomcat端口为8091
10.3 启动商城项目的多个子系统
10.3.1、前端：启动mall-admin-web项目，进入项目目录，执行npm install，然后执行npm run dev；
10.3.2、后端：启动pcAdminService/mall-admin-search项目，
配置tomcat端口为8092，接着启动pcManage项目，tomcat端口配置为8093；
前台：小程序手机预览，移动端访问：http://localhost:6255
10.3.3、小程序和移动端
10.3.3.1、前端：商城小程序，启动mall-shopping-wc项目，
安装微信开发者工具，配置开发者key和secret，
使用微信开发者工具导入即可，然后点击编译，可以手机预览使用。
10.3.3.2、前端：商城移动端，启动mall-shopping-mobile，
进入项目目录，执行npm install和npm run dev；
10.3.3.3、后端：小程序和移动端用的是同一个后台服务，
启动mobileService项目，进入项目目录，配置tomcat端口8094
10.3.4、商城PC端 访问http://localhost:8099
10.3.4.1、前端：启动mall-shopping-pc项目，
进入项目目录，执行npm install和npm run dev；
10.3.4.2、后端：启动pcAdminService项目，配置tomcat端口为8095；
11.1 容器化部署system-deploy
11.2、自动化运维平台system-devops
11.3、使用Kong作为调用中心网关入口system-api-gateway
11.4、日志中心system-elk
11.5、告警平台system-alarm-platform
11.6 监控系统
11.7 数据采集
11.8 数据展示
11.9 监控中心system-apm
11.10 使用Apollo作为配置中心system-config
## Github大数据平台QQ群号：935658273
