Pinned Repositories
bi_development_source_code
传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHouse做为中间数据存储源，通过视图关联构建大数据集，解决亿万级数据的即时分析性能，再辅以强大的数据可视化设计前端，通过用户自定义菜单和模板进行呈现，实现用户的自助式分析和探索。通过灵活的预警功能，设置一些自定义的监控指标，当监控指标超过异常值时，系统会自动以短信、邮件或微信、钉钉等消息推送至相关人员,变原来的被动查询为主动推送,这样就能够及时发现问题。通过结合人工智能算法的预测模型，可以就未来的趋势做一下预测。通过以上的技术实现，实现企业不同数据源的集中整合，统一呈现。
haoge0406's Repositories
haoge0406/bi_development_source_code
传统大数据分析工具以Hadoop、Spark为代表，集成了大量的技术框架， 对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHouse做为中间数据存储源，通过视图关联构建大数据集，解决亿万级数据的即时分析性能，再辅以强大的数据可视化设计前端，通过用户自定义菜单和模板进行呈现，实现用户的自助式分析和探索。通过灵活的预警功能，设置一些自定义的监控指标，当监控指标超过异常值时，系统会自动以短信、邮件或微信、钉钉等消息推送至相关人员,变原来的被动查询为主动推送,这样就能够及时发现问题。通过结合人工智能算法的预测模型，可以就未来的趋势做一下预测。通过以上的技术实现，实现企业不同数据源的集中整合，统一呈现。