Pinned Repositories
datasophon
It is committed to rapidly implementing the deployment, management, monitoring and automatic operation and maintenance of the big data cloud native platform, helping you quickly build a stable, efficient, elastic and scalable big data cloud native platform.
DataX
DBApi
A no-code tool to build http API from sql. Only need to write sql , then http API generated automatically. Especially suitable for developing backend service for report.
dolphinscheduler
Apache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code
flinkx
基于flink的分布式数据同步工具
HdfsFileCheck
针对下游业务在执行的时候,需要检查文件的依赖,故做此工具。功能:delete HDFS文件、waits直到文件存在、count统计目录下文件个数、write向HDFS写文件、toEmail报错信息发邮件。
HdfsFileMerge
【HDFS小文件合并】功能介绍: HDFS文件块大小为128M,长期使用集群使的文件块过多,小数据文件过多造成集群报警。因此需在对小文件进行合并处理。 注意以下任意参数不可缺失,程序中不设默认参数。 入口函数: com.surq.hdfs.file.merge.Main 参数格式: --inFileType ..........欲合并文件的类型,支持文本类型和压缩格式的gzip(.gz)文件;设为all:压缩input的下的所有文件(spark直接读入路径)。 --outFileType ........合并结果文件的类型,gz:压缩格式;txt:文本格式(除gz之外所有参数全部认为是文本格式)。 --limitFileSize .......压缩结果文件的上限大小,单位M比如:128 --input ...............欲合并文件的路径。 --output ..............合并结果的输出路径。 --ismove...............是否把生成的结果移动到输入路径(input)中,设为true时转移完成后会将output路径删除。 --isdelete.............合并成功后是否把原始数据(input下的欲合并文件)删除。 --toEmail .............报警邮件接收人地址用逗号隔开,设为none将不发送邮件。
incubator-streampark
StreamPark, Make stream processing easier! easy-to-use streaming application development framework and operation platform
Leaf
Distributed ID Generate Service
mall
mall项目是一套电商系统,包括前台商城系统及后台管理系统,基于SpringBoot+MyBatis实现,采用Docker容器化部署。 前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。 后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。
emmataobao's Repositories
emmataobao/datasophon
It is committed to rapidly implementing the deployment, management, monitoring and automatic operation and maintenance of the big data cloud native platform, helping you quickly build a stable, efficient, elastic and scalable big data cloud native platform.
emmataobao/DataX
emmataobao/DBApi
A no-code tool to build http API from sql. Only need to write sql , then http API generated automatically. Especially suitable for developing backend service for report.
emmataobao/dolphinscheduler
Apache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code
emmataobao/flinkx
基于flink的分布式数据同步工具
emmataobao/HdfsFileCheck
针对下游业务在执行的时候,需要检查文件的依赖,故做此工具。功能:delete HDFS文件、waits直到文件存在、count统计目录下文件个数、write向HDFS写文件、toEmail报错信息发邮件。
emmataobao/HdfsFileMerge
【HDFS小文件合并】功能介绍: HDFS文件块大小为128M,长期使用集群使的文件块过多,小数据文件过多造成集群报警。因此需在对小文件进行合并处理。 注意以下任意参数不可缺失,程序中不设默认参数。 入口函数: com.surq.hdfs.file.merge.Main 参数格式: --inFileType ..........欲合并文件的类型,支持文本类型和压缩格式的gzip(.gz)文件;设为all:压缩input的下的所有文件(spark直接读入路径)。 --outFileType ........合并结果文件的类型,gz:压缩格式;txt:文本格式(除gz之外所有参数全部认为是文本格式)。 --limitFileSize .......压缩结果文件的上限大小,单位M比如:128 --input ...............欲合并文件的路径。 --output ..............合并结果的输出路径。 --ismove...............是否把生成的结果移动到输入路径(input)中,设为true时转移完成后会将output路径删除。 --isdelete.............合并成功后是否把原始数据(input下的欲合并文件)删除。 --toEmail .............报警邮件接收人地址用逗号隔开,设为none将不发送邮件。
emmataobao/incubator-streampark
StreamPark, Make stream processing easier! easy-to-use streaming application development framework and operation platform
emmataobao/Leaf
Distributed ID Generate Service
emmataobao/mall
mall项目是一套电商系统,包括前台商城系统及后台管理系统,基于SpringBoot+MyBatis实现,采用Docker容器化部署。 前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。 后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。
emmataobao/spark-hbase