Pinned Repositories
Albianj2
Albianj是我们设计并开发的一套分布式统一框架。他主要是面向海量数据处理、海 量数据访问、并解决互联网开发中经常会碰到的数据海量增长问题,也一并解决 互联网开发团队中,因开发人员的水平参差不齐而导致的代码质量不可控问题。它主要有简单小巧的IoC,ORM,数据路由,缓存集成,分布式唯一id等等功能。
APDPlat
APDPlat是Application Product Development Platform的缩写,即应用级产品开发平台。
apollo
Apollo(阿波罗)是携程框架部门研发的配置管理平台,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。
appleframework
分布式框架
beatles
中小规模即时流数据分析集群
bugu-mongo
bugu-mongo是一个轻量级的MongoDB Java开发框架,简单易用。
cache-utils
分布式Cache工具
canal
阿里巴巴mysql数据库binlog的增量订阅&消费组件
clover
clover 1、开发server和client端 定时向zk集群发送心跳数据包,利用Java自带的timer程序实现该功能 2、开发整天的monitor程序,用来定时向zk中获取server和client端的心跳数据信息,如果超过指定时间没有收到最新的数据包,那么任务server端或者client端死掉了,此时要删除该server或client端节点,发邮件通知相关人员,记录异常日志到系统日志文件和MongoDB中 3、client端接受创建job请求,将job信息创建到client服务端,并根据job时间规则运行,并将任务信息存储到MongoDB中 4、当client端job运行时候,封装执行任务信息,发送到指定客户端机器,更新client端job执行时间和状态,如不在需要继续运行,那删除job并从MongoDB中删除相关任务信息 5、client端接受删除job请求,client服务端,立即执行删除job并将任务信息从MongoDB中删除 6、client端接受更新job请求,client服务端,立即执行删除job并创建新job,并将任务信息从MongoDB中删除,然后再存储新job信息 7、第一版 使用Netty做消息通讯中间件,存储消息放入Redis中,服务器开启Http请求,客户端 通过 发送Http请求到服务器来处理请求,由于任务太多 redis处理能力不行,放弃该方案 第二版 使用Netty RPC框架,自己开发一个Server端和Client,各种启动指定端口,由于 必须要求Server端和Client必须启动才能进行消息发送,所以感觉非常不灵活,因为放弃该方案 第三版 使用架构组推荐的rocketmq,通过使用发现,很严重问题,消息会重复发送,经常会收到重复的消息,在测试的时候发现,经常发生消息异常和报错,跟架构组刘婷峰沟通说,可能是机器性能不行了,他也不知道具体原因,感觉非常不靠谱,果断放弃 第四版 使用 zeromq,通过在网上查资料,对比各种mq后,发现zeromq是最轻量级,出现消息是最快的,经过测试完全能满足业务,果断使用 8、由于项目中使用zk,自己开发zk使用工具类,定制server端增删改查zk消息以及定制client端增删改查zk消息,功能测试zk,目前打算增加zk watch功能 9、开发server和client端 定时向zk集群发送心跳数据包,利用Java自带的timer程序实现该功能 10、开发整天的monitor程序,用来定时向zk中获取server和client端的心跳数据信息,如果超过指定时间没有收到最新的数据包,那么任务server端或者client端死掉了,此时要删除该server或client端节点,发邮件通知相关人员,记录异常日志到系统日志文件和MongoDB中 11、开发console控制台管理,可以查看任务动态运行状态和次数信息 12、zk管理页面,查看server和client端节点信息,更新和删除节点信息 13、job管理页面,查看job详细信息 14、联系人管理页面,增删改查联系人信息 15、log日志管理页面,根据系统报错记录的日志信息,在页面中可以详细查看
cobar
基于MySQL的分布式数据库服务中间件
MX2015's Repositories
MX2015/beatles
中小规模即时流数据分析集群
MX2015/clover
clover 1、开发server和client端 定时向zk集群发送心跳数据包,利用Java自带的timer程序实现该功能 2、开发整天的monitor程序,用来定时向zk中获取server和client端的心跳数据信息,如果超过指定时间没有收到最新的数据包,那么任务server端或者client端死掉了,此时要删除该server或client端节点,发邮件通知相关人员,记录异常日志到系统日志文件和MongoDB中 3、client端接受创建job请求,将job信息创建到client服务端,并根据job时间规则运行,并将任务信息存储到MongoDB中 4、当client端job运行时候,封装执行任务信息,发送到指定客户端机器,更新client端job执行时间和状态,如不在需要继续运行,那删除job并从MongoDB中删除相关任务信息 5、client端接受删除job请求,client服务端,立即执行删除job并将任务信息从MongoDB中删除 6、client端接受更新job请求,client服务端,立即执行删除job并创建新job,并将任务信息从MongoDB中删除,然后再存储新job信息 7、第一版 使用Netty做消息通讯中间件,存储消息放入Redis中,服务器开启Http请求,客户端 通过 发送Http请求到服务器来处理请求,由于任务太多 redis处理能力不行,放弃该方案 第二版 使用Netty RPC框架,自己开发一个Server端和Client,各种启动指定端口,由于 必须要求Server端和Client必须启动才能进行消息发送,所以感觉非常不灵活,因为放弃该方案 第三版 使用架构组推荐的rocketmq,通过使用发现,很严重问题,消息会重复发送,经常会收到重复的消息,在测试的时候发现,经常发生消息异常和报错,跟架构组刘婷峰沟通说,可能是机器性能不行了,他也不知道具体原因,感觉非常不靠谱,果断放弃 第四版 使用 zeromq,通过在网上查资料,对比各种mq后,发现zeromq是最轻量级,出现消息是最快的,经过测试完全能满足业务,果断使用 8、由于项目中使用zk,自己开发zk使用工具类,定制server端增删改查zk消息以及定制client端增删改查zk消息,功能测试zk,目前打算增加zk watch功能 9、开发server和client端 定时向zk集群发送心跳数据包,利用Java自带的timer程序实现该功能 10、开发整天的monitor程序,用来定时向zk中获取server和client端的心跳数据信息,如果超过指定时间没有收到最新的数据包,那么任务server端或者client端死掉了,此时要删除该server或client端节点,发邮件通知相关人员,记录异常日志到系统日志文件和MongoDB中 11、开发console控制台管理,可以查看任务动态运行状态和次数信息 12、zk管理页面,查看server和client端节点信息,更新和删除节点信息 13、job管理页面,查看job详细信息 14、联系人管理页面,增删改查联系人信息 15、log日志管理页面,根据系统报错记录的日志信息,在页面中可以详细查看
MX2015/deerlet-redis-client
deerlet是一个简单易用的redis for java客户端,支持与spring无缝集成。
MX2015/demo
测试上传项目到 git
MX2015/dubbo
Dubbo is a distributed service framework empowers applications with service import/export capability with high performance RPC.
MX2015/ha-jdbc
High-Availability JDBC
MX2015/hadoop-hdfs
Hadoop分布式文件系统hdfs代码分析
MX2015/hibernate-search-example
hibernate search example(分别使用hibernate、jpa两种方式实现,使用IKAnalyzer、paoding两种分词器实现中文分词)
MX2015/java-redis-search
MX2015/javamail
邮件的收发,在outlook测试成功
MX2015/JCake
JCake是整合了目前Java开发过程中使用最多的:字符串处理、日期处理、邮件处理、文件处理、任务调度处理、HTTP请求处理、MD5/AES加密解密处理的一系列工具类,方便开发人员,减少一些不必要的工作量。
MX2015/jeesite
JeeSite 是一个企业信息化开发基础平台,Java EE(J2EE)快速开发框架,使用经典技术组合(Spring、Spring MVC、Apache Shiro、MyBatis、Bootstrap UI),包括核心模块如:组织机构、角色用户、权限授权、数据权限、内容管理、工作流等。
MX2015/logMonitor
log4j日志的监控系统,采用web形式展现各模块的运行状态,支持邮件短信报警,适用于一般企业大中型业务生成系统的监控;业务模块定时30秒采用json格式输出到文件,
MX2015/mdrill
for千亿数据即席分析
MX2015/moja
moja(熔岩流)是一个跨平台,支持高并发,可集群部署的日志消息队列系统。使用到了Netty,Protobuf,JSON,MongoDB,HDFS,Zookeeper等技术
MX2015/nearbydemo
使用GeoHash索引实现寻找附近的人项目实现。核心算法:GeoHash算法;使用功能:1、显示我附近的人 ;2、由近到远排序 ;3、显示距离;
MX2015/oecp-parent
MX2015/otter
阿里巴巴分布式数据库同步系统(解决中美异地机房)
MX2015/RD_checklist
知道创宇研发技能表 个人简化版,fork from https://github.com/knownsec/RD_Checklist
MX2015/redis
1、mysql数据同步到redis 2、redis里面主键的设计、3、redis和数据库之间的数据同步
MX2015/redis-java-client-profile
The comparative analysis of distributed and linear scalability Redis Java client
MX2015/shop
二维码生成器,中间能嵌入图片
MX2015/super-diamond-enhance
支持集群部署,动态推送,配置一键导出导入,模块管理,全局配置查询等功能,可匹敌disconf
MX2015/tedis
Tedis是另一个redis的java客户端
MX2015/testgit
test
MX2015/testgit2
MX2015/weixin-moffice
根据jfianl 实现的微信公众平台、企业号,快速开发平台
MX2015/wemall
微信商城
MX2015/xultimate-resource
采用Spring MVC,用于在FastDFS分布式文件系统中完成资源管理(上传、删除、下载)的ShowCase。图片类资源的支持实时缩略图功能。缩放、剪裁、水印等功能通过已封装好AWT和im4java进行处理,即支持GraphicsMagick。
MX2015/zeus
Hadoop作业平台