Pinned Repositories
alibaba-mom
2015 ali中间件比赛项目，1. 通信模块： 涉及到了消息架构设计，每一个主题分配1-2个队列，这个是可以横向增加，考虑到了一个主题有多个消费者订阅，而且还有过滤条件，为了负载均衡，对应的队列投递消息是根据随机数对队列数取膜完成的。以上是内存队列。 2. 持久化系统：因为考虑到机器坏掉，broker不可用等等原因导致的消息丢失，就需要每次收到的消息必须及时落盘，这个就是比赛优化的重中之重。为此设计了一个小型的文件系统，借鉴阿里的rocketmq. 用一个大的日志文件，一般1G大小每个，和内存队列的结构映射到实体队列。整个日志文件是顺序文件，每条消息固定大小，里面有对应的队列号，消息号，还有长度等等。这个方便恢复消息到实体队列用的。 同步刷盘，异步刷盘，持久化必须可靠，所以一般是同步刷盘到日志文件，日志文件定时异步刷盘到实体队列，实体队列里面是索引，消息的本体在日志文件里面。为了加快大面积的写入速度，用了内存映射：内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间
architect-awesome
后端架构师技术图谱
AvatarMQ
AvatarMQ is a distributed message queue system based on Netty (Java-NIO framework).
BigDataTools
tools for bigData
Blog
每周一篇，内容精简，不咸不淡，期盼探讨。微信公众号：芋道源码【纯源码分享公众号】
CoolplaySpark
酷玩 Spark: Spark 源代码解析、Spark 类库等
rcf
Rcf is a framework based on the netty transport protocol framework
Smt
some codes for learning netty,thread for upload,download
SparkExamples
some examples for spark
timing
Distributed scheduler
winstonelei's Repositories
winstonelei/BigDataTools
tools for bigData
winstonelei/Smt
some codes for learning netty,thread for upload,download
winstonelei/architect-awesome
后端架构师技术图谱
winstonelei/rcf
Rcf is a framework based on the netty transport protocol framework
winstonelei/timing
Distributed scheduler
winstonelei/SparkExamples
some examples for spark
winstonelei/alibaba-mom
2015 ali中间件比赛项目，1. 通信模块： 涉及到了消息架构设计，每一个主题分配1-2个队列，这个是可以横向增加，考虑到了一个主题有多个消费者订阅，而且还有过滤条件，为了负载均衡，对应的队列投递消息是根据随机数对队列数取膜完成的。以上是内存队列。 2. 持久化系统：因为考虑到机器坏掉，broker不可用等等原因导致的消息丢失，就需要每次收到的消息必须及时落盘，这个就是比赛优化的重中之重。为此设计了一个小型的文件系统，借鉴阿里的rocketmq. 用一个大的日志文件，一般1G大小每个，和内存队列的结构映射到实体队列。整个日志文件是顺序文件，每条消息固定大小，里面有对应的队列号，消息号，还有长度等等。这个方便恢复消息到实体队列用的。 同步刷盘，异步刷盘，持久化必须可靠，所以一般是同步刷盘到日志文件，日志文件定时异步刷盘到实体队列，实体队列里面是索引，消息的本体在日志文件里面。为了加快大面积的写入速度，用了内存映射：内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间
winstonelei/AvatarMQ
AvatarMQ is a distributed message queue system based on Netty (Java-NIO framework).
winstonelei/Blog
每周一篇，内容精简，不咸不淡，期盼探讨。微信公众号：芋道源码【纯源码分享公众号】
winstonelei/CoolplaySpark
酷玩 Spark: Spark 源代码解析、Spark 类库等
winstonelei/Distributed-Kit
Distributed lock implementation using Redis and Zookeeper.基于redis和zookeeper分布式工具集-包括:分布式锁实现,分布式速率限制器,分布式序列等
winstonelei/Interview-Notebook
:books: 技术面试需要掌握的基础知识整理，欢迎编辑~
winstonelei/jafka
a fast and simple distributed publish-subscribe messaging system (mq)
winstonelei/Jupiter
Jupiter是一款性能非常不错的, 轻量级的分布式服务框架
winstonelei/my-flink-project
winstonelei/netty-action
☘️Netty in action
winstonelei/notes
winstonelei/NyPython
Python写的一些小工具---验证码识别，极验验证码破解，抓包工具嗅探器等
winstonelei/presto
Distributed SQL query engine for big data
winstonelei/storm
Mirror of Apache Storm