邮箱 : QiuRunZe_key@163.com
Github : https://github.com/qiurunze123
QQ : 3341386488
QQ群 : 453259026
转载等操作请联系我! 我更希望你在我的基础上重新自己写一版
three-high-import 项目意义在于利用多线程进行千万级别导入,实现可扩展
,高性能
,高可用
,高可靠
三个高,本项目可以在千万级别数据实现无差别高性能数据上报
与导入,与普通导入相比性能提高10倍左右,而且规避风险在偶尔的机器宕机,网络波动等情况出现时,仍能够实现数据一致
,数据可靠
,数据重试
,数据报警
等功能,在一些重要数据
例如: 对账 , 账户金额,账单等,需要每日定时任务而且有高风险的数据实现数据无错误!
多线程从基础到进阶,分析入坑出坑,以及工作实操,最后会分享一个项目,针对如何进行大数据量(经测试几亿数据完全搞的定)进行安全高可用的策略,
示例为高可用高可靠高性能 三高导入系统 DEMO分析 ,如何进行数据分片,数据导入,计算,多线程策略等等 本文属于进阶系列,有问题或者更好的想法可以一起探讨!
一点小建议:学习本系列知识之前,如果你完全没接触过 SpringBoot
、CountDownLatch
、线程池
、工作队列
、工作窃取等
等,那么我建议你可以先在网上搜一下每一块知识的快速入门, 也可以下载本项目边做边学习,
我的项目完全是实战加讲解不想写一堆的文章,浪费我们的生命,你还不懂内层含义,想要明白就边实际操作边学习 加油💪💪
- 三高导入项目
- 多线程基础
- 并发容器
- 搞定ThreadLocal
- 线程池
-
线程池
- 多线程安全问题
- JMM多线程内存模型
- JMM多线程内存模型
- 死锁专题分析
- AQS--一切的基础 Doug Lee 是个天才
- Future模式精度分析 Future 模式
- java并行程序基础
- java内存模型和线程安全
- valatile 专题解析
- 无锁类 CAS , ABA , Atomic ......
- 公平锁,非公平锁,可重入锁,递归锁,自旋锁
- 阻塞队列.
- synchronized和lock 的区别 .
- JDK并发包reentrantlock,condition , semaphone ,readwritelock
- countDownLatch
- reentrantlock 源码分析 ReentrantLockDetails
- JDK并发包 ConcurrentHashMap 精度分析
- JDK ForkJoin 模式精度分析
- JDK 单例模式 不变模式 Future模式 生产者 消费者
- NIO AIO 详解
- 并发断点调试 JDK新特性
- 锁优化
- 数据伪共享 false—shareing disruptor
- 原子性小讲
更新此问题的出发点是 disruptor框架和百度的分布式id生成策略 https://github.com/baidu/uid-generator/blob/master/README.zh_cn.md
- 多线程安全问题
https://github.com/qiurunze123/threadandjuc/blob/master/docs/threadinterview.md
千岩万壑不辞劳 远看方知出处高 溪涧岂能留得住 终归大海做波涛 2019/9/24