Pinned Repositories
-python-BAT-
针对常见的BAT公司中的大数据面试和笔试问题,列出解决思路,并使用python来实现
2016CCF_BDCI_Sougou
【源码以及PPT分享】2016CCF大数据与计算智能大赛:精准营销中搜狗用户画像挖掘
2016CCF_StateGrid_UserProfile
1st Place Solution for【2016CCF大数据竞赛 客户画像赛题(用户画像)】
2017-JDD-Global-Data-Explorer-Competition
2017京东金融全球数据探索者大赛(3rd place)
2018-CCF-BDCI-China-Unicom-Research-Institute-top2
2018-CCF大数据与计算智能大赛-面向电信行业存量用户的智能套餐个性化匹配模型联通赛-复赛第二名解决方案
2018-KUAISHOU-TSINGHUA-Top13-Solutions
2018中国高校计算机大赛--大数据挑战赛 Top 13-Solutions
alibaba-middleware-race-preliminary
2016年阿里中间件性能挑战赛初赛题,RocketMQ+JStorm+Tair实时统计双11交易金额
alibaba-mom
2015 ali中间件比赛项目,1. 通信模块: 涉及到了消息架构设计,每一个主题分配1-2个队列,这个是可以横向增加,考虑到了一个主题有多个消费者订阅,而且还有过滤条件,为了负载均衡,对应的队列投递消息是根据随机数对队列数取膜完成的。以上是内存队列。 2. 持久化系统:因为考虑到机器坏掉,broker不可用等等原因导致的消息丢失,就需要每次收到的消息必须及时落盘,这个就是比赛优化的重中之重。为此设计了一个小型的文件系统,借鉴阿里的rocketmq. 用一个大的日志文件,一般1G大小每个,和内存队列的结构映射到实体队列。整个日志文件是顺序文件,每条消息固定大小,里面有对应的队列号,消息号,还有长度等等。这个方便恢复消息到实体队列用的。 同步刷盘,异步刷盘,持久化必须可靠,所以一般是同步刷盘到日志文件,日志文件定时异步刷盘到实体队列,实体队列里面是索引,消息的本体在日志文件里面。为了加快大面积的写入速度,用了内存映射:内存映射文件首先将外存上的文件映射到内存中的一块连续区域,被当成一个字节数组进行处理,读写操作直接对内存进行操作,而后再将内存区域重新映射到外存文件,这就节省了中间频繁的对外存进行读写的时间,大大降低了读写时间
aliMusic
🎼天池阿里音乐流行趋势预测大赛,项目中涵盖了从初赛到复赛的全部核心代码。复赛的聚合数据可以在百度网盘下载,更详细的思路介绍欢迎访问我的博客。
ansj_seg
ansj分词.ict的真正java实现.分词效果速度都超过开源版的ict. 中文分词,人名识别,词性标注,用户自定义词典
bjgyl's Repositories
bjgyl/2016CCF_StateGrid_UserProfile
1st Place Solution for【2016CCF大数据竞赛 客户画像赛题(用户画像)】
bjgyl/2018-KUAISHOU-TSINGHUA-Top13-Solutions
2018中国高校计算机大赛--大数据挑战赛 Top 13-Solutions
bjgyl/alibaba-middleware-race-preliminary
2016年阿里中间件性能挑战赛初赛题,RocketMQ+JStorm+Tair实时统计双11交易金额
bjgyl/aliMusic
🎼天池阿里音乐流行趋势预测大赛,项目中涵盖了从初赛到复赛的全部核心代码。复赛的聚合数据可以在百度网盘下载,更详细的思路介绍欢迎访问我的博客。
bjgyl/ansj_seg
ansj分词.ict的真正java实现.分词效果速度都超过开源版的ict. 中文分词,人名识别,词性标注,用户自定义词典
bjgyl/awesome-java-cn
Java资源大全中文版,包括开发库、开发工具、网站、博客、微信、微博等,由伯乐在线持续更新。
bjgyl/awesome-programming-books
经典编程书籍大全,涵盖:计算机系统与网络、系统架构、算法与数据结构、前端开发、后端开发、移动开发、数据库、测试、项目与团队、程序员职业修炼、求职面试等
bjgyl/awesome-python-cn
Python资源大全中文版,包括:Web框架、网络爬虫、模板引擎、数据库、数据可视化、图片处理等,由伯乐在线持续更新。
bjgyl/gentelella
Free Bootstrap 3 Admin Template
bjgyl/Interview_BigData
关于大数据的面试题,包括hadoop、hbase、hive、spark、storm、zookeeper、kafka、flume、logstash、redis、ELK、ETL、算法等等,持续更新中
bjgyl/Java
27天成为Java大神
bjgyl/JavaGuide
【Java学习+面试指南】 一份涵盖大部分Java程序员所需要掌握的核心知识。
bjgyl/JCSprout
👨🎓 Java Core Sprout : basic, concurrent, algorithm
bjgyl/jd
2017 Global Data Challenge Hosted by JD Finance / JDD—2017京东金融全球数据探索者大赛 金融信贷需求预测
bjgyl/jim-framework
一些公共组件及学习应用:RPC/统一配置中心/基于注解的分布式锁/dubbo请求级缓存/调用链追踪/RabbitMQ/Elasticsearch/zookeeper/Sping boot
bjgyl/JStorm
JStorm源码学习:主要包含Storm集群启动、Nimbus启动、Supervisor启动、Executor创建和启动
bjgyl/lcxspring
bjgyl/Linux-Tutorial
《Java 程序员眼中的 Linux》
bjgyl/netty-4-user-guide-demos
Demos of Netty 4.x User Guide 《Netty 4.x 用户指南》中文翻译,文中用到的例子源码
bjgyl/PoseidonX
poseidonX 是一个基于jstorm和flink的一体化实时计算服务平台
bjgyl/server
bjgyl/solo
:guitar: 一款小而美的 Java 博客系统。https://hacpai.com/tag/solo
bjgyl/spark-ai-summit-europe-2018-10
Spark+AI Summit Europe 2018 PPT下载[共95个]
bjgyl/spark-summit-north-america-2018-06
spark-summit-north-america-2018-06, More detail please visit
bjgyl/spring-boot-api-project-seed
:seedling::rocket:一个基于Spring Boot & MyBatis的种子项目,用于快速构建中小型API、RESTful API项目~
bjgyl/ssm
手把手教你整合最优雅SSM框架:SpringMVC + Spring + MyBatis
bjgyl/symphony
:notes: 一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)平台。https://hacpai.com
bjgyl/technology-talk
汇总java生态圈常用技术框架、开源中间件,系统架构、项目管理、经典架构案例、数据库、常用三方库、线上运维等知识
bjgyl/tianchi_lvcai
天池竞赛Baseline分享(2018广东工业智造大数据创新大赛——智能算法赛,线上0.921无调参)
bjgyl/UserActionAnalyzePlatform
电商用户行为分析大数据平台