XiongDei/ml-study

知识体系整理

ml-study

竞赛

• datafountain
• tianchi
• flyai

实践平台

• 数据仓库平台(基础层):采集/清洗/维度/建模/查询/用户画像/标签系统/自然语言
• 数据分析平台(业务线):定制报表/自助提数/样本特征/分析报告
• 机器学习平台(产品线):特征工程/训练/评估/部署/AB实验/微软Azure ML Studio/阿里PAI
• 深度学习平台(研究线):特征工程/GpuCluster/ParameterServer/ModelServer...
• 数据分析:网站分析、应用分析、游戏分析、广告分析、传播分析、心流算法、指标说明
• 大规模部署与管理:Docker,Kubenetes,Kubeflow,Horovod

技能体系

• 负载均衡:nginx,lvs,haproxy
• 水平扩展:dubbo
• 邮件系统:james
• 监控系统:zabbix,Grafana
• 统一授权:Apache Directory,OpenLDAP,JumpServer
• 数据存储:mysql,mongodb,cassandra,H2,SQLite,Oracle,SqlServer,FoundationDB
• 高速缓存:redis,memcached,twemproxy,HBase
• 图数据库:neo4j,InfiniteGraph,DEX,InfoGrid,HyperGraphDB,Trinity,AllegroGraph,OrientDB,Apache TinkerPop
• 爬虫采集:Scrapy
• 中文分词:Jcseg
• 日志采集:flume,logstash
• 消息队列:kafka,ActiveMQ,confluent
• 数据清洗:Kettle,DataX,Spark
• 任务调度:Oozie
• 内存文件:tachyon
• 倒排索引:Lucene,Elasticsearch,Solr
• 数据仓库:presto,kylin,hive,Greenplum
• 机器学习:LightGBM,numpy,scikit-learn,sprkml,spss,matlab,octave
• 深度学习:deeplearning4j,Keras,TensorFlow-CN,TensorFlow-Code,Caffe2,PyTorch,CNTK,MXNet,neon,ONNX,ngraph,Chainer,PaddlePaddle,Darknet
• 运营报表:ECharts,jetty,Bootstrap Metronic,ThinkingData
• 资源隔离:Docker,Kubernetes
• RPC框架:Apache Thrift
• 用户画像:Protégé,Jena
• 容灾同步:Redis-XPipe
• 配置管理:Apollo
• 前端框架:Angular,Vue,React,jQuery,Bootstrap
• 后端框架:Spring,Struts,Tomcat,Wamp,Eureka
• 单点登录:Apache Shiro,Spring Security
• 数据平台:Apache Beam,Cloudera Manager
• 实时分析:Apache Flink,Apache Storm,ClickHouse,Apache Druid
• 数据挖掘:IBM SPASS Modeler,IBM SPSS Statistics,RStudio,jupyter,zeppelin,hue,Weka

支撑体系

• 源码构建:jenkins,maven
• 源码管理:Gogs,gitlab,visualsvn
• 依赖关系:mvn-repo,nexus
• 知识管理:confluence,Wiki.js
• 测试用例:TestLink
• 缺陷管理:jira
• 用户管理:crowd
• 操作系统:CentOS,Ubuntu
• 抓包工具:Charles
• 开发工具:NoSQLManager
• 接口管理:yapi,ShowDoc
• 人工智能:Netron,ONNX Tool,ONNX Tutorials,非线性特征区别可视化

编程语言

• Java:https://docs.oracle.com/javase/specs
• Scala:http://www.scala-lang.org
• Python:https://www.python.org
• Julia:https://julialang.org
• GoLang:https://golang.org
• R:https://cran.r-project.org/doc/manuals/r-release/R-intro.html
• C,Conan,GCC,C++语言参考,Boost
• JS:ES5-CN,ES5-EN,ES6-CN,ES6-EN,ES7-EN

公开课

• Andrew Ng:http://open.163.com/special/opencourse/machinelearning.html
• 吴恩达机器学习:https://study.163.com/course/introduction.htm?courseId=1004570029
• Andrew Ng Home:http://www.andrewng.org
• EDX:https://www.edx.org
• Coursera:https://www.coursera.org
• TED:https://www.ted.com
• 网易:https://open.163.com
• Google edu:https://ai.google/education
• 更多推荐:https://www.zhihu.com/question/27952897
• WIKI中文存档,WIKI英文存档
• http://cuijiahua.com/blog/ml/
• https://morvanzhou.github.io/
• Kaggle(世界最大的数据科学家社区):https://www.kaggle.com
• 线性代数:https://www.youtube.com/channel/UCYO_jab_esuFRV4b17AJtAw/videos
• NVIDIA官方培训:https://www.nvidia.com/zh-cn/deep-learning-ai/education/
• AI应用案例:https://www.nvidia.com/zh-cn/deep-learning-ai/industries/ai-innovators/
• AI学习创作音乐:https://soundcloud.com/theaipodcast/ep-34
• AI算法工程师手册:http://www.huaxiaozhuan.com/

优秀论文库

• MIT:http://dspace.mit.edu/
• harvard:https://dash.harvard.edu/
• 科学网:http://www.sciencenet.cn/
• 康奈尔大学手稿论文:https://arxiv.org/

竞赛

• 全国青少年信息学奥林匹克竞赛
• 奥林匹克数学竞赛
• 奥林匹克竞赛

推荐书单

• 概率论与数理统计(第四版)
• 线性代数(原书第9版)
• 数学之美(第二版)
• Python编程 从入门到实践
• R语言实战(第2版)
• 机器学习实战
• 机器学习
• Go语言实战
• 数据仓库工具箱(第3版):维度建模权威指南
• Scala编程实战
• MongoDB权威指南(第2版)
• Elasticsearch服务器开发(第2版)
• Mahout实战
• Java编程**(第4版)
• HBase权威指南
• Hive编程指南
• Hadoop权威指南(第3版)(修订版)
• Spark大数据处理技术

标准算法

• 推荐必读1:http://www.apachecn.org/map/179.html
• 推荐必读2:http://www.apachecn.org/map/145.html
• 机器学习:https://en.wikipedia.org/wiki/Portal:Machine_learning
• 梯度推进:https://en.wikipedia.org/wiki/Gradient_boosting
• PR算法:https://en.wikipedia.org/wiki/PageRank
• Word2vec:https://en.wikipedia.org/wiki/Word2vec
• tf–idf:https://en.wikipedia.org/wiki/Tf%E2%80%93idf
• k-means:https://en.wikipedia.org/wiki/K-means_clustering
• 随机森林:https://en.wikipedia.org/wiki/Random_forest
• 决策树:https://en.wikipedia.org/wiki/Decision_tree_learning
• 支持向量机:https://en.wikipedia.org/wiki/Support_vector_machine
• 贝叶斯分类:https://en.wikipedia.org/wiki/Naive_Bayes_classifier
• K最近邻:https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm
• AdaBoost:https://en.wikipedia.org/wiki/AdaBoost
• 余弦定理:https://en.wikipedia.org/wiki/Law_of_cosines
• 欧式距离:https://en.wikipedia.org/wiki/Euclidean_distance
• PageRank:https://en.wikipedia.org/wiki/PageRank
• 马尔科夫链:https://en.wikipedia.org/wiki/Markov_chain
• SVD奇异值分解:https://en.wikipedia.org/wiki/Singular-value_decomposition
• 布隆过滤器:https://en.wikipedia.org/wiki/Bloom_filter
• CRISP-DM:https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

优质资源

• AiLab
• 人工智能WIKI
• 知识图谱
• AIChallenger全球AI挑战赛
• Google专利搜索
• Google学术搜索
• 顶级的深度学习框架比较
• AI芯片了解一下
• Intel开发人员社区
• 刷刷题库?
• 数学乐
• mathopolis
• mathsisfun
• 阿里巴巴矢量图库

算法选择与知识体系

常用工具

开发工具

• IntelliJ IDEA
• JetBrains CLion
• JetBrains PyCharm
• Visual Studio Code
• Xmanager Enterprise 4
• Axure RP 8

数据分析

• Excel
• Matlab
• Octave:http://www.gnu.org/software/octave
• Power BI Desktop:https://powerbi.microsoft.com/zh-cn/desktop
• Tablau:https://www.tableau.com/zh-cn/products/desktop
• Qlik Sense:http://www.qlik.com/zh-cn/products
• Spss:http://www.spss.com.cn
• R:https://www.r-project.org
• RStudio:https://www.rstudio.com
• Python:https://www.python.org
• Anaconda:https://www.anaconda.com

数据库工具

• NoSQL Manager for MongoDB
• Navicat Premium 12
• JetBrains DataGrip
• Sqldeveloper
• SqlDbx

版本控制

• SourceTree
• TortoiseGit
• TortoiseSVN
• Git
• Gogs
• Gitlab

其他工具

• 7z
• Wps
• VLC media player
• VMware Workstation Pro
• Foxmail
• MarkdownPad 2
• Postman
• Notepad++
• 网易有道词典
• 亿图图示专家
• Google Chrome
• Chrome Extensions Markdown Preview Plus
• LaTex:http://www.ctex.org

游戏相关

• 地图编辑:Valve_Hammer_Editor,Tile Studio,TiledMapEditor,Mappy
• 集成工具:unity3d,Cocos,Egret,Laya
• 纹理处理:Texture Merger
• 数据统计:阿拉丁
• 组织结构:Supercell中台鼻祖

政策法规

• 国务院信息公开
• 《国家职业教育改革实施方案》.2019-02-13
• 《关于拟发布新职业的公示通告》.2019-01-25
• 《中华人民共和国农村土地承包法》.2019-01-07
• 《新一代人工智能发展规划》.2017-07-20
• 《**制造2025》.2015-05-19

其他随记

其他知识

OpenCL:并行编程，https://www.khronos.org/opencl
OpenGL:三维图形
OpenAL:计算机音频
OpenCV:视频图像
C++AMP:

Google

0. 一切以用户为中心，其他一切纷至沓来. Focus on the user and all else will follow.
1. 把一件事做到极致. It's best to do one thing really, really well.
2. 快比慢好. Fast is better than slow.
3. 网络社会需要**. Democracy on the web works.
4. 您不一定要在桌子前找答案. You don't need to be at your desk to need an answer.
5. 不做坏事也能赚钱. You can make money without doing evil.
6. 未知的信息总是存在的. There's always more information out there.
7. 对信息的需求无所不在. The need for information crosses all borders.
8. 不穿西装也可以严肃认真. You can be serious without a suit.
9. 仅有优秀是远远不够的. Great just isn't good enough.
10. 好产品满足人性七宗罪:饕餮、贪婪、懒惰、淫欲、傲慢、嫉妒、暴怒.

git commit

git config --global user.name smartbooks
git config --global user.email smartbooks@qq.com
git remote set-url origin https://smartbooks@github.com/smartbooks/ml-study.git
git push origin [branch]

git tag
git tag -a v0.1 -m 'create message'
git push origin v0.1
git push origin --tags