HongJunRen/ml-study

知识体系整理

ml-study

• tensorflow.google.cn无需梯子
• 发现宇宙的奥秘,方知人类的渺小。
• 发现知识的真谛,方知自己的蛮荒。
• AiLab
• 人工智能:https://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD
• 知识图谱:https://github.com/TeamStuQ/skill-map/blob/master/data/Preview-source-skillmap-PNG.md
• AIChallenger全球AI挑战赛:https://challenger.ai
• 专利搜索:https://patents.google.com
• 学术搜索:https://scholar.google.com
• 顶级的深度学习框架比较
• AI芯片了解一下

前言科技

• 自动驾驶:百度阿波罗
• 区块链:bitcoin,同步财经,gateio
• infinite-band、模型群组

实践平台

• 数据仓库平台(基础层):采集/清洗/维度/建模/查询/用户画像/标签系统/自然语言
• 数据分析平台(业务线):定制报表/自助提数/样本特征/分析报告
• 机器学习平台(产品线):特征工程/训练/评估/部署/AB实验/微软Azure ML Studio/阿里PAI/腾讯DI-X
• 深度学习平台(研究线):特征工程/GpuCluster/ParameterServer/ModelServer...
• 数据分析:网站分析、应用分析、游戏分析、广告分析、传播分析、指标说明
• 大规模部署与管理:Docker,Kubenetes,Kubeflow,Horovod

技能体系

• 负载均衡:nginx,lvs,haproxy
• 水平扩展:dubbo
• 邮件系统:james
• 监控系统:zabbix
• 统一授权:OpenLDAP,JumpServer
• 数据存储:mysql,mongodb,cassandra,H2,SQLite,Oracle,SqlServer,FoundationDB
• 高速缓存:redis,memcached,twemproxy,HBase
• 图数据库:neo4j,InfiniteGraph,DEX,InfoGrid,HyperGraphDB,Trinity,AllegroGraph,OrientDB
• 爬虫采集:Scrapy
• 中文分词:Jcseg
• 日志采集:flume,logstash
• 消息队列:kafka,ActiveMQ,confluent
• 数据清洗:Kettle,DataX,Spark
• 任务调度:Oozie
• 内存文件:tachyon
• 倒排索引:Lucene,Elasticsearch,Solr
• 数据仓库:presto,kylin,hive,Greenplum
• 数据分析:zeppelin,hue,jupyter
• 机器学习:numpy,scikit-learn,RStudio,sprkml,spss,matlab,octave
• 深度学习:deeplearning4j,Keras,TensorFlow,Caffe2,PyTorch,CNTK,MXNet,neon,ONNX,ngraph,Chainer,PaddlePaddle,Darknet
• 运营报表:ECharts,jetty,Bootstrap Metronic
• 资源隔离:Docker,Kubernetes
• RPC框架:Apache Thrift
• 用户画像:Protégé,Jena
• 容灾同步:Redis-XPipe
• 配置管理:Apollo
• 前端框架:Angular,Vue,React,jQuery,Bootstrap
• 后端框架:Spring,Struts,Tomcat,Wamp

支撑体系

• 源码构建:jenkins,maven
• 源码管理:Gogs,gitlab,visualsvn
• 依赖关系:mvn-repo,nexus
• 知识管理:confluence
• 测试用例:TestLink
• 缺陷管理:jira
• 用户管理:crowd
• 操作系统:CentOS,Ubuntu
• 抓包工具:Charles
• 开发工具:NoSQLManager

编程语言

• Java:https://docs.oracle.com/javase/specs
• Scala:http://www.scala-lang.org
• Python:https://www.python.org
• Julia:https://julialang.org
• GoLang:https://golang.org
• R:https://cran.r-project.org/doc/manuals/r-release/R-intro.html
• C/C++:https://en.wikipedia.org/wiki/ANSI_C
• PHP:http://www.php.net

公开课

• Andrew Ng:http://open.163.com/special/opencourse/machinelearning.html
• 吴恩达机器学习:https://study.163.com/course/introduction.htm?courseId=1004570029
• Andrew Ng Home:http://www.andrewng.org
• EDX:https://www.edx.org
• Coursera:https://www.coursera.org
• TED:https://www.ted.com
• 网易:https://open.163.com
• Google edu:https://ai.google/education
• 更多推荐:https://www.zhihu.com/question/27952897
• WIKI中文存档,WIKI英文存档
• http://cuijiahua.com/blog/ml/
• https://morvanzhou.github.io/
• Kaggle(世界最大的数据科学家社区):https://www.kaggle.com
• 线性代数:https://www.youtube.com/channel/UCYO_jab_esuFRV4b17AJtAw/videos
• NVIDIA官方培训:https://www.nvidia.com/zh-cn/deep-learning-ai/education/
• AI应用案例:https://www.nvidia.com/zh-cn/deep-learning-ai/industries/ai-innovators/
• AI学习创作音乐:https://soundcloud.com/theaipodcast/ep-34

优秀论文库

• MIT:http://dspace.mit.edu/
• harvard:https://dash.harvard.edu/
• 科学网:http://www.sciencenet.cn/
• 康奈尔大学手稿论文:https://arxiv.org/

推荐书单

• 概率论与数理统计(第四版)
• 线性代数(原书第9版)
• 数学之美(第二版)
• Python编程 从入门到实践
• R语言实战(第2版)
• 机器学习实战
• 机器学习
• Go语言实战
• 数据仓库工具箱(第3版):维度建模权威指南
• Scala编程实战
• MongoDB权威指南(第2版)
• Elasticsearch服务器开发(第2版)
• Mahout实战
• Java编程**(第4版)
• HBase权威指南
• Hive编程指南
• Hadoop权威指南(第3版)(修订版)
• Spark大数据处理技术

标准算法

• 推荐必读1:http://www.apachecn.org/map/179.html
• 推荐必读2:http://www.apachecn.org/map/145.html
• 机器学习:https://en.wikipedia.org/wiki/Portal:Machine_learning
• 梯度推进:https://en.wikipedia.org/wiki/Gradient_boosting
• PR算法:https://en.wikipedia.org/wiki/PageRank
• Word2vec:https://en.wikipedia.org/wiki/Word2vec
• tf–idf:https://en.wikipedia.org/wiki/Tf%E2%80%93idf
• k-means:https://en.wikipedia.org/wiki/K-means_clustering
• 随机森林:https://en.wikipedia.org/wiki/Random_forest
• 决策树:https://en.wikipedia.org/wiki/Decision_tree_learning
• 支持向量机:https://en.wikipedia.org/wiki/Support_vector_machine
• 贝叶斯分类:https://en.wikipedia.org/wiki/Naive_Bayes_classifier
• K最近邻:https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm
• AdaBoost:https://en.wikipedia.org/wiki/AdaBoost
• 余弦定理:https://en.wikipedia.org/wiki/Law_of_cosines
• 欧式距离:https://en.wikipedia.org/wiki/Euclidean_distance
• PageRank:https://en.wikipedia.org/wiki/PageRank
• 马尔科夫链:https://en.wikipedia.org/wiki/Markov_chain
• SVD奇异值分解:https://en.wikipedia.org/wiki/Singular-value_decomposition
• 布隆过滤器:https://en.wikipedia.org/wiki/Bloom_filter

算法选择与知识体系

常用工具

开发工具

• IntelliJ IDEA
• JetBrains PyCharm
• JetBrains WebStorm
• JetBrains PhpStorm
• Xmanager Enterprise 4
• Atom
• Axure RP 8
• Visual Studio Code
• Android Studio

数据分析

• Excel
• Matlab
• Octave:http://www.gnu.org/software/octave
• Power BI Desktop:https://powerbi.microsoft.com/zh-cn/desktop
• Tablau:https://www.tableau.com/zh-cn/products/desktop
• Qlik Sense:http://www.qlik.com/zh-cn/products
• Spss:http://www.spss.com.cn
• R:https://www.r-project.org
• RStudio:https://www.rstudio.com
• Python:https://www.python.org

数据库工具

• NoSQL Manager for MongoDB
• Navicat Premium 12
• JetBrains DataGrip
• Sqldeveloper
• SqlDbx

版本控制

• SourceTree
• TortoiseGit
• TortoiseSVN
• Git

其他工具

• 7z
• Wps
• VLC media player
• VMware Workstation Pro
• Foxmail
• MarkdownPad 2
• Postman
• Notepad++
• 网易有道词典
• 亿图图示专家
• Google Chrome
• Chrome Extensions Markdown Preview Plus
• LaTex:http://www.ctex.org

政策法规

• 国务院信息公开
• 《国家职业教育改革实施方案》.2019-02-13
• 《关于拟发布新职业的公示通告》.2019-01-25
• 《中华人民共和国农村土地承包法》.2019-01-07
• 《新一代人工智能发展规划》.2017-07-20
• 《**制造2025》.2015-05-19

其他随记

推荐系统

0、推荐候选集
1、决策树二次筛选,决策树IF-THEN规则
2、点击率预估排序
3、推荐结果展示
4、推荐结果反馈
平台组成:
离线处理:偏好矩阵计算、推荐候选集、内容特征(物)，偏好特征(人)，环境特征(地)
混合系统:召回策略、倒排索引、混合策略、点击预估、置顶加权
实验平台:流量分桶、桶分组、实验时间、实验组、特殊条件、实验数据对比/置信度/评估
反馈系统:实验对比、特征拟合

Google

0. 一切以用户为中心，其他一切纷至沓来. Focus on the user and all else will follow.
1. 把一件事做到极致. It's best to do one thing really, really well.
2. 快比慢好. Fast is better than slow.
3. 网络社会需要**. Democracy on the web works.
4. 您不一定要在桌子前找答案. You don't need to be at your desk to need an answer.
5. 不做坏事也能赚钱. You can make money without doing evil.
6. 未知的信息总是存在的. There's always more information out there.
7. 对信息的需求无所不在. The need for information crosses all borders.
8. 不穿西装也可以严肃认真. You can be serious without a suit.
9. 仅有优秀是远远不够的. Great just isn't good enough.
10. 好产品满足人性七宗罪:饕餮、贪婪、懒惰、淫欲、傲慢、嫉妒、暴怒.

git commit

git config --global user.name smartbooks
git config --global user.email smartbooks@qq.com
git remote set-url origin https://smartbooks@github.com/smartbooks/ml-study.git
git push origin [branch]

git tag
git tag -a v0.1 -m 'create message'
git push origin v0.1
git push origin --tags

#一些神奇的数字
nimble-sight-202908
bright-velocity-202909
quick-rarity-202909
cobalt-entropy-202909
trans-opus-202909
macro-duality-202909
amplified-ward-202909
infinite-pad-202909
pristine-cairn-202909