/DeepLearning-Notes-1

...

记录DeepLearning学习过程

目录

如何免费运行 Python 深度学习程序 & 撸羊毛：

  1. 谷歌的 Colaboratory
  2. 亚马逊：利用AWS学习深度学习 For Udacity P5（第二篇：AWS 注册）
  3. （待补充……

深度学习调参：

图像标注 - labelme - 图像分割：

  • wkentaro/labelme | 图片标注工具Labelme的安装及使用方法 | labelme标注的数据分析 | 图像语义分割标注工具labelme制作自己的数据集用于mask-rcnn训练 | …

    Windows 下安装：

    pip install pyqt5  # pyqt5 can be installed via pip on python3
pip install labelme

    如上默认安装的是 labelme 最新版，此时我的版本是：3.14.1

    注1：本人使用 labelme 进行进行标注得到 json 文件，然后使用 labelme_json_to_dataset 转换的时候，得到的 label.png 为彩色，而非黑色图像，看评论有人说是版本问题…

    注2：然后我安装了 labelme 旧版 2.9.0，pip install labelme==2.9.0，发现这个版本 labelme_json_to_dataset 命令生成的 label.png 文件确实是全黑色，并且是 16 位深度的。

    然后我使用 cv2.imread(“label.png”) 读取发现得到的数值最小最大都是0；使用 cv2.imread(label.png”, 2) 读取发现得到的数值最小是0，最大是1，为什么呢？后来知道了。先看 opencv imread()方法第二个参数介绍 | opencv中imread第二个参数的含义，可以说，imread(const string& filename, int flag=1)，filename 指图像名称，flag 指读取图像颜色类型。

    • flag=-1时，8位深度，原通道
    • flag=0，8位深度，1通道
    • flag=1, 8位深度 ，3通道
    • flag=2，原深度，1通道
    • flag=3, 原深度，3通道
    • flag=4，8位深度 ，3通道

    我解释下：因为 label.png 是 16 位的，默认 flag=1，按上可以看到只读取到了图像的 8 位，得到 3 通道，得到的全是 0；若 flag=2，按原深度即读取了图像位深度 16 位，得到了数值 1。

    我的理解：本质原因在于 imread 读取了图像的多少位。另外注意，如果本来是 1 个通道的图像，imread 第二个参数选择了返回 3 个通道的，那么第一个通道读取的数值，在相同像素的位置另外两个通道也会有同样数值。

    注：可以使用 matlab 软件 imread(imagepath) 读取图像，点击打开工作区的 ans，可以看到图像数值以及是通道数量。

图像标注 - labelimg - 目标检测：

文献管理类软件：

🌠 如何找论文：如何找论文 - 知乎

**知网 | arXiv（或 Arxiv Sanity） | 快搜 - 学术搜索 | Web of Science [v.5.29] - 所有数据库 基本检索 | ScienceDirect | …

长长的论文不知道该从哪里读起，阅读论文没有头绪，拿到一个课题不知道该如何入手，如何快速了解一个课题往往是新晋研究生的最希望掌握的技术：学科领域文献检索调查方法步骤 - 知乎

知乎上的一个问题：从零基础开始想发一篇深度学习的论文要提前准备什么？写论文的周期大概多久？ - 知乎

如何进行科研/论文研读：

  • 【专知独家干货】-《科研写作之读论文》的一些心得体会

  • 论文写作的一些经验 | Stay Hungry,Stay Foolish.

    1. 阅读大量文献：有了方向和一定的基础之后，就需要对特定领域已有的工作进行深挖，知道别人在做什么，对于某个问题有哪些常见的做法，后续做研究中写 Reference 、Related Work 就需要有大量的文献储备。。。

      。。。

    2. 对于我帮助很大。文章中说创新主要是两种方式：应用创新和模型创新。应用创新是指在已有模型，一般是最新的模型，然后尝试去解决一个尚未使用新方法解决的问题，结果如果比以前都出色的话，那就是一篇很不错的文章，我见过的就有发了 ACL 以及 EMNLP 的两篇应用创新的文章；另外就是难度比较大的模型创新，不过难度也和创新程度息息相关，如果只是 increment 的创新，那么难度可能会相对小一点，但如果是开创一个领域的创新，像 GAN / ResNet 这种，就需要深刻的积累啦。

    。。。

如何进行论文写作：

  • 清华大学计算机系副教授-刘知远：如何写一篇合格的NLP论文 - 知乎

    NLP 学术会议（甚至包括期刊）论文已经形成比较固定的结构。绝大部分论文由以下六大部分构成：摘要（Abstract）、介绍（Introduction）、相关工作（Related Work）、方法（Method）、实验（Experiment）、结论（Conclusion）。。。

    • 摘要：用 100-200 词简介研究任务与挑战、解决思路与方法、实验效果与结论。
    • 介绍：用 1 页左右篇幅，比摘要更详细地介绍研究任务、已有方法、主要挑战、解决思路、具体方法、实验结果。
    • 相关工作：用 0.5-1 页左右篇幅介绍研究任务的相关工作，说明本文工作与已有工作的异同。
    • 方法：用 2-3 页篇幅介绍本文提出的方法模型细节。
    • 实验：用 2-3 页篇幅介绍验证本文方法有效性的实验设置、数据集合、实验结果、分析讨论等。
    • 结论：简单总结本文主要工作，展望未来研究方向。

  • 深度学习论文写作中多模型结果比较方法 | 治伦

👉 推荐该系列文章：[转]关于神经网络模型&TensorFlow学习&目标检测模型等内容的系列文章.md

👉 计算机视觉牛人博客和代码汇总：计算机视觉牛人博客和代码汇总（全） - findumars - 博客园

👉 语义分割相关资料快速索引：语义分割相关资料总结 - 知乎​ | …

👉 关于图像分割（Image segmentation，含语义/实例/场景分割）的学习见：图像分割专题 && 本文 1.3 语义分割(Semantic Segmentation) 节内容，含如下内容：

- 什么是超像素、语义分割、实例分割、全景分割？
- 什么是同物异谱、同谱异物？
- RGB图像、全色图像、多光谱图像、高光谱图像？
- ...
- 语义分割发展和历史
	- 2000年之前，数字图像处理时我们采用方法基于几类：阈值分割、区域分割、边缘分割、纹理特征、聚类等
	- 2000年到2010年期间， 主要方法有四类：基于图论、聚类、分类以及聚类和分类结合。
	- 2010年至今，神经网络模型的崛起和深度学习的发展，主要涉及到几种模型
	发展历程：
		- 2014年 FCN 模型，主要贡献为在语义分割问题中推广使用端对端卷积神经网络，使用反卷积进行上采样
		- 2015年 U-net 模型，构建了一套完整 的编码解码器
		- 2015年 SegNet 模型，将最大池化转换为解码器来提高分辨率
		- 2015年 Dilated Convolutions（空洞卷积），更广范围内提高了内容的聚合并不降低分辨率
		- 2016年 DeepLab v1&v2
		- 2016年 RefineNet 使用残差连接，降低了内存使用量，提高了模块间的特征融合
		- 2016年 PSPNet 模型
		- 2017年 Large Kernel Matters
		- 2017年 DeepLab V3
		以上几种模型可以按照语义分割模型的独有方法进行分类，如专门池化（PSPNet、DeepLab），编码器-解码器架构（SegNet、E-Net），多尺度处理（DeepLab）、条件随机场（CRFRNN）、空洞卷积（DiatedNet、DeepLab）和跳跃连接（FCN）。
		
- 前DL时代的语义分割： 
	- Grab cut是微软剑桥研究院于2004年提出的著名交互式图像语义分割方法。与N-cut一样，grab cut同样也是基于图划分，不过grab cut是其改进版本，可以看作迭代式的语义分割算法。Grab cut利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的前后背景分割结果。
	。。。
- DL时代

语义分割是对图像的一种更精细的推断与理解，由粗到细为：

- 图像分类 - 初级的图片理解，其对整张图片进行整体理解.
- 目标定位与检测 - 不仅提供图像内的类别，还包括相对于物体类别的空间为位置信息.
- 语义分割 - 对每个图像像素进行密集预测，得到像素类别信息.

图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。

虽然自 2007 年以来，语义分割/场景解析一直是计算机视觉社区的一部分，但与计算机视觉中的其他领域很相似，自 2014 年 Long 等人首次使用全卷积神经网络对自然图像进行端到端分割，语义分割才有了重大突破。

——from：https://www.aiuai.cn/aifarm602.html#E-Net%E5%92%8CLink-Net

还有语义分割衡量标准、语义分割数据集等内容。另外，图像分割数据集和分割的标注数据格式认识参考：https://zhuanlan.zhihu.com/p/50925449

插播：

👉 这里记录一些在学习过程的 要点梳理和个人理解 以及 深度学习问题：深度学习要点梳理和个人理解 [荐]，包含如下内容：

- 机器学习中数据集的划分
- 我的理解：神经网络参数改变过程
- 卷积、反卷积、转置卷积、空洞卷积、上采样、小采样等
- CNN模型演进：LeNet、ALeNet、VGGNet、NIN、GoogleNet、ResNet等
- 图像分割模型简单介绍：FCN、UNet、SegNet、PSPNet、Deeplabv1&v2&v3等
- 对softmax，softmax loss和cross entropy的理解
- 什么是标准差和方差
- 中心化和标准化、正太分布、鞍点、top5错误率、条件随机场CRF
- ……

👉 神经网络训练trick：

👉 深度学习之框架学习，传送门：

👉 关于目标检测（Object Detection）的学习见：目标检测专题

👉 机器学习/深度学习代码搜索：

👉 神经网络作图工具：

👉 遥感图像方面的软件：目前，国内市场上主流的遥感图像处理软件主要是国际上最通用的有 PCI Geomatica、ERDAS 以及 ENVI；而 ArcGI、ENVI 等遥感图像处理软件也可以在遥感集市官网（传送）上找到，下面，我们具体来看下遥感图像处理软件有哪些？*——from：http://bbs.tianya.cn/post-itinfo-339183-1.shtml*

  • 一、ERDAS 遥感图像处理软件

    ERDAS IMAGINE 系统的开发与软件工程原理构成完整一体化的系统，不是若干部分拼凑的，易于使用、开发、维护，全菜单操作，无论UNIX还是 Windows 平台均一样使用。

  • 二、ArcGIS 遥感图像处理软件

    它是为 ArcGIS 用户提供的一个使用方便的地理影象分析和处理功能的扩展模块。 LPS（Leica Photogrammetry Suite）――徕卡遥感及摄影测量系统是各种数字化摄影测量工作站所适用的软件系列产品。

  • 三、ENVI 遥感图像处理软件 [荐] | 下载：ENVI5.3SP1下载安装及破解 - CSDN

    ENVI 包含齐全的遥感影像处理功能，包括数据输入／输出、常规处理、几何校正、大气校正及定标、全色数据分析、多光谱分析、高光谱分析、雷达分析、地形地貌分析、矢量分析、神经网络分析、区域分析、GPS 联接、正射影像图生成、三维景观生成、制图等；这些功能连同丰富的可供二次开发调用的函数库，组成了非常全面的图像处理系统。

    基本入门，视频教程：ENVI最新最全遥感ENVI入门教程

  • 四、PCI 遥感图像处理软件

    PCI GEOMATICA 是 PCI 公司将其旗下的四个主要产品系列，也就是 PCI EASI/PACE、（PCI SPANS，PAMAPS）、ACE、ORTHOENGINE，集成到一个具有同一界面、同一使用规则、同一代码库、同一开发环境的一个新产品系列，该产品系列被称之为 PCI GEOMATICA。

另外有个软件，介绍下：Google地球（英语：Google Earth）是一款 Google 公司开发的虚拟地球仪软件， 它把卫星照片、航空照相和 GIS 布置在一个地球的三维模型上，支持多种操作系统平台。（注：可以使用该软件截取一些卫星图像）

人工智能最新学术研究和技术实现追寻，可关注：

领域人物及事迹，了解下：

1. Learning

1.1 深度学习基础

科普文章：

机器学习：

深度学习：

深度学习系列文章：

其他文章：

1.2 常见模型的讲解及实现

(0) 视频讲解论文

(1) ResNet

讲解

实践

关于残差连接：resnet中的残差连接，你确定真的看懂了？

一些问题：

更多内容请看我单独写的一个文档：ResNet(残差网络).md

1.3 语义分割(Semantic Segmentation)

(1) 图像分割基础

①什么是图像分割？

②综述类/总结类：

  • 从全连接层到大型卷积核：深度学习语义分割全指南

  • 分割算法——可以分割一切目标（各种分割总结） [荐]

    深度学习最初流行的分割方法是，打补丁式的分类方法 (patch classification) 。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层 (full connected layers) ，所以只能使用这种逐像素的分割方法。

    但是到了 2014 年，来自伯克利的 Fully Convolutional Networks（FCN）卷积网络，去掉了末端的全连接层。随后的语义分割模型基本上都采用了这种结构。除了全连接层，语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域，但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐，因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。

    第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征；译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。该类架构中 U-net 是最流行的。

    第二种是膨胀卷积 (dilated convolutions) 【这个核心技术值得去阅读学习】，抛弃了池化层。

  • 一文概览主要语义分割网络：FCN,SegNet,U-Net...

    该文为译文，介绍了很多语义分割的深度学习模型，包括半监督下的语义分割，可以大致看下。

③深度学习语义分割模型的介绍：

④图像分割的衡量指标：

语义分割其实就是对图片的每个像素都做分类。其中，较为重要的语义分割数据集有：VOC2012 以及 MSCOCO。

(2) 图像分割仓库

(3) 图像分割论文及最新研究

论文汇集：

(4) 图像分割讲解视频

1.4 目标检测(Object Detection)

视频：

文章：

（待更……）

1.5 强化学习/增强学习(Reinforce Learning)

强化学习（Reinforcement Learning）的输入数据作为对模型的反馈，强调如何基于环境而行动，以取得最大化的预期利益。与监督式学习之间的区别在于，它并不需要出现正确的输入/输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。——from：https://feisky.xyz/machine-learning/reinforcement.html

强化学习是一类算法, 是让计算机实现从一开始什么都不懂, 脑袋里没有一点想法, 通过不断地尝试, 从错误中学习, 最后找到规律, 学会了达到目的的方法. 这就是一个完整的强化学习过程. 实际中的强化学习例子有很多. 比如近期最有名的 Alpha go, 机器头一次在围棋场上战胜人类高手, 让计算机自己学着玩经典游戏 Atari, 这些都是让计算机在不断的尝试中更新自己的行为准则, 从而一步步学会如何下好围棋, 如何操控游戏得到高分。——from：什么是强化学习 - 知乎

1.6 生成对抗网络 GAN

GAN：一种概率生成模型。简单说， 概率生成模型的目的，就是找出给定观测数据内部的统计规律，并且能够基于所得到的概率分布模型，产生全新的，与观测数据类似的数据。

举个例子，概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后，生成模型可以自动学习到其内部分布，能够解释给定的训练图片，并同时生成新的图片。

与庞大的真实数据相比，概率生成模型的参数个数要远远小于数据的数量。因此，在训练过程中，生成模型会被强迫去发现数据背后更为简单的统计规律，从而能够生成这些数据。——from：深度学习新星：GAN的基本原理、应用和走向 | 硬创公开课 | 雷锋网

1.7 迁移学习

迁移学习（Transfer learning）顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练数据集。——from：https://feisky.xyz/machine-learning/transfer-learning.html

迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习（starting from scratch，tabula rasa）。——from：刘诗昆的回答 - 知乎

近年来，我们越来越擅长训练深度神经网络，使其能从大量的有标签的数据中学习非常准确的输入到输出的映射，无论它们是图像、语句还是标签预测。

我们的模型仍旧极度缺乏泛化到不同于训练的环境的能力。什么时候需要这种能力呢？就是你每一次将你的模型用到现实世界，而不是精心构建的数据集的时候。现实世界是混乱的，并且包含大量全新的场景，其中很多是你的模型在训练的时候未曾遇到的，因此这又使得模型不足以做出好的预测。将知识迁移到新环境中的能力通常被称为迁移学习（transfer learning），这就是本文将讨论的内容。——from：机器之心的回答 - 知乎

1.8 什么是微调 fine tuning

针对于某个任务，自己的训练数据不多，那怎么办？ 没关系，我们先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，再训练一遍，这就是微调（fine-tune）。

为什么要微调？

  1. 对于数据集本身很小（几千张图片）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠微调已经训练好的模型。
  2. 可以降低训练成本：如果使用导出特征向量的方法进行迁移学习，后期的训练成本非常低，用 CPU 都完全无压力，没有深度学习机器也可以做。
  3. 前人花很大精力训练出来的模型在大概率上会比你自己从零开始搭的模型要强悍，没有必要重复造轮子。

迁移学习 Transfer Learning：

总是有人把 迁移学习和神经网络的训练联系起来，这两个概念刚开始是无关的。 迁移学习是机器学习的分支，现在之所以 迁移学习和神经网络联系如此紧密，现在图像识别这块发展的太快效果也太好了，所以几乎所有的迁移学习都是图像识别方向的，所以大家看到的迁移学习基本上都是以神经网络相关的计算机视觉为主，本文中也会以这方面来举例子

迁移学习初衷是节省人工标注样本的时间，让模型可以通过一个已有的标记数据的领域向未标记数据领域进行迁移从而训练出适用于该领域的模型，直接对目标域从头开始学习成本太高，我们故而转向运用已有的相关知识来辅助尽快地学习新知识

举一个简单的例子就能很好的说明问题，我们学习编程的时候会学习什么？ 语法、特定语言的API、流程处理、面向对象，设计模式，等等

这里面语法和 API 是每一个语言特有的，但是面向对象和设计模式可是通用的，我们学了JAVA，再去学C#，或者Python，面向对象和设计模式是不用去学的，因为原理都是一样的，甚至在学习C#的时候语法都可以少学很多，这就是迁移学习的概念，把统一的概念抽象出来，只学习不同的内容。

迁移学习按照学习方式可以分为基于样本的迁移，基于特征的迁移，基于模型的迁移，以及基于关系的迁移，这里就不详细介绍了。

两者的关系：

其实 "Transfer Learning" 和 "Fine-tune" 并没有严格的区分，含义可以相互交换，只不过后者似乎更常用于形容迁移学习的后期微调中。 我个人的理解，微调应该是迁移学习中的一部分。微调只能说是一个trick。

——from：zergtant/pytorch-handbook：4.1-fine-tuning.ipynb

2. Questions

（1）如何免费云端运行 Python 深度学习框架：

（2）什么学习中网络不收敛指的是什么？——①误差一直来回波动，进入不到容忍度内。②跟迭代不收敛或者系统不稳定差不多，上下波动不能趋近一个定值。

3. Competition

（1）Kaggle官网：https://www.kaggle.com/

（2）天池AI开发者社区：https://tianchi.aliyun.com/home/

4. Papers

4.1 Basic

  • 《A guide to convolution arithmetic for deep》[Paper]
  • 《Bag of Tricks for Image Classification with Convolutional Neural Networks》[Paper]
  • （待更。。。

4.2 Models

  • [1989] LeNet：《Gradient-Based Learning Applied to document Recognition》[Paper]

  • [2012] AlexNet：《ImageNet Classification with Deep Convolutional Neural Networks》[Paper]

  • [2014] Inception v1：《Going deeper with convolutions》[Paper]

    注：先前叫 GoogLeNet，现在简单地被称为 Inception vN，其中 N 指的是由 Google 定的版本号。

  • [2014] VGGNet：《Very Deep Convolutional Networks for Large-Scale Image Recognition》[Paper]

  • [2015] Inception v2：《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》[Paper]

  • [2015] Inception v3：《Rethinking the Inception Architecture for Computer Vision》[Paper]

  • [2015] ResNet：《Deep Residual Learning for Image Recognition》[Paper]

  • [2016] Inception v4：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》[Paper]

4.3 Images segmentation

  • FCN：《Fully Convolutional Networks for Semantic Segmentation》 [Paper-v1] [Paper-v2]（最新提交时间：2015.03.08）
  • U-Net：《U-Net: Convolutional Networks for Biomedical Image Segmentation》[Paper]（最新提交时间：2015.05.18）
  • SegNet：《SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation》[Paper-v1] [Paper-v2] [Paper-v3]（最新提交时间：2016.11.10）
  • Dilated Convolutions：《Multi-Scale Context Aggregation by Dilated Convolutions》[Paper-v1] [Paper-v2] [Paper-v3]（最新提交时间：2016.04.30）
  • DeconvNet：《Learning Deconvolution Network for Semantic Segmentation》[Paper]（最新提交时间：2015.05.17）
  • RefineNet：《RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation》[Paper-v1] [Paper-v2] [Paper-v3]（最新提交时间：2016.11.25）
  • PSPNet：《Pyramid Scene Parsing Network》[Paper-v1] [Paper-v2]（最新提交时间：2017.04.27）
  • Large Kernel Matters：《Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network》[Paper]（最新提交时间：2017.03.08）
  • DeepLab 系列：
    • DeepLab v1：《Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs》[Paper-v1] [Paper-v2] [Paper-v3] [Paper-v4]（最新提交时间 ：2016.06.07）
    • DeepLab v2：《DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs》[Paper-v1] [Paper-v2]（最新提交时间：2017.05.12）
    • DeepLab v3：《Rethinking Atrous Convolution for Semantic Image Segmentation》[Paper-v1] [Paper-v2] [Paper-v3]（最新提交时间：2017.12.05）
    • DeepLab v3+：《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》[Paper-v1] [Paper-v2] [Paper-v3]（最新提交时间：2018.08.22）
  • NAS：《Searching for Efficient Multi-Scale Architectures for Dense Image Prediction》[Paper-v1]（提交时间：2018.09.11） 相关文章：语义分割领域开山之作：Google提出用神经网络搜索实现语义分割 | 雷锋网
  • （待更。。。

语义分割类的论文合集：

关于图像分割的代码实现，见：2-图像分割仓库

一些新的研究：

4.4 Object Detection

  • R-CNN：《Rich feature hierarchies for accurate object detection and semantic segmentation》[Paper]
  • Fast R-CNN：《Fast R-CNN》 [Paper]
  • Faster R-CNN：《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》 [Paper]
  • Yolo
  • SSD
  • Mask R-CNN ：《Mask R-CNN》 [Paper]

一些新的研究：

4.5 Others

5. Interview

6. Resources

!!!学习资料：重磅 | 完备的 AI 学习路线，最详细的资源整理！

6.1 Books

这两年关于人工智能特别是深度学习的书如雨后春笋不断涌现。下面列举一些被大家普遍评价较高以及我有大概浏览了下觉得不错的书，权当个参考吧：

1.机器学习

  • 《写给人类的机器学习》译者：飞龙（等）；原书：Machine Learning for Humans
  • 周志华《机器学习》，2016年1月
  • Peter Harrington 《机器学习实战》，中文版译者：李锐/李鹏/曲亚东/王斌 ，2013年6月 [GitHub代码仓库]

2.深度学习

  • Michael Nielsen《Neural Networks and Deep Learning》，中文版《神经网络与深度学习》
  • 弗朗索瓦•肖莱 《Python深度学习》，中文版译者：张亮，2018年8月
  • 张玉宏《深度学习之美：AI时代的数据处理与最佳实践》，2018年6月
  • 张平《图解深度学习与神经网络：从张量到TensorFlow实现》，2018年09月
  • 李沐、Aston Zhang 等人《动手学深度学习》预览版：《动手学深度学习》
  • 邱锡鹏《神经网络与深度学习》：在线阅读

3.深度学习框架

  • 泽宇/顾思宇 《Tensorflow：实战Google深度学习框架》
  • 黄文坚/唐源《TensorFlow实战》
  • 廖星宇《深度学习入门之PyTorch》 [代码仓库]
  • 陈云《深度学习框架PyTorch：入门与实践》 [代码仓库]

6.2 Videos

最新：

台大教授李宏毅的机器学习课程经常被认为是中文开放课程中的首选。李教授的授课风格风趣幽默，通俗易懂，其课程内容中不仅有机器学习、深度学习的基础知识，也会介绍 ML 领域里的各种最新技术。近日，2019 版的课程资料与视频终于上线了。

李宏毅（Hung-yi Lee）目前任**大学电机工程学系和电机资讯学院的助理教授，他曾于 2012 年获得**大学博士学位，并于 2013 年赴麻省理工学院（MIT）计算机科学和人工智能实验室（CSAIL）做访问学者。他的研究方向主要是机器学习（深度学习）和语音识别。此前，他的 2016 版《机器学习》课程视频曾是流行学习资料。

6.3 GitHub

  • apachecn/AiLearning

  • DeepLearning-500-questions

    深度学习500问，以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需要的读者。 全书分为15个章节，近20万字。由于水平有限，书中不妥之处恳请广大读者批评指正。 未完待续...

  • AI初学者--（机器学习爱好者）

    本网站是一个公益性网站，致力于人工智能（AI）方面的课程的翻译、笔记分享等。

    本人2014年下半年开始翻译吴恩达老师的机器学习课程字幕，并写了课程的中文笔记。笔记被下载了几万次，应该帮助了不少人，也有很多人一直在帮助我，现在我把笔记的word原稿和markdown原稿分享给大家。

    …… ——By 黄海广

  • daily-paper-computer-vision

    记录每天整理的计算机视觉/深度学习/机器学习相关方向的论文。

  • 机器学习笔记 - feisky

6.4 Blog

6.5 other

7. Thinking

Journals

对期刊和会议的认识：

关于ISI、SCI、EI、IEEE、Elsevier、Springer的理解（推荐了解下~）

计算机学术期刊、会议分类等级 - 小白 - CSDN博客

据悉，CCF（**计算机学会）是以 A、B、C 类划分（A 最好）；而中科院是以一、二、三区划分（一最好）

**计算机学会推荐国际学术会议和期刊目录：https://www.ccf.org.cn/xspj/gyml/

更多：对期刊和会议的认识.md | 参考文献格式解释.md

计算机视觉方向（CV）三大顶级会议：

  • ICCV（IEEE International Conference on Computer Vision，国际计算机视觉大会）
  • CVPR（IEEE Conference on Computer Vision and Pattern Recognition，IEEE国际计算机视觉与模式识别会议）
  • ECCV（European Conference on Computer Vision，欧洲计算机视觉国际会议）

其他顶会：

  • AAAI
  • NeurIPS
  • ……

相关阅读：计算机视觉顶尖期刊和会议有哪些？ - Jinming Su的回答 - 知乎

我在网上有下载到一个文件，可以参考看下：AI_conference_template.xlsx

Q：什么是影响影子？

影响因子（Impact Factor，IF）是汤森路透（Thomson Reuters）出品的期刊引证报告（Journal Citation Reports，JCR）中的一项数据。 即某期刊前两年发表的论文在该报告年份（JCR year）中被引用总次数除以该期刊在这两年内发表的论文总数。这是一个国际上通行的期刊评价指标。——from：影响因子_百度百科

一些网上的分享：

News：

随摘-待整理：

回到顶部