Convolutional Neural Network(CNN)

• 卷积神经网络被广泛应用于图像识别领域，是一种带约束的神经网络架构，简化了Fully Connected Network的复杂性，并且对图像识别做了很多特化，另外值得一提的是，谷歌的AlphaGO也使用了卷积神经网络用于接收19*19的围棋棋盘输入，可见CNN的使用范围不仅仅是图像识别，具有相似结构的问题都可以使用CNN的模型进行训练。

Optimization

• 局部最小值 local minima
• 鞍点 saddle point
• 在多维度笛卡尔空间中，你以为的局部最小值很可能是鞍点，因为多出了很多个维度的方向可以走

batch and momentum

• 分批次训练的速度和优势比较

• 动量法改进梯度下降

自动调整学习速率

• \sigma与梯度的关系

• 学习速率与时间的关系

  • 逐渐下降decay
  • 模拟退火warmup

loss函数

• 改变loss函数可以改变地形！(梯度下降中的多变量函数)

  • MSE
  • Cross-entropy等价于极大似然法，运用在向量输出的神经网络中

HW2 Classification

机器学习

• 机器学习在教授的讲述中被描述为让机器找到一个函数f()，这个函数可以很复杂，但是可以解决许多问题，建立函数原型的过程叫做建立模型，根据函数的好坏进行不断优化的过程叫做训练，这个过程很像人类不断试错找寻更好的解决方案的过程，就像机器在学习一样。
• 机器学习的一般步骤是
  • 建立模型：建立含有未知参数的函数
  • 定义loss函数L()
  • 优化：找到使L()最小的未知参数，一般使用梯度下降法
• 一般来说，使用类神经网络建立函数模型，通过叠加神经网络的层数，来达到更高的测试正确率，这样的方法被称为深度学习，深度学习是机器学习中使用最广泛也最重要的方法之一。
• 过拟合Overfitting指的是，训练出的模型在训练资料上表现好而在测试集上表现不好。

Course About

介绍有关机器学习的问题。

Links

• 课程主页