Convolutional Neural Network(CNN)
- 卷积神经网络被广泛应用于图像识别领域，是一种带约束的神经网络架构，简化了Fully Connected Network的复杂性，并且对图像识别做了很多特化，另外值得一提的是，谷歌的AlphaGO也使用了卷积神经网络用于接收19*19的围棋棋盘输入，可见CNN的使用范围不仅仅是图像识别，具有相似结构的问题都可以使用CNN的模型进行训练。
Hung-yi Lee ML Lecture 3: Image as input
Hung-yi Lee ML Lecture 2: What to do if my network fails to train
Optimization
- 局部最小值 local minima
- 鞍点 saddle point
- 在多维度笛卡尔空间中，你以为的局部最小值很可能是鞍点，因为多出了很多个维度的方向可以走
batch and momentum
-
分批次训练的速度和优势比较
-
动量法改进梯度下降
自动调整学习速率
-
\sigma与梯度的关系
-
学习速率与时间的关系
- 逐渐下降decay
- 模拟退火warmup
loss函数
-
改变loss函数可以改变地形！(梯度下降中的多变量函数)
- MSE
- Cross-entropy等价于极大似然法，运用在向量输出的神经网络中
HW2 Classification
Hung-yi Lee ML Lecture1: Introduction of Deep Learning
机器学习
- 机器学习在教授的讲述中被描述为让机器找到一个函数f()，这个函数可以很复杂，但是可以解决许多问题，建立函数原型的过程叫做建立模型，根据函数的好坏进行不断优化的过程叫做训练，这个过程很像人类不断试错找寻更好的解决方案的过程，就像机器在学习一样。
- 机器学习的一般步骤是
- 建立模型：建立含有未知参数的函数
- 定义loss函数L()
- 优化：找到使L()最小的未知参数，一般使用梯度下降法
- 一般来说，使用类神经网络建立函数模型，通过叠加神经网络的层数，来达到更高的测试正确率，这样的方法被称为深度学习，深度学习是机器学习中使用最广泛也最重要的方法之一。
- 过拟合Overfitting指的是，训练出的模型在训练资料上表现好而在测试集上表现不好。
Introduction
Manim是数学视频博主3b1b开发并使用的Python图形引擎，用于制作数学科普视频。
Usage
基本框架
1 | from manimlib import * |
Course About
介绍有关人工智能的问题，内容包括搜索、优化、学习、神经网络等
Feeling
人工智能在今天已经是一个时代性的话题，仅仅是在这短短的一年之间，我已经见证了它对不同领域的冲击，从AI绘画到ChatGPT,或者是其他的更多方面，真正的AI时代似乎已经到来。以我肤浅的认识，以我在课程中学到的内容还有我粗浅的理解，我确实很难想象神经网络和反向传播，最后居然能训练出ChatGPT这样现象级的人工智能。绘画和CS都是我思考过想要投入其中的行业，我一方面明白人工智能的发展是科技进步的象征，它的应用必将让这个世界走向更加智能和美好的方向，但同时不可阻挡的发展，也正像浪潮一般席卷了从业者。我斗胆自诩为绘画行业的旁观者，又或者是踏入CS半只脚的半吊子，但我却深深体会到了AI所带来的追赶不上和将被替代的压迫感。我在以前无法预知现在的科技发展，而现在也仍然对未来的日子一无所知。我正像几年前的高考那样，迷茫地走向前去。我不知道人工智能的未来，甚至也不知道自己的未来。但即便如此，我还是想要去了解现代的人工智能，了解它的原理和实现，并且尝试去使用它。
Links
(Updating…)