Hung-yi Lee ML Lecture 2: What to do if my network fails to train

发表于2023-07-05|更新于2023-10-13|机器学习

|总字数:164|阅读时长:1分钟|浏览量:

Optimization

局部最小值 local minima
鞍点 saddle point
在多维度笛卡尔空间中，你以为的局部最小值很可能是鞍点，因为多出了很多个维度的方向可以走

batch and momentum

分批次训练的速度和优势比较
动量法改进梯度下降

自动调整学习速率

\sigma与梯度的关系
学习速率与时间的关系
- 逐渐下降decay
- 模拟退火warmup

loss函数

改变loss函数可以改变地形！(梯度下降中的多变量函数)
- MSE
- Cross-entropy等价于极大似然法，运用在向量输出的神经网络中

HW2 Classification

相关推荐

Links 课程主页课程视频 LEC 1: Introduction, threat models

Hung-yi Lee ML Lecture 3: Image as input

Convolutional Neural Network(CNN) 卷积神经网络被广泛应用于图像识别领域，是一种带约束的神经网络架构，简化了Fully Connected Network的复杂性，并且对图像识别做了很多特化，另外值得一提的是，谷歌的AlphaGO也使用了卷积神经网络用于接收19*19的围棋棋盘输入，可见CNN的使用范围不仅仅是图像识别，具有相似结构的问题都可以使用CNN的模型进行训练。深度学习为何深度学习可以兼有 HW3 CNN

Hung-yi Lee ML Lecture1: Introduction of Deep Learning

机器学习机器学习在教授的讲述中被描述为让机器找到一个函数f()，这个函数可以很复杂，但是可以解决许多问题，建立函数原型的过程叫做建立模型，根据函数的好坏进行不断优化的过程叫做训练，这个过程很像人类不断试错找寻更好的解决方案的过程，就像机器在学习一样。机器学习的一般步骤是建立模型：建立含有未知参数的函数定义loss函数L() 优化：找到使L()最小的未知参数，一般使用梯度下降法一般来说，使用类神经网络建立函数模型，通过叠加神经网络的层数，来达到更高的测试正确率，这样的方法被称为深度学习，深度学习是机器学习中使用最广泛也最重要的方法之一。过拟合Overfitting指的是，训练出的模型在训练资料上表现好而在测试集上表现不好。 PyTorch PyTorch是专门用于机器学习的Python库，封装了数据读取、神经网络、激活函数、微分计算梯度下降等机器学习中常用的操作和对象，是广泛使用的机器学习框架。另外，PyTorch还可以使用GPU的并行计算加速Tensor的计算，使训练效率加快。 Colab Colab是谷歌名下类似于jupyter的网页Pyth...

Hung-yi Lee Machine Learning

Course About 介绍有关机器学习的问题。 Links 课程主页

Introduction Python是一种面向对象的编程语言，不同于C和C++，它是一种解释型语言。包管理工具Anaconda Anaconda可以根据需要构建不同的python环境，管理python包，构建独立的python内核 jupyter Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。正则表达式在线匹配支持普通字符元字符 \d 匹配一个数字(0-9) \w 匹配数字、字母、下划线(0-9, a-z, A-Z, _) \W``\D 上述的取反，除了数字字母下划线以外的内容 [abc] 匹配a或b或c [^abc] 取反 . 除了换行符以外量词控制元字符数量 + 前面元字符出现1次或多次 * 前面元字符出现0次或多次（尽可能多地贪婪匹配） ? 前面元字符出现0次或1次惰性匹配 a.*b 最长的axxxxxb，贪婪匹配 a.*?b 最短的axxxxxb，懒惰匹配可以用于爬取<div>xxx...

Introduction Manim是数学视频博主3b1b开发并使用的Python图形引擎，用于制作数学科普视频。 Usage 基本框架 python12345from manimlib import *import numpy as npclass SceneName(Scene): def construct(self):

数据加载中