mkdocs

使用记录

  • mkdocs serve 本地端口预览
  • mkdocs build 生成静态网页
  • mkdocs gh-deploy 推送至服务器
阅读更多

weblab Week 1

Intro

  • 这节课主要讲述前端知识和网络应用层有关内容,涉及到HTML、CSS、Javascript等等
  • 其中HTML是骨架、CSS是排版和装饰、Javascript是大脑
阅读更多

Hung-yi Lee ML Lecture 3: Image as input

Convolutional Neural Network(CNN)

  • 卷积神经网络被广泛应用于图像识别领域,是一种带约束的神经网络架构,简化了Fully Connected Network的复杂性,并且对图像识别做了很多特化,另外值得一提的是,谷歌的AlphaGO也使用了卷积神经网络用于接收19*19的围棋棋盘输入,可见CNN的使用范围不仅仅是图像识别,具有相似结构的问题都可以使用CNN的模型进行训练。
阅读更多

Hung-yi Lee ML Lecture 2: What to do if my network fails to train

Optimization

  • 局部最小值 local minima
  • 鞍点 saddle point
  • 在多维度笛卡尔空间中,你以为的局部最小值很可能是鞍点,因为多出了很多个维度的方向可以走

batch and momentum

  • 分批次训练的速度和优势比较

  • 动量法改进梯度下降

自动调整学习速率

  • \sigma与梯度的关系

  • 学习速率与时间的关系

    • 逐渐下降decay
    • 模拟退火warmup

loss函数

  • 改变loss函数可以改变地形!(梯度下降中的多变量函数)

    • MSE
    • Cross-entropy等价于极大似然法,运用在向量输出的神经网络中

HW2 Classification

jupyter

Intro

jupyter是一个基于web的可交互的应用程序,广泛用于数据分析中,同时支持多种编程语言。

阅读更多