大二下学期深度学习课程回顾

第1章：深度学习概述

BP神经网络的反向传播（《深度学习08_小复习.pptx》，链式法则：损失函数，激活函数、信号强度；每多一层多一个sigma符号：也是网络不能太深的原因之一）
参数确定（权值个数和偏置个数）

第2章：Pytorch简介

Pytorch安装要点：装python、装CUDA、装gpu版的torch
Linux编译安装Python的主要步骤：下载、解压、配置(./configure)、编译安装(make && make install)
Tensor的基本知识：数据方面就是numpy，计算图方面是张量的本质。

第3章：Pytorch计算图

《深度学习08_小复习.pptx》
给几个公式，可以画出计算图，给计算图，可以复原出公式。
给计算图，可以向上算数据，可以算回传梯度
Pytorch的计算图结构：1、是否所有的叶子节点都可以设置为需要计算梯度，是否所有的叶子节点都需要计算梯度。2、是否默认所有的计算图都可以回传多次。3、计算图是否一个有向无环图。4、是否默认可以让中间节点保存梯度。5、非叶子节点的导函数是怎么来的？

第4章：线性回归

分类与回归，线性回归的基本概念，可用的解法。
小批量随机梯度下降法。
看网络写方程，看方程画网络。
数据加载、损失函数。

第5章：Softmax回归

Softmax和交叉熵，代码、计算、业务场景，
权值、偏置初始化
view()的业务意义

第6章：多层感知机

单层和多层的区别（非线性激活函数的意义）
权值、偏置初始化，MLP的完备性
Relu激活函数

第7章：模型训练与深度学习计算

为什么网络不能过深
Wd的原因和表现
Dropout的原理和实现
模型的读写
GPU计算的特点和历史
常用的框架代码：比如参数初始化、损失函数定义、优化器定义

第8章：卷积

卷积的思想基础，能够解释局部性和平移不变性
对于某个像素的信息，应当只与其附近的像素有关系，超出一定的距离以后则无关
对某个区域进行的特征提取所得到的输出并不会由于平移操作而发生变化
卷积、池化的代码、计算
步幅、填充、多通道
卷积和池化是否可以用相同的步幅、填充、输入通道、输出通道
1*1卷积

第9章：机器视觉初步

LeNet、AlexNet、Vgg、NiN、GoogLeNet、ResNet
LeNet、典型的VGG块、inception块、Res块
过拟与DA，常用的DA技术
每个网络的名字的意义，历史脉络、网络深了是更容易过拟还是会减轻过拟。

第10章：循环神经网络

N元语法、词向量，两种常用的向量训练方法。
二阶马尔可夫展开
RNN、LSTM、GRU

论述：

计算图、框架的作用
深度学习、卷积神经网络：简史、意义、动力
深度学习与机器学习的联系与区别
机器学习的核心理念
三个以上的观点，可以是自己的合理的观点，言之有物，自圆其说，字数达标，每个关键观点可酌情给予3-4分。
纯网络、教材内容不会得到高分。
如果有雷同答案，将判为抄袭，本题不得分，不区分抄袭与被抄袭者，欢迎你和同学讨论，但不要将你的完成文稿给别人，如果你已经给了别人，建议你自己再写一份。