卷积神经网络
CNN每一次Conv2D操作都是权值共享的，大大减少了参数量，而且还保留了数据的结构信息

ResNet(Residual Neural Network)

1. BasicBlock
   $Conv2D(可降维) \to Activation \to Conv2D \to \cdots$

2. ResBlock
   $x_1=[x_0(可降维) +BasicBlock] \to Activation$
   $x_2=[x_1(可降维) +BasicBlock] \to Activation$
   $\cdots$

3. ResNet
   $ResBlock \to ResBlock \to \cdots$

4. 总结
   ResNet中BasicBlock拟合$f(x)$，ResBlock拟合$H(x)$，$f(x)=H(x)-x$，所以$f(x)$是一个残差块。
   即使$f(x)$再差也能拟合到对loss影响为0，只要有一丝提升就是赚到，而且$x$贯穿网络，缓解了梯度弥散，所以理论上残差块可以无限叠加。