版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。
1 神经网络基础知识整理
-
RNN网络模型
-
概率函数
-
Softmax分类器是不知道满足的分类器
-
Softmax分类器计算步骤先exp，再归一化映射到概率值（0-1），最后计算损失函数Li
0.13表示猫的概率，通过Li LOG函数变的越大，0.89 离正确类别越远。
-
SVM与Softmax对比（SVM在10，9，9的结果中计算损失值，损失值将为0，分类效果将不会太好）
- 最优化问题（前向传播，从输入值到损失值的过程，前向传播已经得到初始的权重参数，然后反向传播将主导权重参数的变化）
- 梯度下降
- 反向传播（权重参数对最终的Loss值产生了多大影响，进行回馈调节）
- 链式法则（反向影响可以链式相乘）
- 反向传播计算法则
-
反向传播函数封装求解
-
反向传播基本规律
2 神经网络重要特点(激活函数才是决策者)
- 层次结构
- 非线性，只有非线性（激活函数）才能最终得到分类结果
- Sigmoid函数的弊端（梯度消失问题，w1为0.01时，w0已经不能被反馈更新）
- ReLu首选激活函数（x<0等于0）
3 神经网络展示结果
3.1 神经元对分类的影响
-
神经元为一个：
-
神经元为二个：
-
神经元为三个：
-
神经元20个，产生了过拟合问题
3.2 正则化的作用
3.3 数据的预处理
3.4 权重初始化（w采用高斯初始化或者随机初始化,b采用0初始化）
3.5 DROP-OUT过程(每次前项传播和后向传播根据保留率随机选择)
4 总结
方便复习，整成笔记，内容粗略，勿怪。
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。
秦凯新 于深圳
