【41计划打卡-08】深度学习1-数学基础

恩，我知道大家面对数学，薛之谦唱这首歌的感受。

前言

最近在学深度学习，其中的主体就是神经网络，我的学习方法是看一些视频，内容来源于网络，大家自己去找就行。我会把阶段性的笔记放出，分享给大家。同样地，我在有道云笔记里面有原文，如果觉得微信有些样式变形不太舒服，直接拉到下面点阅读原文即可。

第一节课，2个小时，视频中的老师讲的是数学！感觉把自己整个大学的主干知识都过了一遍Orz，重听这种课，确实有些很特别的体会。废话不多说，直接看看我记录的内容和心得（下面没有公式，全都是知识的提纲，因为Markdown写公式也不是一件容易的事T T）。

微积分

在大学里，微积分通常是在高等数学中学，相信大家都经历过那个噩梦，在神经网络的应用里面，直接使用的并不多，但是如果对神经网络的基本原理有比较好的把握，这部分就必须得学好，另外还需要知道的是其在计算机计算过程中需要进行的转化，因为计算机并不能计算连续的、无穷的问题，必须要离散化和有限化。

提纲

• 极限

• 微分和泰勒级数

• 积分和微积分基本定理

推荐书目

• 北大的数学分析，左侧带红色的那本（给觉得自己比较无敌的同学）

• 华东师大的数学分析（给敢于挑战的同学，这本书其实感觉是比较全面基础的）

• 常见的高等数学书，例如同济的。

概率论与数理统计

这应该算是比较接近应用的一门课了，首先是神经网络的基本建模，然后是结果分析等，都要用到比较多的概率统计知识，相信这些大家在平时的练习也所感觉。

提纲

• 概率和积分

• 条件概率和贝叶斯公式

• 大数定律和中心极限定理

• 矩估计和极大似然估计

参考书目

• 浙江大学的概率论与数理统计（这本应该出名）

• 范玉妹、汪飞星老师的概率论与数理统计（这本是我们专业课用的书，个人感觉难度适中）

• 黄皮的概率论基础教程（给想深学概率统计的同学）

• 汪荣鑫老师的数理统计，数理统计方面讲的颇详细。

线性代数

我只想说很常用，必须会，即使这个东西很难，因为神经网络中的多元计算，高维度计算完全是离不开这项内容的。

提纲

• 线性映射和矩阵

• 线性变化和特征值

• 奇异值分解

• 主成分分析（PCA）

优化

视频里面叫做凸优化，我还是比较想叫最优化方法。把非约束优化和约束优化都放进来。这个方法可以说，在每个神经网络中都或多或少的用到，因为建立神经网络模型，最终求解合适的权重参数，实质上就是一个最优化问题。

提纲

• 优化和凸优化

• 凸集和凸函数

• 牛顿法、最速下降法

• 对偶问题和KKT条件

参考书目

关于这方面的内容，书上的内容会比较专业，涉及大量的公式推导和计算，其实核心是让大家会用，知道一些什么是约束优化问题，怎么求解，各种方法有什么特点，适用条件等，当然还有一些比较高级的用法如GA，PSO，SA等。此处不推荐，大家找一本自己能看懂的就行。

后记

我一直都坚信一条，数学是推动社会进步的一大动力，尤其在现在这个大数据的时代，很多的数学原理其实很重要，光靠黑盒的计算其实并不能分析出本质，这是事实。上面只是学习视频中提到的并且经我简单加工的对一些数学基础知识进行列举，如果要学神经网络，上面的至少得过关。不要求精，至少说到一些问题的时候你得大概知道即可。如果时间有限，大概理解一些就好，不需要太深挖，当神经网络建模师他这么做，你知道理由就好，为什么这样算，为什么求导等。大家也不需要太抗拒也不需要怕，毕竟，在这里，你学数学的目的是做神经网络对吧。。

下期精彩预告：

有两种可能。

一个是神经网络的入门，即视频中的第一课，说说什么是神经网络，并介绍最简单的感知机。（暂时不谈代码和实现哈）

谈谈另一种是讲讲贝叶斯思维，课程作业+自己最近在看的小东西，看看贝叶斯公式能玩出什么厉害的花样来。

两篇都是半成品，看谁先写好吧哈哈哈。