第2章神经网络的数学基础

一次函数
二次函数
单位阶跃函数
指数函数与Sigmoid函数
正态分布的概率密度函数
数列的通项式
将多个数列的递推关系式联合起来组成一组，称为联立递推关系式。
在神经网络的世界中，所有神经单元的输入和输出在数学上都可以认为是用联立递推式联系起来的。
$\sum$ 符号可以简洁地表示数列的总和。
- 对于数列{a_n}, $\sum$ 符号的定义如下所示:
$\sum_{k=1}^{n}a_{k}=a_{1} + a_{2} + a_{3} \cdot \cdot \cdot + a_{n-1} + a_{n}$
- $\sum$ 符号具有线性性质
$\sum_{k=1}^{n}(a_{k} + b_{k})=\sum_{k=1}^{n}a_{k} + \sum_{k=1}^{n}b_{k},\sum_{k=1}^{n}ca_{k}=c\sum_{k=1}^{n}a_{k}$
向量是具有方向与大小的量，用箭头表示。
- 向量的坐标表示
$\mathit{a}=(a_{1}, a_{2})$
- 向量a的大小用|a|表示。
- 向量的内积
- 柯西-施瓦茨不等式
```
  - 当两个向量方向相反时，内积取得最小值。
  - 当两个向量不平行时，内积去平行时的中间值。
  - 当两个向量方向相同时，内积取得最大值。
```
- 内积的坐标表示
- 张量(tensor)是向量概念的推广。谷歌提供的人工智能学习系统TensorFlow的命名中就是用到了这个数学术语。
矩阵(matrix)
- 矩阵是数的阵列。
  $A = \begin{pmatrix} 3\ 1\ 4 \ \\ 1\ 5\ 9\ \\ 2\ 6\ 5\ \end{pmatrix}$
  - 行数与列数相同的矩阵称为方阵
  - 单位矩阵，他说对角线上的元素a_ii为1、其他元素值为0的方阵，通常用E表示。
    $E = \begin{pmatrix} 1\ 0\ 0\ \\ 0\ 1\ 0\ \\ 0\ 0\ 1\ \end{pmatrix}$
  - 矩阵相等，两个矩阵A、B相等的含义是它们对应的元素相等，记为A = B
  - 矩阵的和、差、常数倍当 $A = \begin{pmatrix} 2\ 7\ \\ 1\ 8\ \end{pmatrix},B=\begin{pmatrix} 2\ 8\ \\ 1\ 3\ \end{pmatrix}$ 时:
    $A + B = \begin{pmatrix} 2+2 & 7+8 \\ 1+1 & 8+3 \end{pmatrix}=\begin{pmatrix} 4 & 15 \\ 2 & 11 \end{pmatrix}$
    $A - B = \begin{pmatrix} 2-2 & 7-8 \\ 1-1 & 8-3 \end{pmatrix}=\begin{pmatrix} 0 & -1 \\ 0 & 5 \end{pmatrix}$
    $3A = \begin{pmatrix} 3*2 & 3*7 \\ 3*1 & 3*8 \end{pmatrix}=\begin{pmatrix} 6 & 21 \\ 3 & 24 \end{pmatrix}$
  - 矩阵的乘积，对于两个矩阵A、B，将Ade第i行看做行向量，B的第j列看做列向量，将它们的内积作为第行第j列元素，由此而产生的矩阵就是矩阵A、B的乘积AB。
    $AB = \begin{pmatrix} 2*2+7*1 & 2*8+7*3 \\ 1*2+8*1 & 1*8+8*3 \end{pmatrix}=\begin{pmatrix} 11 & 37\ \\ 10 & 32 \end{pmatrix}$
    $AB = \begin{pmatrix} 2*2+7*1 & 2*8+7*3 \\ 1*2+8*1 & 1*8+8*3 \end{pmatrix}=\begin{pmatrix} 11 & 37\ \\ 10 & 32 \end{pmatrix}$
    - 矩阵的乘法不满足交换律。也就是说，除例外情况，一下关系式成立
      $AB\neq BA$
    - 而单位矩阵E与任意矩阵A的乘积都满足以下交换律
      AE=EA=A
  - Hadamard乘积，对于相同形状的矩阵A、B，将相同位置的元素相乘，由此产生的矩阵为矩阵A、B的Hadamard乘积，用 $A\odot B$ 表示
    $A\odot B=\begin{pmatrix} 2*2 & 7*8 \\ 1*1 & 8*3 \end{pmatrix}=\begin{pmatrix} 4 & 56\\ 1 & 24 \end{pmatrix}$
  - 转置矩阵(transposed matrix),将矩阵A的第行第j列的元素与第j行第i列的元素交换。用 $^{t}A,A^{t}$ 等表示。
    $A=\begin{pmatrix} 2 & 7\\ 1 & 8 \end{pmatrix}, ^{t}A=\begin{pmatrix} 2 & 1 \\ 7 & 8 \end{pmatrix}$
导数
- 函数y=f(x)的导函数f'(x)的定义如下所示：
  $f'(x)=\lim_{\Delta x \to 0}\frac{f(x+\Delta x)-f(x)}{\Delta x}$
- 导函数的含义：作出函数f(x)的图像，f'(x)表示图像切线的斜率。因此，具有光滑图像的函数是可导的。
- 导数公式
  $(e)'=0,(x)'=1,(x^{2})=2x,(e^{x})'=e^{x},(e^{-x})=-e^{x}$
- 导数的线性性：和的导数为导数的和，常数倍的导数为导数的常数倍。
  $\left \{ {f(x)+g(x)} \right \}'=f'(x)+g'(x),\left \{ cf(x) \right \}'=cf'(x)$
- 导数的分数表示方法
  $f'(x)=\frac{dy}{dx}$
- 分数函数的导数
  $\left \{ \frac{1}{f(x)} \right \}'=-\frac{f'(x)}{\left \{ f(x) \right \}^{2}}$
- Sigmoid函数的导数
  $\sigma (x)= \frac{1}{1+e^{-x}}, \sigma '(x)=-\frac{(1+e^{-x})'}{(1+e^{-x})^{2}}=\frac{e^{-x}}{(1+e^{-x})^{2}}=\frac{1+e^{-x}-1}{(1+e^{-x})^{2}}=\frac{1}{1+e^{-x}} - \frac{1}{(1+e^{-x})^{2}}=\sigma (x)-\sigma(x)^2=\sigma (x)(1-\sigma (x))$
- 最小值条件，f'(a)=0是函数f(x)在x=a处取得最小值的必要条件。
偏导数基础
- 多变量函数：有两个以上自变量的函数称为多变量函数。
- 求导的方法也同样适用于多变量函数的情况。但是。由于有多个变量，所以必须指明对哪一个变量进行求导。在这个意义上，关于某个特定变量的导数就称为偏导数(partial derivative)。
- 假设两个变量x、y的函数z=f(x,y)。
  - 关于x的偏导数
    $\tfrac{\partial z}{\partial x}=\tfrac{\partial f(x, y)}{\partial x}=\lim_{\Delta x \to 0}\frac{f(x+\Delta x, y) - f(x, y)}{\Delta x}$
  - 关于y的偏导数
    $\tfrac{\partial z}{\partial y}=\tfrac{\partial f(x, y)}{\partial y}=\lim_{\Delta y \to 0}\frac{f(x, y+\Delta y) - f(x, y)}{\Delta y}$
  - 多变量函数的最小值条件：函数z=f(x,y)取得最小值的必要条件是 $\tfrac{\partial f}{\partial x}=0,\tfrac{\partial f}{\partial y}=0$
  - 拉格朗日乘数法。求函数在满足下的条件极值，可以转化为函数 $F(x, y, \lambda )=f(x, y)+\lambda \varphi (x, y)$ 的无条件极值问题。
  - 拉格朗日参考资料
链式法则
- 神经网络和符合函数
  - 已知函数 y=f(u),当u表示为u=g(x)时，y作为x的函数可以表示为形如y=f(g(x))的嵌套结构（u和x表示多变量）。
  - 嵌套结构的函数f(g(x))称为f(u)和g(x)的复合函数
- 单变量函数的链式法则
  - 已知函数 y=f(u),当u表示为u=g(x)时，复合函数f(g(x))的导函数可以如下简单地求出来。
    $\frac{\mathrm{d} y}{\mathrm{d} x}=\frac{\mathrm{d} y}{\mathrm{d} u}\frac{\mathrm{d} u}{\mathrm{d} x}$
  - 这个公式称为单变量函数的复合函数求导公式，也称为链式法则。
- 多变量函数的链式法则
  - 变量z为u、v的函数，如果u、v分别为x、y的函数，则z为x、y的函数，此时下式（多变量函数的链式法则）成立。
    $\frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x} + \frac{\partial z}{\partial v}\frac{\partial v}{\partial x}$
- 单变量函数的近似公式(△x为微小的数)
  $f(x + \Delta x))\approx f(x)+f'(x)\Delta x$
- 多变量函数的近似公式
  $f(x + \Delta x, y + \Delta y))\approx f(x,y)+\frac{\partial f(x, y)}{\partial x}\Delta x+\frac{\partial f(x, y)}{\partial y}\Delta y$
回归分析
- 由多个变量组成的数据中，着眼于其中一个特定的变量，用其余的变量来解释这个特定的变量，这样的方法称为回归分析。

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

chapter2.md

chapter2.md

第2章神经网络的数学基础

Files

chapter2.md

Latest commit

History

chapter2.md

File metadata and controls

第2章 神经网络的数学基础

第2章神经网络的数学基础