第一章理清神经网络的基础以及实现步骤
感知机
感知器（英语：Perceptron）是 Frank Rosenblatt 在 1957 年就职于康奈尔航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类器。
Frank Rosenblatt 给出了相应的感知机学习算法，常用的有感知机学习、最小二乘法和梯度下降法。譬如，感知机利用梯度下降法对损失函数进行极小化，求出可将训练数据进行线性划分的分离超平面，从而求得感知机模型。
**生物学-神经细胞**
!（神经细胞结构示意图）
感知机是生物神经细胞的简单抽象。神经细胞结构大致可分为：树突、突触、细胞体及轴突。单个神经细胞可被视为一种只有两种状态的机器——激动时为‘是’，而未激动时为‘否’。神经细胞的状态取决于从其它的神经细胞收到的输入信号量，及突触的强度（抑制或加强）。当信号量总和超过了某个阈值时，细胞体就会激动，产生电脉冲。电脉冲沿着轴突并通过突触传递到其它神经元。为了模拟神经细胞行为，与之对应的感知机基础概念被提出，如权量（突触）、偏置（阈值）及激活函数（细胞体）。**人工神经元**
!（神经元结构示意图）
单层感知机的适用和缺陷
适合解决线性问题，如下图
无法解决线性不可分，如常见的 XOR 异或问题，如下图
二分类
目前工业界最能产生价值的是机器学习中的监督学习， 场景有推荐系统，反欺诈系统等等。其中二分类算法应用的尤其之多。
例如上面的图像识别场景， 我们希望判断图片中是否有猫，于是我们为模型输入一张图片，得出一个预测值 y。 y 的取值为 1 或者 0. 0 代表是，1 代表否。
逻辑回归模型
逻辑回归是一个用于二分类(binary classification)的算法。
逻辑回归的 Hypothesis Function（假设函数）
sigmoid 函数
逻辑回归的输出函数
激活函数
也叫激励函数，是为了能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。
常见的激活函数
Sigmoid 函数
tanh 函数
ReLU 函数
损失函数（Lost Function）
代价函数（Cost Function）
为了训练逻辑回归模型的参数参数
