20 池化层的作用

起压缩作用

image-20230730100709629

最大池化

h和w会变，通道数c不会变。

image-20230730100922086

21 整体网络架构

每个卷积层后都有激活函数RELU，池化层不需要。多次卷积后一次池化。

最后要先将三维的特征图展平成特征向量，再用全连接层FC分类。

image-20230730101414503

只有带参数才能称为层，卷积层和全连接层属于层。激活函数和池化层不算。

特征图变化

转换：三维转换成一维向量

image-20230730101650115

22 VGG网络架构

经典网络-Alexnet

5层卷积，3层全连接

image-20230730101809891

VGG

  • 卷积核大小都是3×3。
  • 16层或19层常用。
  • 每一次池化层后卷积核个数翻倍，弥补池化损失。
image-20230730102209820

23 残差网络Resnet

经典网络-Resnet

当做特征提取，而不是分类

如果某一层效果不好，会把该层的权重改为0，H(x)=x。

image-20230730102700683

效果

image-20230730102854099

24 感受野的作用

感受野

每一层的输出能感受前一个输入。感受野是最后一层能感受到最初输入的范围。下图第二层的一块先感受到第一个卷积层3×3范围，后者是对最初5×5范围卷积得到，所以最后一层能感受到最初输入的范围是5×5。

image-20230730103319059

感受野越大越好，说明一小块能代表原始数据大块特征。

堆叠3个小的卷积核原因

image-20230730103850224

25 RNN网络架构解读

递归神经网络

能够处理时间序列。前一个时刻输入产生的特征会对后一个时刻的输入产生影响。前一个输入的中间结果保留，参与下一个输入的计算。

image-20230730104547424

常用于自然语言处理。

image-20230730104857592

举例

image-20230730105015421

LSTM网络

image-20230730105640418 image-20230730105700312 image-20230730105720455

决定丢弃信息

image-20230730105812956

确定更新的信息

image-20230730105921117

26 词向量模型Word2Vec通俗解释

文本向量化

image-20230730110856920

27 模型整体框架

image-20230730110939662

Word2Vec把词转换成向量

image-20230730111109393
  • 向量的维度指坐标个数。
  • 二维张量可以表示为 [[1, 2, 3], [4, 5, 6]]，其中有两个维度，每个维度包含三个元素。所以该张量的维度是 (2, 3)。

热度图

image-20230730130428560 image-20230730130539094

词向量的输入和输出

能够根据输入预测下一个词（输出）

image-20230730130813203

输出显示每个词的概率

embeddings

根据输入从语料库中找到词向量。

image-20230730131056747

语料库开始随机初始化，每一轮训练会更新。

28 训练数据构建

数据从哪里来

词语含义可以跨文本（新闻，小说）

构建训练数据

image-20230730131637589

滑动窗口

image-20230730131659478

29 CBOW与Skipgram模型

CBOW

输入上下文，前后夹中间

image-20230730131920195

Skipgram

通过中间词预测上下文

image-20230730132046432

Skip-gram模型所需训练数据集

image-20230730132146449 image-20230730132159445

如何进行训练

image-20230730132332192

结果太多解决方法

image-20230730132611592

输出加入到输入，希望标签是1或0，最后一层变为二分类

image-20230730132849105

30 负采样方案

改进方案

人为添加标签为0的词，称为负样本。推荐5个

image-20230730133003933 image-20230730133123612

词向量训练过程

初始化词向量矩阵

image-20230730133210556 image-20230730133305542

反向传播更新

image-20230730133402479