第一部Part1
这当然是“深学习的NLP的一部分“ 系列。在本课程中，我将介绍基本的深度学习概念，如多层感知器、词嵌入和循环神经网络。这些概念构成了对用于自然语言处理的高级深度学习模型的良好理解的基础。
课程由三个部分组成。
在第一部分，我将讨论人工神经网络中的基本概念，如激活函数（如斜坡、步长、sigmoid、tanh、relu、leaky relu）、积分函数、感知器和反向传播算法。我也讲讲什么是深度学习，它与机器学习和人工智能有什么关系？最后，我将讨论如何使用正则化、提前停止和辍学等方法处理神经网络训练中的过拟合。
在第二部分，我将讨论各种词嵌入方法。我将从基本方法开始，例如 Onehot 编码和奇异值分解 (SVD)。接下来我将讨论流行的 word2vec 模型，包括 CBOW 和 Skipgram 方法。此外，我将讨论使 softmax 计算高效的多种方法。随后将讨论 GloVe。作为特殊的词嵌入主题，我将介绍跨语言嵌入。最后，我还将讨论子词嵌入，如 BPE（字节对编码）、wordPiece、SentencePiece，它们普遍用于基于 Transformer 的模型。
在第三部分，我将从关于 ngram 模型的一般性讨论开始。接下来简单介绍一下神经网络语言模型（NNLM）。然后我们将花相当长的时间来理解 RNN 的工作原理。我们还将讨论 RNN 变体，如 BiRNNs、Deep BiRNNs。然后我将讨论梯度消失和爆炸的问题。接下来是 LSTM 和 GRU 架构的详细信息。
MP4 | 视频：h264，1280×720 | 音频：AAC，44100 Hz
语言：英语 | 大小：1.18 GB | 时长：3h 16m
第二部Part2
本课程是“NLP 深度学习”系列的一部分。在本课程中，我将介绍编码器-解码器注意力模型、ELMo、GLUE、Transformers、GPT 和 BERT 等概念。这些概念构成了深入理解现代自然语言处理的高级深度学习模型的基础。
本课程由以下两个主要部分组成。
在第一部分中，我将讨论机器翻译上下文中的编码器-解码器模型以及波束搜索解码器的工作原理。接下来讲一下encoder-decoder attention的概念。此外，我将详细说明不同类型的注意力，如全局注意力、局部注意力、分层注意力以及使用 CNN 和 LSTM 对句子对的注意力。我们还将讨论注意力可视化。最后，我们将讨论 ELMo，这是一种使用循环模型来计算上下文敏感词嵌入的方法。
在第二部分，我将讨论作为 GLUE 基准测试的一部分的各种任务的详细信息，以及跨任务的其他基准 NLP 数据集的详细信息。然后，我们将通过了解编码器-解码器 Transformer 模型的不同部分来开始我们的现代 NLP 之旅。我们将在自注意力、多头注意力、位置嵌入、残差连接和掩蔽注意力等概念方面深入研究 Transformer 的细节。之后我会讲两个最流行的 Transformer 模型：GPT 和 BERT。在 GPT 部分，我们将讨论 GPT 是如何训练的，以及 GPT2 和 GPT3 等变体有什么区别。在 BERT 部分，我们将讨论 BERT 与 GPT 有何不同，如何使用掩码语言建模和下一句预测任务对其进行预训练。
MP4 | 视频：h264，1280×720 | 音频：AAC，44100 Hz
语言：英语 | 大小：1.16 GB | 时长：2h 53m
第三部Part3
本课程是“深度学习 NLP”系列的一部分。在本课程中，我将介绍句子嵌入和生成变换模型等概念。这些概念构成了对用于现代自然语言生成的高级深度学习模型的良好理解的基础。
本课程由以下两个主要部分组成。
在第一部分，我将讨论句子嵌入。我们将从基本的词袋方法开始，其中使用对构成词的词嵌入的聚合来获得句子嵌入。我们将讨论平均词袋、词移动距离、SIF 和 Power 方法。然后我们将讨论两种无监督方法：Doc2Vec 和 SkipThought。此外，我们将讨论监督句子嵌入方法，如递归神经网络、深度平均网络和 InferSent。CNN 还可以用于计算两个文本字符串之间的语义相似度；我们将同样讨论 DSSM。我们还将讨论 3 种多任务学习方法，包括通用句子编码和 MT-DNN。最后，我将谈谈 SentenceBERT。
在第二部分中，我将讨论多个生成式 Transformer 模型。我们将从 UniLM 开始。然后我们将讨论 Transformer-XL 中的段重复和相对位置嵌入。然后进入使用 Transformer-XL 和排列语言建模的 XLNets。接下来我们将了解 MASS 中的跨度掩蔽，并讨论 BART 上的各种噪声方法。然后我们将讨论使用 CTRL 来控制自然语言生成。我们将讨论 T5 如何将每个学习任务建模为文本到文本任务。最后，我们将讨论 ProphetNet 如何将 2-stream 注意力建模从 XLNet 扩展到 n-stream 注意力建模，从而实现 n-gram 预测。
MP4 | 视频：h264，1280×720 | 音频：AAC，44100 Hz
语言：英语 | 大小：1.57 GB | 时长：3h 27m