Fork me on GitHub

文本的深度学习

文本的深度学习

· 用于构建深度学习模型的不同文本数据表示法:

· 理解递归神经网络及其不同实现,例如长短期记忆网络(LSTM)和门控循环单元(Gated Recurrent Unit,GRU),它们为大多数深度学习模型提供文本和序列化数据;

· 为序列化数据使用一维卷积。

可以使用RNN构建的一些应用程序如下所示。

· 文档分类器: 识别推文或评论的情感,对新闻文章进行分类。

· 序列到序列的学习: 例如语言翻译,将英语转换成法语等任务。

· 时间序列预测: 根据前几天商店销售的详细信息,预测商店未来的销售情况。

1 使用文本数据

文本是常用的序列化数据类型之一。文本数据可以看作是一个字符序列或词的序列。对大多数问题,我们都将文本看作词序列。深度学习序列模型(如RNN及其变体)能够从文本数据中学习重要的模式。这些模式可以解决类似以下领域中的问题:

· 自然语言理解;

· 文献分类;

· 情感分类。

这些序列模型还可以作为各种系统的重要构建块,例如问答(Question and Answering,QA)系统。

虽然这些模型在构建这些应用时非常有用,但由于语言固有的复杂性,模型并不能真正理解人类的语言。这些序列模型能够成功地找到可执行不同任务的有用模式。将深度学习应用于文本是一个快速发展的领域,每月都会有许多新技术出现。我们将会介绍为大多数现代深度学习应用提供支持的基本组件。

与其他机器学习模型一样,深度学习模型并不能理解文本,因此需要将文本转换为数值的表示形式。将文本转换为数值表示形式的过程称为向量化过程,可以用不同的方式来完成,概括如下:

· 将文本转换为词并将每个词表示为向量;

· 将文本转换为字符并将每个字符表示为向量;

· 创建词的n-gram并将其表示为向量。

文本数据可以分解成上述的这些表示。每个较小的文本单元称为token,将文本分解成token的过程称为分词(tokenization)。在Python中有很多强大的库可以用来进行分词。一旦将文本数据转换为token序列,那么就需要将每个token映射到向量。one-hot(独热)编码和词向量是将token映射到向量最流行的两种方法。图6.1总结了将文本转换为向量表示的步骤。

图6.1

下面介绍分词、n-gram表示法和向量化的更多细节。

6.1.1 分词

将给定的一个句子分为字符或词的过程称为分词。诸如spaCy等一些库,它们为分词提供了复杂的解决方案。让我们使用简单的Python函数(如splitlist)将文本转换为token。

为了演示分词如何作用于字符和词,让我们看一段关于电影Thor:Ragnarok的小评论。我们将对这段文本进行分词处理:

The action scenes were top notch in this movie. Thor has never been this epic in the MCU. He does some pretty epic sh*t in this movie and he is definitely not under-powered anymore. Thor in unleashed in this, I love that.

1.将文本转换为字符

Python的list函数接受一个字符串并将其转换为单个字符的列表。这样做就将文本转换为了字符。下面是使用的代码和结果:

以下是结果:

结果展示了简单的Python函数如何将文本转换为token。

2.将文本转换为词

我们将使用Python字符串对象函数中的split函数将文本分解为词。split函数接受一个参数,并根据该参数将文本拆分为token。在我们的示例中将使用空格作为分隔符。以下代码段演示了如何使用Python的split函数将文本转换为词:

在前面的代码中,我们没有使用任何的分隔符,默认情况下,split函数使用空格来分隔。

3.n-gram表示法

我们已经看到文本是如何表示为字符和词的。有时一起查看两个、三个或更多的单词非常有用。n-gram是从给定文本中提取的一组词。在n-gram中,n表示可以一起使用的词的数量。看一下bigram(当n = 2时)的例子,我们使用Python的nltk包为thor_review生成一个bigram,以下代码块显示了bigram的结果以及用于生成它的代码:

ngrams函数接受一个词序列作为第一个参数,并将组中词的个数作为第二个参数。以下代码块显示了trigram表示的结果以及用于实现它的代码:

在上述代码中唯一改变的只有函数的第二个参数n的值。

许多有监督的机器学习模型,例如朴素贝叶斯(Naive Bayes),都是使用n-gram来改善它的特征空间。n-gram同样也可用于拼写校正和文本摘要的任务。

n-gram表示法的一个问题在于它失去了文本的顺序性。通常它是和浅层机器学习模型一起使用的。这种技术很少用于深度学习,因为RNN和Conv1D等架构会自动学习这些表示法。

6.1.2 向量化

将生成的token映射到数字向量有两种流行的方法,称为独热编码和词向量(word embedding,也称之为词嵌入)。让我们通过编写一个简单的Python程序来理解如何将token转换为这些向量表示。我们还将讨论每种方法的各种优缺点。

1.独热编码

在独热编码中,每个token都由长度为N的向量表示,其中N是词表的大小。词表是文档中唯一词的总数。让我们用一个简单的句子来观察每个token是如何表示为独热编码的向量的。下面是句子及其相关的token表示:

**An apple a day keeps doctor away said the doctor. **

上面句子的独热编码可以用表格形式进行表示,如下所示。

An 100000000
apple 010000000
a 001000000
day 000100000
keeps 000010000
doctor 000001000
away 000000100
said 000000010
the 000000001

该表描述了token及其独热编码的表示。因为句子中有9个唯一的单词,所以这里的向量长度为9。许多机器学习库已经简化了创建独热编码变量的过程。我们将编写自己的代码来实现这个过程以便更易于理解,并且我们可以使用相同的实现来构建后续示例所需的其他功能。以下代码包含Dictionary类,这个类包含了创建唯一词词表的功能,以及为特定词返回其独热编码向量的函数。让我们来看代码,然后详解每个功能:

上述代码提供了3个重要功能。

· 初始化函数**init创建一个word2idx字典,它将所有唯一词与索引一起存储。idx2word列表存储的是所有唯一词,而length**变量则是文档中唯一词的总数。

· 在词是唯一的前提下,add_word函数接受一个单词,并将它添加到word2idxidx2word中,同时增加词表的长度。

· onehot_encoded函数接受一个词并返回一个长度为N,除当前词的索引外其余位置全为0的向量。比如传如的单词的索引是2,那么向量在索引2处的值是1,其他索引处的值全为0。

在定义好了Dictionary类后,准备在thor_review数据上使用它。以下代码演示了如何构建word2idx以及如何调用onehot_encoded函数:

上述代码的输出如下:


本文地址:https://www.6aiq.com/article/1657856810781
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出