手把手教你从有限的数据样本中发掘价值（附代码）

Sharer: 机器之心 May 17, 2019 at 5:56 am

Link Share :https://www.jiqizhixin.com/articles/2019-05-17-3 - via RSS

[ 导读 ] 本文是系列文章中的一篇，作者对滑铁卢地区的Freedom of Information Requests数据集进行探索分析，展示了在实践中拿到一批数据时（尤其像本文中的情况，数据很稀缺时），该如何一步步进行分析从而得到一些见解。作者的同事也对该数据集使用其他方法进行了分析，建议对NLP感兴趣的读者也一并阅读，将大有裨益

最近我碰到了滑铁卢地区的Open Data项目，连同它的Freedom of Information Requests数据集。我的同事Scott Jones已经在一系列文章中使用机器学习（ML）技术对其进行了分析。由于数据不足，ML表现不佳。虽然Scott做了在这种情况下应该做的事情，即寻找更多数据。尽管数据很稀缺，但我仍然很好奇这些数据还能告诉我什么。毕竟数据总是有价值的。

在进入这段8分钟的阅读旅程之前，我想说你可以在Github上找到Jupyter notebook里的所有代码和对这些数据的更多见解，由于内容太多，文章里无法一一介绍。如果你不想阅读notebook，可以在下面链接的相关文件中找到全部图形结果。

Github相关链接：

https://github.com/brodriguezmilla/foir

相关文件：

https://github.com/brodriguezmilla/foir/blob/master/foirallfigures.pdf

接下来，我向你介绍其中几个分析的要点。

了解数据

我们使用pandas库来实现这一步，以下是Open Data中的文件之一：

1999年的Freedom of Information Requests文件样本我们有18个文件，从1999年至2016年每年一个，总共有576个请求（Requests），令人惊讶地是全部都有相同的六列。我们将只使用三个主要列，来源（Source），请求摘要（SummaryofRequest）和决策（Decision）。

Source。这是发出请求的实体，即请求者。通过查看多年来的信息，能够将其合并为“Business”，“Individual”，“Individual by Agent”，“Media”，“Business by Agent”和“Individual for dependant”。
SummaryofRequest。包含已由记录员编辑过的请求。
Decision。合并后的类别包括：“All information disclosed”，“Information disclosed in part”，“No records exist”，“Request withdrawn”，“Partly non-existent”，“No information disclosed”，“Transferred”，“Abandoned”， “Correction refused”，“Correction granted”，“No additional records exist”。

这些列的相互之间关系如何？

描述性统计和探索性数据分析

在本节中，我们将重点关注Source和Decision列。稍后我们将使用一些NLP工具分析这些请求。以下是数据的分布：

大约60％的请求是“All information disclosed”或“Information disclosed in part”。至少有七种类型的决策少于25个实例，其中一个最重要的决策是“No information disclosed”。因此，我们不仅数据量有限，而且还存在不平衡的情况。对于机器学习来说这都不太好。

通过另一种数据视图，即Source 与 Decision的透视表，我们看到大多数请求都是由“Business”，“Individual”和“Individual by Agent”发起的。

将每个来源的数字进行处理，使每一行加起来等于1，我们看到主要的三个来源表现良好，因为“All information disclosed”每个都超过30％，“Information disclosed in part”则增加了18％至34％，甚至更多。两者相加在50％以上。此外，“Individual by Agent”的成功率高于“Individual”。几乎没有请求的“Media”表现不佳，只有10％的请求被决策为“All information disclosed”。

自然语言处理（NLP）

现在我们继续分析SummaryofRequests列。为此，我们转投自然语言处理库，例如NLTK和spaCy，以及scikit-learn的帮助。

从广义上讲，在分析任何文本之前，需要做的步骤其实很少（参见Susan Li的帖子）：

https://towardsdatascience.com/topic-modelling-in-python-with-nltk-and- gensim-4ef03213cd21

对文本进行分词：将文本分解为单个特殊实体/单词，即token。
删除任何不需要的字符，比如回车换行和标点符号，像' - '，'...'，'“'等。
删除网址或将其替换为某个单词，例如“URL”。
删除网名或用某个单词替换“@”，例如“screen_name”。
删除单词的大小写。
删除少于等于n个字符的单词。在本例中，n = 3。
删除停用词，即某种语言中含义不大的词。这些词可能无助于对我们的文本进行分类。例如“a”，“the”，“and”等词。但并没有一个通用的停用词列表。
词形还原，它是将单词的变种形式归并在一起的过程，这样它们就可以作为单个词项进行分析，就可以通过单词的词目（lemma）或词典形式来识别。

因此，在编写了处理函数之后，我们可以对文本进行转换:

def preparetexttlc(the_text):

text = clean_text(the_text)

text = parse_text(text)

tokens = tokenize(text)

tokens = replace_urls(tokens)

tokens = replace_screen_names(tokens)

tokens = lemmatize_tokens(tokens)

tokens = remove_short_strings(tokens, 3)

tokens = remove_stop_words(tokens)

tokens = remove_symbols(tokens)

return tokens

由于我们会持续处理此文本，因此我们将预处理过的文本作为新列“Edited_Summary”添加到dataframe中。
N元语法（N-grams）和词云还能如何分析和可视化我们的文本呢？作为第一步，我们可以找到最常用的单词和短语，即我们可以获得一元语法（单个tokens）和 n元语法（n-tokens组）及它们在文本中的频率。

def displaytopgrams(gram, gramlength, numgrams):

gram_counter = Counter(gram)

if gram_length is 1:

    name = 'unigrams'

elif gram_length is 2:

    name = 'bigrams'

elif gram_length is 3:

    name = 'trigrams'

else:

    name = str(gram_length) + '-grams'    

print("No. of unique {0}: {1}".format(name, len(gram_counter)))

for grams in gramcounter.mostcommon(num_grams):

    print(grams)

return None

所以对于我们的一元语法：

并使用WordCloud：

那为什么“remove”这个词如此突出？事实证明，出于隐私原因，原始请求中写入的所有姓名，日期和位置都已删除，并在Open Data的文件中被替换为“{location removed}”或“{date removed}”等短语。这种替换共有30多种变体。使用正则表达式（regEx）来清理文本，我们得到了一个更好的词云。这一次，我们也加入了二元语法。

看一下上面的词云和三元语法：

我们看到有一些常见的短语，例如“ontario works”，“environmental site”，“grand river transit”，“rabies control”，“public health inspection”和“food bear illness”（亦如'food borne illness ' – 还记得我们之前曾把tokens进行了词形还原）。那么，这些短语在我们的文本中有多常见？包含这些短语的请求信息是否影响请求被批准的可能性？事实证明，46％的数据是那些类型的请求，这些短语没有一个得到“No information disclosed”的决策，并且有明显的趋势：

例如，“rabies control”约有95％披露了全部或部分信息，而5％被转移了。

对SummaryofRequest和Edited_Summary 列统计

我们已经知道现有数据量是有限的，但到底多有限呢？好吧，只有7个请求超过100个单词，而分词后只剩1个。平均每个请求有21个单词，而中位数为15，而分词后平均为9个单词，中位数为7。

词性（POS）标记

在这里，我们使用spaCy来识别该文本是如何由名词，动词，形容词等组成的。我们还使用函数spacy.explain（）来找出这些标记的含义。

fulltextnlp = nlp(full_text) # spaCy nlp()

tags = []

for token in fulltextnlp:

tags.append(token.tag_)

tags_df = pd.DataFrame(data=tags, columns=['Tags'])

print("Number of unique tag values:\

  {0}".format(tags_df['Tags'].nunique()))

print("Total number of words: {0}".format(len(tags_df['Tags'])))

Make a dataframe out of unique values

tagsvaluecounts = tagsdf['Tags'].valuecounts(dropna=True,

                sort=True)

tagsvaluecountsdf = tagsvaluecounts.renameaxis(

                   'Unique_Values').reset_index(name='Counts')

And normalizing the count values

tagsvaluecountsdf['NormalizedCount'] = tagsvaluecountsdf['Counts'] / len(tagsdf['Tags'])

uv_decoded = []

for val in tagsvaluecountsdf['UniqueValues']:

uv_decoded.append(spacy.explain(val))

tagsvaluecountsdf['Decoded'] = uvdecoded

tagsvaluecounts_df.head(10)

同时将类别合并，例如“名词，单数或大量”和“名词，复数”，以形成更通用的版本，以下是这些请求的组成方式：

使用scikit-learn，Bokeh和t-SNE进行主题建模

在notebook中，我们使用不同的主题建模技术，包括scikit-learn的隐含狄利克雷分布（LDA）函数，潜在语义分析（LSA），并且用 CountVectorizer（）和TfidfVectorizer（）做对比，gensim的LDA，使用t- SNE用于降维，Bokeh和pyLDAvis用于可视化。我们不会在此处附上完整代码，所以鼓励你去亲自查看完整的notebook。鉴于我们数据的局限性，所有工具都还表现得不错。下图是一个亮点：

几乎所有最常见的短语都在主题中出现了。正如预期的那样，一些主题是明确的，例如“ontario works”或“environmental site”，而其他聚类则不然。

机器学习

我们已经知道机器学习效果不会很好，但鉴于这是一个学习练习，我们仍然要试一下。在notebook中，我们比较了三种不同情况下的八种不同机器学习模型。我们无法按原样比较完整数据，因为某些情况只有极少数实例。例如，只有一个请求被“Correction granted”，因此当我们训练模型时，该情况将要么在训练集中，要么在测试集中。只有一个案例并不能提供一个良好的基础。我们的选择很少：

我们可以删除少于15个实例的请求，称之为“Over-15”。

我们将全部决议分成三个基本类别：

All information disclosed（加上“Correction granted”。）

Information disclosed in part（加上“Partly non-existent”。）

No information disclosed（加上' Transferred'，' No records exist'，' Correction refused'，' No additional records exist'，' Withdrawn'和' Abandoned'。）这会使我们的数据集更平衡。

我们可以删掉少于15个实例的请求，并且删掉没有实际结果的决策，即撤回或抛弃的情况，称之为“Independent”。

以下是结果：

总体而言，逻辑回归和多项式朴素贝叶斯分类器结合tf-idf给出了更好的结果。对我们的类别进行分箱（binning）似乎是最合乎逻辑的方法。

可以在以下Github链接中找到代码和完整的结果：

Github链接：

https://github.com/brodriguezmilla/foi

原文标题：

When Data is Scarce… Ways to Extract Valuable Insights

原文链接：

https://towardsdatascience.com/when-data-is-scarce-ways-to-extract-valuable- insights-f73eca652009

作者暂无likerid, 赞赏暂由本网站代持，当作者有likerid后会全部转账给作者（我们会尽力而为）。

Tips: Until now, everytime you want to store your article, we will help you store it in Filecoin network. In the future, you can store it in Filecoin network using your own filecoin.

Support author:
Author's Filecoin address:
Or you can use Likecoin to support author:

tags:科技

0 0