编程-科技

# 加载必要的依赖库
import re # for regular expressions
import pandas as pd
pd.set_option("display.max_colwidth", 200)
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import string
import nltk # for text manipulation
import warnings
warnings.filterwarnings("ignore", category=DeprecationWarning) # 不显示警告

# 1.读取数据。读取训练数据和测试数据
train = pd.read_csv("train.csv")
test = pd.read_csv("test.csv")

# 2.数据概览。查看并展示数据集中的指定数据信息。
train.head() # 查看训练数据的前五行

可以看到,数据包含三列,id,label和tweet。label是一个二进制数值,tweet包含了我们需要文本的内容。 看了头部数据之后,我们大概可以开始清理数据了,清理大概可以从下面几个方面入手:

由于隐私保护的问题,Twitter的用户名已经被隐去,取而代之的是‘@user’。 这个标签没有任何实际意义。
我们也考虑去掉标点符号,数字甚至特殊字符,他们对数据分析起不到任何作用。
大多数太短的词起不到什么作用,比如‘pdx’,‘his’,‘all’。所以我们也把这些词去掉。
在第四个数据中,有一个单词‘love’.与此同时,在余下的语料中我们可能会有更多的单词,例如loves,loving,lovable等等。这些词其实都是一个词。如果我们能把这些词都归到它们的根源上,也就是都转换成love,那么我们就可以大大降低不同单词的数量,而不会损失太多信息。

可以看到,数据包含三列,id,label和tweet。label是一个二进制数值,tweet包含了我们需要文本的内容。 看了头部数据之后,我们大概可以开始清理数据了,清理大概可以从下面几个方面入手:

  • 由于隐私保护的问题,Twitter的用户名已经被隐去,取而代之的是‘@user’。 这个标签没有任何实际意义。
  • 我们也考虑去掉标点符号,数字甚至特殊字符,他们对数据分析起不到任何作用。
  • 大多数太短的词起不到什么作用,比如‘pdx’,‘his’,‘all’。所以我们也把这些词去掉。
  • 在第四个数据中,有一个单词‘love’.与此同时,在余下的语料中我们可能会有更多的单词,例如loves,loving,lovable等等。这些词其实都是一个词。如果我们能把这些词都归到它们的根源上,也就是都转换成love,那么我们就可以大大降低不同单词的数量,而不会损失太多信息。

(1)去除‘@user’等无效字符

如上所述,这些文本内容包含很多Twitter标记,这些都是Twitter上面的用户信息。我们需要把这些内容删掉,他们对于数据分析没有什么帮助。 方便起见,先把训练集和测试集合起来,避免在训练集和测试集上重复操作的麻烦。

combi = train._append(test, ignore_index=True) # 将训练集和测试集合并

下面是一个自定义的方法,用于正则匹配删除文本中不想要的内容。它需要两个参数,一个是原始文本,一个是正则规则。这个方法的返回值是原始字符串清除匹配内容后剩下的字符。

def remove_pattern(input_txt, pattern):
r = re.findall(pattern, input_txt)
for i in r:
input_txt = re.sub(i, ”, input_txt)

return input_txt

现在,我们新建一列tidy_tweet ,用于存放处理后的内容,就是上面说的去掉Twitter标记的内容,并查看。

combi[“tidy_tweet”] = np.vectorize(remove_pattern)(combi[“tweet”], “@[\w]*”)
combi.head() # 查看combi的前五行数据

(2)去除标点符号、数字和特殊字符

这些字符都是没有意义的。跟上面的操作一样,我们把这些字符也都剔除掉。 使用替换方法,去掉这些非字母内容

combi[“tidy_tweet”] = combi[“tidy_tweet”].str.replace(“[^a-zA-Z#]”, ” “)
combi.head(5) # 使用head()方法查看前五行数据

(3)移除短单词

这里要注意到底多长的单词应该移除掉。我们选择小于等于三的都去掉。例如hmm,oh这样的都没啥用,删掉这些内容好一些。

combi[“tidy_tweet”] = combi[“tidy_tweet”].apply(lambda x: ” “.join([w for w in x.split() if len(w)>3]))
combi.head() # 查看前五行数据

4)符号化

下面我们要把清洗后的数据集符号化。符号指的是一个个的单词,符号化的过程就是把字符串切分成符号的过程。

tokenized_tweet = combi[‘tidy_tweet’].apply(lambda x: x.split()) # tokenizing
tokenized_tweet.head() # 查看前五行数据

(5)提取词干

提取词干说的是基于规则从单词中去除后缀的过程。例如,play,player,played,plays,playing都是play的变种。

from nltk.stem.porter import *
stemmer = PorterStemmer()

tokenized_tweet = tokenized_tweet.apply(lambda x: [stemmer.stem(i) for i in x]) # stemming
tokenized_tweet.head() # 查看前五行数据

现在,我们把这些符号重新拼回去。

for i in range(len(tokenized_tweet)):
tokenized_tweet[i] = ” “.join(tokenized_tweet[i])

combi[“tidy_tweet”] = tokenized_tweet
combi.head() # 查看前五行数据

以上,我们的数据便处理结束了,tidy_tweet便是我们要提取特征的文本,label则是我们的标签。

2.从清洗后的推文中提取特征

要分析清洗后的数据,就要把它们转换成特征。根据用途来说,文本特征可以使用很多种算法来转换。比如词袋模型(Bag-Of-Words),TF-IDF,word Embeddings之类的方法。 在本文中,我们TF-IDF这个方法。

TF-IDF是基于词频的。它跟词袋模型的区别在于,主要是它还考虑了一个单词在整个语料库上的情况而不是单一文章里的情况。 TF-IDF方法会降低常用单词的权重,同时对于某些在整个数据集上出现较少,但是在部分文章中表现较好的词给予了较高的权重。 让我们来深入了解一下TF-IDF:

  • TF = 单词t在一个文档中出现的次数 / 文档中全部单词的数目
  • IDF = log(N/n),N是全部文档数目,n是单词t出现的文档数目
  • TF-IDF = TF*IDF

下面我们来进行TF-IDF特征提取:

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer(max_df=0.90, min_df=2, max_features=1000, stop_words=”english”)
# TF-IDF feature matrix
tfidf = tfidf_vectorizer.fit_transform(combi[“tidy_tweet”])

3.使用特征进行数据分析模型训练

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import f1_score

# 选择特征输入
train_tfidf = tfidf[:31962,:]
test_tfidf = tfidf[31962:,:]

# 对数据进行划分
xtrain_tfidf, xvalid_tfidf, ytrain, yvalid = train_test_split(train_tfidf, train[‘label’],
random_state=42,
test_size=0.3)
# 调用逻辑回归函数进行训练
lreg = LogisticRegression()
lreg.fit(xtrain_tfidf, ytrain) # training the model

输出:LogisticRegression()

4.数据分析模型预测

from sklearn.metrics import roc_auc_score
from sklearn.metrics import classification_report

#对于测试集x_test进行预测
prediction = lreg.predict_proba(xvalid_tfidf)
prediction_int = prediction[:,1] >= 0.25
prediction_int = prediction_int.astype(np.int_)

# 其他指标计算
print(classification_report(yvalid, prediction_int))

# auc计算
auc=roc_auc_score(yvalid, prediction[:,1])
print(“auc的值:{}”.format(auc))

编程-科技

125jz网原创文章。发布者:江山如画,转载请注明出处:http://www.125jz.com/12309.html

(1)
江山如画的头像江山如画管理团队
上一篇 2023年10月9日 下午2:47
下一篇 2023年10月28日 下午9:08

99%的人还看了以下文章

  • 机器学习:欧氏距离计算例题详解-全国人工智能技能知识竞赛

    给定三个点(1,4)、(2,3)、(2,5),计算他们的欧氏距离最小值是(B) A、1     B、1.4   C、0    D、2 欧式距离也称欧几里得距离,是最常见的距离度量,衡量的是多维空间中两个点之间的 绝对距离 。 以古希腊数学家欧几里得命名的距离,也就是我们直观的两点之间直线最短的直线距离。 欧氏距离定义: 欧氏距离( Euclidean dis…

    2022年11月22日 科技
    4.0K3
  • 怎么取消“红包来了”提醒,微信红包提醒怎样关闭?

    为响应很多人的需求,微信推出了红包提醒功能,当有人在群里发红包时,会提示“红包来了”! 如何设置“红包来了”提醒功能? 1、登陆微信,点击底部菜单栏—>我—>设置—>新消息提醒;2、进入到新消息提醒后,如果发现“声音”未打开,就请打开(但大多数安装微信后是默认已经打开的);3、可以借助网上软件,来设置红包来了的消息提醒。 可是当正在与人谈,…

    2020年3月15日
    8.5K0
  • 旧手机要不要升级系统?旧手机升级注意事项

    手机系统是否需要升级? 新手机用户肯定会升级,但旧手机升不升级就很让人纠结了! 每次系统更新都会出现新的功能或者新的操作体验,添加更多好玩、有趣、实用的功能,可以极大滴满足一众小伙伴! 但是旧手机,特别是1年以上的手机,如果升级系统可能加重运存和占用储存空间 ,手机如果配置本身就不高,那么在升级前一定要先阅读系统升级的相关提示说明,以及升级对手机固件的基本要…

    2020年2月11日
    4.2K0
  • 华为nova3和荣耀10对比,华为nova3和荣耀10选哪个?

    华为nova3和荣耀10这两款手机都是定位简约时尚的年轻消费群体,作为两款定位和风格都比较相近的手机,华为nova3和荣耀10选哪个?华为nova3和荣耀10有什么区别?

    2018年7月24日 科技
    5.5K1
  • 高校大数据与人工智能研究与学习从哪些方面展开?

    国家十三五规划纲要明确提出“实施国家大数据战略,推进数据资源开放共享”,为我国在大数据领域的未来发展绘制了宏伟的蓝图,开启了我国大数据发展的新时代。教育部《高等学校人工智能创新行动计划》及国务院颁布的《新一代人工智能发展规划》,责成科技司、基教司、职成司、高教司、地方各级教育行政部门大力推动人工智能、大数据等新技术在教育教学中的深入应用,推进信息技术与高等教…

    2020年5月7日
    2.2K0
  • 购机误区:商家送的鼠标和键盘!你完全放弃了选择权?

    在选购电脑的时候,初学者往往对CPU、内存、硬盘、主板、显卡等经常升级换代的“热门”配件比较重视(因为各大报刊杂志以及IT网站经常的介绍已经使大家耳熟能详),而键盘和鼠标往往都被忽略。 很多人在去买电脑的时候,在键盘盒鼠标的这一栏里都是写“送”,就是说,完全放弃了选择权,商家给什么就用什么了。最多,这时候商家会吹吹那一款好,大大多数情况下,消费者都是无所谓的…

    2020年3月22日
    3.6K0

发表回复

登录后才能评论