结合Python工具使用TfidfVectorizer进行文本特征提取方式_Python

如何使用python的tfidfvectorizer进行文本特征提取

在自然语言处理（nlp）中，特征提取是将原始文本数据转换为可以被机器学习算法处理的数值型特征的过程。

tf-idf（term frequency-inverse document frequency）是一种广泛使用的特征提取方法，它能够反映词语在文档集合中的重要性。

在python中，我们可以使用sklearn库中的tfidfvectorizer来实现tf-idf特征提取。

本文将介绍如何使用tfidfvectorizer进行文本特征提取。

安装`sklearn`

如果你还没有安装sklearn库，可以通过以下命令进行安装：

pip install scikit-learn

基本使用

tfidfvectorizer是sklearn.feature_extraction.text模块中的一个类，它可以将文本文档集合转换为tf-idf特征矩阵。

示例代码

from sklearn.feature_extraction.text import tfidfvectorizer

# 定义一组文档
documents = [
    "i have a pen",
    "i have an apple",
    "apple pen, apple pen",
    "pen pineapple, apple pen"
]

# 创建tfidfvectorizer对象
tfidf_vectorizer = tfidfvectorizer()

# 训练tfidfvectorizer对象，并将文档转换为tf-idf特征矩阵
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)

# 查看特征词汇
print(tfidf_vectorizer.get_feature_names_out())

# 查看tf-idf矩阵
print(tfidf_matrix.toarray())

参数详解

tfidfvectorizer有许多参数可以定制，以下是一些常用的参数：

stop_words: 停用词集合，用于过滤掉无意义的常见词。
max_df: 过滤掉在超过指定比例的文档中出现的词汇。
min_df: 过滤掉在少于指定比例的文档中出现的词汇。
ngram_range: 设定词汇的n-gram范围，例如(1, 2)表示提取单字和双字词组。
token_pattern: 用于分词的正则表达式。

示例：使用参数

# 定义一组文档
documents = [
    "i have a pen",
    "i have an apple",
    "apple pen, apple pen",
    "pen pineapple, apple pen"
]

# 创建tfidfvectorizer对象，并设置参数
tfidf_vectorizer = tfidfvectorizer(stop_words='english', max_df=0.5, min_df=2, ngram_range=(1, 2))

# 训练tfidfvectorizer对象，并将文档转换为tf-idf特征矩阵
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)

# 查看特征词汇
print(tfidf_vectorizer.get_feature_names_out())

# 查看tf-idf矩阵
print(tfidf_matrix.toarray())