我要评论前言
在自然语言处理（nlp）的文本分析领域，tf-idf 是实现关键词提取的经典加权算法，能精准筛选出文本中兼具单篇高频和语料库低频的核心词汇。本文将基于python+sklearn，针对英文文本实现 tf-idf 的全流程实战，使用真实的英文语料文件完成语料加载、tf-idf 矩阵计算、关键词排序，代码注释详尽、可直接复制运行，零基础也能快速上手，完美适配英文文本的关键词提取需求。
一、实战目标与环境准备
1.1 实战目标
基于本地task2_1.txt英文语料文件构建语料库，通过 sklearn 的tfidfvectorizer自动完成英文分词、停用词过滤、tf-idf 计算，最终提取语料中每篇文档的关键词并按 tf-idf 值降序排列。
1.2 环境准备
本次实战仅需两个核心 python 库，通过pip一键安装，无额外依赖：
# 核心：tf-idf计算与向量化 pip install scikit-learn # 辅助：tf-idf结果可视化与数据处理 pip install pandas
注意：sklearn 版本建议≥0.24.0，避免get_feature_names_out()方法出现版本警告；python 版本推荐 3.7 及以上。
二、实战语料文件说明
本次实战使用的语料文件为task2_1.txt，每行对应一篇独立的英文文档，共 6 篇文档，语料内容如下：
this is the first document this document is the second document and this is the third one is this the first document this line has several words this is the final document
将该文件放在代码同一目录下，即可直接运行代码，无需额外修改路径。
三、完整实战代码（可直接复制运行）
以下代码为最终可运行版本，基于核心实战逻辑编写，注释详尽，包含语料加载、tf-idf 计算、结果可视化、关键词排序全流程，直接复制到本地即可执行：
# 导入tf-idf向量化器（sklearn核心工具，内置英文分词/去停用词功能）
from sklearn.feature_extraction.text import tfidfvectorizer
# 导入pandas库，用于将tf-idf结果转换为表格，直观展示
import pandas as pd
# 步骤1：读取语料库文件，构建语料列表
# 以只读模式打开英文语料文件，指定utf-8编码避免乱码
infile = open('task2_1.txt', 'r', encoding='utf-8')
# 按行读取文件，每行作为一篇独立文档，形成语料列表corpus
corpus = infile.readlines()
# 关闭文件，释放系统资源，避免内存占用
infile.close()
# 步骤2：初始化tf-idf向量化器，拟合语料并计算tf-idf稀疏矩阵
# tfidfvectorizer默认实现：英文分词、过滤英文停用词（the/is/this等）、tf-idf计算
vectorizer = tfidfvectorizer()
# fit_transform：拟合语料+转换为tf-idf稀疏矩阵，行=文档，列=词汇，值=tf-idf值
tfidf = vectorizer.fit_transform(corpus)
# 步骤3：打印tf-idf稀疏矩阵，查看原始计算结果
print("===== tf-idf稀疏矩阵 =====")
print(tfidf)
# 稀疏矩阵解读：(行索引, 列索引) tf-idf值，仅存储非0值，节省内存
# 步骤4：获取语料库中的所有有效词汇列表（已过滤停用词）
# get_feature_names_out()：替代旧版get_feature_names()，解决版本兼容警告
wordlist = vectorizer.get_feature_names_out()
print("\n===== 语料库有效词汇列表（已过滤停用词） =====")
print(wordlist)
# 步骤5：将稀疏矩阵转换为dataframe表格，更直观展示各词汇的tf-idf值
# tfidf.t：矩阵转置，行=词汇，列=文档；todense()：稀疏矩阵转稠密矩阵（小语料适用）
tfidf_df = pd.dataframe(tfidf.t.todense(), index=wordlist)
print("\n===== tf-idf值数据表格（行=词汇，列=文档） =====")
print(tfidf_df)
# 步骤6：提取每篇文档的关键词，按tf-idf值从高到低降序排列
print("\n===== 各文档关键词（按tf-idf值降序排列） =====")
# 遍历语料库中的每一篇文档，j为文档索引
for j in range(len(corpus)):
# 获取第j篇文档中所有词汇的tf-idf值，转换为列表
tfidf_values = tfidf_df.iloc[:, j].to_list()
# 构建“词汇-tf-idf值”的字典，便于后续排序
word_tfidf_dict = {}
for i in range(len(wordlist)):
word_tfidf_dict[wordlist[i]] = tfidf_values[i]
# 按tf-idf值降序排序，x[1]表示按字典的值排序
sorted_keywords = sorted(word_tfidf_dict.items(), key=lambda x: x[1], reverse=true)
# 打印第j+1篇文档的关键词，序号从1开始更符合阅读习惯
print(f"第{j+1}篇文档：{sorted_keywords}")四、核心代码模块逐行解析
4.1 语料加载模块
infile = open('task2_1.txt', 'r', encoding='utf-8')
corpus = infile.readlines()
infile.close()- 核心作用：将本地 txt 语料文件转换为 python 可处理的列表格式，
corpus中每个元素对应一篇英文文档； - 关键细节：指定
encoding='utf-8'确保文件读取无乱码，即使是纯英文文件，该配置也能避免特殊字符解析错误； - 路径说明：若文件不在代码同目录，需填写完整绝对路径，如
r'c:\nlp\data\task2_1.txt'，路径前加r避免转义字符问题。
4.2 tf-idf 矩阵计算模块
vectorizer = tfidfvectorizer() tfidf = vectorizer.fit_transform(corpus)
- tfidfvectorizer：sklearn 封装的 tf-idf 专用工具，对英文原生支持，默认完成「英文分词→过滤英文停用词（the/is/this/and 等）→词频统计→tf-idf 归一化计算」全流程，无需手动实现任何公式；
- fit_transform()：一站式完成 “语料分析” 和 “矩阵转换”，
fit分析语料库的词汇分布、文档数等基础信息，transform将语料转换为tf-idf 稀疏矩阵； - 稀疏矩阵优势：仅存储非 0 值（即词汇在文档中出现的 tf-idf 值），大幅节省内存，适合处理大规模英文语料库。
4.3 有效词汇提取模块
wordlist = vectorizer.get_feature_names_out()
- 提取语料库中所有有效词汇，自动过滤 sklearn 内置的英文停用词（如 the、is、this、and 等），这些停用词无实际语义价值，无需参与关键词提取；
- 替代旧版
get_feature_names()方法，解决高版本 sklearn 的版本警告，提升代码兼容性。
4.4 tf-idf 结果可视化模块
tfidf_df = pd.dataframe(tfidf.t.todense(), index=wordlist)
- tfidf.t：将原始 “行 = 文档、列 = 词汇” 的矩阵转置为 “行 = 词汇、列 = 文档”，更符合 “按词汇查看各文档 tf-idf 值” 的阅读习惯；
- todense()：将稀疏矩阵转换为稠密矩阵，仅适用于小语料库（如本次 6 篇文档），大规模语料库无需转换，避免内存溢出；
- dataframe 表格：以表格形式展示 tf-idf 值，直观看到每个词汇在不同文档中的权重，便于结果分析。
4.5 关键词排序模块
sorted_keywords = sorted(word_tfidf_dict.items(), key=lambda x: x[1], reverse=true)
- 核心逻辑：tf-idf 值越高，代表该词汇在对应文档中的重要性越强，越适合作为核心关键词；
- sorted 排序：
key=lambda x: x[1]表示按字典的值（tf-idf 值）排序，reverse=true表示降序排列； - 结果特点：排序后列表中，靠前的为核心关键词，tf-idf 值为 0 的词汇表示该词汇未出现在对应文档中。
五、实战运行结果解读
运行上述代码后，将得到稀疏矩阵、有效词汇列表、tf-idf 表格、关键词排序四部分结果，以下为核心结果的详细解读，贴合本次task2_1.txt语料的实际运行情况：
5.1 有效词汇列表（已过滤停用词）
['and', 'document', 'final', 'first', 'has', 'line', 'one', 'several', 'second', 'third', 'words']
- 解读：sklearn 自动过滤了 the、is、this 等无意义停用词，仅保留具有实际语义的词汇，共 11 个有效词汇参与 tf-idf 计算。
5.2 关键文档关键词排序结果
第1篇文档：[('first', 0.7959605415421216), ('document', 0.6053485081062916), ('and', 0.0), ...]
第2篇文档：[('second', 0.8532257383914493), ('document', 0.521848223009785), ('and', 0.0), ...]
第5篇文档：[('line', 0.4472135955), ('has', 0.4472135955), ('several', 0.4472135955), ('words', 0.4472135955), ...]- 第 1 篇文档核心关键词为
first（tf-idf 值最高），其次是document，符合文档主题this is the first document； - 第 2 篇文档核心关键词为
second，贴合文档主题this document is the second document； - 第 5 篇文档中
line/has/several/wordstf-idf 值相同，因该文档为this line has several words，所有词汇均为首次出现且无重复，权重均等。
5.3 结果核心规律
- 某词汇仅在单篇文档中出现，则其在该文档的 tf-idf 值显著偏高（如 final/third/second 等）；
- 某词汇在多篇文档中重复出现（如 document），则其 tf-idf 值会被稀释，在各文档中权重相对偏低；
- 停用词全程被过滤，tf-idf 值始终为 0，不参与关键词排序。
六、实战拓展与优化
6.1 提取 topn 核心关键词
若无需展示所有词汇的 tf-idf 值，可仅提取前 n 个核心关键词（如 top3/top5），修改步骤 6 的代码即可，示例如下：
# 提取每篇文档的top3核心关键词
for j in range(len(corpus)):
tfidf_values = tfidf_df.iloc[:, j].to_list()
word_tfidf_dict = {}
for i in range(len(wordlist)):
word_tfidf_dict[wordlist[i]] = tfidf_values[i]
sorted_keywords = sorted(word_tfidf_dict.items(), key=lambda x: x[1], reverse=true)
# 仅取前3个核心关键词
top3_keywords = sorted_keywords[:3]
print(f"第{j+1}篇文档top3关键词：{top3_keywords}")6.2 自定义过滤停用词
sklearn 内置的停用词库可满足基础需求，若需自定义过滤额外词汇，可在初始化tfidfvectorizer时配置stop_words参数，示例如下：
# 自定义停用词列表，在默认基础上额外过滤'document' custom_stop_words = ['the', 'is', 'this', 'document'] vectorizer = tfidfvectorizer(stop_words=custom_stop_words)
6.3 调整词汇过滤规则
通过max_df和min_df参数过滤高频 / 低频词汇，提升关键词提取的精准度：
# max_df=0.8：过滤在80%以上文档中出现的词汇 # min_df=2：过滤仅在1篇文档中出现的词汇 vectorizer = tfidfvectorizer(max_df=0.8, min_df=2)
七、实战核心总结
本次基于task2_1.txt英文语料的 tf-idf 实战，核心要点可总结为以下 5 点，适配所有英文文本的关键词提取场景：
- sklearn 对英文原生友好：
tfidfvectorizer可自动完成英文分词、停用词过滤，无需额外引入分词库，代码简洁高效； - 核心流程固定：语料加载→tf-idf 计算→词汇提取→结果可视化→关键词排序，五步即可实现英文文本关键词提取；
- 稀疏矩阵是关键：sklearn 默认返回稀疏矩阵，大幅节省内存，小语料可转 dataframe 表格，大语料直接操作稀疏矩阵；
- tf-idf 值的意义：值越高代表词汇在文档中的重要性越强，仅在单篇文档出现的词汇权重远高于多篇重复出现的词汇；
- 代码可直接复用：仅需修改语料文件路径，即可将本代码应用到任意英文文本的关键词提取任务中。
八、结尾
本文基于真实的英文语料文件task2_1.txt，实现了 tf-idf 算法的完整实战，代码可直接复制运行，且适配各类英文文本的关键词提取需求。tf-idf 作为 nlp 的经典基础算法，简单高效、可解释性强，是文本检索、文本分类、舆情分析等任务的重要基础。
以上就是python+sklearn实现英文文本关键词提取的完整代码的详细内容，更多关于python sklearn英文文本关键词提取的资料请关注代码网其它相关文章！
发表评论