相关动态
Python NLTK 入门教程
2024-11-10 18:19

NLTK 入门(详细使用见官网:http://www.nltk.org/)

Python NLTK 入门教程

 

图片1

选择需要的包安装,建议默认路径下载,全部包安装大概需要 2G 内存

测试安装是否成功

 

1.文本切分成语句

 

2.文本切分成语句(大批量句子切分、特定语言句子切分

 

3. 分词方法

  • 方法1:TreebankWordTokenizer 依据 Penn Treebank 语料库的约定,通过分离缩略词来实现切分
 
  • 方法2:PunktWordTokenizer 通过分离标点来实现切分的,每一个单词都会被保留
 
  • 其他分词方法 :RegexpTokenizer、WhitespaceTokenizer、BlanklineTokenizer 等

4. 频率分布 nltk.probability.FreqDist

函数解释fdist = FreqDist(samples)创建包含给定样本的频率分布,参数为词的列表fdist.inc(sample)增加样本fdist[‘monstrous’]计数给定样本出现的次数fdist.freq(‘monstrous’)给定样本的频率fdist.N()样本总数fdist.keys()以频率递减顺序排序的样本链表for sample in fdist:以频率递减的顺序遍历样本fdist.max()数值最大的样本fdist.tabulate()绘制频率分布表fdist.plot()绘制频率分布图fdist.plot(cumulative=True)绘制累积频率分布图fdist1 < fdist2测试样本在 fdist1 中出现的频率是否小于 fdist2

5. 条件频率分布 nltk.probability.ConditionalFreqDist

函数解释cfdist = ConditionalFreqDist(pairs)从配对链表中创建条件频率分布cfdist.conditions()将条件按字母排序cfdist[condition]此条件下的频率分布cfdist[condition][sample]此条件下给定样本的频率cfdist.tabulate()为条件频率分布制表cfdist.tabulate(samples, conditions) 指定样本和条件限制下制表cfdist.plot()为条件频率分布绘图cfdist.plot(samples, conditions) 指定样本和条件限制下绘图cfdist1 < cfdist2测试样本在 cfdist1 中出现次数是否小于在 cfdist2中出现次数

6.nltk.text.Text()类用于对文本进行初级的统计与分析

函数解释Text(words)对象构造,参数为词的列表concordance(word, width, lines)显示 word 出现的上下文common_contexts(words)显示 words 出现的相同模式similar(word)显示 word 的相似词collocations(num, window_size)显示最常见的二词搭配count(word)word 出现的词数dispersion_plot(words)绘制 words 中文档中出现的位置图vocab()返回文章去重的词典

7. nltk.corpus 自带语料库

函数解释gutenberg大约有 36000 本免费电子图书,多是古典作品webtext网络小说、论坛、网络广告等内容nps_chat有上万条聊天消息语料库,即时聊天消息为主brown一个百万词级别的英语电子语料库,这个语料库包含 500 个不同来源的文本,按文体分类有新闻、社论等reuters路透社语料库,上万篇新闻方档,约有 1 百万字,分 90 个主题,并分为训练集和测试集两组inaugural演讲语料库,几十个文本,都是总统演说

8. 语料库操作

函数解释fileids()返回语料库中文件名列表fileids[categories]返回指定类别的文件名列表raw(fid=[c1,c2])返回指定文件名的文本字符串raw(catergories=[])返回指定分类的原始文本sents(fid=[c1,c2])返回指定文件名的语句列表sents(catergories=[c1,c2])按分类返回语句列表words(filename)返回指定文件名的单词列表words(catogories=[])返回指定分类的单词列表

9. 提取词干

提取词干:词干提取可以被定义为一个通过去除单词中的词缀以获取词干的过程。

以单词 raining 为例,词干提取器通过从 raining 中去除词缀来返回其词根或词干 rain。为了提高信息检索的准确性,搜索引擎大多会使用词干提取来获取词干并将其存储为索引词。

  • 方法 1:在 NLTK 中使用 PorterStemmer 类进行词干
 
  • 方法 2:LancasterStemmer 类在 NLTK 中用于实现 Lancaster 词干提取算法
 
  • n 方法 3:在 NLTK 中,我们通过使用 RegexpStemmer 类也可以构建属于我们自己的词干提取器。它的工作原理是通过接收一个字符串,并在找到其匹配的单词时删除该单词的前缀或后缀

10. 词性标注

词性标注:词性标注是一个对句中的每个标识符分配词类(例如名词、动词、形容词等)标记的过程。在 NLTK 中,词性标注器存在于 nltk.tag 包中并被 TaggerIbase 类所继承

 

1.消除标点符号(中英文

 

2. 文本的大小写转换

 

3.处理停止词(英文

    以上就是本篇文章【Python NLTK 入门教程】的全部内容了,欢迎阅览 ! 文章地址:http://yybeili.xhstdz.com/news/5123.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://yybeili.xhstdz.com/mobile/ , 查看更多   
最新文章
AI智能营销领域的卓越引领者
作为 AI 智能营销业务的先锋企业,专注于为客户打造智能化的营销解决方案,助力其在激烈的市场竞争中脱颖而出。我们的核心优势在
百度蜘蛛池收录:揭秘蜘蛛池做排名解析技巧,助力网站快速崛起
揭秘蜘蛛池收录技巧,解析如何利用蜘蛛池快速提升网站排名,助力网站快速崛起。本文目录导读:了解蜘蛛池蜘蛛池做排名解析技巧随
网站排名优化,专治周a斯受欢迎的秘诀
网站排名优化是提升网站在搜索引擎中排名的关键。针对周a斯受欢迎的秘诀,关键在于提供高质量、有价值的内容,同时注重网站结构
杭州SEO优化,助您网站飞跃,企业腾飞之道
杭州SEO网站优化,专业提升网站排名,助力企业快速提高网络曝光度,抢占市场份额,实现线上业绩腾飞。通过科学策略,精准关键词
#### 智能创作发布到抖音怎么不存在流量
在数字化时代的浪潮中人工智能()的应用已经渗透到各个领域其中智能创作更是以其高效、便捷的特性受到了广大创作者的青睐。它不
国际站:SEO Checker诊断工具助力商家诊断详情页,提升seo效果
国际站商家看过来:众所周知,一个优质的商品描述,可以提升买家转化的同时,还可以带来更多免费流量,从而让商家获得更多询盘和
【富蕴网站优化】在网站优化中有哪些常用的网站推广方式?
1、,百度,google的优化,针对,音乐,mp3下载,电影、游戏等一级,二级,甚至关键字优化。Seo介绍的网站很多,就不在这里重复
公众号简单爬虫--把公众号文章全部转载到网站(二)
根据上一篇的方法,我们得到了一个获取列表信息的地址,而且是用get方法就可以的地址.那么事情就变得很简单了,就是常规的爬取信息
1.【typecho】个人博客安装—使用群晖演示
哈喽,大家好今天给大家带来的是最近在群晖上安装一个博客的演示。先给大家看一下安装好之后的效果。虽然说现在使用博客和看博客
相关文章