本书以自然语言处理常用技术与真实案例相结合的方式,深入浅出地介绍自然语言处理中的关键内容。全书共8章,内容包括自然语言处理概述、文本数据爬取、文本基础处理、文本进阶处理、天问一号事件中的B站网民情感分析、新闻文本分类、基于浏览记录的个性化新闻**以及基于TipDM数据挖掘建模平台实现新闻文本分类。本书大部分章节包含了课后习题,其中前4章设置了选择题,后4章设置了操作题,希望通过练习和操作实践,帮助读者巩固所学的内容。 本书可作为高校数据科学、人工智能和新闻传播相关专业教材,也可作为自然语言处理爱好者的自学用书。

目录 第 1章 导论 1 1.1 自然语言处理概述 1 1.1.1 发展历程 1 1.1.2 研究任务 3 1.1.3 自然语言处理与新闻传媒 5 1.2 自然语言处理工具 11 1.2.1 常见的自然语言处理工具 12 1.2.2 Python与自然语言处理 14 1.3 NLP的开发环境 14 1.3.1 Anaconda安装 14 1.3.2 Anaconda应用介绍 15 小结 22 课后习题 22 第 2章 文本数据爬取 24 2.1 HTTP通信基础 24 2.1.1 熟悉HTTP请求方法与过程 24 2.1.2 熟悉常见HTTP状态码 27 2.1.3 熟悉HTTP头部信息 28 2.1.4 熟悉Cookie 29 2.2 静态网页爬取 31 2.2.1 实现HTTP请求 32 2.2.2 网页解析 35 2.2.3 数据存储 42 2.3 动态网页爬取 44 2.3.1 逆向分析爬取 45 2.3.2 使用Selenium库爬取 50 小结 58 课后习题 59 第3章 文本基础处理 61 3.1 语料库 61 3.1.1 语料库概述 61 3.1.2 语料库种类与原则 63 3.1.3 NLTK库 65 3.1.4 语料库的获取 68 3.1.5 语料库的构建与应用 70 3.2 分词与词性标注 74 3.2.1 中文分词简介 74 3.2.2 基于规则的分词 74 3.2.3 基于统计的分词 76 3.2.4 中文分词工具jieba库 79 3.2.5 词性标注简介 80 3.2.6 词性标注规范 81 3.2.7 jieba词性标注 82 3.3 命名实体识别 85 3.3.1 命名实体识别简介 86 3.3.2 CRF模型 87 3.3.3 命名实体识别流程 87 3.4 关键词提取 91 3.4.1 关键��提取技术简介 91 3.4.2 关键词提取算法 92 3.4.3 自动提取文本关键词 93 小结 97 课后习题 97 第4章 文本进阶处理 99 4.1 文本向量化 99 4.1.1 文本向量化简介 99 4.1.2 文本离散表示 100 4.1.3 分布式表示 102 4.1.4 Word2Vec词向量的训练 106 4.2 文本相似度计算 108 4.2.1 文本相似度的定义 108 4.2.2 文本的表示 108 4.2.3 常用文本相似度算法 111 4.3 文本分类与聚类 117 4.3.1 文本挖掘简介 117 4.3.2 文本分类常用算法 118 4.3.3 文本聚类常用算法 120 4.3.4 文本分类与聚类的步骤 121 4.3.5 新闻文本分类 122 4.3.6 新闻文本聚类 130 小结 135 课后习题 136 第5章 天问一号事件中的网民评论情感分析 137 5.1 业务背景与项目目标 137 5.1.1 业务背景 138 5.1.2 数据说明 138 5.1.3 分析目标 139 5.2 分析方法与过程 140 5.2.1 数据探索 140 5.2.2 文本预处理 145 5.2.3 绘制词云图 149 5.2.4 使用朴素贝叶斯构建情感分析模型 154 5.2.5 模型评估 160 5.2.6 模型优化 162 小结 167 课后习题 167 第6章 新闻文本分类 172 6.1 业务背景与项目目标 172 6.1.1 业务背景 172 6.1.2 数据说明 173 6.1.3 分析目标 173 6.2 分析方法与过程 174 6.2.1 数据采集 174 6.2.2 数据探索 175 6.2.3 文本预处理 181 6.2.4 SVM模型构建 185 6.2.5 模型评价 189 小结 191 课后习题 191 第7章 基于浏览记录的个性化新闻** 193 7.1 业务背景与项目目标 193 7.1.1 业务背景 194 7.1.2 数据说明 194 7.1.3 分析目标 195 7.2 分析方法与过程 196 7.2.1 数据探索 196 7.2.2 数据预处理 201 7.2.3 模型构建 202 7.2.4 模型评估 209 小结 210 课后习题 211 第8章 基于TipDM数据挖掘建模平台实现新闻文本分类 212 8.1 平台简介 212 8.1.1 实训库 213 8.1.2 数据连接 214 8.1.3 实训数据 215 8.1.4 系统算法 217 8.1.5 个人算法 219 8.2 实现新闻文本分类 220 8.2.1 数据源配置 221 8.2.2 文本预处理 223 8.2.3 支持向量机模型 231 小结 233 课后习题 233