NLP 教程

NLP 工具库

NLP 神经网络

NLP 笔记

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/nlp-intro.html

NLP 自然语言处理技术介绍


NLP,英文全称 Natural Language Processing,中文叫自然语言处理,它是人工智能和语言学领域的分支学科。该领域探讨如何处理及运用自然语言;自然语言处理包括多方面和步骤,基本有认知、理解、生成等部分。

主要范畴

  • 文本朗读(Text to speech)
  • 语音合成(Speech synthesis)
  • 语音识别(Speech recognition)
  • 断词/分词(Text segmentation/Word tokenization)
  • 中文自动分词(Chinese word segmentation)
  • 语法分析/剖析(Syntactic analysis/Parsing)
  • 汉语自动句法分析
  • 词汇标示框架(Lexical Markup Framework)
  • n元语法 (n-gram)
  • 词嵌入 (Word2vec)
  • 词性标注(Part-of-speech tagging)
  • 文档分类 (Document classification)
  • 自然语言生成(Natural language generation)
  • 文本分类(Text categorization)
  • 信息检索(Information retrieval)
  • 信息抽取(Information extraction)
  • 文字校对(Text-proofing)
  • 问答系统(Question answering)
  • 给一句人类语言的问句,决定其答案。 典型问题有特定答案 (像是加拿大的首都叫什么?),但也考虑些开放式问句(像是人生的意义是是什么?)
  • 聊天机器人 (ChatBot)
  • 对话系统 (Dialogue system)
  • 机器翻译(Machine translation)
  • 将某种人类语言自动翻译至另一种语言
  • 自动摘要(Automatic summarization)
  • 产生一段文字的大意,通常用于提供已知领域的文章摘要,例如产生报纸上某篇文章之摘要
  • 文字蕴涵(Textual entailment)
  • 命名实体识别(Named entity recognition, NER)
  • 主题模型(Topic Model)
  • 文本情感分析(Sentiment analysis)
  • 语义分析(Semantic analysis)
  • 潜在语义学(Latent Semantic Analysis)
  • 词袋模型(Bag-of-words model)
  • 标签云 (Tag Cloud)
  • 自然语言理解 (Natural Language Understanding)
这里收集了 NLP 工作相关的常见问题、解决方法等。 ...
新词发现是 NLP 的基础任务之一,主要是通过统计,无监督学习等算法技术手段挖掘“未登陆词”。常见的方法有基于左右信息熵的方式、基于神经网络 ...
Lombok(ProjectLombok)是一个用于Java编程语言的开源库,旨在减少Java代码中的冗余和样板代码,提高开发人员的生产力。 ...
transformers库是知名的NLP社区Hugging-Face提供的自然语言处理工具库,它提供了数以千计针对于各种任务的预训练模型,开 ...
Nginx 是由1994年毕业于俄罗斯国立莫斯科鲍曼技术大学的 Igor Sysoeyv 为俄罗斯访问量居首的 rambler.ru 站点设 ...