NLP 教程

NLP 工具库

NLP 神经网络

NLP 笔记

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/nlp-transformers.html

Hugging Face 的 transformers 强大自然语言处理工具库


transformers 库是知名的 NLP 社区 Hugging-Face 提供的自然语言处理工具库,它提供了数以千计针对于各种任务的预训练模型,开发者可以根据自身的需要,选择模型并进行训练或微调,也可阅读 api 文档和源码,快速开发新模型。

安装

安装命令:

pip install transformers

然后,

import transformers

基础组件

transformers 由如下几大组件构成:

  • pipeline:pipeline() 函数是最基本的对象,它将模型与其必要的预处理和后处理步骤连接起来,使我们能够直接输入任何文本并获得答案。
  • Tokenizer:与其他神经网络一样,Transformer 模型不能直接处理原始文本,故使用分词器进行预处理。
  • Model:顾名思义,它包含了各种现成的开源预训练库。
  • Trainer:Trainer 中配置具体的训练用到的内容,包括模型、训练参数、训练集、验证集、分词器、评估函数等内容。
NLP,英文全称 Natural Language Processing,中文叫自然语言处理,它是人工智能和语言学领域的分支学科。该领域探讨 ...
Guava 是一个 Google 开发的基于 Java 的类库集合的扩展项目,包括集合、缓存、原生类型支持、并发库、通用注解、字符串处理、I ...
我们知道 jdk 的 bin 目录之中有很多命令行工具,这些命令主要包括用于监视虚拟机和故障处理的工具。Sun JDK 监控和故障处理工具主 ...
Redis 有很多图形化的管理工具,常见的 Redis GUI 工具有 Redis Desktop Manager(又名 RDM)、Anot ...
Matplotlib 是 Python 的绘图库。它可与 NumPy 一起使用,提供了一种有效的 MatLab 开源替代方案。它也可以和图形 ...