transformers 库是知名的 NLP 社区 Hugging-Face 提供的自然语言处理工具库,它提供了数以千计针对于各种任务的预训练模型,开发者可以根据自身的需要,选择模型并进行训练或微调,也可阅读 api 文档和源码,快速开发新模型。
安装
安装命令:
pip install transformers
然后,
import transformers
基础组件
transformers 由如下几大组件构成:
- pipeline:
pipeline()
函数是最基本的对象,它将模型与其必要的预处理和后处理步骤连接起来,使我们能够直接输入任何文本并获得答案。 - Tokenizer:与其他神经网络一样,Transformer 模型不能直接处理原始文本,故使用分词器进行预处理。
- Model:顾名思义,它包含了各种现成的开源预训练库。
- Trainer:Trainer 中配置具体的训练用到的内容,包括模型、训练参数、训练集、验证集、分词器、评估函数等内容。