什么是 Hugging Face Transformers？

Hugging Face Transformers 是一个开源库，为自然语言理解（NLU）和自然语言生成（NLG）提供通用架构（如BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, T5等）。它提供了数千个预训练模型，可以对文本、视觉和音频等不同模态执行广泛的任务。对于任何使用基于Transformer模型的人来说，它都是事实上的标准，提供了一个统一的API来访问和使用来自Hugging Face Hub的大量模型。

主要特点

• 广泛的模型中心： 社区共享了超过10万个用于各种任务和语言的预训练模型。
• 简单而强大的管道（Pipelines）： pipeline抽象使得在情感分析、问答和文本生成等任务上使用模型进行推理变得极其简单，只需几行代码。
• 框架互操作性： 在PyTorch、TensorFlow和JAX之间无缝切换，允许您使用相同的模型架构和不同的后端框架。
• 高效的分词器（Tokenizers）： 提供快速且通用的分词器，用于将文本转换为可以输入模型的数据。
• 微调能力： 提供强大的工具和示例，用于在您自己的数据集上微调预训练模型，以使其适应特定任务。
• 活跃的社区和开发： 在一个庞大而活跃的社区的支持下，该库不断更新最新的模型和功能。

应用场景

• 情感分析： 快速确定一段文本的情感基调。
• 文本生成： 为聊天机器人、内容创作等生成连贯且与上下文相关的文本。
• 机器翻译： 将文本从一种语言翻译成另一种语言。
• 文本摘要： 为长文档创建简洁的摘要。
• 问答： 从给定上下文中提取特定问题的答案。
• 图像分类和目标检测： 将Transformer模型应用于计算机视觉任务。
• 语音识别： 将口語音頻轉換為文本。

入门指南

开始使用Transformers最简单的方法是使用pipeline函数。这是一个用于情感分析的“Hello World”示例：

```python from transformers import pipeline

创建一个用于情感分析的管道

classifier = pipeline(“sentiment-analysis”)

分析一个句子

result = classifier(“Hugging Face Transformers 是一个简化深度学习的了不起的库。”)

打印结果

print(result)

预期输出: [{‘label’: ‘POSITIVE’, ‘score’: 0.999…}]

这个简单的示例下载了一个预训练模型和分词器，并执行了推理，无需手动预处理或模型管理。

定价

Hugging Face Transformers 是一个完全免费的开源库，采用Apache 2.0许可证。虽然库本身是免费的，但将其与Hugging Face的付费服务（如Inference Endpoints或专家支持）一起使用可能会产生费用。