T5 (文本到文本传输转换器) 是什么？
T5，全称为文本到文本传输转换器（Text-to-Text Transfer Transformer），是谷歌研究院开发的一个具有影响力的编码器-解码器模型。它通过将每一个自然语言处理（NLP）任务都重构为一个统一的“文本到文本”问题，彻底改变了该领域。T5不再为摘要、翻译、分类和问答等任务使用不同的模型架构，而是对所有这些任务使用同一个模型。它通过接收文本作为输入并生成文本作为输出来实现这一点，无论任务是什么。例如，要翻译一个句子，你给模型输入“translate English to Chinese: That is good.”，它就会学会输出“那很好。”。
主要特点
- 统一的文本到文本框架： T5的核心创新是将每个NLP任务都视为一个文本到文本问题，从而简化了建模过程，并实现了令人难以置信的多功能性。
- 编码器-解码器架构： 它利用标准的Transformer架构，使其能够理解输入上下文（编码器）并生成新文本（解码器）。
- 在C4上预训练： 该模型在Colossal Clean Crawled Corpus (C4)上进行了预训练，这是一个巨大且经过清洗的Common Crawl数据集版本，使其对语言有了广泛的理解。
- 任务特定前缀： 通过在输入字符串前添加一个短前缀（例如，“summarize:”、“question:”），来指导T5执行特定任务。
使用案例
- 摘要： 为长篇文章或文档生成简洁的摘要。
- 机器翻译： 将文本从一种语言翻译成另一种语言。
- 问答： 根据给定的上下文回答问题。
- 文本分类： 对文本进行分类，例如进行情感分析。
- 代码生成： 虽然不是其主要重点，但可以对其进行微调以完成简单的代码生成任务。
入门指南
开始使用T5最简单的方法是使用Hugging Face的transformers库。以下是一个如何在Python中使用T5进行摘要的简单示例。
首先，安装必要的库： ```bash pip install transformers torch sentencepiece
然后，使用以下Python代码： ```python from transformers import T5Tokenizer, T5ForConditionalGeneration
初始化分词器和模型
tokenizer = T5Tokenizer.from_pretrained(‘t5-small’) model = T5ForConditionalGeneration.from_pretrained(‘t5-small’)
准备用于摘要的文本
article = “”” 文本到文本传输转换器（T5）是一个灵活的模型，它将所有NLP问题转换为文本到文本的格式。 它由谷歌AI创建。核心思想是在广泛的任务上使用相同的模型、损失函数和超参数。 这包括机器翻译、文档摘要、问答和情感分析等分类任务。 T5通过在输入文本的开头添加特定于任务的前缀来告诉模型该做什么。 例如，要总结一段文本，就在输入的开头添加前缀“summarize: ”。 “”” input_text = “summarize: “ + article
编码文本并生成摘要
inputs = tokenizer.encode(input_text, return_tensors=’pt’, max_length=512, truncation=True) summary_ids = model.generate(inputs, max_length=150, min_length=40, length_penalty=2.0, num_beams=4, early_stopping=True)
解码并打印摘要
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True) print(summary)
定价
T5是根据Apache 2.0许可证发布的开源模型。无论是用于研究还是商业目的，都可以完全免费下载和使用。只有当您使用云计算资源（如GCP、AWS或Azure）来托管或训练模型时，才会产生费用。