只需和 ChatGPT 聊聊天，它就能帮你调用 10 万 + 个 HuggingFace 模型！

这是抱抱脸最新上线的功能 HuggingFace Transformers Agents，一经推出就获得极大关注:

这个功能，相当于给 ChatGPT 等大模型配备了“多模态”能力 ——

不限于文本，而是图像、语音、文档等任何多模态任务都能解决。

例如告诉 ChatGPT“解释这张图像”，并扔给它一张海狸照片。ChatGPT 就能调用图像解释器，输出“海狸正在水里游泳”:

随后，ChatGPT 再调用文字转语音，分分钟就能把这句话读出来:

当然，它不仅支持 ChatGPT 在内的 OpenAI 大模型，也支持 OpenAssistant 等免费大模型。

Transformer Agent 负责“教会”这些大模型直接调用 Hugging Face 上的任意 AI 模型，并输出处理好的结果。

所以这个新上线的功能，背后的原理究竟是什么？

如何让大模型“指挥”各种 AI？

简单来说，Transformers Agents 是一个大模型专属的“抱抱脸 AI 工具集成包”。

HuggingFace 上各种大大小小的 AI 模型，都被收纳在这个包里，并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”……

同时，每个工具都会有对应的文字解释，方便大模型理解自己该调用什么模型。

这样一来，只需要一段简单的代码 + 提示词，就能让大模型帮助你直接运行 AI 模型，并将输出结果实时返还给你，过程一共分为三步:

首先，设置自己想用的大模型，这里可以用 OpenAI 的大模型:

fromtransformersimportOpenAiAgentagent=OpenAiAgent

也可以用 BigCode 或 OpenAssistant 等免费大模型:

fromhuggingface_hubimportloginlogin

然后，设置 Hugging Transformers Agents。这里我们以默认的 Agent 为例:

接下来，就可以使用 run 或者 chat 两个指令，来运行 Transformers Agents 了。

run 适合同时调用多个 AI 模型，执行比较复杂专业的任务。

可以调用单个 AI 工具。

例如执行 agent.run ，它就能调用 AI 文生图工具帮你生成一张图像:

也可以同时调用多个 AI 工具。

例如执行 agent.run ，它就能调用“文生图”和“图生图”工具，帮你生成对应图像:

chat 则适合以聊天的方式“持续完成任务”。

要调用的 AI 模型可以自行设置，也可以使用抱抱脸自带的一套默认设置来完成。

已设置一套默认 AI 模型

目前，Transformers Agents 已经集成了一套默认 AI 模型，通过调用以下 Transformer 库中的 AI 模型来完成:

例如问“TRRF 科学咨询委员会会议将在哪里举行”，Donut 就会给出答案:

2、文字问答模型 Flan-T5。给定长文章和一个问题，它就能回答各种文字问题，帮你做阅读理解。

3、零样本视觉语言模型 BLIP。它可以直接理解图像中的内容，并对图像进行文字说明。

4、多模态模型 ViLT。它可以理解并回答给定图像中的问题，

5、多模态图像分割模型 CLIPseg。只需要给它一个模型和一个提示词，它就能根据这个提示分割出图像中指定的内容。

6、自动语音识别模型 Whisper。它可以自动识别一段录音中的文字，并完成转录。

7、语音合成模型 SpeechT5。用于文本转语音。

8、自编码语言模型 BART。除了可以自动给一段文字内容分类，还能做文本摘要。

9、200 种语言翻译模型 NLLB。除了常见语言外，还能翻译一些不太常见的语言，包括老挝语和卡姆巴语等。

通过调用上面这些 AI 模型，包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。

除此之外，抱抱脸还“夹带私货”，包含了一些 Transformer 库以外的模型，包括从网页下载文本、文生图、图生图、文生视频:

当然，如果我们不想用这些默认 AI 模型，想设置一套更好用的“工具集成包”，也可以根据步骤自行设置。

对于 Transformers Agents，也有网友指出，有点像是 LangChainagents 的“平替”:

你试过这两个工具了吗？感觉哪个更好用？

参考链接: