转换生成式 PyTorch 模型 (original) (raw)

• 首页
• Google AI Edge
• LiteRT

AI Edge Torch Generative AI Studio API是一个针对移动设备优化的库，用于将基于 Transformer 的 PyTorch 模型转换为 LiteRT 格式，让您可以将大型语言模型 (LLM) 转换为 使用 LiteRT 和 MediaPipe 生成设备端图片和文本。AI Edge Torch Generative API 目前仅支持 CPU，并计划支持 GPU 和 NPU。

移动应用开发者可以使用 Edge Generative API 集成 PyTorch LLMMediaPipe LLM 推断 API来创建应用 完全在设备端运行这些转换后的 PyTorch 模型。

如需了解更多信息，请参阅 Generative Torch API GitHub 代码库。

如未另行说明，那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可，并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情，请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。

最后更新时间 (UTC)：2024-09-05。