转换生成式 PyTorch 模型 (original) (raw)
AI Edge Torch Generative AI Studio API是一个针对移动设备优化的库,用于将基于 Transformer 的 PyTorch 模型转换为 LiteRT 格式,让您可以将大型语言模型 (LLM) 转换为 使用 LiteRT 和 MediaPipe 生成设备端图片和文本。AI Edge Torch Generative API 目前仅支持 CPU,并计划支持 GPU 和 NPU。
移动应用开发者可以使用 Edge Generative API 集成 PyTorch LLMMediaPipe LLM 推断 API来创建应用 完全在设备端运行这些转换后的 PyTorch 模型。
如需了解更多信息,请参阅 Generative Torch API GitHub 代码库。
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2024-09-05。