从真实收录的工具中，找到适合你的选择。
帮助在自己的电脑或服务器上运行AI模型,并向应用提供调用接口。
通过图形界面下载、运行本地AI模型,并进行聊天和接口实验。
百度智能云千帆面向需要开发、部署或评估AI的团队,主要支持选择大模型开发服务、搭建模型应用和管理模型调用与部署。
LocalAI面向需要开发、部署或评估AI的团队,主要支持在本地运行模型服务、提供兼容的模型接口和连接文本音频图像模型。
BentoML面向需要开发、部署或评估AI的团队,主要支持将模型封装成服务、构建推理部署流程和管理模型应用运行。
Ray面向需要开发、部署或评估AI的团队,主要支持分布式运行Python任务、组织模型训练工作和部署可扩展推理服务。
NVIDIA NIM面向需要开发、部署或评估AI的团队,主要支持部署预构建模型推理服务、通过接口调用AI模型和管理企业推理应用。
vLLM面向需要开发、部署或评估AI的团队,主要支持部署大语言模型推理服务、管理批处理与请求和提供兼容的模型接口。
SGLang面向需要开发、部署或评估AI的团队,主要支持部署模型推理服务、处理结构化生成任务和配置高效模型执行。
用于深度学习训练和推理优化的开源库,重点处理分布式计算、显存利用和大模型运行等工程问题。
围绕模型开发、训练和部署提供云端计算与工程工具。
IBM的企业AI开发平台,围绕基础模型与机器学习组织开发、调优和部署。