Hetzner正在积极开发其大型语言模型 (LLM) 推理服务。该项目旨在为用户提供在Hetzner云基础设施上运行和部署各种LLM的能力，包括但不限于：模型训练、微调、以及低延迟的推理API访问。预计此服务将支持多种流行的开源和商业LLM，并提供灵活的资源配置选项以满足不同规模的需求。Hetzner计划通过其现有的云计算平台（例如，Hetzner Cloud）来提供该服务，并可能与其他相关技术和服务进行集成，以构建一个完整的LLM开发和部署生态系统。
📎 原文：Hetzner is working on LLM Inference | 来源：Hacker News