近日，达晨完成对AI推理部署解决方案厂商「清昴智能」数千万元Pre-A+轮的领投，启赋资本联合领投，老股东奇绩创坛跟投。此前，清昴智能已获得某世界500强科技巨头公司的千万元战略投资，资金将主要用于人才梯队组建，产品研发和市场落地。
早在大模型浪潮席卷之前，高推理延迟、高推理成本、高资源占用这“三高”，以及算力层的硬件适配，一直是困扰模型落地的最后一公里。尤其在AI+消费级硬件成为行业趋势的当下，如何让大模型在有限算力的终端设备上跑起来，也成为不少终端厂商亟需解决的难题。
然而，痛点的存在对应的是上游解决方案的空白——一方面，市面上推理部署工具链的主流玩家，大多集中在北美；另一方面，大多中间层厂商，提供的是英伟达等海外硬件适配服务，当国产替代逐渐成为国内算力的主要解决方案，大模型与国产芯片适配的痛点一直难以得到解决。
作为推理部署工具链最早的国内玩家之一，清昴智能成立于2022年10月，通过提供AI模型的推理和部署优化工具链，从而降低下游客户模型的部署和使用成本和门槛。
早在2022年6月，在Stable Diffusion等AIGC模型爆发的风口，清昴智能团队就开始着手布局模型部署和推理优化工具链的研发。针对AIoT（AI物联网）、自动驾驶等智慧场景，清昴智能推出了第一代AI模型推理优化工具链MLGuider。除英伟达之外，MLGuider还支持AMD、高通、昇腾等国内外芯片的部署。
基于市场需求，MLGuider的功能和框架也进行了不断迭代。早期的MLGuider主要针对边端芯片和传统小模型，采取量化、蒸馏、稀疏化等一系列优化方法。
随着市场对大模型的需求爆发，清昴智能联合模型优化、分布式优化和编译优化等优化技术栈，打造了面向基础模型和底层算力硬件的全链路工具链，着重对大模型和底层AI芯片，尤其是国产芯片的适配优化进行了功能迭代。
以国产头部硬件昇腾为例，在今年2024昇腾开发者大会上，清昴智能作为昇腾伙伴代表也首发了基于昇腾原生开发环境的MLGuider-Ascend工具链，解决了AIGC模型在落地国产昇腾硬件过程中模型-算力不匹配，技术栈复杂，迁移与优化成本高等问题。
除模型推理部署优化工具链外，清昴智能还推出了企业级基础模型开发部署平台LLMOps、大模型一体化整机方案、大模型本地化及边端部署方案等解决方案矩阵。
清昴智能创始人兼CEO关超宇认为，中间层厂商的困境，往往在于如何让商业化成规模。对此，清昴智能在直接面向企业客户提供解决方案的同时，还着力与芯片厂商、地方算力中心达成生态合作。“我们能够通过链接芯片、服务器以及模型解决方案商等生态伙伴，为客户提供端到端的整体解决方案。” 模型推理部署工具链，做的是算力层和模型层的软硬件适配工作，因此也被称作中间层。关超宇认为，中间层的任务就是将模型的运行效果能无限趋近于硬件的峰值性能，充分挖掘模型和硬件的潜能。
面对是否会被上下游厂商吞并的问题，从模型层和芯片层的角度来说，就是提升模型或芯片本身的性能。与此同时，繁多的模型选择和碎片化的硬件环境，让模型-中间层-芯片的生态合作愈加清晰。
在人才组织层面，清昴智能核心成员主要来自清华大学、上海交通大学、华为、阿里等高校和公司。创始人兼CEO关超宇毕业于清华大学计算机系，2021年西尔贝学者奖学金获得者（全球不到百人），并带队研发世界首个自动图学习项目AutoGL。科学家顾问朱文武为清华大学计算机科学与技术系教授，曾任微软亚洲研究院主任、英特尔中国研究院首席科学家。
达晨财智投资总监姜铭表示：“AI2.0时代，大模型服务对算力的需求爆发式增长，是小模型算力需求的20倍以上。此外，大模型落地还需要解决性能、资源耗费、硬件适配等诸多问题。因此，业界急需低成本、高效率的大模型工具，帮助大模型做软硬协同的系统级优化和加速。清昴用其独创的技术路线提供大模型全栈式自动优化工具链，并在行业内率先形成产品，实现了卓越的性能表现，目前已经获得行业头部大厂的认可，开展业务推广。我们看好清昴这个年轻、有活力的团队，期待清昴未来持续推出、迭代新产品，打造国内头部的AI Infra平台。”
