近日，达晨A轮领投企业智谱AI开源了其GLM系列模型的新成员——中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B千亿基座模型之后，智谱AI再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的ChatGLM也同期推出，初具问答和对话功能，现已开启邀请制内测（内测申请网址chatglm.cn），后续还将会逐步扩大内测范围。
浅尝智谱AI ChatGLM
2022年底ChatGPT横空出世，引爆全球科技圈，并迅速席卷到各个领域。仅过数月，今年3月15日，ChatGPT撕掉了“Chat”标签再次进化，GPT-4惊艳亮相。作为升级后的多模态大模型，GPT-4不仅具有更强大的创造性、更长的上下文处理能力，可支持图像输入，还能自定义风格，达到了AI历史上又一个前所未有的新高度。AI大模型超乎人们意外的发展速度，似乎在真正意义上打开了世界各国“新科技竞赛”的一重大门。
其实在国内第一代AI创业热潮及商业化落地的背景下，不少顶尖团队也早开启了AI大模型的自主化研究。达晨在2021年初A轮投资的智谱AI就是其中的佼佼者。
智谱AI由清华大学计算机系的技术成果转化而来，致力于打造新一代认知智能通用模型，提出了Model as a Service（MaaS）的市场理念。公司于2021年合作研发了双语千亿级超大规模预训练模型GLM-130B，并主导构建了高精度通用知识图谱，把两者有机融合为数据与知识双轮驱动的认知引擎，并基于此千亿基座模型打造ChatGLM。此外，智谱AI也推出了认知大模型平台Bigmodel.ai，形成AIGC产品矩阵。通过认知大模型链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。
达晨财智合伙人邬曦表示：“我们长期看好下一代人工智能在中国的发展和落地。第三代人工智能即认知智能不仅要求基于大数据的深度学习及对应的感知识别，还要求机器具有认知和推理能力，让机器具备与人接近的常识和逻辑，这就对数据与知识的融合提出了迫切需求。智谱基于自有的技术基因，不仅自主研发了多语言千亿级超大规模预训练模型，构建了高精度通用知识图谱，还将数据与知识这两者有机融合、打造了数据+知识双轮驱动的认知引擎，他们的技术路线是走在了下一代人工智能发展的主流方向之上。”
达晨财智董事总经理张英杰也提到了对智谱团队专业度的看重，他表示：“智谱创始团队及核心成员绝大部分来自清华大学知识工程实验室，领头人唐杰教授是全球知名人工智能专家，国内唯一获得AI领域顶级国际会议十年最佳论文的作者，在业内有很好的口碑和号召力。” 因此，在A轮下注智谱时，投资团队认为第一，其行业方向的精准和团队的技术水平是最大的确定性；第二，预训练大模型的爆发只是时间问题，当然目前的节奏比预想的更快——美国不断发布大模型和应用，既是对大模型概念的普及和市场推广，也对中国大模型的发展速度和迭代节奏提出了挑战。
| 关于新成员ChatGLM-6B
据悉，本次智谱AI发布的ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的ChatGLM-6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
具体来说，ChatGLM-6B具备以下特点：
充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。 优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。 较低的部署门槛：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。 更长的序列长度：相比 GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长对话和应用。 人类意图对齐训练：使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人类指令意图的能力。输出格式为markdown，方便展示。
相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，ChatGLM-6B可能会生成不正确的信息，也不太擅长逻辑类问题（如数学、编程）的解答。 可能会产生有害说明或有偏见的内容：ChatGLM-6B只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。 较弱的多轮对话能力：ChatGLM-6B的上下文理解能力还不够充分，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。
模型开源的地址为：
https://github.com/THUDM/ChatGLM-6B
