用 1000 万好意思元能作念一个立异 Transformer 架构的大模子吗？‍‍‍‍

文｜游勇 徐鑫‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

‍‍‍‍‍‍‍‍‍

编｜周路平‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

北京学清路的一个园区，里面有四惟著名有姓的小猫，它们被养得乖巧谦和。这些猫的"日常责任"便是负责抚慰彩云科技几十个火暴的算法工程师。

火暴的起源来自国内大模子赛说念的内卷和不易，履历了一轮本钱的催熟和热捧之后，大模子"六小虎"如今亦然境况分裂，有些在开发外洋市集，而有些在迟缓烧毁预西宾模子，有些在想方设法进行交易化。

但是，这家惟有猫、但还莫得成虎的创业公司，却想着在莫得超等算力的情况下，去挑战当下大模子公司用到的最中枢的 Transformer 架构。这种压力和火暴，简略惟有他家的猫知说念。

几天前，彩云科技认真发布了首个基于 DCFormer 架构的通用大模子云锦天章，除了具备其他模子的问答、数学、编程等基础能力，其特色是在杜撰寰球不雅的基础上，赋予演义东说念主物编程、数学等基础能力，不错高速针对宽阔翰墨进行扩写、缩写，针对著述作风进行大容量更换。

距离 ChatGPT 发布快两年后，彩云科技瞬息发布通用大模子，让许多东说念主嗅觉崭新又否认：当环球皆把见地放在怎么落地和怎么作念 AI 讹诈，以至有不少大模子创业公司烧毁基础模子的研发时，为何还有创业公司重新初始来自研通用大模子？

01

一条区别于 Transformer 的大模子之路

2024 年 7 月，彩云科技 CEO 袁行远和合资东说念主肖达被邀请去维也纳参加机器学习顶会 ICML 会议，台下乌央乌央坐满了 AI 从业者，他们对模子结构的探究得到了组委会的认同。

其实，第一次审稿，组委会给他们的论文评分是 7.66，莫得进入 Top1%，无法上台演讲，自后袁行远和肖达从新作念了一些实验，回应了许多问题，临了评分改为了 7.77，他们收到了参会邮件，而且成为可能的受邀演讲者。之是以说是可能，因为组委会还邀请了其他东说念主，要是别东说念主摄取了邀请，就意味着他不会有上台的契机。

但最终他们取得了登台的契机，也成为国内唯二受邀参加维也纳 ICML 2024 登台演讲的企业，另一家是华为。

为了台上的 20 分钟，彩云科技依然在 Transformer 架构上探究了 6 年，完成了从最早的 NLP 表面探究，到当今的模子本质。

而他们被邀请去演讲，是因为彩云科技提交的一篇名为《Improving Transformers with Dynamically Composable Multi-Head Attention》的论文，它从底层架构层面立异了谷歌在 2017 年发布的 Transformer 架构，并建议了一个新的架构 DCFormer。

无人不晓，当下的大模子波浪发源于谷歌 2017 年发布的《Attention Is All You Need》论文，其中建议的 Transformer 架组成为自后席卷全球的一系列通用大模子如 ChatGPT、Gemini 的底层技能撑握。

当其他厂商皆在基于 Transformer 架构西宾大模子时，袁行远却决定走另外一条路，建议了一个新的模子架构 DCFormer。它通过阅兵 Transformer 的重主见机制，比拟 Transformer 性能晋升 1.7-2 倍。彩云科技提到，在交流西宾数据和算力下，用 DCFormer 阅兵后的 69 亿参数模子成果进步 120 亿参数模子。 

云锦天章恰是彩云科技基于 DCFormer 西宾而成的一个 7B 量级的通用大模子。从表面推导到确凿推出一个可被大家使用的通用模子，袁行远认为，这是渐渐去讲明 DCFormer 是更灵验率模子架构的一种面孔。

咫尺，大家不错在彩云科技的官网 web 端免费体验云锦天章的居品。发布会现场，袁行远也演示了云锦天章的几大能力。比如，给它一个开头，在内容续写上，云锦天章大模子能给出一段有束上起下和显著情节的回应，比拟 GPT-4o，它的回答更有内容和情节。除了文本创作，这个通用模子还具有编程和数学等通用模子具备的能力。

不外，比拟逻辑推理等能力，彩云科技和袁行远本东说念主更振奋给这款大模子贴上"最懂演义创作"的标签，这与市面上种种大模子居品的主打标的酿成分裂。

赛说念采取背后，袁行远有诸多考量。一方面他认为，从种种爆款作品频出能看到，大家对故事耗尽长期有历害的需求。他本东说念主亦然《三体》迷，对故事创作能承载繁多联想空间意思意思满满，"（创作让）东说念主不错生涯在不同的平行天地。咱们不错生涯在光速 30 万米每秒的天地，也不错生涯在光速惟有十米每秒的天地里，是以创作这件事不错一直作念下去。"

同期，故事创作的能力，也被袁行远认为是当下主流 AI 讹诈主打的脚色饰演和伴随类场景里的中枢能力，在这两个场景里罢黜着交流的基础逻辑。

另外，这个赛说念上，困扰大模子落地的幻觉问题并不会成为一个负面成分，脑洞掀开以至对创作而言是正向利好。加上彩云小梦此前作为在 AI 创作领域已有耐久的积贮，围绕着创意写稿有宽阔语料数据上的特有上风。因此云锦天章也成为了当下相配特有的一款大模子居品。

在云锦天章发布后，彩云科技旗下 AI RPG 平台彩云小梦也升级到了基于 DCFormer 架构的 V3.5 版块。据彩云科技高慢，在新模子架构之下，彩云小梦 V3.5 比上一个版块的合座畅达性和连贯性晋升了 20%，支握前文长度由 2000 字晋升至 10000 字，故事布景设定最长长度高达 10000 字。

02  

从 Paper 到 App

云锦天章大模子的中枢创新在于模子架构层面的优化。

2019 岁首始，彩云科技中枢技能团队，在探究 Transformer 这颗东说念主工智能行业里冉冉高涨的新星时，作念了一系列的实验，渐渐能连气儿这一架构里自重主见机制（Self-Attention）中枢组件—— QKV 矩阵的运行链路。

QKV 矩阵使模子能够捕捉序列中不同词元间的依赖关系，而且能够动态调养每个词元对其他词元的柔顺度，这亦然 Transformer 架构能够灵验处理序列数据的要道。

而而后外洋大厂的一系列动作，比如 Anthropic 公司的博客著述以及谷歌探究团队公布的《Talking-Heads Attention》论文，考证了他们的一些遐想。"对模子架构的探究是故意思意思的，弄清模子怎么运转和责任，晋升了大模子的可解释性，为模子底层架构的优化带来了空间。"袁行远说。

跟着探究的握续鼓励，他们发现 Transformer 架构里的 QKV 矩阵里还存在一种优化的可能。具体来说，用可动态组合的多头重主见（DCMHA），替换 Transformer 中枢组件多头重主见模块（MHA）。

比如，北京这个词，跟中国皆门经营联，也跟城市经营联，这便是两组重主见关系。此前生成一个截止时，查找关系和变换是绑定的，存在计较上的花消。替换之后，撤销了 MHA 重主见头的查找采取回路和变换回路的固定绑定，让它们不错阐述输入动态组合，就能晋升模子的抒发能力，晋升模子效率。

这个想路是 DCFormer 在 Transformer 架构层进行创新的中枢。它能相通其他层面的模子提效责任，为大模子西宾效率的晋升提供了更多可能。比如，行业里本年流行 MOE 夹杂架构，就不错与 DCFormer 在重主见层的责任聚积，在参数目不变的基础上进一步晋升模子智能进度。

袁行远高慢，DCFormer 在架构层的立异，在更大模子上推崇出的提速成果更为显著，咫尺他们也在西宾一个 14B 的模子，展望能达到同等领域的大模子四倍傍边的服从。畴昔他们预估基于底层架构优化，相通上其他层面的效率晋升奋发，有契机以十分之一的参数领域与其他模子 PK 智能进度。

这种尝试，一方面冲突‘国外作念技能层，国内作念讹诈层’的刻板印象，另外也给彩云科技这样的创业公司提供了新的可能性——用更小的成本，留在大模子牌桌上。

"当今要是我自称大模子公司，不给环球一个通用的玩意儿，环球长期会认为咱们是一个套壳公司或者是作念 Transformer 的。"袁行远很明晰，当今发布通用大模子，他必须先我方跑通整条链路，才有可能开辟 Transformer 除外的另一条路。"咱们不卷 GPU 数目，咱们卷模子结构优化。"

这条路注定相配伶仃，好在这家公司的居品有个特色，除了基础功能，其他皆是收费的，这也使得比拟于之前的 AI "四小龙"和大模子"六小虎"依赖本钱的输血，彩云科技本人就有很强的造血能力。当今，彩云科技近亿元的收入里，有 1/3 来自于用户订阅，1/3 来自于告白，1/3 来自于 API 调用。

袁行远心爱这样的创业旅途，他提供一个功绩，你振奋为这个功绩付费，然后他通过技能奋发提高这个功绩，然后你就一直为这个功绩付费。

这样的创业惯性也在彩云小梦这款居品上得以不息。比拟于 ChatGPT 或者文心一言平直卖 token，他更心爱抽成款式。他提供由 AI 来接济生成内容的平台，创作者在上头坐褥批量的网文，让用户来订阅，而他从中抽成，无谓牵挂用户骂你，因为你并不坐褥内容。

咫尺，彩云科技旗下有三款居品：一是作念分钟级天气预告的彩云天气，二是作念中英翻译的彩云小译，临了一款是作念网文生成的彩云小梦。跟着通用大模子的发布，这些 App 的智能化能力将会得到晋升。

"这个公司名义看起来是 App 公司，但本色上它是一个追寻智能是什么的公司。是以就尽最大可能的钱参预在追求智能是什么这上头，然后剩下的钱保管公司的运转。"袁行远说，作念 App 只须能抚育我方，抚育团队就够了。

03

头铁的中二后生

在彩云科技决定推出通用大模子时，这仅仅一家不到百东说念主的创业公司。

十来位记者挤在一个不到 30 平的下千里空间里，听他讲一个新模子架构的发布。现场莫得任何疏淡的嘱托，两三只猫在削弱来去，而且通盘这个词经由还伴跟着多样或然，比如电脑投屏连不上，PPT 常常出错。

但主讲东说念主袁行远，一个小时前刚从上海出差转头，穿戴畅通鞋和内搭有褶皱的浅绿色衬衫，刘海贴着额头，站在逼仄的边际里，满怀热忱地敷陈着他的星辰大海，敷陈着他的技能旅途会怎么编削寰球。

莫得手段，全是情谊。

这一切皆会让你看起来有些不真实，尤其是他要作念的事情，需要致密的支拨，而牌桌上皆是估值数十亿的创业明星或者千亿好意思元的巨头，每一次的模子西宾皆要参预数以百万以至千万好意思元的资金。

但这家公司又比绝大多数创业公司愈加红运，创业 10 年，有镇静的收入来源，每年近亿元的收入，融资到了 B 轮，投资东说念主的名单里包括了快手首创东说念主宿华，宽带本钱的田溯宁和五源本钱等。

袁行远一直以为我方相匹俦铁。他和清华博士肖达用神经网罗来作念天气预告时，两个东说念主就想着作念一些看起来虚无缥缈的东西。在其时还不肥好意思的期间，他们就决定拿出相配一部分比例的钱去作念东说念主工智能的探究，包括自后的模子结构探究。

其实，这些底层的探究并弗成平直带来交易上的收益。"要是是纯正的交易关系，根柢就不需要自研大模子，咱们就不要作念 NLP 的业务，负重致远作念天气，然后进行全球告白投放，这才是正事儿。而当今作念那么多奇奇怪怪的事情。"袁行远说。

事实上，袁行远的作念法并不是通盘投资东说念主皆连气儿，尤其是新股东，"大部分东说念主不顺服作为一个中国初创公司能作念出什么技能创新，是以你就去抄好意思国就收场。而且好意思国初创公司当今作念得也不咋地，比如 CharterAI 谷歌也没要，许多团队也驱散了。"

巨头们也在说，莫得百亿好意思元，就不要来作念大模子。他并莫得被巨头们诞生的门槛所吓退。"你不我方去作念一下，长期是盲东说念主摸象的嗅觉。"袁行远一直以为我方相匹俦铁，"要是事情是这样的话，是不是个东说念主创业者或者一个中等水平的创业者也能来玩这个游戏，那这寰球会愈加丰富多彩。"

他尝试的截止是，从数据到模子到模子架构到 SFT 到临了讹诈全链路，1000 万好意思元料理了，不需要 100 亿。彩云科技从 2019 岁首始从底层模子架构进行突破，前后参预了数千万好意思元，在 Transformer 的千军万马除外，探索出另外一条模子架构优化的路。

其实，袁行远和肖达反复商榷过，要不要也学其他家拿 Transformer 西宾一个大模子出来。其时 ChatGPT 火爆全球，紧接着被称为"大模子六小虎"的企业先后培植，拿到了大额融资。

这对袁行远产生了不小的刺激，"你在作念这个期间，你发现又一个公司融资那么多。你简直会怀疑我方到底在干什么，为什么就这样头铁，一定要去作念新一代的模子，这个就相配堂吉诃德。"

2019 年，彩云科技就在作念 Transformer 的模子结构探究。两年后，他推出了能够用 AI 进行文本创作的彩云小梦，文本创作在其时照旧一个相配孤苦的赛说念，许多东说念主皆以为他们的内容皆是网上抄的。

直到 2022 年，彩云科技初始西宾第一个模子，惟有 0.3B 的参数目，智能度一般。

他自后也在反想，一是在 2022 年时，莫得硬着头皮去西宾更大参数目的模子，因为钱不够，只西宾了一个 1.3B 的模子，很出丑到模子的成果。二是模子还需要数据集进行 SFT，而这个数据集要请东说念主标注，这是一个门槛，彩云也莫得下定决心作念这个事。

"要是一初始不去追求脚色饰演这些酷炫的功能，而是去追求模子的智能度，可能就能赢。"袁行远说，这两个门槛决定了他们没能作念成 ChatGPT。

但袁行远认为，云锦天章依然把西宾通路买通了，再迭代两三个版块，能够达到 GPT4o 的水准。DCFormer 讲明了模子结构调优有出息，用更少的卡得到了交流的成果。"当今我照旧很无礼的，至少有截止，莫得花消。至于将来能弗成挣钱，先非论，对东说念主类斯文细目是有匡助的。"

他曾作念过一个诙谐的譬如：" ChatGPT 推出后，业界有三条路，咱们称之为普文二道路。往常后生采取堆砌算力和数据，顺服 scaling law；文艺后生采取搭建 Agent，检索增强、辅导词工程等。这两条路皆是把 Transformer 作为黑盒，无谓了解具体旨趣。还有一条二 B 后生之路，便是打开黑盒，探究 Transformer 这个积木块里面结构。"

但中二后生的路，会让他疾苦得到一些尊重，也会有投资东说念主为他们的精神而感动，为这种可能性买单。他昔时曾拿着 PPT 进行了 100 屡次路演，一次皆莫得告捷，告捷的融资皆是投资东说念主主动找上门来的。

他很庆幸，通过对 Transformer 进行优化来自研模子这条路照旧坚握下来了，诚然比 ChatGPT 晚了两年，也莫得得到太多的鲜花和掌声，但他坚握认为这样作念的意思意思，"咱们不是说把正本的东西作念了一个复制，然后去融了一笔钱。咱们是确凿作念了一些对智能科学有通晓、有晋升的事情。"

他但愿彩云小梦的演义创作能力，能在 DCFormer 架构的大模子推动下，作念到一个中等网文作者的水准。而他也但愿演义创作，能成为云锦天章大模子的一个牵挂点，就像东说念主们拿起 Kimi 就会想起长文本这个标签相通。

"我有一个私心，有一天我用彩云小梦写一篇著述，能够拿到雨果奖。"袁行远说。

© 本文为数智前方（szqx1991）原创内容

进群、转载或商务谀媚经营后台

著述精选半岛彩票