Kimi 公开新模型前删了一批网络安全数据，一个最多 5 人的团队花 3200 万美元训出 650 亿参数的开放模型

1. Kimi 新模型公开前，先从训练数据里删了一批网络安全内容

Kimi 背后的公司月之暗面，最近把新模型 Kimi K3.1 Pro 的模型文件公开了，谁都能下载到自己的机器上用。这和在网页上聊天不一样：文件一旦被人下载走，官方就拦不住别人拿它做什么了。所以公开之前，他们做了一件少见的事，把训练数据里和网络安全有关的内容，删掉了一部分。

起因是他们在训练中发现，模型搞网络攻击的本事，会跟着训练一路变强。一查才知道，模型平时学的资料里，后期做强化的练习题里，本来就混着这类内容。公开前，这两个环节里的相关数据他们都删了，但保留了日常写代码要用的练习。官方没有给出，删数据对日常写代码有没有影响。

删了有没有用，他们拿自己出的一套题测过。题目用的是真实软件里已经曝光的漏洞，比如 Linux 系统的漏洞。模型拿到有问题的代码和一句提示，要自己写出攻击程序，在隔离的环境里真的跑起来。没删数据的版本，三次机会里能做对 90.5% 的题。删过之后的最终版是 81.0%。

看这组数字要留个心眼。题是他们自己出的，结果也是他们自己报的，只统计了随机抽出的一部分运行结果，我没有找到外人验证。从 90.5% 降到 81.0%，只能说明删数据有用，不能说明安全了：81% 依然很高，而且比上一代强不少。

那为什么还敢公开？官方的说法是，这个版本的攻击能力，仍然比上线三个月以上的顶尖收费模型弱。他们的原则是，不公开会把整个行业攻击能力上限再往上推的模型。以后会慢慢放开，理由是模型公开了，更多团队能拿它检查自己维护的代码，尤其是没人定期审查的老系统。

顺带一提，想拿它做生意的话，许可证是他们自己写的，一般能免费商用。收入很高的公司才有额外要求：做模型接口服务且年收入超过 2000 万美元的，要另外签协议。产品月活超过 1 亿，或月收入超过 2000 万美元的，要在界面上写明“Kimi K3.1 Pro”。

美国公司 Ricursive 这几天公开了一个叫 Ripple 的预览版模型，有 650 亿参数。许可证是 Apache 2.0，也就是可以随便商用、随便改。

它最抢眼的是成本。他们自己说，从零开始到训完，包括试错、调数据、写测试，一共花了 3200 万美元。他们估计，这只有此前同类最好的开放模型花费的十分之一。团队也很小，官方说明里写着，研发期间团队从 1 个人增加到最多 5 个人。

成绩方面，他们在一个测试 AI 自动写代码的考试上拿到 80.52 分。他们拿它和别的美国开放模型比，最好的对手是 Reflection Beam，80.1 分。可是 Beam 的参数有 5010 亿，是 Ripple 的 7 倍多。

省钱的办法，他们说主要是做减法。一是用了更简单的传统模型结构，训练时不用搭很复杂的多机配合方案。二是后期练习只试了约 140 万次，他们说比 Beam 少了大约 70 倍。

读的时候要留意几点。所有分数和成本都是他们自己报的，还没有看到别人独立测过。比较的对象只是美国的开放模型，没有放进中国的开放模型，所以不能说它整体最强。3200 万美元是他们自己估的全部研发成本，“十分之一”也是他们凭已知信息估的。

如果分数靠得住，想在自己机器上跑写代码智能体的人，选择会多一个。他们自己提到，这个模型能在英伟达的桌面 AI 小主机 DGX Spark 这类本地设备上跑。