首页 新闻动态 3210亿参数塞进单张显卡,26 token每秒跑起来了
▥ 文章标题沉浸布局

3210亿参数塞进单张显卡,26 token每秒跑起来了

2026-11-19 新闻动态 热门阅读内容
3210亿参数塞进单张显卡,26 token每秒跑起来了

球友会关注到以下体育动态:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

about image

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

关注球友会,掌握更多体坛动态。

上一篇 炸裂!宇宙竟在偷偷旋转?每5000亿年才转一圈...
下一篇 看完国足2场比赛后,测出三个球员不能再用,邵佳一必须下狠手了...
◧ 内容提炼卡片布局

本文重点速览

如果你希望在最短时间内理解这篇内容,可以优先查看以下结构化摘要。

核心观点

围绕文章主旨提炼最关键的判断,让读者迅速把握内容方向与价值重点。

逻辑路径

帮助读者理解文章从背景、变化到结论的展开过程,而不只是看到孤立信息。

延展思考

提供进一步理解该主题的观察角度,方便继续跳转到更多相关内容。

▦ 三列延展阅读布局

你可能还想看

基于当前主题,推荐更多可以形成连续阅读体验的内容,让阅读不在这里中断。

中方给出严肃警示后,菲律宾防长改口,禁止美军从菲领土发起进攻

中方给出严肃警示后,菲律宾防长改口,禁止美军从菲领土发起进攻

前言 大家好,我是小时! “不许美军从菲律宾的领土上发起进攻。” 这句话不是我们这边释放的信号,而是菲律宾国防部长特奥多罗亲口说出。 而就在这次电台访谈的几天之前,中方刚刚向马尼拉传递了措辞极重的警示。 一边是严肃的红线提醒,一边是强硬派官员主动调整表述,两件事紧紧挨在一起。 一个长期在涉华议题上保持高调姿态的人物,为什么突然改变了口风?他是彻底关上了风险的大门,还是仅仅在门板上贴了一张约束字条?

51分大胜却折损后卫,勇士8连胜背后等一份MRI报告

51分大胜却折损后卫,勇士8连胜背后等一份MRI报告

勇士赢了51分,却可能又要少一名后卫。 138比87 大胜鹈鹕之后,布兰登·威廉姆斯因左腿筋伤势离场,球队确认他将接受核磁共振检查。 这场胜利把勇士的连胜场次扩大到 8场 。威廉姆斯替补登场只打了 1分39秒 ,3投2中拿到4分,在首节还剩3分18秒时离场,此后没有再回到场上。主教练史蒂夫·科尔谈到这次伤情时说:“他是我们球队很重要的一部分,给了我们很大的提升,而这是腿筋。他要去接受核磁共振,所以

8年敛财14亿吃顿饭花百万,奢靡堪比e租宝“大佬”,最终下场咋样

8年敛财14亿吃顿饭花百万,奢靡堪比e租宝“大佬”,最终下场咋样

“我大半辈子积蓄全搭进去了,房子也抵押了,钱没了,我也活不下去了!” 你敢相信,一个连高中都没读完的女人,愣是凭借一套“高端”的骗术,将自己包装成“金融才女”。 仅用8年便轻松卷走14亿,让1800多个家庭倾家荡产,可她倒好,一顿饭上百万、23 套豪宅住到腻,比e租宝那帮“大佬”还要奢靡。 为什么总有那么多人栽进 “稳赚不赔” 的陷阱?那些号称 “高回报零风险” 的项目,到底藏着怎样的猫腻?这位昔

开拓者123:103胜雷霆!赛后收3好1坏消息,教练"看不起"杨瀚森

开拓者123:103胜雷霆!赛后收3好1坏消息,教练"看不起"杨瀚森

先说个有点扎心的事。开拓者这场赢雷霆20分,热闹是利拉德和阿夫迪亚的,杨瀚森的名字挂在数据栏最底下,像被人顺手补上去的。4分34秒,0出手,1个篮板,2次犯规。就这。 上一场打马刺他刚拿了12分10板,生涯头一回两双,球迷还在喊"小甜甜",隔一天就变"牛夫人"。这落差不是他打差了,是诺里的轮换开关压根没给他留位置。 好消息一:第三节那12分钟,开拓者终于把利拉德"用对了" 半场59平,谁都以为要磨

五世达赖突然溘然长逝,临终策划了一出令人叹服的大戏!

五世达赖突然溘然长逝,临终策划了一出令人叹服的大戏!

1682年,拉萨布达拉宫内,五世达赖阿旺·罗桑嘉措病情加重。此时的西藏,表面上政教秩序已经建立,实际却牵动着寺院、贵族、蒙古诸部以及清朝之间的多重关系。一个消息若处理不慎,便可能引发权力震荡。 五世达赖出生于1617年,来自前藏山南琼结的贵族家庭。他被认定为四世达赖转世时,格鲁派正受到噶玛政权压制,转世灵童的寻找一度被阻止。后来,在四世班禅斡旋以及蒙古势力介入下,认定程序才得以继续。 这段经历让年

好消息,快船队布兰登·英格拉姆伤情更新:复出指日可待

好消息,快船队布兰登·英格拉姆伤情更新:复出指日可待

好消息,快船队布兰登·英格拉姆伤情更新:复出指日可待 布兰登·英格拉姆的伤情恢复进展顺利,有望在即将到来的客场之旅中复出,距离他在快船队的赛季首秀也指日可待。 随着布兰登·英格拉姆距离赛季首秀越来越近,洛杉矶快船队有望迎来利好消息。这位老将前锋此前一直在进行右脚跟手术后的康复,尚未出场比赛,但近期的进展让人们对他重返赛场充满期待。 据Tomer Azarly报道,快船队确认英格拉姆和新秀中锋亚尼克

◫ 深读问答折叠布局

关于本文主题的常见问题

将阅读过程中的典型问题提炼为 FAQ,有助于读者在理解正文之外进一步建立完整认知。

这篇文章最值得先读哪一部分?

建议优先阅读导语、核心段落与总结部分,这些内容通常承担主旨表达、结论归纳和重点提示的功能。

本文适合哪些读者继续深读?

如果你希望获得比“快讯”更完整的背景、逻辑与延展判断,那么这类正文内容会更适合你的阅读目标。

哪里可以看到更多相关文章?

可继续查看页面下方推荐阅读、右侧相关文章与栏目列表页,这些入口能帮助你持续扩展主题理解。

正文在移动端是否方便阅读?

方便。字体间距、段落层级、图片比例与按钮交互都针对移动端做过适配,长文阅读节奏更平稳。