4 月 24 日，DeepSeek 在 Hugging Face 上传了 V4 系列的预览版块。这一代分两个型号，旗舰 V4-Pro 总参数 1.6 万亿、激活 490 亿，V4-Flash 总参数 2，840 亿、激活 130 亿，两款均支撑 100 万 tokens 高下文，均为 MoE 架构、纯文本模子。与模子一同放出的还有 58 页的技艺论说，标题为《DeepSeek V4：迈向高效的百万 token 高下文智能》。
1.6T 的参数规模频年头露馅的 1T 传奇向上 60%，一周前 DeepGEMM 算子库的更新放出时，社区就也曾反推出了这个数字。技艺论说里还有一个此前莫得的细节：V4-Flash 测验了 32T tokens，V4-Pro 测验了 33T tokens，都比 V3 的 14.8T 高了一倍多。
把账算在瞩观点机制上
V4 最中枢的架构改换是一个分层的搀杂瞩观点机制。DeepSeek 此次联想了两个模块：Compressed Sparse Attention（CSA）和 Heavily Compressed Attention（HCA），在各层之间轮换使用。CSA 先把每 4 个 token 的 KV cache 压成 1 个 entry，再在压缩后的序列上跑稀少瞩观点（V3.2 引入的 DSA 机制的陆续），每个查询只和 top-k 个压缩块作念瞩观点；HCA 则更激进，平直把每 128 个 token 压成 1 个 entry，但保捏蕃昌瞩观点。
两者和洽的恶果是：在 100 万 tokens 高下文下，V4-Pro 的单 token 推理 FLOPs 唯有 V3.2 的 27%，KV cache 唯有 10%；V4-Flash 更顶点，FLOPs 是 V3.2 的约 10%，KV cache 是 7%。和传统 BF16 GQA8 的基线对比，V4 在 1M 场景下的 KV cache 不错压到基线的约 2%。
这条阶梯和 V3.2 是一脉交流的。V3.2-Exp 客岁 9 月第一次引入 DSA 的时候就把推理老本腰斩过一次，何况其时 DeepSeek 就明确说这是“面向下一代架构的中间圭臬”。当今咱们终于看到了阿谁“下一代”是什么面孔：不是把稀少换成别的激进有策画（比如斯前外界无为押注的 Engram 条款顾忌），而是把稀少和压缩再组合一层。
不侥幸的测验，和两个救命的土宗旨
DeepSeek 在技艺论说里花了不短的篇幅承认 V4 测验并不告成。万亿参数 MoE 有经典的 loss spike 问题，浮浅回滚救不讲究。团队临了找到两个教学性的技能把测验压住了，而且在论说里直说“它们背后的旨趣面前还不了了，公开出来但愿社区扫数征询”。
第一个叫 Anticipatory Routing（预计性路由）。旧例作念法是每一步测验时骨干集聚和路由集聚同步更新；DeepSeek 发现把这两者解耦能权贵压住 loss spike，作念法是在第 t 步用刻下参数作念前向计较，但路由决策用历史参数 θ_{t-Δt}。为了不让这个联想拖慢测验，他们还加了一个自动检测机制，只在的确出现 loss spike 的时候才切到这个模式，举座突出支出被收敛在测验时辰的 20% 以内。
第二个更浮浅机诈，叫 SwiGLU Clamping：平直把 SwiGLU 的线性输出钳制到 [−10， 10]、门控上界也限到 10。这个 trick 最早出当今 OpenAI 本年的 gpt-oss 技艺论说里，DeepSeek 发现它能有用禁绝 MoE 层里出现的 outliers，就平直用了。
除此以外，凤凰彩票官网首页 - WelcomeV4 用 Muon 替代了 AdamW 行为主优化器（embedding、prediction head、RMSNorm 仍用 AdamW），并联想了一套 hybrid Newton-Schulz 迭代来作念权重正交化。另一项底层改换是流形拘谨超揣度（mHC），把残差映射矩阵拘谨在 Birkhoff 多面体上，保证它的谱范数不越过 1，从而让信号在深层传播时不会爆炸。在工程侧，mHC 的 wall-time 支出被收敛在 1F1B 活水线阶段的 6.7%。
Post-training：扬弃 mixed RL，换成多教悔蒸馏
实在让 V4 和 V3.2 在程序论上分岔的，是 post-training。技艺论说中提到，V3.2 的 mixed RL 阶段在 V4 被举座替换成了 On-Policy Distillation（OPD）。
新的活水线分两段。先分裂测验几十个领域内行模子，袒护数学、代码、Agent、教唆奴婢，每个内行都跑一遍 SFT + GRPO 强化学习，产出一个在我方领域内极强的“偏科生”。
然后在第二阶段，把十几个 teacher 模子的 logits 蒸馏到一个 student 模子里，学生在我方产生的 trajectory 上对每个 teacher 优化 reverse KL loss。这种“先分头培养内行、再合并成通才”的阶梯，DeepSeek 在论说里平直点名参考了 Thinking Machines Lab 本年 10 月的 on-policy distillation 责任。
为了绕开 mixed RL 常见的智力突破和权重合并时的性能退化，OPD 把各领域的专科智力在 logits 空间对王人到湮灭组参数里。配套的工程细节是：teacher 模子权重全部卸载到漫衍式存储按需加载，每个 teacher 的 last-layer hidden states 单独缓存，测验时再投一次 prediction head 重构 logits，从而躲闪 100k+ 词表平直死一火 logits 的显存厄运。
另外，轮盘app下载V4 引入了新的器具调用 schema，用特殊 token |DSML| 配 XML 情势替代 V3.2 的 JSON，技艺论说里的原话是 XML 能“有用减少转义诞妄和调用失败”。
还有一个不起眼但对试验家具有用的改换叫 Quick Instruction：在输入序列里追加几许特殊 token，让 intent 识别、搜索查询生成、是否需要读 URL 等扶助任务平直复用也曾算好的 KV cache，无须再起一个小模子作念前置判断，这对 TTFT（首 token 延伸）有平直影响。
跑分：代码登顶，常识仍差一截
V4-Pro-Max（V4-Pro 的 Max reasoning 模式）和刻下第一梯队的 Claude Opus 4.6 Max、GPT-5.4 xHigh、Gemini 3.1-Pro High 对比，上风聚集在代码和数学，短板聚集在纯常识。
代码和数学竞赛是 V4 的主场：Codeforces 3206 Elo，越过 GPT-5.4 的 3，168 和 Gemini 3.1-Pro 的 3052，在真实 Codeforces 东谈主类选手名次榜上额外于第 23 名；LiveCodeBench Pass@1 93.5，率先 Gemini 的 91.7；Apex Shortlist 90.2、HMMT 2026 Feb 95.2 也都拿下等一。形式化数学上，V4 在 Putnam-2025 上以 120/120 完结好意思满领略，追平 Axiom，超越 Aristotle 和 Seed-Prover。
但纯常识和最难的通用推理，V4 离前沿闭源还有显豁距离。SimpleQA-Verified 57.9% 相对 Gemini 3.1-Pro 的 75.6% 差了 17 个百分点；HLE（Humanity's Last Exam）Pass@1 唯有 37.7%，过期 Gemini 的 44.4。团队在 Summary 部分很坦诚地暴露：V4-Pro-Max 的推聪敏力“越过 GPT-5.2 和 Gemini-3.0-Pro，但略低于 GPT-5.4 和 Gemini-3.1-Pro，对应粗略 3 到 6 个月的发展差距”。
V4-Flash-Max 的定位也被明确：推理任务上能打到 V4-Pro-Max 的水准，但常识密度和最复杂的 agentic workflow 上，小尺寸依然赔本，这原本亦然 MoE 结构的预期推崇。
真实任务：超 Sonnet 4.5，追 Opus 4.5
技艺论说还专诚评测了几项 DeepSeek 我方用户最常用的真实场景。
汉文写稿测试里，V4-Pro 在功能性写稿上以 62.7% 对 34.1% 胜 Gemini 3.1-Pro（旨趣是 Gemini“平日用我方的立场偏好袒护用户要求”）；创意写稿的教唆奴婢 60% 对 40%、写稿质地 77.5% 对 22.5% 也都压过 Gemini。但换到最难的任务，比如高复杂度拘谨、多轮对话，Claude Opus 4.5 还所以 52.0% 对 45.9% 反超 V4-Pro。
里面的 30 个汉文白领任务评测里，V4-Pro-Max 举座非输率 63%，单项得分在职务完成和内容质地上权贵高于 Opus-4.6-Max，但在情势审好意思和教唆辞退上略输。论说给出的解释是 V4 更擅长长段叙事和主动补全用户潜介意图，而 Opus 更擅长精如实行具形体式拘谨和简易选录。
在代码 Agent 方面，DeepSeek 从 50 多位里面工程师那处网罗了 200 多个真实 R&D 任务，筛选出 30 个行为评测集，袒护 PyTorch、CUDA、Rust、C++ 的功能开发、bug 开荒、重构等场景。
通过率漫衍如下：Claude Haiku 4.5 13%、Sonnet 4.5 47%、V4-Pro-Max 67%、Opus 4.5 70%、Opus 4.5 Thinking 73%、Opus 4.6 Thinking 80%。V4 把 Sonnet 4.5 甩开 20 个百分点，但还差 Opus 系列一个身位。配套的 85 东谈主里面调研里，52% 的开发者说 V4-Pro 不错行为日常编程的主力模子，另有 39% 暴露“倾向于不错”。
率谈而行
一个礼拜前，X 平台上普林斯顿博士生 Yifan Zhang 放出的 V4 完整规格单和今天的论说大部分对得上：Muon 优化器、纯文本、每层 384 个内行激活 6 个（Pro 版成立）、GRPO。但两个错误点和爆料有偏差。一是 DeepSeek 最终把瞩观点机制定名成了 CSA + HCA 搀杂，而不是此前流传的 “DSA2（NSA + DSA）”。二是此前多个爆料反复暴露的\"原生多模态\"并莫得出现，V4 依旧是纯文本，略有缺憾。
另一个被传了很久但没出现的是 Engram 条款顾忌。客岁底到本年头，汉文圈多量押注 V4 会引入 Engram 行为中枢，把静态常识检索从 attention 里悲怆出去。
V4 最终没走这条路，而是在既有的稀少瞩观点框架内作念得更深：CSA 的压缩+稀少两步组合，是对 V3.2 DSA 的一语气演进。值得一提的是，DeepSeek 在论说临了的 Future Directions 里留了一手，下一步要探索“更稀少的 embedding 模块”，并点名援用了 2026 年 1 月的 Conditional Memory via Scalable Lookup 论文。
昔日几个月，对于 DeepSeek 的叙事从“神话”滑到“跌下神坛”再到“也曾掉队”；对于 V4 的技艺预计从 1T 到 1.6T、从 DSA2 到 Engram、从原生多模态到纯文本之间走动切换。V4 发布这天，官方推文莫得回复这些预计中的任何一条，莫得反驳，也莫得比拟，只引了一句《荀子·修身》：“不诱于誉，不恐于诽，率谈而行，端然正己。”
参考贵寓：
1.https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
运营/排版：何晨龙
注：封面/首图由 AI 扶助生成
NBA下注app官网下载
备案号: