同样把10项编程任务全做对,新版DeepSeek花的钱不到Claude Opus 5.5的四成,平均每项多等两分钟。10月17日,DeepSeek发布V4.1-Flash-1017,价格保持不变。发布后,已经有开发者拿它做游戏、搭网页、改代码。

为了测试它的实际水平,开发者Ibragim Badertdinov从日常工作中挑出10项任务,在同一套编程工具里让不同模型各跑三遍,分别使用DeepSeek V4.1-Flash-1017的高推理档位,以及Opus 5.5和GPT-6 Astra的低档位。

实测下来,三款模型全部过关,但账单和耗时拉开了差距:DeepSeek平均每项任务只花0.045美元,远低于Opus的0.1168美元和GPT-6 Astra的约0.26美元;不过Opus和GPT分别只要37秒和55秒就能跑完,DeepSeek却要花上2分38秒。

这10项任务的规模都不大。换成一个完整项目,DeepSeek与GPT、Claude的差距,还只是多等一会儿吗?

01十道题全过,DeepSeek省钱,Opus省时间

Ibragim挑的题目,来自自己大约三个月的智能体使用记录,涉及数据处理、后端、前端和部署,使用Python和TypeScript。他把需求已经明确、自己通常不到一小时能完成的工作挑出来,再配上自动检查程序。

他公开的一个简化示例,是把一批数据导入本地数据表。程序除了要导入成功,还得跳过重复记录、拒绝冲突的编号、报告不合要求的数据;替换旧数据时,不能写到一半就把原来的内容破坏掉。测试会检查空输入、数据冲突、原有文件损坏等情况。

三款模型都通过了这些检查,DeepSeek用的步骤却更多。同样在Pi这套编程工具中运行,DeepSeek平均每项任务用了15.3步,Opus是3.7步,GPT-6 Astra是6.5步。DeepSeek的总token用量约54.7万,Opus约3.1万。

用量大,账单却没有跟着涨上去。Ibragim解释,DeepSeek几乎所有输入都命中了缓存,记录中的缓存命中率达到97.9%。那54.7万token也不是模型新写出了这么长的答案,其中包括多轮调用中重复送入的内容。便宜的缓存输入,使这次测试的每项费用仍能压在5美分以内。

对使用者来说,这两分钟有没有影响,要看自己是不是一直等在屏幕前。把任务交出去后接着做别的事,等待未必碍事;如果要看完结果马上提下一轮修改,Opus和GPT在这组测试中的速度就更有用。这里比较的是通过API完成任务的费用,不是ChatGPT、Claude订阅套餐的月费。

新版相对上一版也有进步。Ibragim此前用9月版Flash的最高推理档位测试,30次运行通过了28次,平均每项耗时4分30秒;这次用新版的高档位,30次全部通过,耗时降到2分38秒。

02 0.38美元做出宝马,普通网页却跑了40分钟

DeepSeek这次想展示的,已经不只是补一段函数。官方发布的案例包括故宫3D场景、网页赛车游戏,以及用Godot制作的《传送门2》复刻演示。公司称,新版通过带有自我反馈的强化学习,改善了从头完成项目的能力。


开发者Fabiano Firmo则让它用Three.js制作宝马M5的3D模型。他晒出的画面中,红色汽车出现在展示网页里,旁边还有配色选项。按他的说法,这次只给了一次提示,花费0.38美元,耗时1小时10分钟。

还有用户展示了类似《火箭联盟》的游戏,让汽车在场地里踢球。X用户Markets & Mayhem评价,物理效果能正常运行,已经可以玩,但还需要打磨。对于想先做出一个网页或游戏原型的人,这些演示比模型考试分数更容易看出用途。

不过,愿意等一个多小时看3D汽车,不代表做普通网页时也愿意等这么久。

开发者Alex Carter说,他让DeepSeek Harness制作一个普通的落地页,运行了41分钟;接下来两项网页任务,又分别花了43分钟和40分钟。他认为模型聪明、便宜,演示效果也不错,但这些页面是自己做了多年的工作,通常十分钟就能完成。

开发者unbug也有类似感受:模型变聪明了,却容易想得太久,迟迟不动手。另一位用户Elshayib强调,自己抱怨的并不是每秒输出多少字,而是模型在行动前花了太长时间思考。

API平台OmniaKey的一次测试,记录下了这种长推理输出。它要求新版Flash写一个按Python运算规则计算表达式的程序,不能调用现成的解析工具。模型用了约88秒,通过全部30个检查用例;输出的约2.07万token中,约1.97万属于思考内容。

但Flash并不是所有任务都慢。在OmniaKey另一次测试中,它从一封混合德语和英语的发票邮件里提取10个字段,5.2秒便全部答对;查询两座城市天气和时间的工具调用,2.6秒就完成了。OmniaKey本身销售模型API,这组测试每项只运行一次。

宝马建模、落地页这些例子,并不是三款模型的同题对比。DeepSeek做出的成品如何、后面还要改多少次,仍要与GPT、Claude放到相同要求下比较。

03调低档位后,快了一分钟,也多了三次失败

既然高推理档位耗时长,调低一点会怎样?Ibragim也测了。

在Pi里,新版DeepSeek调到低档后,平均每项时间从2分38秒缩短到1分31秒,费用从0.045美元降到0.0257美元。不过,30次运行中有3次未通过。高档位下拿到的全部通过,并不能原封不动地保留下来。


这个低档位,换到DeepSeek自家的Harness里,结果又有变化:30次运行通过29次,比Pi多通过两次。按照Ibragim的记录,官方工具环境帮模型处理到了一处Pi里漏掉的边界情况。

两套工具让模型干活的方式有所不同。DeepSeek Harness直接提供读取、编辑文件的工具,Pi主要让模型通过命令行操作;前者的系统提示词也更长。这次换工具后,token用量增加了约75%,平均耗时也从1分31秒变成1分53秒。两套工具中,都只有9项任务能连续三次通过。

同一个模型,换个推理档位、换套工具,速度、费用和成功情况都会变。只看到别人晒出的结果,还得知道他用了什么设置。

DeepSeek在发布时也明确提到,针对DeepSeek Harness、腾讯CodeBuddy和WorkBuddy等工具做了优化,并建议Harness用户升级到v0.2.1-rc.1或更高版本。

这次更新已经上线网页、App和API,API调用仍使用deepseek-flash,价格保持不变;新版模型权重也已按MIT协议公开。

不过,前面的编程测试是把模型接入能读文件、改代码、运行检查的工具中完成的。在聊天窗口里让它写一段代码,与让它接手一个项目,使用环境并不相同。

04同一套题,GPT和Claude还能更便宜

Opus和Astra是两家公司的旗舰,OpenAI和Anthropic也有便宜的模型。在Ibragim同一套测试中,GPT-6 Luna的xhigh档位、Haiku 5.5的high档位,同样30次全部通过,平均每项分别只花0.0145美元、0.0208美元,比DeepSeek还低。两者的平均耗时分别是2分46秒和2分08秒。

这使选择不再只是“昂贵的GPT、Claude”和“便宜的DeepSeek”二选一。已经使用Luna或Haiku处理小任务的人,未必能靠换成Flash进一步省钱。

更难的工作,则会把问题从等多久变成能否放心采用结果。X用户Yum说,自己试用新版后,仍最担心幻觉,尤其是跨多个文件的重构和架构修改。他会让另一个模型检查改动,不愿让DeepSeek自己批准自己的方案。这是他的使用取舍,并不是一场证明GPT或Claude更可靠的同题测试。

因此,目前最扎实的进展,是新版DeepSeek已经在一批真实的小型编程任务中,交出了与旗舰模型同样通过检查的结果。大型项目里需要多少次人工纠正、出了问题能否修好,才会决定这种替换能走多远。做出一辆3D汽车,与长期维护好一个项目,中间还有不少工作。

Ibragim也准备给这套测试加难度。他在帖子最后说,下一步会挑出一批难得多的任务,再比较不同工具和模型。