thinking里可以用tool,这点可以大幅提升模型的performance。
之前有个工作给deepseek 0528加了很多tool,结果HLE直接翻倍。虽然那个结果目前只是个声称,还没有开源。
从这个意义上,比较隐藏思维链的闭源模型,和开放思维链的开源模型,是非常非常不公平的。
相当于同样的考试,一边只能用纸笔,另一边可以偷偷用电脑上网随便搜,编程随便跑程序之类,而且他背后这么做还不告诉你。
隐藏思维链而又鼓吹benchmark结果,这就和那个做法治病,说是天机不可泄露,但偷偷往符水里加布洛芬的【大仙】一个样子了……
这种考试的结果显然不能体现模型性能的差距。