14个回答

如何评价 OpenAI 凌晨发布的 GPT-5?

JAKQ
1192个点赞 👍

GPT-5确实很强,在LMAreana上超过Gemini 2.5 Pro,重新夺回第一:

另外,Artificial Analysis平台也很提前对GPT-5进行了独立测试,GPT-5 high以 69 分刷新了他们设计的智能指数:

但是我略感失望的是:它并没有像发布前传的那么强,看完GPT-5的介绍我也没有感受到奥特曼之前所说的“坐立不安”。上面其实也可以看到,GPT-5和第二名Gemini 2.5 Pro的分差也并没有那么大。马斯克也转发了两个帖子嘲笑GPT-5在ARC-AGI和HLE上并没有超过自己之前发布的Grok 4


不过在谷歌昨晚的举行的AI国际象棋竞赛中,OpenAI的o3以4:0的大比分赢得Grok 4获得金牌,算是给GPT-5来个庆祝了:

8 款AI 模型开展为期三天的国际象棋对决,如何评价参赛模型的表现?国际象棋考验的是什么能力?

GPT-5是免费可以在ChatGPT上用的,但是刚刚去在ChatGPT上试了,还不能用,但可以在lmarena.ai上用,所以下面就直接拿了两个例子做了测试,GPT-5都表现不错:

00:11

但是也有错的,比如之前所有大模型都错的一个2025年高考数学看图选择题,GPT-5也还是错了:

如何看待机器之心重测高考数学全卷,Gemini夺冠,豆包DeepSeek并列第二?

具体回到这次GPT-5的发布,和发布之前传的一样,GPT-5系列包含三个模型[1]

  • GPT-5:适合复杂推理、广泛的世界知识,以及大量代码或多步骤的代理任务
  • GPT-5 mini:适合成本优化的推理和聊天;在速度、成本和能力之间取得平衡
  • GPT-5 nano:适合高吞吐量任务,特别是简单的指令执行或分类

三个模型均以API的形式发布。三个模型均是多模态推理模型,支持文本和视觉能力。GPT-5的API价格不算太贵,输入和输出价格为$1.25/$10.00 百万tokens,相比之前的o3,输入价格降低了($2.00),而输出价格略有提高($8.00)。GPT-5的这个API价格估计就是锚定谷歌的Gemini 2.5 Pro,因为GPT-5的输入和输出价格恰好和Gemini 2.5 Pro的最低档价格一样。

不过,GPT‑5 在 ChatGPT 中是一个由推理模型、非推理模型和路由模型组成的系统,和很早之前奥特曼的预告一样。ChatGPT 中的非推理模型以 gpt-5-chat-latest API的形式提供。

GPT-5 是一个统一系统,内置一个智能高效、可回答大多数问题的模型,一个用于处理更难问题的深度推理模型(GPT-5 thinking),以及一个实时路由器。该路由器会根据对话类型、问题复杂度、工具需求以及你的明确意图(例如在提示中写“请认真思考”)迅速决定调用哪个模型。路由器持续基于真实信号进行训练,包括用户何时切换模型、对回答的偏好率以及实测正确率,因而性能会随时间提升。一旦达到使用上限,两个模型的迷你版本会接管后续查询。不久的将来,我们计划把这些能力整合进单一模型。

相比之前的o3,GPT-5在多个基准测试上有大的提升,特别是编程能力,在 SWE-bench Verified 上得分 74.9%,在 Aider polyglot 上得分 88%,均超过Gemini 2.5 Pro,达到了SOTA[2]

GPT-5的幻觉率相比之前的o3有大幅度的降低,这个其实也是推理模型之前最被诟病的点:

GPT-5 模型最多可接受 272K个输入 token,并输出最多 128K个 token(总共支持 400K个 token 的上下文长度),在长下文理解能力上,GPT-5也相比之前的o3有明显的提升:

另外,GPT-5的推理也更高效,GPT-5在视觉推理、智能体编程和高难度科学问题等方面表现优于 OpenAI o3,且输出 token 数量减少了 50%–80%

特别地,GPT-5还有一个最强大的变种版本:GPT-5 pro。它能够进行更长时间的思考,并使用可扩展但高效的并行推理计算,以提供最高质量、最全面的回答。GPT-5 Pro 类似Gemini 2.5 Deep Think,用来取代之前的o3-pro。在多个高难度智能基准测试中,GPT-5 pro 都超过了 GPT-5,比如GPT-5 pro在AIME 2025是满分:

在HLE(人类终极考试)上,使用工具的GPT-5 pro得分是42.2%,略低于马斯克的Grok 4 Heavy (44.4%):

GPT-5这么多版本,我估计大部分人都有点懵,OpenAI也给了一个表格来说明各个GPT-5版本对标的前代的哪个模型:

然后说说GPT-5的一些新功能。首先, GPT-5的 API 新增一个参数verbosity来控制模型生成的输出 token 数量,可取值 low、medium(默认)和 high:

from openai import OpenAI
client = OpenAI()

response = client.responses.create(
    model="gpt-5",
    input="What is the answer to the ultimate question of life, the universe, and everything?",
    text={
        "verbosity": "low"
    }
)

虽然模型的推理方式基本不变,但在low设置下,模型会尝试以更简洁的方式作答。而high适用于需要模型对文档进行深入解释,或进行大规模代码重构的场景。

注意verbosity和之前的o系列模型的reasoning_effort是相区别的(它是控制模型思考或者推理的token量)。GPT-5通过新参数reasoning.effort 控制模型在生成最终回复之前消耗的推理token量。o系列推理模型仅支持 low、medium、high 三档:low 倾向于速度更快、生成更少的token,而 high 倾向于更充分的推理。而GPT-5新增了minimal,此设置会生成非常少的推理token,适用于需要尽可能快的首个 token 到达时间的场景。

from openai import OpenAI
client = OpenAI()

response = client.responses.create(
    model="gpt-5",
    input="How much gold would it take to coat the Statue of Liberty in a 1mm layer?",
    reasoning={
        "effort": "minimal"
    }
)

这个我感觉会非常实用,因为并非所有实际场景需要深思考,minimal会满足一些需要快思考的场景(这也是大部分场景)。OpenAI也发现并非所有任务都会从额外推理中受益,比如在相对简单的长上下文检索中,将 reasoning_effort 设置在 low 以上几乎不会带来提升;但在 CharXiv Reasoning 这种视觉推理基准测试中,提高 reasoning_effort 则能带来显著的性能提升:

此外,GPT-5引入了一种新的工具类型:custom tools(自定义工具),它允许模型将任意原始文本作为工具调用输入,同时在需要时依然可以对输出进行约束[3]将工具定义为 "type": "custom",即可让模型将纯文本输入直接发送到你的工具,而不再局限于结构化 JSON。模型可以将任何原始文本,比如代码、SQL 查询、Shell 命令、配置文件、长篇文章,直接发送给你的工具。

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-5",
    input="Use the code_exec tool to print hello world to the console.",
    tools=[
        {
            "type": "custom",
            "name": "code_exec",
            "description": "Executes arbitrary Python code.",
        }
    ]
)
print(response.output)

这个功能会非常有用。之前的自定义工具接口要求使用 JSON 调用工具:

{
    "type": "function",
    "name": "get_weather",
    "description": "Retrieves current weather for the given location.",
    "parameters": {
        "type": "object",
        "properties": {
            "location": {
                "type": "string",
                "description": "City and country e.g. Bogotá, Colombia"
            },
            "units": {
                "type": "string",
                "enum": ["celsius", "fahrenheit"],
                "description": "Units the temperature will be returned in."
            }
        },
        "required": ["location", "units"],
        "additionalProperties": false
    },
    "strict": true
}

然而输出有效的 JSON 要求模型精确转义所有引号、反斜杠、换行符和其他控制字符。虽然模型已经在输出 JSON 上经过良好训练,但在处理较长内容(例如数百行代码或一份 5 页的报告)时,出错概率会逐渐增加。使用 custom tools 后,GPT-5 可以直接以纯文本写入工具输入,无需转义这些特殊字符。

OpenAI验证了在 SWE-bench Verified 基准上,使用 custom tools 代替 JSON tools,GPT-5 的得表现几乎无差别。

最后想说的是,奥特曼也兑现了当初的承诺:GPT-5是免费在ChatGPT中使用的。但是与 GPT-4o 一样,免费与付费用户的主要区别在于使用额度[4]

  • Pro 订阅用户:可无限使用 GPT-5,并可访问 GPT-5 Pro。
  • Plus 用户:可将 GPT-5 作为日常问题的默认模型,使用额度显著高于免费用户(每 3 小时最多可发送 80 条消息;可手动选择GPT-5-Thinking 模型,但限制每周最多 200 条,其中GPT-5自动切换GPT-5-Thinking 不计入该周限额)。
  • Team、Enterprise 和 Edu 客户:可将 GPT-5 作为日常办公的默认模型,额度充足,方便整个组织依赖 GPT-5。

对于 ChatGPT 免费用户,完整的推理功能可能需要几天才能全部开放(每天可使用 1 条 GPT-5 Thinking 消息)。一旦免费用户达到 GPT-5 使用上限(每 5 小时最多可发送 10 条消息),将自动切换到更小但也更快的 GPT-5 mini

现在,让我们欢呼:ChatGPT终于从GPT-4o时代,进入了GPT-5时代

01:29

参考

  1. ^https://openai.com/index/introducing-gpt-5/
  2. ^https://openai.com/index/introducing-gpt-5-for-developers/
  3. ^https://platform.openai.com/docs/guides/function-calling
  4. ^https://help.openai.com/en/articles/11909943-gpt-5-in-chatgpt#h_4699b07591
还没有人送礼物,鼓励一下作者吧
小小将
自由评论 (0)
分享
Copyright © 2022 GreatFire.org