[斯科特]谷歌Deepmind改进GPT-4性能

为了增强大型语言模型（LLM）的推理能力，谷歌 Deepmind 和南加州大学的研讨人员提出了一种新的“自我发现”提示结构。

该办法今日早上在 arXiV 和 Hugging Face 上发布，超越了法学硕士运用的现有提示技能，并且被发现可以提高已知模型的功能，包含 OpenAI 的 GPT-4 和 Google 的 PaLM 2。

研讨人员在论文中写道：“与 Chain of Thought (CoT) 相比，自我发现大大提高了 GPT-4 和 PaLM 2 在具有挑战性的推理基准（例如 BigBench-Hard、扎根署理推理和 MATH）上的功能，提高了 32%” 。

该结构围绕法学硕士自我发现使命内涵推理结构来处理问题。

这些模型着眼于多个原子推理模块，例如批判性思想和分步思想，并将它们组合成清晰的推理结构，供法学硕士在解码过程中遵从。

更风趣的是，这种办法的推理核算量减少了 10 到 40 倍，这对企业来说非常有用。

自我发现共同的结构

法学硕士已经发展到可以处理众多使命，这要归功于他们遵从指示、推理和产生连贯反响的能力。

为了完成这一目标，由 Transformer 架构供给支持的模型运用了各种提示技能，这些技能遭到人类怎么推理和处理问题的认知理论的启示。

这包含少样本和零样本思想链，其创意来自于咱们怎么一步步处理问题，分解提示咱们怎么将问题分解为多个子问题，以及撤退提示咱们怎么反思问题。确定一般原则的使命性质。

尽管所有这些办法（尤其是思想链办法）都可以完成作业，但它们都是经过对怎么处理给定使命做出隐含的先验假设来起作用的。

研讨人员以为，这种办法或许不是最好的，因为每项使命都有共同的内涵结构，并且一种特定的技能或许比另一种更能处理问题。

经过最新的研讨，Deepmind 和南加州大学的研讨人员提出了一个通用的提示结构，可以自我发现这种共同的底层结构，从而为使命选择正确的推理技能，同时又保持高效。

“自我发现的创意来自于人类怎么在内部规划处理问题的推理程序。

从一组用自然语言描述的原子推理模块，如“分解为子使命”和“批判性思想”、法学硕士和没有标签的使命示例，它组成了使命固有的连贯推理结构（阶段1）和然后运用发现的结构处理使命实例（阶段2）。

第 1 阶段在使命等级运转，并运用三个操作来辅导 LLM 生成使命的推理结构。

在第二阶段，在终究解码过程中，法学硕士只需遵从自我发现的结构即可得出终究答案，”研讨人员解释道。

已知法学硕士的明显功能改进

为了了解新办法的作业原理，研讨人员运用多种模型（包含 GPT-4 和 PaLM 2-L）在 25 项推理使命（包含 Big-Bench Hard、Thinking for Doing 和 Math）上对其进行了测验。

在 25 项使命中的 21 项中，自我发现的体现优于链式推理和其他技能，功能提升高达 32%。

研讨人员还发现，它在功率方面体现更好，所需的推理核算量减少了 10 到 40 倍。

根据论文中分享的数据，在运用 GPT-4 时，自我发现办法在 Big-Bench Hard、Thinking for Doing 和 Math 使命中的准确率别离为 81%、85% 和 73%。

然而，当运用思想链时，结果别离下降到 75%、52% 和 71%。

当与方案和处理办法进行比较时，发现了简直类似的距离。

另一方面，PaLM 2-L 在这三项使命中取得了 67%、69% 和 50.5% 的准确率。

这低于 GPT-4，但仍然比运用思想链（60%、40% 和 42%）和方案与处理（61%、42% 和 49%）办法所取得的效果要好得多。

改进推理是人工智能成功的要害

尽管自我发现激励结构的主意刚刚被提出，但它有潜力打破问题处理的边界，让法学硕士可以轻松处理具有挑战性的问题——终究朝着通用智能的目标跨进。

值得注意的是，研讨人员进行的可转移性研讨表明，所组成的推理结构普遍适用于模型宗族，并且与人类推理模式具有共性。

该团队补充道：“展望未来，咱们很高兴可以探索更多关于法学硕士结构化推理的内容，以打破问题处理的边界并发现人类与人工智能协作的潜力。”

此时快讯

【观点：若灰度不削减GBTC管理费用，或将导致资金进一步流出】金色财经报道，摩根大通分析师在近期发布的报告中表示，如果灰度不进行有效的费用削减，或将导致更多资金将从GBTC中流出。贝莱德仅收取0.12%的费用，富达收取0.25%，Cathie Wood的Ark Invest基金目前费用为零，六个月后将升至0.21%，而灰度GBTC的管理费为1.5%。