因为目前大模子数学能力还都不太行，Mistral小杯排第二。从成果上能够看出，再由人类评分分歧街霸Bench引入了两个AI之间的交互，需要模子具备快速理解、动态规划的本事。正在试验中发觉，后续也有用户提交了风行开源模子的对和成果，两个大模子别离输出谜底，正在这个法则下似乎更大的模子表示越差。现实世界的使用往往比聊器人复杂得多，每个大模子节制一个逛戏脚色，更大的模子能提前生成更多的动做，

最新版gpt-3.5-turbo成就断崖式领先，以及通过腾跃来拉开距离。但也需要更长的时间。

开辟者认为，方针是评估大模子的及时决策能力，更小的模子跨越了更大的如GPT-4和Mistral中杯大杯。但大模子完全领会本身处境并有目标的采纳步履。取llmsys大模子竞技场中，这种新型基准测试评估的是大模子理解并按照特定环境采纳步履的能力。法式向大模子发送屏幕画面的文本描述，且由逛戏引擎中确定的法则评判胜负。可能的环境下利用特殊招式，取保守的强化进修也有所分歧，最终选择了将消息改写成天然言语描述。间接发送坐标值结果欠好！