SuperCLUE: GPT4は2023年10月も中国の大型モデルリストで1位を維持

最近、SuperCLUEは10月の最新の中国大型モデルリストを発表しました。 GPT4 は引き続きリストを支配し、1 位にランクされました。 Vivoが自社開発した大型モデルvivoLMは70.74点で4位となり、国産大型モデルの中では1位となった。

vivoLM に続いて、Dark Side of the Moon の Moonshot、Baidu の Wenxin Yiyan 4.0、SenseTime の SenseChat 3.0 が続きます。

SuperCLUE は主に、専門知識とスキル、言語理解と生成、AI エージェント、セキュリティという 4 つの主要な能力次元における数百のタスクを含む、中国語能力における大規模モデルのパフォーマンスを検査します。

今回の評価では、国内外の代表的な汎用大規模言語モデル20個を選定しました。 9月と比較すると、Dark Side of the MoonのMoonshot、BaiduのWenxin Yiyan 4.0、iFlytekのSpark V3.0、vivoのvivoLM、Alibaba CloudのQwen-14Bが追加されました。

このテストの評価データセットは、606 個の複数ラウンドの短答式質問と 3,148 個の客観的な多肢選択式質問を含む 3,754 個の新しいテスト質問で構成されています。最終的に、総合ランキングを含む5つの主要ランキングが選出されました。

評価結果によると、国内一流の大型モデル構造は基本的に形成された。中国の上位数社の大規模モデルはすでに GPT3.5 に非常に近いですが、GPT4 にはまだ遠いです。 GPT4 をベンチマークしたり、競合したりする兆候はありません。

SuperCLUEはまた、今年の第4四半期にGPT3.5をあらゆる面で上回る汎用大型モデルが登場すると考えていますが、GPT4をいかに上回るかが、中国のすべてのモデル研究開発機関が直面する新たな課題となるでしょう。

ジクアイテクノロジー