AI分野の百モデル戦争：技術革新からエンジニアリング実践まで

先月、AI業界で激しいモデル競争が巻き起こりました。

一方は某テクノロジー大手が発表したオープンソースの大規模言語モデルで、そのオープンな特性から開発者に非常に人気があります。日本のある会社はこのモデルの論文とソースコードを研究した後、迅速に日本語版の対話AIシステムを開発し、日本のAI開発のボトルネックを解決しました。

もう一方は「ファルコン」と呼ばれる大規模モデルです。今年の5月、Falcon-40Bが登場し、オープンソースLLMランキングで競合を抑えて1位を獲得しました。

このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力を評価するための基準を提供しています。ランキングは基本的にこの2つのモデルが交互に占めています。

9月初に「ファルコン」が180Bバージョンをリリースし、再び高いランキングを達成しました。興味深いことに、「ファルコン」の開発者はテクノロジー企業ではなく、アラブ首長国連邦にある研究機関です。アラブ首長国連邦の官僚は、彼らがこの競争に参加しているのは既存の枠組みを打破するためだと述べています。

現在、AI分野は百家争鳴の段階に入っています。一定の財力を持つ国や企業は、皆、自国版の対話型AIシステムの構築を計画しています。湾岸地域だけでも、複数のプレイヤーが動いています。8月には、サウジアラビアが国内の大学に数千枚の高級AIチップを購入し、大規模言語モデルのトレーニングに使用しています。

著名な投資家がソーシャルメディアで感慨を述べた:"当時、インターネットのビジネスモデルの革新を軽視し、ハードルがないと思っていました。まさか、ハードテクノロジーの大規模モデルの起業が、依然として百モデルの戦いになるとは..."

いわゆる高難度のハードテクノロジーは、どのようにして各国が争って展開する競技場に変わったのか？

トランスフォーマーアルゴリズムがAI革命を引き起こす

アメリカのスタートアップ、中国のテクノロジー大手、中東の石油王たちが大規模モデルの研究開発に取り組むことができるのは、あの有名な論文「Attention Is All You Need」に起因しています。

2017年、8人のGoogle科学者がこの論文で世界に向けてTransformerアルゴリズムを公開しました。この論文は現在、AI分野で引用数が3番目に多い論文であり、Transformerの登場はこのAIブームを引き起こしました。

現在のさまざまな大規模モデルは、国籍に関係なく、世界的に注目されているGPTシリーズを含め、すべてTransformerを基盤に構築されています。

以前、「機械に読みを教えること」は公認の学術的課題でした。画像認識とは異なり、人間は読書の際、現在の単語や文だけでなく、文脈を考慮して理解します。初期の神経ネットワークは入力が相互に独立しており、長いテキストや全体の文章を理解するのが難しかったため、しばしば滑稽な翻訳エラーが発生しました。

2014年までに、あるコンピュータ科学者がループ神経ネットワーク(RNN)を使用して自然言語を処理し、ある翻訳システムの性能を大幅に向上させました。RNNは「ループ設計」を提案し、各ニューロンが現在の入力と前の時刻の入力の両方を受け取ることができるようにし、「文脈を結合する」能力を持つようになりました。

RNNの出現は学術界の研究熱を燃え上がらせ、Transformerの論文の著者の一人も一時はその中に夢中になっていました。しかし、開発者たちはすぐにRNNが深刻な欠陥を抱えていることに気づきました: このアルゴリズムは順次計算を使用しており、文脈の問題を解決したものの、実行効率が高くなく、大量のパラメータを処理するのが難しいのです。

RNNの煩雑な設計はすぐに研究者をうんざりさせました。2015年から、志を同じくする科学者たちのグループがRNNの代替品の開発に着手し、最終的な成果がTransformerです。

RNNと比較して、Transformerには二つの大きな革新があります。一つは位置エンコーディングを用いて循環設計を置き換え、並列計算を実現し、トレーニング効率を大幅に向上させ、AIを大規模モデルの時代へと進めたことです。もう一つは、文脈を理解する能力をさらに強化したことです。

Transformerは多くの課題を一挙に解決し、徐々に自然言語処理の主流の選択肢となりました。RNNの創始者でさえもTransformer陣営に転向しました。言い換えれば、Transformerは今日のすべての大規模モデルの基盤であり、それは大規模モデルを理論研究からエンジニアリングの問題に変えました。

2019年、あるAI企業がTransformerに基づいてGPT-2を開発し、学術界を驚かせました。それに応じて、あるテクノロジー大手がすぐにより強力なAIシステムを発表しました。GPT-2と比較して、このシステムにはアルゴリズムの革新はなく、トレーニングパラメータと計算能力を大幅に増加させただけです。Transformer論文の著者は、この「暴力的な積み重ね」に衝撃を受け、感想を記録したメモを作成しました。

Transformerの登場により、学術界の基盤となるアルゴリズムの革新速度が鈍化した。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどの工学要素が、AI競争の鍵となっている。一定の技術力を持つ企業であれば、大規模モデルを開発できる。

したがって、著名なAI専門家は講演の中で次のように述べました："AIは、監視学習、非監視学習、強化学習、生成AIを含むツールの集合です。これらはすべて一般的な技術であり、電力やインターネットに似ています。"

あるAI企業は依然として大規模言語モデルの風向計であるが、業界の分析によれば、その競争力は主にエンジニアリングソリューションに起因している。もしオープンソース化されれば、どの競合他社でも迅速にコピーできると予想されている。あるアナリストは、近いうちに他の大手テクノロジー企業も同等の性能を持つ大規模モデルを開発できると見込んでいる。

大規模モデル競争が直面する課題

現在、「百模大戦」はもはや修辞ではなく、客観的現実です。

関連報告によると、今年の7月時点で中国の大規模モデルの数は130に達し、アメリカの114を超えました。中米以外でも、裕福な国々が「一国一モデル」を初めて実現しています。日本やアラブ首長国連邦に加えて、インド政府主導のBhashiniや韓国のインターネット企業が開発したHyperClova Xなどがあります。

この光景は、かつてのインターネットバブル時代、資本が競って流入していた状況に非常に似ています。

前述のように、Transformerは大規模モデルをエンジニアリングの問題に変えました。人材、資金、ハードウェアがあれば、残りはパラメータの調整に任せることができます。しかし、参入障壁の低下は、誰もがAI時代の巨頭になれることを意味するわけではありません。

記事の冒頭に言及された「モデルの争い」は典型的なケースです: あるモデルがランキングで優位に立っているとしても、あるテクノロジー大手にどれほどの影響を与えたかは難しいと言えます。

誰もが知っているように、企業が自らの研究成果をオープンソースにするのは、社会とテクノロジーの恩恵を共有するためだけでなく、群衆の知恵を借りるためでもあります。さまざまな分野が特定のオープンソースモデルを使用し、改善するにつれて、その親会社はこれらの成果を自社の製品に応用することができます。

オープンソースの大規模モデルにとって、活発な開発者コミュニティこそが核心的な競争力です。

あるソーシャルメディアの巨人は、2015年にAIラボを設立した際に、オープンソース戦略を確立しました; その創業者は「コミュニティ関係を維持する」方法を熟知しています。今年10月、その会社は「AIクリエイターインセンティブ」活動を特別に立ち上げました: オープンソースモデルを使用して教育、環境などの社会問題を解決する開発者は、50万ドルの資金を得る機会があります。

現在、この会社のオープンソースモデルシリーズは業界の標準となっています。10月初めの時点で、あるオープンソースモデルのランキングの上位10位のうち、8つはこのシリーズに基づいて作られています。このプラットフォーム上では、オープンソースライセンスを使用したモデルが1500以上存在します。

もちろん、モデルの性能を向上させることも悪くはないですが、現在市場に出ているほとんどのモデルは最高のAIシステムと依然として明らかな差があります。

例えば、最近あるAIシステムがAgentBenchテストで4.41点の成績を収めました。AgentBenchは複数の著名な大学が共同で開発したもので、大規模モデルの多次元オープン環境における推論と意思決定能力を評価するためのものです。テスト内容には、オペレーティングシステム、データベース、知識グラフ、カードバトルなどの8つのタスクが含まれています。

テスト結果は、2位がわずか2.77ポイントであり、差が明らかであることを示しています。大規模なオープンソースモデルについては、テスト結果は1ポイント前後であり、チャンピオンの4分の1にも達していません。

知っておくべきことは、最も性能の高いAIシステムが今年の3月に発表されたことで、これは世界中の競合が半年以上追いついた結果です。この差を生んだのは、同社の高水準な研究チームと長年の経験の蓄積であり、それによって常に先頭を維持しています。

言い換えれば、大規模モデルの核心的な利点はパラメータの数ではなく、エコシステムの構築(オープンソースのルート)または純粋な推論能力(クローズドソースのルート)です。

オープンソースコミュニティがますます活発になるにつれて、さまざまなモデルのパフォーマンスは類似のアーキテクチャとデータセットを使用しているため、同質化する可能性があります。

もう一つのより現実的な難題は、少数の例を除いて、どの大規模モデルも利益を上げられていないように見えることです。

大規模モデルが直面する経済的圧力

今年8月、"あるAI企業は2024年末に破産する可能性がある"というタイトルの記事が注目を集めました。この記事の主旨はほぼ一言で要約できます:その企業の支出速度が速すぎるということです。

文中では、ある対話型AIシステムを開発して以来、同社の損失が急速に拡大し、2022年だけで約5.4億ドルの損失を出し、投資家の支えに頼るしかなかったと述べられています。

記事のタイトルは誇張されているが、多くの大規模モデル提供者の現状を反映している: コストと収入のバランスが深刻に崩れている。

高すぎるコストが原因で、現在AIを利用して真に利益を上げているのはごく少数の半導体メーカーだけです。

コンサルティング会社の推定によれば、あるチップの巨人は今年の第2四半期に30万枚を超える高性能AIチップを販売しました。これはAIのトレーニング効率が非常に高いチップであり、世界中のテクノロジー企業や研究機関が競って購入しています。販売されたチップを重ねると、その重さはボーイング747が4.5機分に相当します。

このチップ会社の業績は急上昇し、前年同期比で収益が854%増加し、ウォール街を驚かせました。特筆すべきは、このチップが中古市場で4万〜5万ドルにまで高騰していることですが、そのコストは約3000ドルです。

高い計算力コストは、ある程度、業界の発展を妨げています。ある著名な投資機関は推定しました：世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ整備に投資することが予想されています。それに対して、大規模モデルは毎年最大で750億ドルの収入しか生み出せず、少なくとも1250億ドルのギャップが存在しています。

さらに、少数の例外を除いて、ほとんどのソフトウェア会社は巨額の投資をした後、明確な収益モデルを見つけていません。業界のリーダー企業でさえ困難に直面しています。

あるテクノロジー大手がAI企業と協力して開発したコード生成ツールは、月額10ドルの料金にもかかわらず、施設コストのために毎月20ドルの損失を出しており、ヘビーユーザーがいると、毎月80ドルの損失を出すこともあります。これに基づいて、月額30ドルのあるAIアシスタントサービスは、さらに多くの損失を出す可能性があります。

同様に、AIツールを新たに発表したあるソフトウェアの巨人も迅速にポイントシステムを導入し、ユーザーの過度な使用を制限して会社の損失を避けました。ユーザーが毎月割り当てられたポイントを超えると、その会社はサービスの速度を低下させます。

この2社は明確なビジネスシナリオと大量の有料ユーザーを持っています。そして、ほとんどのパラメータが膨大なモデルの主な適用シナリオは、依然として対話です。

否定できないのは、あるAI企業とその対話システムの登場がなければ、このAI革命は起こらなかったかもしれないということだ。しかし現在、大規模モデルのトレーニングによって生み出される価値はまだ議論の余地がある。

さらに、同質化競争が激化し、オープンソースモデルが増える中で、大規模モデルサービスのみを提供する企業は、より大きな圧力に直面する可能性があります。

あるスマートフォンの成功がその先進的なプロセッサーによるものではなく、さまざまな人気アプリを実行できるからであるように、大モデルの価値は最終的に具体的なアプリケーションシーンに現れる。