📖
人工知能 (AI) は近年の大きな技術進歩の 1 つですが、その最も有名なアプリケーション (GPT4 や MidJourney など) を推進してきた開発モデルは、成長の限界を使い果たしたようです…
…そのため、この分野の科学研究者と企業は、効率、コスト、結果の減少という問題に直面しながら、モデルを「スケーリング」する従来のアプローチに代わる方法を模索しています。
スケーリングの限界
AI モデルの分野における「スケーリング」とは、より多くのデータ、より大きな計算能力とパラメーターを使用してサイズと容量を増やすことによってパフォーマンスを向上させることを意味します。これには、大量のより大規模で複雑なニューラル ネットワークのトレーニングが含まれます。コンピューティング リソースの。
しかし、これらの大規模なモデルのトレーニングには費用がかかるだけでなく (「トレーニング サイクル」ごとに数千万ドルを超える場合もあります)、不確実性もあります。プロセスが完了するまで研究者は投資に見合った結果が得られるかどうかを予測できません。プロセスは完了するまで続く可能性があります。数か月。
いずれにせよ、モデルが大きくなるにつれて、トレーニングのコスト、高品質のデータの必要性、および技術的な課題が不釣り合いに増加するのが一般的な傾向であり、その一方で、その取り組みの収益性は徐々に低下します。
現在の生成型 AI がその成長を制限する「壁」に達しているという考えは新しいものではありませんが、最近ではその考えがますます重要になってきています。業界アナリストのギャリソン・ラブリー氏によると、OpenAI の Orion や新しいモデルなどの最新モデルは、 Google の Gemini バージョンは、以前のバージョンと比較してほとんど進歩を示していません。
この現象の原因の中で、学習に利用できる高品質なデータの枯渇が際立っています。現在のモデルはアクセス可能なデータ ソースの大部分をすでに消費しているため、合成データに目を向けていますが、これにより冗長性が生じ、効果的な学習が制限される可能性があります。
さらに、従来の「次の単語」予測アプローチでは、論理的推論や長期的な問題解決など、より複雑なタスクを捉える際に本質的な限界があるようです。
代替品を探しています
この見解を支持する優れた AI 頭脳の 1 人は、OpenAI の共同創設者であり、 現在は自身のスタートアップ Safe Superintelligence (SSI) のリーダーであるIlya Sutskever です。
「2010年代はスケールの時代でしたが、今は『驚きと発見』の時代に戻っています。誰もが次のステップを探しています。」
そして実際、業界はすでに代替アプローチの模索を始めています。最も有望なものの 1 つは、いわゆる「テスト時コンピューティング」です。これにより、最適な答えを決定する前に複数の答えを評価することで、モデルがより人間的な方法で考えることができます。 OpenAI の o1 モデルで使用されるこのアプローチは、 AI モデルが複雑なタスクに取り組む方法を再定義します。
たとえば、o1 は、すぐに答えを与えるのではなく、人間の推論と同様に、問題を解決するために考えられるさまざまな経路を分析し、最も適切な経路を選択できます。 OpenAI 研究者の Noam Brown 氏によると、この技術はリソースを大規模に拡張することなく大幅な改善を達成できます。
たとえば、ポーカーのコンテキストでは、各ハンドで 20 秒間「考える」モデルは、100,000 倍長くトレーニングされたモデルと同等の結果を得ることができます。
AI業界への影響
パラダイムシフトはAIハードウェア市場を破壊する可能性もあります。これまでのところ、需要はトレーニング チップによって支配されており、この分野では Nvidia が揺るぎない優位性を維持しています。
ただし、モデルは初期トレーニングではなく実際の使用中のパフォーマンスの最適化に重点を置くようになるため、推論への新しいアプローチにより市場が新たな競合他社に開かれる可能性があります。