現在、多くの大手テクノロジー企業は、人工知能に基づいた多くのツールの操作を可能にする独自の言語モデルの開発と進化に没頭しています。 OpenAI、Google、Meta、Microsoft、Anthropic、その他多くの企業が過去 2 年間に多数の提案を発表しましたが、中国が独自のモデルを導入すると、その展望はさらに興味深いものになるでしょう。
私たちが知っている最も新しいものの 1 つは、中国からの直接言語モデルである Qwen2 です。これは、パラメーターの数が異なる最大 5 つのバリエーションがあり、その最も完全なバージョンは、メタ モデルであるLlama 3よりもさらに優れていることが約束されています。これらの行の下に詳細を示します。
オープンソース言語モデルの新たな巨人が中国から到着
中国は国民が人工知能との関わりに最も慣れている国の一つだ。それらの用途は、私たちが慣れ親しんでいるものを超えています。その一例は教育です。中国では、これまで以上に保護者が子どもの個人授業をAI を搭載したタブレットに任せています。
これまでのところ、 中国で開発された言語モデルは、より高度な OpenAI モデルほど画期的なものではありません。パフォーマンスと能力に関しては、米国は引き続き AI で中国に勝ち続けていますが、これは数年以内に根本的に変わる可能性があります。 中国が中国のハードウェアとソフトウェアのみに依存し、言語モデルのトレーニングに使用されるスーパーコンピューターを開発したことはすでに見てきました。
最も驚くべき言語モデルの 1 つは Qwen2 の言語モデルで、その技術仕様によれば、最も完全なバージョンではLlama 3 よりも優れていることが約束されています。 Qwen2 のパラメータ数は 0.5B ～ 72B のモデルです。 Llama 3 をバイパスするその「命令」バージョンは、実際には Meta の言語モデルとほぼ同じサイズです。
AI の専門家である Carlos Santana氏がスレッドを通じて、再配布や改変を含むあらゆる目的でのソフトウェアの使用について言及しているため、モデルがオープンソース コミュニティの手に渡る可能性は非常に高いです。
技術仕様表にあるように、 Qwen2 のベース モデルは Llama 3 をはるかに上回っています。また、命令バージョンは、ほぼすべてのベンチマークにおいてメタ モデルよりも優れているため、オープンソースでもある非常に完全な言語モデルについて話していることになり、AI に基づく多数の独立したツールが正しく動作する可能性が高まります。 。
7B モデルはおそらく私たちが最もよく使用するモデルです。これは、Llama 3 の 8B バージョンよりもさらに優れたパフォーマンスを備えており、プログラミングと数学において優れていることをすべて示しています。すでにこの Llama 3 モデルを目的に使用していた場合、Qwen2 はこの点で大きな改善となる可能性があります。
Qwen2 は最大 128,000 トークンのコンテキスト ウィンドウに到達できますが、この数字は Qwen2 の 72B および 7B バージョンで達成されます。 57B モデルには合計 64,000 トークンがあり、0.5 億および 1.5 億モデルの最大数は 32,000 トークンです。コンテキスト ウィンドウが大きいほど、言語モデルが処理できる情報容量が増えることを思い出してください。
Qwen2 は、疑いなく、オープンソース言語モデルの進化における非常に重要なステップです。多くの独立した開発者が、どの企業にも束縛されずに無料で配布されたツールを使用してプロジェクトを機能させることができるからです。 OpenAI はモデルをオープンソースにすることにあまり熱心ではないため、少なくとも私たちをサポートする他の代替手段があります。
この言語モデルのソースとツールはすでにGithub 、 Hugging Face 、 Modelscopeで入手できるため、開発者は誰でもこの新しい言語モデルで好奇心を呼び起こすことができます。
詳細情報 |クウェンLM