ChatGPT にはどのような種類のチップが必要ですか?

最近、ChatGPT は AI の新たなホット スポットとなり、Microsoft とシリコン バレーの Google はそのような技術に多額の投資を行っています (Microsoft は ChatGPT の背後にある企業である OpenAI に 100 億ドルの株式を保有しており、Google は最近独自の BARD モデルをリリースしました)。一方、Baidu などに代表される中国のインターネット テクノロジ企業も、そのようなテクノロジを開発中であり、近い将来に稼働する予定であることを示しています。 中国では、Baidu などのインターネット技術企業も、そのような技術を開発しており、近い将来に実用化される予定であることを示しています。

ChatGPT に代表される生成モデルには共通の特徴があります。つまり、事前トレーニングに大量のデータを使用し、より強力な言語モデルと組み合わせられることがよくあります。 言語モデルの主な機能は、膨大な既存のコーパスから学習することであり、学習後、ユーザーの言語的指示を理解し、さらにユーザーの指示に従って関連するテキスト出力を生成することができます。

生成モデルは大きく 2 つのカテゴリに分類できます。1 つは言語ベースの生成モデルで、もう 1 つは画像ベースの生成モデルです。 言語ベースの生成モデルは、ChatGPT によって表されます。この言語モデルは、ユーザー コマンドの意味を理解することを学習するだけでなく (たとえば、「李白のスタイルで詩を書いてください」)、ユーザーに基づいて関連テキストを生成することもできます。大量のデータでトレーニングした後のコマンド (上記の例では、李白のスタイルで詩を書いています)。 詩）。 つまり、ChatGPT には、ユーザーの言語を理解し、高品質の言語出力を生成できる大規模言語モデル (LLM) が必要です。たとえば、モデルは、詩を生成する方法、李白のスタイルで詩を生成する方法を理解する必要があります。 、 等々。 これは、言語ベースのジェネレーティブ AI の大規模な言語モデルが、この種の複雑な学習を行い、非常に多くの情報を記憶するために、非常に多くのパラメーターを必要とすることも意味します。 たとえば、ChatGPT には 1,750 億のパラメーター (標準の浮動小数点数が使用されている場合は 700 GB のストレージ スペース) があり、その言語モデルがいかに「大きい」かを示しています。

生成モデルのもう 1 つのクラスは、Diffusion に代表される画像生成モデルで、通常は OpenAI の Dalle、Google の ImaGen、そして現在最も人気のある Runway AI の Stable Diffusion です。 これらの画像のような生成モデルは、言語モデルを使用してユーザーの言語コマンドを理解し、それらのコマンドに基づいて高品質の画像を生成します。 言語ベースの生成モデルとは異なり、ここで使用される言語モデルは主に言語を使用して、言語出力を生成せずにユーザー入力を理解するため、パラメーターの数は非常に少なくて済みます (数億のオーダー)。画像ベースの拡散モデルは比較的小さく、全体で数十億程度ですが、生成される画像やビデオの解像度が非常に高くなる可能性があるため、計算量は少なくありません。

生成モデルは、大量のデータ トレーニングを通じて前例のない高品質の出力を生成できます。また、検索、対話ボット、画像の生成と編集などを含む多くの明確なアプリケーション市場がすでに存在します。関連チップ。

1 つ目は、分散計算の必要性です。 ChatGPT などの言語生成モデルのパラメーターの数は数千億にのぼり、単一コンピューターのトレーニングと推論を使用することはほとんど不可能ですが、多くの分散計算を使用する必要があります。 分散コンピューティングでは、マシンとそのような分散コンピューティング用のコンピューティング チップ (RDMA など) との間のデータ相互接続帯域幅には大きな需要があります。これは、多くの場合、タスクのボトルネックがコンピューティングではなく、上記のデータ相互接続にある場合があるためです。この種の大規模な分散コンピューティングでは、分散コンピューティングを効率的にサポートするためのチップがより重要になっています。

次に、メモリ容量と帯域幅です。 言語ベースの生成モデルでは分散トレーニングと推論は避けられませんが、各チップのローカル メモリと帯域幅によって、単一チップの実行効率が大きく左右されます (各チップのメモリが限界まで使用されるため)。 画像ベースの生成モデルの場合、モデル (約 20GB) をすべてチップのメモリに入れることができますが、画像ベースの生成モデルが将来さらに進化するにつれて、そのメモリ要件もさらに増加する可能性があります。 . この観点から、HBM に代表される超高帯域幅メモリ テクノロジは、関連するアクセラレータ チップの必然的な選択肢となり、ジェネレーティブ クラス モデルも HBM メモリを高速化して容量と帯域幅をさらに増加させるでしょう。 HBM に加えて、ソフトウェアの最適化と組み合わせた CXL などの新しいストレージ テクノロジも、そのようなアプリケーションでローカル ストレージの容量とパフォーマンスを向上させる可能性があり、ジェネレーティブ クラス モデルの台頭により、より多くの産業で採用されると推定されています。

最後に、言語ベースと画像ベースの両方の生成クラス モデルの計算には大きな計算需要があり、画像ベースの生成モデルは、ますます高い解像度を生成し、ビデオ アプリケーションに移行するにつれて、演算能力に対する需要がはるかに高くなる可能性があります - 現在主流の画像生成モデルの計算量は約 20 TFlops であり、高解像度と画像に関しては、100-1000 TFLOPS の演算要求が標準になる可能性があります。

要約すると、チップの生成モデルの要件には、分散コンピューティング、ストレージ、および計算が含まれると考えられます。これには、チップ設計のすべての側面が含まれると言えます。さらに重要なことは、これらすべての要件を合理的な方法で組み合わせる方法です。単一の側面がボトルネックにならないようにするためです。これは、チップ設計のシステム エンジニアリングの問題にもなります。

まず、言語ベースの生成モデルの観点からは、現在この種のエコロジーで完全なレイアウトを持っている GPU ベンダーは、膨大な数の参加者と優れた分散コンピューティング サポートの必要性から、より有利です。 これは、完全なソフトウェアおよびハードウェア ソリューションを必要とするシステム エンジニアリングの問題であり、この点に関して、Nvidia は GPU を組み合わせて分散トレーニングと分散推論をサポートする Triton ソリューションを立ち上げ、モデルを複数の部分に分割して処理できるようにしました。これにより、1 つの GPU のメイン メモリでは対応できないパラメータが多すぎるという問題が解決されます。 これにより、1 つの GPU のメイン メモリに対してパラメータが多すぎるという問題が解決されます。 Triton を直接使用する場合でも、将来的に Triton に基づいてさらに開発を行う場合でも、完全なエコロジカル GPU を使用する方が便利です。 計算の観点からは、言語ベースの生成モデルの主な計算は GPU の強みである行列計算であるため、新しい AI チップは、この観点から GPU に対して明らかな利点はありません。

画像ベースの生成モデルの観点からは、そのようなモデルのパラメーターの数も多くなりますが、言語ベースの生成モデルよりも 1 ～ 2 桁少なく、その計算に加えて、依然として大規模なアプリケーションで使用されます。畳み込み計算の数、つまり推論アプリケーション、非常に優れた最適化を行うことができれば、AI チップにはいくつかの機会があるかもしれません。 ここでの最適化には、畳み込みと行列演算の効率的なサポートのために、パラメーターと中間計算結果を収容するための大量のオンチップ ストレージが含まれます。

一般に、現在の世代の AI チップは、より小さなモデル (10 億レベルのパラメーター数、1TOPS レベルの計算) をターゲットにするように設計されていますが、生成モデルの需要は依然として元の設計ターゲットよりも相対的に大きくなっています。 GPU は効率を犠牲にしてより柔軟になるように設計されていますが、AI チップは逆のことを行うように設計されており、ターゲット アプリケーションの効率を追求しています。 したがって、今後 1 年か 2 年は GPU が引き続きこのような生成モデルのアクセラレーションを支配すると考えられますが、生成モデルの設計がより安定し、AI チップの設計が生成モデルの反復に追いつく時間があるため、AI チップは GPU を凌駕する機会があります。効率の観点から生成モデル空間で。