[Report] Memory Solutions for Generative AI Part 1: Changing Capabilities

生成AI（Gen AI）アプリケーションは、大量のデータをリアルタイムで処理するために、高速、高帯域幅、低レイテンシのメモリを必要とします。特に推論の際、リアルタイムでの意思決定や予測が求められるため、データへの迅速なアクセスはさらに重要となります。

必要な能力:

従来のインターフェースを持つDRAMは、帯域幅やレイテンシに制限があるため、DRAMをTSV（Through-Silicon Via）技術で積層するHBM（High Bandwidth Memory）のような技術が、このパフォーマンス要求を満たすための重要な解決策となります。メモリ設計に関連する課題と解決策、そしてメモリ技術の新たなトレンドは、今後の高性能コンピューティングと競争環境を形作っていきます。 今後、3D-ICやCoWoSなどのパッケージング技術の進展が、スマートフォンやPCなどのさまざまな分野で採用されることが予想されます。スマートフォンのように、スペースやコストに制約がある場合には、コストやスペースを増加させることなく、レイテンシとエネルギー消費を削減するさまざまな方法が試みられるでしょう。 2030年において、どのようなGen AIモデルやアプリケーションが主流となり、どれくらいの数になるのかはまだ明確ではありません。そのため、アーキテクチャの進展を支援し、変化に対応できるエコシステムを構築することが重要です。

目次

• 要旨
• 生成AI向けメモリソリューション: 学習から推論までの多様な機能
  • 性能最適化
  • 推論用高速メモリ
  • 高速メモリの実現
  • ムーアの法則を超えて: アドバンスド・パッケージへのシフト
  • AIやサーバーシステムでのHBMの活用