ジム・ケラー主導のチップ会社であるTenstorrentは、AIワークロード用の次世代ワームホールプロセッサをリリースしました。同社は現在、1つまたは2つのワームホールプロセッサを収容できる2つの追加のPCIeカードと、ソフトウェア開発者向けのTT-LoudboxおよびTT-Quietboxワークステーションを提供しています。今日の発表はすべて、開発者を対象としており、商用ワークロードにワームホールボードを使用しているものではありません。
TenSorrentのCEOであるJim Keller氏は、次のように述べています。この発売に加えて、私たちは、テープアウトと第2世代の製品であるブラックホールのパワーアップで進行中の進歩を見ることに興奮しています。」
各ワームホールプロセッサには、72個のテンシックスコア（5つのRISC-Vコアがさまざまなデータ形式でサポートされています）と108 MBのSRAMが含まれており、160Wの熱設計力で1 GHzで262 FP8 TFLOPSを供給します。シングルチップワームホールN150カードには、12 GB GDDR6ビデオメモリが装備されており、帯域幅は288 GB/sです。
ワームホールプロセッサは、ワークロードの多様なニーズを満たすための柔軟なスケーラビリティを提供します。 4つのWormhole N300カードを備えた標準のワークステーションセットアップでは、プロセッサを統合された幅広いTensixコアネットワークとしてソフトウェアに表示する単一のユニットに結合できます。この構成により、アクセラレータは同じワークロードを処理したり、4つの開発者間で分割したり、最大8つの異なるAIモデルを同時に実行したりできます。このスケーラビリティの重要な機能は、仮想化を必要とせずにローカルに実行できることです。データセンター環境では、ワームホールプロセッサは、マシン内の拡張にPCIEを使用し、外部拡張のためにイーサネットを使用します。
パフォーマンスに関しては、TenStorrentのシングルチップワームホールN150カード（72 Tensixコア、1 GHz周波数、108 MB SRAM、12 GB GDDR6、288 GB/sの帯域幅）は262 FP8 TFLOPSを160W、Dual-CHIP WORMHOLE N300 BOARD（128 TENSIX CORES、1 GHZ CORES、1 GHZ CORES、1 GHZ CORES、160Wで達成しました。 24 GB GDDR6、576 GB/s帯域幅）は、300Wで最大466 FP8 TFLOPSを供給します。
466 FP8 TFLOPSの300Wをコンテキストに入れるには、AIマーケットリーダーNVIDIAがこのサーマルデザインパワーで提供しているものと比較します。 NvidiaのA100はFP8をサポートしていませんが、INT8をサポートしており、ピークパフォーマンスは624トップ（スパースの場合は1,248トップ）です。それに比べて、NvidiaのH100はFP8をサポートし、300W（スパースで3,341 TFLOPS）で1,670 TFLOPSのピーク性能に達します。これは、TenStorrentのワームホールN300とは大きく異なります。
ただし、1つの大きな問題があります。 TenstorrentのWormhole N150は999ドルで小売店で、N300は1,399ドルで販売されています。それに比べて、数量に応じて、単一のNVIDIA H100グラフィックカードが30,000ドルで販売されています。もちろん、4つまたは8つのワームホールプロセッサが実際に単一のH300のパフォーマンスを実現できるかどうかはわかりませんが、TDPはそれぞれ600Wと1200Wです。
カードに加えて、Tenstorrentは、アクティブ冷却を備えたより手頃な価格のXeonベースのTT-Loudboxの4枚のN300カード、EPYCベースのXiaolong）液体冷却機能を備えた高度なTTキーエットボックスを含む、開発者向けの事前に構築されたワークステーションを提供しています。
投稿時間：7月29日 - 2024年