Google AIは、アレイストレージ用の高性能オープンソースライブラリであるTensorStoreを発表しました。
TensorStoreは、Googleが開発したオープンソースのC++およびPythonフレームワークで、大規模な多次元配列の読み書きを高速化するように設計されています。単一の大きな座標系をカバーする多次元データセットは、現代のコンピュータサイエンスや機械学習アプリケーションで一般的に使用されています。このようなデータセットの使用は困難です。なぜなら、複数のワークステーションが並列に動作し、予測不可能な間隔や異なるスケールでデータを受信・出力するような調査を顧客が希望することが多いからです。
Google Researchは、データの保存と操作の問題を解決するために、複雑なハードウェアを必要とせずに巨大なデータセットを管理できるAPIをユーザーに提供するライブラリ、TensorStoreを開発しました。このライブラリは、ローカルファイルシステムやネットワークファイルシステム、Google Cloud Storageなど、多くのストレージシステムをサポートしています。
大量のデータをロードして処理するために、TensorStoreはシンプルなPython APIを提供します。正確なスライスが必要なときに実際のデータを読み込んだりメモリに保存したりする必要がないため、データセット全体をメモリに保存する必要なく、任意のサイズの任意の基本データセットをロードして更新できます。
これは、NumPyの操作と非常によく似たインデックス作成と操作の構文によって実現されています。仮想ビュー、ブロードキャスト、アラインメント、その他の洗練されたインデックス機能に加えて、TensorStoreはデータ型変換、ダウンサンプリング、任意に作成された配列などの機能もサポートしています。
さらに、TensorStoreには非同期APIが含まれており、同時に読み取りや書き込みを行うことができます。このソフトウェアは、他の作業が実行されている間にインメモリ・キャッシングを実行できるため、よく使用されるデータにアクセスする際に、低速のストレージ・システムに対処する必要性を減らすことができます。
大規模な数値データセットは、検査や分析に大量の処理能力を必要とします。これを実現する一般的な方法は、多くのデバイスに分散した多数のCPUやアクセラレータコアでタスクを並列化することです。優れた速度を維持しながら個々のデータセットを並列に分析する能力は、TensorStoreの重要な目標でした。 PaLM、ブレインマップ、その他の複雑な大規模機械学習モデルは、TensorStoreの使用例の一部です。
を経由して
