IBM研究開発研究所によって開発されたBLU（この開発コードは「ビッグデータ、ライトニング・ファスト、ウルトラ・イージー」の略）は、カラムナー処理、重複排除、並列ベクトル処理、データ圧縮などの技術を統合しています。
IBM Information Management SoftwareのCTOであるTim Vincent氏は、「BLUの焦点は、データベースを "メモリー最適化 "することです。BLUは、SQLクエリのパフォーマンスを向上させるために必要な手作業によるチューニングもほとんど不要にします。
IBMは、アナリティクスを劇的に改善し、管理を簡素化するさまざまなテクノロジーをBLUが統合したことにより、DB2 10.5はデータ分析の速度を25倍以上向上させることができると主張しています。この改善により、組織は迅速なデータ分析やトランザクション処理に取り組むために、別途インメモリデータベースを購入する必要がなくなる可能性があります。
IBMはウェブ上で、BLUテクノロジーを使用した32コアのシステムが、10テラバイトのデータセットに対して1秒未満でクエリーを実行できる例を示しています。「10TBのデータセットのうち、日常業務で利用できるのは25%だけかもしれません。その25％のデータだけをメモリに保存しておけばよいのです」とヴィンセントは言い、「1TBのRAMと5TBのソリッドステート・ストレージを搭載したサーバーが、今日では35,000ドル以下で手に入ります。
さらに、DB2を使用することで、個別のデータウェアハウスを運営するための人件費を削減することができます。場合によっては、データ処理プラットフォームとして、Hadoopに代わるメンテナンスの容易なプラットフォームとして機能することもある、とヴィンセント氏。新しい技術の1つである圧縮アルゴリズムは、場合によっては最初に解凍作業をしなくてもデータを読み込めるような方法でデータを保存することができるとVincent氏は説明します。分析プロセス全体を通じてデータを圧縮しておくことで、分析に必要な時間を大幅に短縮できます。
時間を節約するもう1つのトリック：ソフトウェアは、各データページまたは列のデータの高低キー値をリストしたメタデータテーブルを保持します。そのため、クエリが実行されると、データベースはデータ・ページに必要な値があるかどうかをチェックすることができます。「もしそのページがメモリ上になければ、メモリに読み込む必要はありません。もしそのページがあれば、バスを経由してCPUに読み込ませる必要がなく、CPUがページ上のすべての値をひとつずつ分析する手間が省けます。"列処理では、クエリは、より多くのメモリを消費する全行ではなく、データベーステーブルの選択された列のみを取り込むことができます。"メモリにキャッシュする列や列の範囲を決定するのに非常に効果的なアルゴリズムが開発されました。
ハードウェア面では、IntelやPowerPCのチップで利用可能なSIMD（Single Instruction Multiple Data Stream）命令セットを使って、1つの命令を複数のプロセッサに発行する方法である並列ベクトル処理の機能がソフトウェアに搭載されています。そのため、ソフトウェアは複数の列に対して1つのクエリを実行することができ、プロセッサ間で並列データを分析することができ、システムはレジスタに配置することができます。"レジスタは、システム・メモリの利用という点で最も効率的です"。とヴィンセント氏。
テストでは、BLU-accelerated innovationsの使用と組み合わせることで、1回の分析負荷で、多くのクエリー関数が従来よりも最大1,000倍高速に実行されたと報告されています。
大規模データベースをサーバーのメモリに詰め込む新しい方法を検討しているのはIBMだけではありません。先週、Microsoftは、SQL Server 2014にも、実行中のメモリを最大限に活用し、ExcelのPowerPivotテクノロジーから借用した列処理テクノロジーを含む、Hekatonとして総称される多くの新しいテクノロジーが搭載されていることを発表しました。
IBM DB2バージョン10.5のリリースにより、オラクルは現在、真のカラムナー処理機能を持たない唯一の主流リレーショナル・データベース管理システム・ベンダーになったと、Monash Researchのデータベース・アナリスト、カート・モナシュ氏は指摘します。
IBMは、DB2 SmartCloud Infrastructure-as-a-Serviceの基盤としてDB2 10.5のBLUコンポーネントを使用し、データレポートとアナリティクスの取り組みを強化しています。さらに、BLUテクノロジーは、Informixなどの他のIBMデータ・ストレージおよびアナリティクス製品に接続することができます。
