ビッグデータ時代には、「複数のアーキテクチャで複数の種類のアプリケーションをサポートする」ことがビッグデータに対応するデータベース業界の基本的な考え方となり、データベース業界には、トランザクション処理アプリケーション向けのOldSQL、データ分析アプリケーション向けのNewSQL、インターネットアプリケーション向けのNoSQLの3大陣営があり、互いに補完し合っていますが、一部の複雑なアプリケーションシナリオでは、単一のデータベースアーキテクチャでは、大量の構造化・非構造化データの保存管理、複雑な分析、相関クエリ、リアルタイム処理、建設コストの制御などのアプリケーションシナリオのニーズを十分に満たすことができません。しかし、いくつかの複雑なアプリケーションのシナリオでは、単一のデータベースアーキテクチャが完全に大規模な構造化と非構造化データのストレージ管理、複雑な分析、相関クエリ、リアルタイム処理、建設コストと必然的な選択のアプリケーションの複雑さを満たすためにデータベース混合展開アプリケーションの異なるアーキテクチャのニーズの他の側面の制御のアプリケーションシナリオを満たすことはできません。異なるアーキテクチャのデータベースの混合使用のパターンは、次のように要約することができます：OldSQL + NewSQLは、OldSQL + NoSQLは、NewSQL + NoSQLの3つの主要なパターン。以下は、3つのケースを通じて、異なるアーキテクチャのデータベースのハイブリッドアプリケーションの展開の紹介です。
データセンター・アプリケーションにおけるOldSQL+NewSQLのハイブリッド展開
OldSQL+NewSQLモデルはデータセンターの構築に使用され、OldSQLデータベースのトランザクション処理能力をフルに発揮する一方で、リアルタイム、複雑な分析、オンザフライクエリなどのNewSQL独自の利点と、膨大なデータに対する強力なスケーラビリティを活用し、"ホット "データのトランザクション処理と膨大な過去の "コールド "データの分析の両方に対するデータセンターのニーズを満たします。"OldSQL+NewSQLモデルは、NewSQLがトランザクション処理に適していない点をOldSQLが補い、OldSQLがトランザクション処理に適していない点をNewSQLが補い、OldSQLがトランザクション処理に適していない点をNewSQLが補うという点で、データセンター・アプリケーションにおいて補完的です。OldSQLはトランザクション処理に適さないNewSQLの欠点を補い、NewSQLは巨大なデータ保存容量と処理性能の面でOldSQLの欠点を補います。
商業銀行のデータセンターは、OldSQL+NewSQLのハイブリッド展開で構築されており、OldSQLデータベースは各業務システムのアーカイブ・バックアップやトランザクション・アプリケーションに対応し、NewSQL MPPデータベース・クラスタはオンザフライ・クエリや多次元分析などのアプリケーションをハイパフォーマンスでサポートし、MPPクラスタ・アーキテクチャにより大容量データ・ストレージに対応するスケーラビリティを実現しています。
商業銀行のデータセンター・ストレージ・アーキテクチャ
従来のOldSQLモデルと比較して、商業銀行データセンターはOldSQL + NewSQLのハイブリッド構築モデルを採用し、データロードのパフォーマンスを3倍以上向上させ、オンザフライクエリと統計分析のパフォーマンスを6倍以上向上させることができます。NewSQL MPPの高いスケーラビリティは、新しいビジネス要件に対応することができ、データ量の増加に応じてクラスタリングすることで、より大きなストレージ容量を持つデータセンターを構築することができます。NewSQL MPP は、新しいビジネス要求に対応できる高い拡張性を備えています。
インターネット・ビッグデータ・アプリケーションにおけるOldSQL+NoSQLのハイブリッド展開
インターネット・ビッグデータ・アプリケーションにOldSQL+NoSQLハイブリッド・モデルを採用することで、膨大な構造化データおよび非構造化データの保存と高速処理というインターネット・ビッグデータ・アプリケーションのニーズを十分に解決することができます。大規模電子商取引プラットフォームや大規模SNSプラットフォームのようなインターネット・ビッグデータ・アプリケーションのシナリオでは、OldSQLは高付加価値密度の構造化データの格納とトランザクション処理を担当し、NoSQLはアプリケーション内の膨大な非構造化データと低付加価値密度の構造化データの格納と処理を担当します。これは、ACID機能と複雑なアソシエーション操作におけるNoSQLの欠点をOldSQLが補い、膨大なデータストレージと非構造化データ処理におけるOldSQLの欠点をNoSQLが補うという事実に反映されています。
Data Magicはタオバオのデータ製品で、主に業界データ分析とショップデータ分析を提供します。淘宝網のデータ製品はストレージ層にOldSQL+NoSQLのハイブリッドモデルを採用しており、MySQLベースの分散型リレーショナルデータベースクラスタであるMyFOXと、HBaseベースのNoSQLストレージクラスタであるPromで構成されています。MyFOXに格納された統計結果データは10TBに達し、Data Magicの総データ量の95%以上を占めています。一方、NoSQLはSQLの便利な補足として、OldSQLデータベースでは解決できない完全な属性セレクタなどの問題を解決します。
タオバオ大量データ製品のテクニカル・アーキテクチャ
DataMagicは、OldSQL+NoSQLのハイブリッドアーキテクチャの特徴に基づき、圧縮前に80TBのデータストレージ領域を提供し、1日あたり4,000万件のクエリリクエストをサポートし、平均応答時間は28ミリ秒であり、今後のビジネスの成長要件を満たすのに十分です。
業界ビッグデータ・アプリケーションにおけるNewSQL+NoSQLハイブリッド展開
業界ビッグデータとインターネット・ビッグデータの違いは、業界ビッグデータの方がインターネット・ビッグデータよりも価値密度が高く、構造化データのリアルタイム処理、複雑な複数テーブルの相関分析、即時クエリ、強力なデータ一貫性などの要件が高いことです。産業ビッグデータの応用シナリオは主に分析応用であり、例えば、通信、金融、政府事務、エネルギーなどの産業における意思決定支援、予測と早期警告、統計分析、ビジネス分析などです。
業界ビッグデータアプリケーションにNewSQL+NoSQLハイブリッドモードを採用し、NewSQLの構造化データ分析・処理における優位性とNoSQLの非構造化データ処理における優位性を最大限に活用することで、NewSQLとNoSQLの補完機能を実現し、業界ビッグデータアプリケーションによる価値の高い構造化データのリアルタイム処理、複雑な複数テーブルの相関分析を解決します、on-the-flyクエリ、強力なデータ一貫性、その他の要件、および大規模な非構造化データの保存と正確なクエリの要件を解決します。アプリケーションでは、NewSQL が高バリュー密度の構造化データの格納と分析を行い、NoSQL が膨大な非構造化データと相関分析を必要としない低バリュー密度の構造化データの格納と処理を行い、アドホッククエリを少なくします。
現在、通信事業者は集中型BIシステムの構築において、大規模なデータ規模や複数種類のデータ処理といった問題に直面しており、大量の固定アプリケーションや、統計総数の80％以上を占める突発的かつ一時的な統計需要に対応する必要があります。集中型BIシステムの構築では、NewSQL+NoSQLのマッシュアップモードを採用し、NewSQLの利点である複雑な分析やオンザフライクエリにおける処理性能と、NoSQLの利点である非構造化データ処理や大量データストレージを最大限に活用し、高効率かつ低コストを実現します。
集中型BIシステムのデータ・ストレージ・アーキテクチャ
非構造化データはHadoopプラットフォームに保存・処理し、相関分析やアドホッククエリをあまり必要としない構造化データはNoSQLデータベースやHadoopプラットフォームに保存します。-短期的な価値の高いデータは高性能プラットフォームに、中長期的なデータは低コストの製品に置かれます。
結語
現在の情報技術アプリケーションの多様性と複雑性、および3つのデータベースアーキテクチャのそれぞれの利点と限界により、どのアーキテクチャのデータベースもアプリケーションの要件を完全に満たすことができないため、他のアーキテクチャの欠点を補うために異なるアーキテクチャのデータベースを混在して使用することが避けられない選択肢となっています。アプリケーションのシナリオに応じて、異なるアーキテクチャのデータベースを組み合わせて使用し、各アーキテクチャの特徴と長所を十分に発揮させ、他のアーキテクチャと補完することで、アプリケーションの要件を完全に満たし、データリソースの****化を確保することが、次の時代の情報技術アプリケーションの主なソリューションになるでしょう。
