タグ

rdbmsとhadoopに関するfragarach_the_swordのブックマーク (1)

  • 100万件では専用ツールが最速

    実際に構築するHadoopのシステムでは(a)インポートや(d)エクスポートのように、扱うデータ量に依存し、Hadoopのノード数を増やしても性能が向上しない処理があり、そこがボトルネックになり得る。いかに効率良くRDBMSからデータをインポート/エクスポートするかが非常に重要だ。 ここでは、(a)インポートに焦点を当て、「JDBCドライバを使用して標準SQLでアクセス」「米Clouderaが提供するデータ転送ツールsqoopを使用」「MySQLの独自機能を利用したダンプ」の3通りの方法を試した(図4)。

    100万件では専用ツールが最速
    fragarach_the_sword
    fragarach_the_sword 2011/08/25
    ITPro連載:Hadoop――企業システムでの実力は?:検証(2)インポートの方法・100万件では専用ツールが最速
  • 1