マップアール、SQLエンジン「Apache Drill 1.0」をリリース
マップアール・テクノロジーズは6月11日、ビッグデータのためのスキーマフリーSQLエンジン「Apache Drill 1.0」の提供を開始した。 この製品では、事前のスキーマ定義を必要とせず、セルフサービスで利用可能なSQL分析機能を提供する。これにより、ビジネスアナリストがデータを検索、理解する時間を大幅に短縮できるという。 既存のトランザクションシステムからの構造化データだけでなく、新しいデータソース、非構造化データなど、新旧を問わない、あらゆるデータソースに対応。Internet of Things(IoT)センサーデータやWebサイトのクリックストリーム、といった半構造化データから、BI(ビジネスインテリジェンス)ツールやデータ可視化ツールへの出力が可能だ。 また、マルチテナントのデータレイクやエンタープライズデータハブに必要となるきめ細かな設定が可能なセキュリティ機能・ガバナンス
Sqoop export update/staging - ひしだまの変更履歴
Sqoopのexport（HDFS→RDB）に関して、--update-keyとステージングテーブルについてメモ。 ステージングテーブルは、対象テーブルに直接インサートせず、中間テーブル（ステージングテーブル）に一旦書き込み、対象テーブルへはそこから移送するもの。 Sqoopは複数のデータノードから並列でインサートするので、コミットタイミングがばらばらになり、中途半端な状態が出来てしまう。 これを解消する為にステージングテーブルを使う。 通常のexportでは、INSERT文を使ってテーブルにデータを登録する。 テーブルにデータが存在しているときの為に、UPDATE文で更新する指定が--update-key。--update-keyでWHERE条件となるカラムを指定する。 対象テーブルにデータが有ればUPDATE、無ければINSERT…としたい場合は「--update-mode allow
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「分散システム処理モデルに関する動向について」に対する感想ツイート
