ETLでのDWHへのデータ統合 テーブルの作成 事前準備として下の表の内容でデータベースsalesおよびデータベースpentaho_dwhにテーブルを作成しておく。今回は項目を最小限にしぼっている。また、pentaho_dwhはスタースキーマでの定義としている。
![DWHを自分で作ろう!環境構築からデータ登録まで (2/3)](https://cdn-ak-scissors.b.st-hatena.com/image/square/a87bae8652bf83f9e3d37201e8e7f47461b20750/height=288;version=1;width=512/https%3A%2F%2Fascii.jp%2Fimg%2F2010%2F03%2F29%2F1528352%2Fl%2F1713af38ac2c841a.png%3F20200122)
グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方(仮)」と題する発表があった。 グリーにおける数値指標管理では、基本となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS(Key Value Store)によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く