hdfsにsqoopとembulkでmysqlからロードする手順 | takemikami's note
このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。 sqoopを利用する手順とembulkを利用する手順を示します。 Apache Sqoop: http://sqoop.apache.org/ embulk: https://github.com/embulk/embulk この手順の前提として、 homebrew及びjdk, hadoop, hdfsのセットアップは完了し、hdfsのnamendeは起動しているものとします。 hadoopとhdfsのセットアップについては、 以下エントリの「Hadoopとhdfsのセットアップ」を参考にしてください。 Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）: http://takemikami.com/2016/04/20/Machivemysqlmetastore.html
Hadoop＋Embulk＋Kibanaのデータ集計基盤によるデータ可視化と集計データを活用したキーワードサジェストの仕組み
連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。 初回の「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか」では全体的なアーキテクチャ、採用技術、開発体制について紹介しました。 検索システムを構築する際に、最も重要なのは、前回の「ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上」でも紹介した、検索品質の向上です。Qassでは、いろいろなログを組み合わせて分析したり、ランキングデータに活用したりと、ログデータはシステムの中核となっています。 第3回の今回はQassの検索基盤を支えるデータ集計基盤と、それによるデータ可視化、集計したデータを生
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
