Hiveのクエリを何倍も速くする４つの方法 - Qiita
はじめに HiveはHDFS上のデータをSQLで操作できるHadoopのエコシステムです。Facebook社により開発され、現在はApacheのトッププロジェクトの一つです。 Hiveがリリースされてから7年ほど時間が経ちました。 その間に他のビッグデータ用のSQLエンジンがいくつか登場しました。 これらのSQLエンジンの多くは、Hiveが苦手としていた低レイテンシなクエリの実行に応えることにフォーカスしています。 従来HiveのバックエンドはMapReduceで動いており、クエリを実行すると完了するまで数分から数十分、数時間の時間がかかりました。そのためアナリストの解析用途で利用するのは難しく、主にデイリーやアワリーの集計などのバッチ処理として利用されてきました。 しかしながら、現在もHiveの開発・改善は非常に活発に行われています。特にここ１〜２年の間にHortonworks社を中心と
Ubuntu14.04にcuda 7.5をインストール - Qiita
cudaというnvidiaのGPU演算コード開発ツールキットをUbuntu14.04にインストールする方法をまとめてみました。はまりポイントがあったので参考にしてもらえればと思います。 Linuxを用意 まず、nvidiaのGPUが搭載されているUbuntu14.04を調達します。手元にnvidiaのGPUが搭載されたパソコンを持っていなくても、AWS EC2で簡単にcuda環境を作ることができます。 という事でまずはAWS EC2のインスタンスの準備から。 AWS EC2のインスタンス(g2.2xlarge) AWSにはGPUが使えるEC2インスタンスとしてg2.2xlargeとg2.8xlargeが存在します。インスタンスタイプはあとからAMI経由でいくらでも変更できるので、最初は安価なg2.2xlargeを選択します。 Ubuntu14.04の最低限の設定をすませる こんなところでし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
