Hadoop+Hive検証環境を構築してみる:Hive――RDB使いのためのHadoopガイド(前編)(1/3 ページ) Hadoop HiveはHadoop上でSQLライクなクエリ操作が可能なDWH向けのプロダクトです。SQLに近い操作が可能なため、HBaseよりもデータベースに慣れ親しんだみなさんには使い勝手がいいかもしれません。本稿ではこのHiveの使い方とレビューを行っていきます。
![Hadoop+Hive検証環境を構築してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d61cff74248c44c20b3fd44425a37c1aee88321/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fait%2Farticles%2F0902%2F27%2Fr5mv7_bor_rou_sha.jpg)
こんにちわ。サービス開発担当の勝間です。クックパッドの1年の最大のピークであるバレンタインが終わり、少し落ち着きをとりもどした技術部からお届けします。 さて、先日秋葉原で「第0回 AWS User Group - Japan勉強会」が開催されました。100人を超す参加者の中、AWSのエバンジェリストJeff Barrさんの講演があったり、内容の濃いLTが続いたりと、非常に大盛況でした。そんなLTに僕も参加して、クックパッドのバッチシステムとAWSとの連携について話してきました。 クックパッドではAWSとしてEC2, S3をつかって分散解析環境を構築して、Hiveを使ったデイリーのログ解析を行っています。LTではそれらの話をしたのですが、5分と限られた時間では駆け足の発表になってしまったので、当日じっくり話せなかった箇所などを確認いただければと思います。 [slideshare id=328
今まで気が付かなかった... 通常perlで書くスクリプトでは最初のほうに以下のようなコードを書いてライブラリ用のパスを設定します。 #!/usr/local/bin/perl use strict; use warnings; use FindBin; use File::Spec; use lib File::Spec->catdir($FindBin::Bin, 'lib'); ところがmod_perl上ではこの$FindBin::Binが実際のスクリプトが置かれている位置を示さないことを知りました。 例えば実際にはperlスクリプトは/var/www/foo/cgi-binに置かれているとします。 mod_perlを使用していない場合は$FindBin::Binの値は’/var/www/foo/cgi-bin’となりますが、mod_perlの元では’/usr/sbin’になっ
iandeth. Perl, Flash ActionScript, MySQL, Movable Type, システム開発 - そんなテーマのサイトdeth. 下記のようなディレクトリ構成の Perl コードがあった場合、 /root/www/cgi-bin/fuga.cgi /root/www/lib/*.pm /root/www/lib/*/*.pm CGIスクリプトの冒頭で /root/www/lib 下を use lib する記述を書きますが、僕は今まで use lib '/root/www/lib'; と、おもむろにフルパスで書いておくものの、後でリソース全部を /root/newdir なんかに移動させたあげく、use lib 記述を修正するの忘れた状態で Can't locate *.pm in @INC なんて怒られて「何故?」と途方にくれてみたり、 BEGIN { #
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く