大規模なデータセットを効率的に扱うための Pig 超入門 - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年07月07日22:38 Hadoop 大規模なデータセットを効率的に扱うための Pig 超入門 Pig あるじゃないですか。Hadoop のラッパーで、DSL で書けるというアレです。 最近は Twitter や Yahoo! などで使われているらしき Pig。Hadoop を扱う場合、mapper と reducer をそれぞれ記述する必要がありますが、この Pig を使うと DSL を書くだけで内部的に処理を mapper, reducer として実行してくれます。その結果、記述量が減って開発時間が短縮できるというメリットがあります。アイコンがもう少し可愛ければ、、と思うと残念でなりません。なんだこのドヤ顔は・・ 今まで「良さそうだなー」と思いつつ触れていなかったのですが、今回触ってみる機会があったので軽くまとめておきます。※Pig を動かす環境については出来ている前提です。
スキーマレスなMongoDBでカラムを定義する理由 - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年04月14日22:30 NoSQL Ruby スキーマレスなMongoDBでカラムを定義する理由 ドキュメント指向型データベースである MongoDB って、スキーマレスなことが売りなのですが（もちろんスケールしやすいのも大きいですね！）実際に MongoMapper や Mongoid などのマッパーを利用して実際のアプリに組み込んで使う場合はカラムを定義します（少なくともサンプルとかは定義してる）。最初はその意味がよくわかりませんでした。だって、、ねぇ。それだとスキーマレスが半減というか。。確かに migration はしなくていいですが。 class Hoge include MongoMapper::Document key :name, String # スキーマレスなのに… key :age, String end まぁコード側が 100% 正しくて、データストア側は
CucumberとWebratの組み合わせが素晴らしすぎる - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年07月05日13:34 Ruby CucumberとWebratの組み合わせが素晴らしすぎる UK STUDIO - Cucumberの登場でRailsのテスティング環境が変わった Cucumberがアツい - moroの日記 Webratがスゴい(続:Cucumberがアツい) - moroの日記 Cucumber にふれてみた - yuum3のお仕事日記 この辺りの記事を読んで、「Cucumber」って何か凄そうだなぁ、使ってみるか！と思ったささたつです。こんにちわ。今日も暑いですね。。。(*´Д`) Cucumber にふれてみた - yuum3のお仕事日記 Cucumber自体は日本語などの自然言語でテストシナリオを書けるフレームワーク的なもので、実際のテスト機能は含まれていません。ここでは実際のテストはWebratというWebアプリの受入テスト用ソフトでおこないます。
階層の深いHashを作成するときに知っておいたら便利なこと - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年11月10日23:49 Ruby 階層の深いHashを作成するときに知っておいたら便利なこと Ruby で階層の深いハッシュ（ハッシュの値がさらにハッシュとか）を作成するのって面倒です。何が面倒って毎回宣言しないといけないんですよー。まぁ他の言語やってた人なら当たり前なのかもしれませんが、Perl 出身の僕としては大変メンドクサイわけです。 例えばこのようなデータ構造を考えてみます。 #!/usr/bin/ruby hash = {} hash["hoge"] = 1 p hash # {"hoge"=>1} hash["foo"]["bar"] = 1 p hash # undefined method `[]=' for nil:NilClass (NoMethodError) 最初に hash = {} と宣言しているので hash["hoge"] = 1 の部分は問題なく
rubyのirbが便利すぎる！！ - (ﾟ∀ﾟ)o彡 sasata299's blog
2008年12月13日11:32 Ruby rubyのirbが便利すぎる！！ ruby には、irb という便利ツールがあります。ruby リファレンスマニュアルによると irb は interactive ruby の略です。 ruby の式を標準入力から簡単に入力/実行するためのツールです。 まぁ、この通りです。実際に使ってみればすぐにわかりますが、ruby のコマンドを手軽に実行して、結果を確認できるものなんです。最近はこれを使って ruby を勉強しています。デフォルトではこんな感じで動作します。 ただ、irb はこのまま使うとなると色々と不満が・・。 ・カーソルで左右に移動できない ・入力の履歴を参照することができない ・見づらい これは結構痛い。特に履歴が使えないとか致命的です。。 と思って調べてみると、.irbrc という設定ファイルがあって、色々と設定することが出来るようで
時間の掛かる処理はTheSchwartzで非同期処理 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年03月03日00:32 Perl MySQL 時間の掛かる処理はTheSchwartzで非同期処理 先日の ライブドアテクニカルセミナー でも思ったんですが、重たい処理を行う際に、「一旦キューに溜めておいて非同期で処理する」というのは非常に重要だと思います。レスポンスも早いし。.｡ﾟ+.(･∀･)ﾟ+.ﾟ ということで、、、TheSchwartz というジョブキューサーバを使ってみました（・∀・） TheSchwartz は以下の2つの script で構成されます。 A) queue から job を取ってきて実行する script (worker.pl) B) job を queue に登録する script (client.pl) よく似たものに Gearman があります。違いとしては TheSchwartz ・queue を DB に保存する ・非同期で処理する ・DB
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
