最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料： 第５回R勉強会＠東京 で話してきた - 「R言語によるアソシエーション

Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと　Java 以外でも MapReduce できます。 以下のエントリも合

1. ザ・ノンフィクション ～うまくいかない NoSQL ～ 株式会社サイバーエージェント アメーバ事業本部プラットフォームディビジョン システムディベロップメントグループ CA Developers Connect 　　　　　　　　　　　　　　　　　　　　　 桑野　章弘 2. 桑野章弘 インフラエンジニア アメーバピグの運用／構築を担当 ピグライフの運用／構築を担当 Twitter http:// twitter.com/kuwa_tw Blog http:// d.hatena.ne.jp/akuwano / 著書／活動 「 MySQL によるタフなサイトの作り方」 勉強会（ hbstudy, qpstudy ほか）などでの発表など 自己紹介

こんにちわ Ameba Technology Laboratory (以下ATL) 所属、通称アキバ組 の hattori です。 秋葉原オフィスの話もしたいところですが…今回は、先週末の金曜日に弊社渋谷オフィスにて 株式会社ミクシィ 様と合同勉強会を初めて開催しましたので、その際の様子を報告したいと思います。 ■ 勉強会会場の様子 当日は業務時間後の開催にも関わらず、両社合わせて90名程度の参加者が集まりました。 上写真のように結構な規模。 勉強会のプログラムとしては「 前半戦 : 30分セッション × 4 」＋ 「 後半戦 : LT × 5 」という流れで、結構な長丁場でしたが、発表分野も多岐に渡り非常に内容の濃い勉強会でした。 以下では各セッションの発表内容を紹介していきたいと思います。 ( private な勉強会だった事もあり、全ての発表資料を公開する事はできませんがご了承くださ

一般的なシステムで広く利用されているリレーショナルデータベースですが、システムの進化と共にデータベースの構造も複雑になりがちです。RestMQの作者、Gleicon Moraes氏の公開したスライドがシステムが複雑化していく様子をわかりやすく説明した上で「アンチパターン」を提示していました。 それによるとデータベースのアンチパターンは以下の通り。 動的なテーブルの作成 テーブルをキャッシュとして使う テーブルをキューとして使う テーブルをログとして使う 分散したグローバルなロック ストアドプロシージャ 使われない項目 JOIN地獄 ORMによって繰り返されるクエリ 負荷のコントロール どれも理由があって採用されるデザインですが、確かに後に問題を引き起こした経験もあり耳が痛い感じですね。スライド内ではそれぞれの問題についての解決策としてMongoDBやRestMQなどの利用を進めています。「

スライドの作者であるGleicon Moraesは、これらの図を示した上で、リレーショナルデータベースはガムテープのようにつぎはぎで使えるような万能薬ではない。シャーディングや非正規化などは検討すべきよい選択肢であり、またリレーショナル以外のデータベースも選択肢としていれるとよいだろうと説いています。 そして次のような「リレーショナルデータベースの間違った使い方10項目」を示しているのです（訳は前述の記事「データベースの間違った使い方10項目」から）。 Dynamic table creation（動的なテーブルの作成） Table as cache（テーブルをキャッシュとして使う） Table as queue（テーブルをキューとして使う） Table as log file（テーブルをログとして使う） Distributed Global Locking（分散したグローバルなロック）

女の子は日々、女子力アップに余念がありません。インフラエンジニアにはわからないかもしれませんが、女の子たちは自分のために1分1秒1msのレスポンスタイムを大切にし、女子力アップのために努力しているのです。 でも、女子力は女の子自身の力だけではあげることができません。周囲の人たち、特にインフラエンジニアたちの協力なくして女子力アップは難しいのです。今回は、親しい女友達に対してインフラエンジニアができる、女子力アップのお手伝いを5つ紹介したいと思います。 ・インフラエンジニアができる女の子の「女子力アップ」の手伝い5つ 1. 最新のルータを買ってあげる 女の子の欠かせないアイテムがルータです。でも、最近は次々に新しいルータが出るので、いちいち保守契約更新やヤフオクでの中古売買をしていたら女の子の財布がスッカラカンになってしまいます。そこであなたが、女の子の代わりにルータを買ってあげましょう。あ

こんにちは、セキュリティ勉強会などで講師を担当しているockeghem夫です。私は学歴も知識もありませんが、セキュリティに関してはプロフェッショナル。今回は、モテるセキュ女子力を磨くための4つの心得を皆さんにお教えしたいと思います。 1. あえて2〜3世代前の書籍の知識で対策する あえて2〜3世代前の書籍の知識で脆弱性対策するようにしましょう。そして勉強会の打ち上げで好みの男がいたら話しかけみましょう。「あ〜ん！　addslashes本当にマジでチョームカつくんですけどぉぉお〜！」と言って、男に「どうしたの？」と言わせましょう。言わせたらもう大成功。「SQLインジェクションとか詳しくなくてぇ〜！ サテ技本に載ってたからずっとaddslashes使ってるんですけどぉ〜！ 日本語が化けるんですぅ〜！ ぷんぷくり〜ん（怒）」と言いましょう。だいたいの男は新しい書籍を持ちたがる習性があるので、古か

会社の業務で必要な資料として読みました。 僕の会社はSI以外にもWebマーケティングに使えるASP商材を扱っていたり、アクセス解析のコンサルティングとかのチームがあったり、僕なんかはOSS ECパッケージ「エレコマ」を作っていたりと、総合して利益を上げるためのサポートを行える会社だと紹介することが多いのですが、よく印象としてあるのは自分の会社にいいものが揃ってるのに開発者がそれをなかなか理解していないとか、お客さんに伝わっていないためにうまく活用されていない例があったりしていろいろ歯がゆい思いをしたりしています。 そんな中、この本の出会いはすごく為になるものでした。マンガの部分のわかりやすさ以上に解説の文章がすごく丁寧で、Webマーケティングに必要な知識を一式叩き込んでくれます。非常に内容が実践的ですし、僕自身勉強不足だった部分をかなり吸収できました。 Webマーケティング自体は一般的なエ