Hadoop MapReduceプログラムを解剖する
オープンソース・ソフトウェア「Hadoop」のMapReduceジョブは、標準ではJavaで記述します（その他には、Pig、Hive、JAQLといったものがあります）。しかし、意外と初心者には分かりにくいと筆者は感じます。本記事では、MapReduceジョブのサンプルコードを使って、できる限り正しくコードの意味を理解し、MapReduceへの入り口を示したいと思います。 HadoopでMapReduceを記述するときに使うAPIが、0.19から0.20に変わるところで新しくなっています。実は、現時点でHadoopプロジェクト本体からでさえも、新APIを使ったサンプルが提示されていません。本記事では、新しいAPIで筆者が書き直したサンプルを使って解説しますので、このサンプルは0.19以前のHadoopでは動かないことに注意してください。この記事は、0.20.2を使って検証し、解説しています。
ひとりぼっちのネット管理者
中小規模の企業ネットワークでは、日ごろの運用から突然のトラブル対策まで、たったひとりの管理者がすべて面倒をみるというケースが少なくない。少し前のことになるが、それを強く実感する機会があった。 「30人程度の会社で管理者は私ひとりです。相談する相手がいません」「会社では『こんな程度わかるだろう』という雰囲気でなかなか教えてもらえません」---。いずれも日経NETWORKが主催したネットワーク管理者向けセミナー「ネットワークコマンド＆ツール実習講座」のアンケートに書き込まれた参加者の声だ。 実際、セミナーが終わるやいなや講師のところに詰めかけて、いま自分が抱えているネットワークの問題について相談する参加者が引きも切らなかった。普段相談する人がいない証左のように筆者には思えた。なかには質問というよりも、ホワイトボードに自らネットワークの構成図を書き、事細かく状況を説明する人もいた。 相談する相手
たった5年で激変したITエンジニアの基礎スキル
iPhoneもGmailもなかった2000年頃、たとえばメールであれば、一般ユーザーはOutlook Express、ハイエンドユーザーはBecky!を使う、といった習慣があった。Outlook Expressはデフォルトのメッセージ形式がHTMLメールだったので「Outlook Expressにはセキュリティ上の問題があるため、必ずテキスト形式に設定を変更してから使いましょう」というのが雑誌の定番解説だった。MB単位のファイルを添付して送ったら瞬時に送り先から電話がかかってきて、激怒されたこともある。瞬時に届いているのに。 当時HTMLメールを毛嫌いしていた人はいつごろWebメールを受け入れたのだろうか。いまではGmailのようなWebメールは、テキスト形式で送られてきたメールでもHTMLで表示するし、iPhoneの3G回線でMB単位の添付PDFファイルを普通に客先で表示している。どうや
Rubyのopen-uriで「|」が使えない。InvalidURIErrorになる。対処。 - このブログは証明できない。
いつも通り、open-uriを使おうと思ったのですが。まあ、open-uriなんて、今どきは女子高生も使っているので、説明するまでもないのですが。こんな感じです。 require 'open-uri' open("http://d.hatena.ne.jp/shunsuk") {|f| puts f.read } これだと、ちゃんと動きます。ですが、下のコードだと、InvalidURIErrorになります。 equire 'open-uri' open("http://d.hatena.ne.jp/shunsuk?p=a|b") {|f| puts f.read } 「|」が入ってるとダメらしいです。 uri/common.rbを修正すれば解決します。URI::REGEXP::PATTERN::RESERVEDを書き換えます。 RESERVED = ";/?:@&=+$,\\[\\]" 最
どのプログラム言語を覚えればいいのか分からないっていう初心者さんのためのガイド（Web）
作りたい Webサイトのアイデアはあるけど、どんなプログラムを勉強したらいいか分からない人 ... という人のための、ざっくりとしたガイドです。 HTML と CSS はわかるけど ... という初心者さんが対象の記事になってます。 インターネット上には本当に色んな Webサイトがあって、こんなサイトを自分でも作ってみたいなーと思う事がたくさんあります。でも、いざ自分で作ってみようと挑戦しようと思っても、これって何でできてるんだろうと考えます。そういえば、まだ Webサイトを作り始めるずっと前にもそんな風に思っていた初心者時代がありました。 やりたい事はあるけれど、まず、どんなプログラムを勉強すればいいのか、そこからが分からなかったんですよねー。プログラムとひと言でいっても、C言語系、PHP、Java、Perl、Javascript … 本当にたくさんあって、初心者さんには意味不明だと思い
静的コンテンツ配るなら国内VPSも活用すべきたった一つの理由 : 404 Blog Not Found
2010年11月29日19:30 カテゴリTips 静的コンテンツ配るなら国内VPSも活用すべきたった一つの理由 いや、すぐにでもそうすべきだろう。 404 Blog Not Found:Jコミがはじまる前から成功している理由 これを書いている時点に置けるダウンロード数は120万とのことだが、仮にこれらの全てが高解像度版(約60MB/DL)だとして、www.j-comi.jpが実際に使っているAmazon AWSでも72,000GB * $0.19/GB = $13,680、昨今隆盛著しい国内VPSを使えばさらに安くなる。 Amazon AWSのつらいところは、何といってもトラフィックに対しても課金が生じること。早い話、パケ死が怖い。 国内VPSには、それがない。パケホーダイなのである。 月490円のServersMan@VPSですらそうなのだ。 安かろう悪かろう?これを見てくれ。 ab
誰もが犯しやすい25のSEOの過ち » SEO Japan
サーチエンジンランドから「SEOに関する都市伝説シリーズ」系の記事を。今回は都市伝説というよりは実際によくあるSEO上の間違いをずらっと並べてくれました。Yahoo! JapanのGoogle全面採用前に、SEOに携わる方は一度チェックしてみては？ — SEO Japan 今回は、既に私が3本のエントリで指摘した「ありがちな誤り」のふりをした“作り話”のことを言っているのではない。 このエントリでは、多くのSEO業者が行っている故意ではない誤りを挙げていく。その中には業界の最高峰にいる人々でさえうっかり犯している誤りもある… 1. Google AdWordsのキーワードツールをブロードマッチングに設定 グーグルアドワーズのキーワードツールはデフォルトで「Broad」マッチモードに設定されている。この状態では、SEOの観点で言うと、無意味なデータが生成されてしまう。データが大幅に膨らみ、指
「Web AI」ライブラリの使い方と内部仕様 － Web上のデータからJavaScriptだけで人工無脳を作成
はじめに いつもは「創活ノート」でマンガを描いている柳井です。その裏ではゴリゴリとコードを書いています。そんな私のマイブームはJavaScript。今年は「マンガで分かるJavaScript プログラミング講座」を描いてネット上で公開したこともあり、JavaScriptづいています。 こういったマイブームの流れに乗り、少し前にJavaScriptの新しいライブラリ「Web AI」を開発してリリースしました。Web上の情報を利用して、JavaScriptで人工無脳的なプログラムを書くためのライブラリです。データベースを持つことなく、ユーザーの入力に対してネット上の情報を収集して、インテリジェンスな振る舞いをするための各種命令が収録されています。 以下のサイトで、「Web AI」ライブラリのダウンロードや、サンプルの確認、リファレンスや全ソースコードの閲覧が行えます。 「Web AI」ダウンロ
HTMLもCSSの知識もいらない！新米ブロガーに役立つwebサービス9選+α - なまら春友日記
(c) .foto Project ブログを書き始めて早５ヶ月が経過した。早いものだ。 大変喜ばしいことに最近ブログを書き始める人も周りに増えてきた。 そんななか、ふと思ったのが自分がブログを書き始めた頃のこと。 初めはとにもかくにも困っていたからだ。 HTMLやCSSは未だに敷居が高いがwebサービスをうまく使えば効率よく、かつ格好よくブログを書くことができる。 もっかい言うが、ブログを書き始めの頃は、とにもかくにもなんでもかんでもありとあらゆるすべてのことに困っていたからだ。（今もだが…） なるべく日本語対応なもの、もしくは直感的に操作ができるもの、解説があれば解説の記事も引用するようにしている。 ブログを書き始めの方、ちょっと行き詰まっている方、更にこれからブログを始めてみようと思っている方の一助にでもなれば幸いだ。 《目次》 1. 画像編集編 2. 動画・YouTube編 3. 動
SEOにも強いクローラブルなAJAXコンテンツを作成するために :: 5509
AJAXコンテンツが増えるにつれて問題になるのは、SEOというか、検索エンジンにどうクローリング、インデックスさせるのか、という点ですよね。 この前JavaScriptの実装を担当した松本クリニックは、AJAXでほぼ全てのページを切り替えるっていうのが最大のポイントなんですけど、これの良いところはWordPressで全てのページを生成してて、JSオンでもオフでも見られるんですね。つまり、クローラはオフのコンテンツを見るような作りにしてあります。 で、こういうのって小規模～中規模なサイトならまだいいと思いますけど、大規模なサイトになってきたりするとページは存在しないでデータだけが存在したりする（ハンドラにリクエストをかけてJSONだけを返してもらって内容を入れ替える、など・・・）わけで、実現が難しくなるんですね。 この問題に対してGoogleが現在公表している方法は、HTML snapsho
何度も思い出すのが嫌だからリストを作る | シゴタノ！
思い出すのって、結構大変です。 たとえば、10人集まって飲み会をして、翌日誰が来てたっけな、って思い出そうとすると、もうダメです。絶対詰まります。 こういう「特定のリスト」を漏れなく思い出すと言うことは（少なくとも私には）とてつもなく難しいです。 この、思い出すという行為。アタマの訓練にはいいかもしれません。しかし、常日頃からアタマの訓練をしよう、などという殊勝な心がけは持っていません。私は。 だからリストを作ります。 どんなことでも、とりあえず思いついたらリストを作ります。 リストを作るのって結構メンドくさいんですが、2回使えばもうメンドくさいモトは取れます。 よく使うリストほど、気合いを入れて作っておくと、便利度が増します。 リスト具体例 たとえば、私はこんなリストを作っています。 普段の持ち物 旅行の持ち物 見たい映画とかDVD（レンタル屋で力を発揮） 読みたいマンガ（漫画喫茶で力を
私の心の中の関数 -My excel story- / 愛のウイルス対策 CD販売ページ
私の心の中の関数 あなたとの想い出にフィルタをかける 今日も追加したセルに 新しい名前そっと紡いだ A型の人が気になる ソートしてる癖なのかもね いつからか マクロな日々で ISNUMBER 数字だけ見てた そんな私が初めて加えた 備考のセル あなたの笑顔 私の心の中の関数 あなたとの想い出にフィルタをかける IF あなたを知らなければ こんなに 切ない夜は来ないのに 1と0の間にも 小さな想い出見つけられる あなたが教えてくれたから ROUNDDOWNを消してみた AVERAGEじゃ計れないもの ISTEXT 言葉たちを感じて 青いリボンの海の中一人 逢いたくて 逢えなくて ずっと 私の心の中の関数 あなたとの想い出にフィルタをかける IF 時を超え歩き出せるのならば 胸に響くあの日のシート 私の心の中の関数 あなたとの想い出にフィルタをかける IF 出会いが幻ならば こんなに 切ない朝
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
変数に格納された文字数
JavaとPHPの文法比較