Hadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記
今月中に実験の実装が終わるくらいでないと来月の投稿〆切に間に合わないので、今週から研究室のサーバに Hadoop をインストールしている。 研究室にはサーバが20台弱あるのだが、そのうち10台強を使うことにして設定。これくらいの規模だと「大規模」と言うのは憚られるかもしれないが(Yahoo! や Google と比べて、という意味で。)、中規模、くらいには言ってもいいだろうし、たぶん、多くの大学や企業で使える台数もこれくらいだと思うし、大企業にいないとできない研究をするのも大変価値があるが、他の人たちがやる気になれば真似できる研究をするのも(データやインフラ勝負ではなくアイデア勝負になるので苦しくはあるのだが)重要だと考えている。 たとえば、数台でも分散環境の恩恵が受けられる、というのはPFI が出した Hadoop の解析資料で知っていたので、初めて導入したときは参考になったし、こういう
CakePHPでフィクスチャに惑わされずにテストを書く方法
前回挙げたチュートリアルはやってみましたか？ 快適なテストライフを送ってますか？ テストケースをたくさん書いていると気づくのは、フィクスチャがメンテナンスの邪魔をするということ。 フィクスチャに初期データを定義すると、それを気にしながらテストケースを作ることになります。 これがとても面倒くさいんです。 これを解消すべく、今日はモックを使ったテストケースの書き方を紹介します。 モックとは SimpleTestのモックで参考になるのは、以下の書籍です。 Webアプリケーションテスト手法 著者: 水野 貴明 (著), 石井 勇一 (著), 新藤 愛大 (著), 岸田 健一郎 (著), 荻野 淳也 (著), 安井 力 (著), 田中 慎司 (著) 出版社: 毎日コミュニケーションズ 発売日: 2008/7/25 この書籍のp154にモックについて以下のように書いてあります。 モックを使うと
いっしょに仕事をしたいプログラマ 5つの特徴 - たごもりすメモ
ちょっとこんなことを考えるきっかけがあったので、ざっと書き出してみた。Webに公開されている情報からあるプログラマについて見てみたとき、どういう人ならいっしょに働いてもいいかについて。 ここに書く内容はソースコードの品質以前の問題についてのみにしてある。だからこの特徴を満たしていればどうということに直接なるわけではない。ただ、欠けているところがあれば、少なくとも自分はその人といっしょに仕事をしたいとは思わないだろう。 なお自分は現勤務先の採用活動にはかかわっておらず、このエントリの内容は勤務先の採用基準とは全く無関係です。 学生さんなどの場合にはまた話が違うと思います。 あと割と自分のことは棚に上げてます。「お前これできてねえじゃん」という部分については都度ご指摘をいただけますと大変ありがたく思います……。 1. その人が書いたソースコードが公開されている 日本語で何を言われてもぶっちゃけ
World IPv6 Day - Yahoo! JAPAN
World IPv6 Day 世界各国で実施されているWorld IPv6 Dayと、Yahoo! JAPANの取り組みを紹介します。 World IPv6 Day Yahoo! JAPAN Yahoo! JAPANをはじめ、Yahoo! Inc.、Google、Facebook、Akamai、Limelight Networksといったインターネットサービス事業者が、一斉に特定の1日(24時間)に限定して自社ウェブサイトのサービスをIPv6で提供するテストを行います。 このテストの目的はISPやハードウェアベンダー、OSベンダー、ウェブサービス事業者などを含む業界の各団体においてIPv6導入のモチベーションを高め、IPv4アドレス枯渇により今後必然になるといえるIPv6への移行を成功させることです。 日本時間では2011年6月8日午前9:00から翌6月9日午前8:59まで参加事業者のウェ
約1億円の資金を調達した話題のアプリ「Zaarly」がデビュー
シリコンバレーではTwitter、Fousquareに続くソーシャル系のサービスは何か？ということに注目が集まっていますが、それがある種の「バブル」を生み出しています。 その象徴とも言えるサービスが先日リリースされた「Zaarly」というアプリ。 「Startup Weekend」という週末にサービスを生み出そうという有名な取り組みで優勝した本案は、あれよあれよという間にユーザー数を集め、ついには100万ドルの資金を調達して先日リリースされました。 アプリの内容は、近くの人に報酬つきで様々な「依頼」ができるというもの。 言い方を悪くすれば「ソーシャルパシり」サービスです。 百聞は一見にしかず、実際に使ってみました。 たとえば「あんぱん」を誰かに買ってきてほしいとします。 報酬は＄１００と設定。高いけど、まぁいいか。 次に制限時間を決めます。 「1時間以内にあんぱんを買ってきたやつには＄１０
高速化は一夜にしてならず | gaspanik weblog
ちまたではPHPのflush()を使ったWordPressのプラグインが話題のようですが、Webサイトの表示速度を改善したかったら、もう少しサイトの作り方を根っこから考えなおした方がいいんじゃないか？、と思いましてね…。 公開されているプラグインにどうこう言うつもりはなく、諸手を挙げて喜んでらっしゃる世間様の様子を見ながら「なんかなぁ…」「入れる前にできることあるんじゃないかな？」と。ちなみにボクも昔flush()での手法を試したことがあるんですけど、結局すぐやめちゃいました。 回線速度自体は昔に比べたら格段にあがってるのは事実ですが、いまとなっては環境としては比較的貧弱なスマートフォンみたいなデバイスも増えています。 サーバの負荷が気になるとか自分とこじゃできないなどの理由で、テキストデータをGzip化（データサイズが半分以下になる）しないのであれば、その他の部分でサイトの全体的な転送デ
リッチなUIをもったネットワーク/syslog監視システム·Aanval MOONGIFT
AanvalはWebベースのネットワーク監視システム。Snortやsyslogと連携する。 AanvalはFlex/PHP製のフリーウェア（ライセンス数により有料）。インターネットに接続されたマシンが増えるにつれてネットワーク管理者の責任がどんどん重たくなっている。先日のソニーのインシデントのような大規模な被害に及ばなくとも、企業の生命線を断つ可能性だってありえるのだ。 レポート ネットワークの監視網を整備するのは当然のこと、そのチェックを行わなければ意味がない。Webベースの奇麗な監視インタフェースが欲しければAanvalを使ってみよう。 AanvalはFlexベースのネットワーク監視ソフトウェアで、Snortやsyslogを閲覧できるソフトウェアだ。イベントを監視し、Aanval上で一括して管理ができる。IPアドレスから位置情報を検出し、地図上にマッピングして攻撃者の場所を見る機能もあ
phpMyAdminクローラーの恐怖:phpspot開発日誌
サーバを立てているとログに怪しいアクセスが出るのは日常的なことですが、とあるサーバにphpMyAdminクローラーの恐怖のログが残っていたのでシェアします。 Apacheのログを見ていたら下記のようなログを見つけました。 /path/to/www/ は apache のDocumentRoot です。 phpMyAdminを使っている方で、レンタルサーバ等を使っている場合、public_html 以下等に設置しているかと思いますが、クローラーは片っ端から存在しそうなパスを総当りしてきます。 URLが存在すれば200ステータスで検知してそこにphpMyAdminがあるみたいなことが分かってしまいます。(phpMyAdminだけ狙っているようでもなさそうですが) 仮に、MySQLのパスワードを設定していない人がいた場合はrootでDBを消されたり、データを盗まれたりする危険性があったのでシェア
つい自分に甘くなってしまうアナタへ～自制心を養うための5つのコツ | ライフハッカー・ジャパン
アタマではわかっていても、つい自分にとってラクな方へと流されてしまう...。ヒトは、大なり小なり感情の生き物ですから、当たり前のことかもしれません。そこで必要なのが「自制心」。こちらでは、このテーマについて詳しく採りあげてみたいと思います。 ■そもそも自制心は、どのように働くのか？ 日々サバイバルだった時代、自制心の鍛錬は必要ありませんでした。食べたければ狩りをし、生きるために獲ったものを食べるだけです。次第に、これは効率的な方法でないことに気づき、農業という人類最大の「ライフハック」が発明されました。必要なときに食料があり、サバイバルのための戦いは、それ以前と比べるとシンプルに...。食料に余剰が生まれ、食べすぎといったことも起こるようになりました。このような生活スタイルのシフトにより、ヒトに自制心が必要となったのです。 もちろん、セックスや富、権力といった欲求は、ヒトに生まれつき備わっ
ポンパレで「定価3500円の手回しライトが54％オフ3980円」という詐欺が行われている件について:ハムスター速報
ポンパレで「定価3500円の手回しライトが54％オフ3980円」という詐欺が行われている件について Tweet カテゴリ☆☆☆☆ 1 ：名無しさん＠涙目です。(千葉県)：2011/06/07(火) 20:07:49.00 ID:BL6RhZ3w0● ?PLT(12000) ポイント特典 8,715円が54％オフの3,980円 http://ponpare.jp/delivery/toyama/toyama/0018424/ 参考 メーカー希望小売価格 \ 3,500 http://www.superdelivery.com/p/r/pd_p/2413066/ メーカー希望小売価格 3,500円 (税込) http://item.rakuten.co.jp/wing-vj/a8000-0160/ 2 ：名無しさん＠涙目です。(catv?)：2011/06/07(火) 20:0
Rails3.1の初期化プロセスを細かく追いかけたRailsGuidesの記事を和訳したよ:ミームの死骸を越えてゆけ
This domain may be for sale!
AppStoreで生き残れるかどうか、全てはアプリ開発者次第 - もとまか日記Ｚ
以下の記事を読んで。 Appleに殺されてしまうひと達まとめ、あるいはプラットフォームに依存するということ - yifeの日記 アップデートで死んでしまう、あるいは死なないまでも大ダメージを受けるであろうひとたち 確かに、今回のWWDCの発表で誰もが感じたことだったと思うし、この記事の意図も理解した上で、あえて以下の疑問を挙げてみる。 果たして、本当にそうなのだろうか？ こういうことは別に今回に限った話ではなく、多かれ少なかれ、過去にも同様のことはあったわけで、てことで、ちょっとおさらいしつつ考えてみます。 iPhone OS 2.x → 3.0の時 以下がありました。iPhone3.0使ってみた - ボイスメモ（バックグラウンド録音）すでにサードベンダーアプリがたくさんあるにも関わらず、純正の録音アプリを提供した理由は、このバックグラウンド処理だったということだろうか。 iPhone O
6月8日～9日にウェブサイトが見られなくなったら？--「World IPv6 Day」の影響や対処方法
6月8日～9日にウェブサイトが見られなくなったら？--「World IPv6 Day」の影響や対処方法 Yahoo!やGoogle、Facebookなど世界中のネット事業者が、特定の1日（24時間）に一斉に自社のサービスをIPv6で提供するトライアル「World IPv6 Day」が、6月8日午前9時から6月9日午前8時59分（日本時間）まで実施される。 World IPv6 Dayは、Internet Society（ISOC）が参加を呼びかけている世界規模のトライアル。IPv4アドレスが枯渇期を迎えたことを受け、IPv6によるサービス提供に問題や影響がないかを確認し、今後の課題解決に役立てることを目的としている。6月7日現在、参加表明しているサイトは世界で400サイトを超えており、日本ではYahoo!JapanやNTT コミュニケーションズ、NEC ビッグローブなどが参加を表明している
Test your IPv6.
JavaScript Required This site requires JavaScript, as well as the ability to pull in cross-site scripts, in order to perform the testing. If this message does not go away, it means that JavaScript has been disabled, either by a plugin or extension in your browser, or by explicit browser setting. Do you use NoScript? If you use this Firefox add-on, you'll need to "Temporarily allow all this page".
「世界ＩＰｖ６デー」始まる ネットアドレス枯渇に対応 トラブル懸念も - MSN産経ニュース
インターネット上の「住所」を示すＩＰアドレスをめぐり、現行の規格「ＩＰｖ４」によって割り振られるアドレスが枯渇状況にあることを受け、ＧｏｏｇｌｅやＹａｈｏｏ！など世界のインターネットサービス事業者ら約４００社が８日午前９時から、一斉に新たな規格「ＩＰｖ６」へ対応させる実験を開始した。 この実験は、「Ｗｏｒｌｄ ＩＰｖ６ Ｄａｙ」と呼ばれ、２４時間にわたって、事業者がサイトやサービスをＩＰｖ６に対応することで、ユーザーに動作検証の確認を促す。 現在主流のＩＰｖ４は、インターーネットユーザーの爆発的な増加に伴って約４２億個もの番号をほぼ使い切り、４月には日本でも割り振りを終了。今後は実質上無制限にアドレス数がある「ＩＰｖ６」への移行を推進することになった。 今回の対応実験は、ＩＳＯＣ（Ｉｎｔｅｒｎｅｔ Ｓｏｃｉｅｔｙ）が各国のネット事業者に呼びかけて実現。日本からはＹａｈｏｏ！やＮＴＴコミュニ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PC
TechCrunch | Startup and Technology News
はてなブログ | 無料ブログを作成しよう
オブジェクト倶楽部 - TOPページ
Act as Professional |