はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
CodeZine にて KOF 2008 の記事と補足 - naoyaのはてなダイアリー
大阪南港ATCで開催された「関西オープンソース2008」の2日目（11月8日）午前中のセッションで、株式会社はてなCTOの伊藤直也氏が「はてな流大規模データ処理」と題した発表を行った。 CodeZine で先日の KOF 2008 (あらかじめ言っておきますが King of Fighters ではないですよ、関西オープンフォーラムです) の発表を記事にしていただきました。ありがとうございます。 発表資料は以下のエントリーにありますので一緒にご覧いただければと思います。 http://d.hatena.ne.jp/naoya/20081111/1226395400 さて、記事内容について少し補足をしておきたいと思います。 メモリとディスクの速度比較について 「メモリはディスクの 150 倍」という話ですが、その後知人と話して検索のインデックスをシークする場合などは ms 対 ns くらい違
はてなのインフラ、いまむかし @ サーバ/インフラ Tech Meeting - stanaka's blog
先週の金曜にサーバ/インフラ Tech Meetingで「はてなのインフラ、いまむかし」という発表をさせていただきました。先日発売された「サーバ/インフラを支える技術」の新刊記念のイベントです。 [24時間365日] サーバ/インフラを支える技術 ?スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 作者: 安井真伸,横川和哉,ひろせまさあき,伊藤直也,田中慎司,勝見祐己出版社/メーカー: 技術評論社発売日: 2008/08/07メディア: 単行本（ソフトカバー）購入: 132人 クリック: 2,246回この商品を含むブログ (283件) を見る 発表内容は、OSC 2008 Kansai in Kyotoでid:naoyaが発表したはてなのインフラの歴史の抜粋に加えて、今後、発展させようしている方向性について話させていただきました。ちょっと30
2016年6月2日をもって「はてなクラブ」のサービス提供を終了いたします - はてなの日記 - 機能変更、お知らせなど
はてなスタッフのはてなのサービス全般に関する日記です。 人力検索はてなの告知については、人力検索はてなの日記にて行っています。 使い方に関するご質問、不具合報告やご要望は、お問い合わせ窓口で承ります。 使い方のコツなどを知りたい時は、人力検索はてなの「はてなの使い方」カテゴリーをご利用ください。 ※コメント欄へのご質問には対応できない場合がございますのでご了承ください。 2016年6月2日をもって「はてなクラブ」のサービス提供を終了いたします はてなでは、新しいサービスや新機能、新しいデザインなど開発中のサービスをユーザー様にご利用いただき、直接ご意見ご感想をお聞かせいただくためのサービスとして、「はてなクラブ」を提供しておりました。 こちらを、2016年6月2日をもって、サービスの提供を終了させていただきます。これまで、サービス改善にご協力いただき誠にありがとうございました。 また、はて
3ヶ月面談 - jkondoの日記
今週は3ヶ月に一度の面談の週だ。半期に一度の査定面談に加えて3ヶ月に一度、各チームの担当責任者と社員が個別に面談をして、目標の振り返りや次期の目標設定などについて話し合っている。 面談の良いところは、個人個人の問題について深く考える機会があることだ。お互いになるべく簡潔に終わらそう、と思いながら面談を始めても、やはりちゃんと仕事をやっている個人個人にはそれだけの世界が広がっている。この3ヶ月にやり遂げたことを上げれば色々出てくるし、それについて感想も言いたいし、目標や課題などについて話せばそれなりに話すことがある。そういう機会はやはり必要だなと感じる。 面談の悪いところは、この期間中話を続けていると、どんどん視点が会社の社内に向いていってしまうことだ。あれこれ話をすれば、社内の課題なども見えてくるし、見えてきたものに対して対処をしなくてはいけないと思う。 会社としては、会社の外、ユーザーや
はてなのCAPTCHAは簡単に破れる
CAPTCHAをご存知でしょうか。 スパム防止のために歪んだ文字とかを入力させる、アレのことなのですが、 はてなのCAPTCHAの強度が妙に低く思えたので検証してみました。 CAPTCHAというのはいわゆる逆チューリングテストという奴で、 人間には可能だが機械には処理しにくいことをさせることで、 ロボットによる操作を弾こうというものです。 たとえば、Gmailのユーザ登録には以下のような画像が表示され、 表示されている文字を入力することが求められます。 CAPTCHAの強度 例えばスパムを送るために大量のGmailアカウントを得ようとしてる人がいたとします。 手作業でGmailを登録するのは骨が折れる。 そこでプログラムによる機械化を試みることになるわけです。 その際、障壁となるのがこのCAPTCHAなのです。 この画像から正解である文字列"vittac"を得ることは機械には難しい。 プロ
【ITpro Challenge!】「世界を変えられるのはコードだけ」---はてなCTO伊藤直也氏が明かす“ネトゲ廃人”から“なりたかった自分へ”の道のり：ITpro
【ITpro Challenge!】「世界を変えられるのはコードだけ」---はてなCTO伊藤直也氏が明かす“ネトゲ廃人”から“なりたかった自分へ”の道のり 「本当の意味で世界を変えられるのはコードだけ。コードとインターネットの力で，10万人を驚かすことができた」---はてな 取締役最高技術責任者 伊藤直也氏は9月7日，イベントITpro Challenge!でこう語った。アルファギーク（技術の方向性を指し示す先鋭的なエンジニア）の代表格とも目される伊藤氏は，意外にも「ネトゲ廃人（ネットワークゲーム中毒者）」で「不満を会社のせいにしていた甘ちゃん」だったという。 ネトゲにはまった「何も生み出さない3年間」 伊藤直也氏とコンピュータの最初の出会いは早く，幼稚園の時に父親が買ってきた８ビット・パソコンで，雑誌に載っていたゲームのプログラムをキーボードから入力して遊んでいたという。だが，中学や高校
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
ニコニコ動画(RC)‐ベンチャー指向プログラマ - 伊藤直也さん
はてな