自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
デブサミ2009 はてなの開発戦略 - 2nd life (移転しました)
先日のデブサミ2009で発表した、はてなの開発戦略 (すごい名前だ…) のプレゼン資料を公開します。前半は主に git の話で、後半ははてなブックマークリニューアルの、Perl 層の開発をどんな感じで行っていったか、という話です。 デブサミ2009 はてなの開発戦略View more presentations from hotchpotch. はてなの git では、中央のマスタレポジトリサーバがあって、そこから各自 clone / fetch して開発を行ってるので、完全に github のような分散のメリットを生かしているわけではありません。 しかし完全に分散を生かさずとも、git に移行したメリットは十分にあって、資料の中でもふれていますが、やはり一番便利なのが git のブランチ機能です。もうこれ無しでの開発は考えられないなぁ、ぐらいで、さくっとブランチ切って開発、ブランチの切り
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
人気エントリー入りした後にしたほうがいいこと - ぼくはまちちゃん！
こんにちはこんにちは！！ はてなブックマークの人気エントリーみてますか！ 俗にいう「ホッテントリ」ってやつですね！ ブログの記事とかを、たくさんの人が勢いよくブックマークしてくれると だいたい丸一日くらい、人気エントリーの一覧に載っかったりして、 なんかものすごいアクセスが増えたりする感じなんだけど…、 先日、はてながリニューアルしてから、 人気エントリー入りした時のアクセス数、ちょっぴり減ったと思いませんか！ うん。 なんのことかっていうと、人気エントリーの上位に入ると 人気エントリーの一覧(http://b.hatena.ne.jp/hotentry) 以外にも、 はてなブックマークのトップページ (http://b.hatena.ne.jp/) はてなダイアリーのトップページ (http://d.hatena.ne.jp/) そして、 はてなのトップページ (http://www.h
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
サーバ/インフラ Tech Meetingの動画 - techtalk.jp
2008年8月9日に東京ミッドタウンにて行われた サーバ/インフラ Tech Meetingでの発表を録画した動画をニコニコ動画にアップロードしました。
0×0018 till I die » はてなnaoyaさん「はてなを支えるバックエンドシステム」
403 Forbidden nginx
コンビニでらくらく返済可能なカードローンとは | 損をしない借金の仕方？それならここがお勧めです！
最近ではコンビニから借りたお金を返済出来るカードローンが色々あるようです。わざわざ借りてる会社のＡＴＭに行ったりしなくても、コンビニから返済出来るとなると、かなり便利ですね。コンビニなら大抵どこにでもありますし、万が一カードローンのＡＴＭに入っていく所を誰かに見られる可能性なども出てきますので、コンビニからでしたら、普通に銀行のお金を引き出してるかのうように見える為に全く気にせずにカードローンの返済が出来ると言うわけです。 そして、だいたいいつの時間帯でもメンテナンス中以外でしたら返済可能な所が多いようなので、便利な世の中になりましたね。コンビニでは返済も出来れば、借り入れも出来たりします。コンビニを利用する場合には、手数料がかかる会社と手数料は一切かからない会社などと色々ある為に、手数料も馬鹿にならないので、手数料のかからない会社と契約すると良いかもしれません。コンビニで返済が出来るとな
気づきを得よう、刺激を得よう - お気に入りのブックマーカーを紹介します - 忘却防止。
自分はネットのどのあたりにいるのだろう？ きっかけなど 皆でのほほんとブクマして，ネガコメつけづらい雰囲気を出していくといいんじゃないかな？ はてな ブックマークコメントのどの要素をもってネガティブとするかは、人によって異なるし線を引くことは容易ではないという話。 同じ場所で、求めるコミュニケーションが違う人同士がぶつかるから問題になりやすい。（略）自分が求めるコミュニケーションを自覚して、それに応じた場所で発言するのがお互いにとっても幸せ。 ネットでのコミュニケーションに何を求めるか - 北の大地から送る物欲日記 自分の立ち位置なり居場所なりを踏まえたうえでネットを歩いていきたい、という話。2007年10月の記事。 お気に入りのブックマーカーを紹介してみよう はてなブックマークのブックマークコメントに関する話題が盛り上がっているようです。 記事を読みながら、自分がお気に入りに登録している
Geekなぺーじ : はてなブックマークを禁止する方法
念のため最初に書いておきますが、ブックマーク禁止やリンク禁止派ではありません。 純粋に技術的にどうするのだろうという興味で書いています。 「ある広告人の告白（あるいは愚痴かもね）: 推奨してるわけでは決してなくて、お嫌な人には拒否する権利があってもいいのかな、ということなんです。」を読んで、はてなブックマークを技術的に阻止するにはどうするのだろう？と疑問に思いました。 アクセスログを見ていると、はてな系のプログラムが出しているHTTP_USER_AGENTは「Hatena」で始まりそうな気がします。 例えば、ブックマークを行うと「Hatena Bookmark/1.0」というHTTP_USER_AGENTがやってきます。 ブックマークをさせないためには、そのエージェントに意地悪をすれば良いのではないかと考えました。 まず、最初にやろうと思ったのが、はてなロボットのリクエストに対して「404
はてなブックマーカーなら当然知ってる25個の技をわざわざ書いてみた - 記憶する部屋 - はてブクロニクル
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
naoyaのはてなダイアリー - さくらインターネット移行記#3 はてなブックマーク移転
さて、移行記も #3 となりました。今回は先日作業を終えたはてなブックマークの移転について。 旧サーバールームからさくらインターネットのiDCへのサーバー移転作業にもだいぶ慣れて来たこのごろ。これまでは比較的はてな内の他サービスとの連携が疎になっていたり、負荷がそこまで高くないものであったりと移行しやすいものから持っていってましたが、そろそろ難しいところ手を付ける時期に来まして、はてなブックマークの移転です。 以前に書いた はてなブックマークの裏側その後 - naoyaのはてなダイアリー では 2006年10月時点で ユーザー: 60,000 人 ブックマーク数: 787万件 サーバー: 30台 となっていました。移転したこのごろはというと ユーザー: 80,000 人 ブックマーク数: 1,182万件 サーバー: 移転前約45台 (移転後 約25台) という具合になっていました。順調に伸
antipop - Rimoのチャンネル追加APIについて
RimoChでは、チャンネル情報を登録する際に、RimoCh上に情報を登録すると同時に、サーバ側でRimoにアクセスして、Rimo上でも同じソース（URL）に基づくチャンネルを作成しています。Rimoにはチャンネルを作成するAPI（？）があり、実際、Rimo上でチャンネルを作成する際に利用されているので、RimoChもそのAPIを利用してたりします。 URL http://rimo.tv/channel/xml Method GET/POST Parameter url（チャンネルソースとなるページのURL） Returns XML（ソースURLに含まれるYouTubeビデオ一覧） urlパラメタにチャンネルのソースとなるページのURLをわたしてアクセスすると、チャンネルがまだRimo上に存在しない場合は新たに作成します。また、チャンネルが既に存在しても、存在しなくても、ソースのURLに含
Rimo開発日記 - チャンネルを作って公開できるようになりました
本日、Rimo (http://rimo.tv) でチャンネルを作って公開できるようになりました。 他の人が作った、チャンネルを視聴する YouTubeの動画まとめサイトなどからチャンネルを作る といったことが可能になります。 詳細は以下の通りです。 公開されているチャンネルを見る Rimo リモコンに新しく追加された、「ユーザーチャンネル」ボタンを押してください。 チャンネルの中から好きなチャンネルを選択するだけで、そのチャンネルをお楽しみ頂けます。(Wiiでもご覧いただけます) チャンネルを作る チャンネルは、チャンネル作成ページで作ることができます。 良質な YouTube まとめサイトなど YouTube の動画へのリンクがたくさん含まれているサイトの URL を入力して「チャンネルを作る」ボタンを押すとチャンネルが作成されます。 どうぞご利用ください。
javascript - 任意のはてブをその場で表示 : 404 Blog Not Found
2006年09月28日17:00 カテゴリLightweight Languages javascript - 任意のはてブをその場で表示 というわけで、お待ちかね。 404 Blog Not Found:javascript - prototype HateBJSON - 弾のコメント 秀作はあとで出るはずなので直しました。 考えかたは簡単で、「404 Blog Not Found:javascript - prototype HateBJSON」のparse_hatebjson()を以下のように書き換えるだけです。 なおここでは、dommaker.jsを使っています。 function parse_hatebjson(json){ var bm = json.bookmarks; if (! bm) return; var E = new DOMMaker(); // use http
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pipes: 全自動はてブ棚卸し
Hatena::Bookmark::24H
無効なURLです
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
