第1回 バーストトラフィックの発見と対処 | gihyo.jp
はじめに 初めまして、（株）ミクシィの中野和貴です。私はシステム本部運用部インフラグループネットワークチームという部署で働いており、ほかのメンバーと共にmixiのネットワーク部分全般に関して設計・保守・運用を行っています。ここでは『WEB+DB Press』Vol.50～55にて連載されていた「大規模Webサービスの裏側」で紹介しきれなかったエピソードや、その後のインフラ事情を紹介していきます。 日々大量のトラフィックが流れるmixiのネットワークですが、大きくなってくるとやはりいろいろな問題も出てきます。今回はそれらの問題の中で普段運用しているとなかなか気付きにくいバーストトラフィックに起因する問題事例を紹介します。 ミクシィのネットワーク構成と問題の発覚 mixiでは主要なネットワーク機材にはお金をかけていますが、サービス規模からどうしてもラック数が多くなってしまうため、エッジスイッ
理想の開発環境 - mixi engineer blog
たんぽぽグループの森本です。 一日の半分近くを机に座ってすごすエンジニアにとって、快適な開発環境は切実な問題です。 外界からうけるストレスを極力排除し、効率よくフロー状態にはいることと、フロー状態を長く維持することはとても重要です。 お前は今までに購入したキーボードの数をおぼえているのか？と突っ込まれてもしかたが無いキーボード遍歴を重ねましたが、KINESISに出会い キーボードに関してはまぁまぁ満足することができました。 机・椅子・マウス・ディスプレイとまだまだ欲望は果てしないのですが、今回のミクシィ本社の引越しに伴い、エンジニアの机と椅子にオカムラ社のクルーズ＆アトラスが選定され、机と椅子に関してもかなりの満足度を得ることができたので自慢報告します。 クルーズ＆アトラスの御紹介 クルーズ＆アトラスはオカムラ社が販売している低座・後傾姿勢を特徴としたパーソナルワークステーションです。 2
いまからでも間に合う開発者テスト - mixi engineer blog
はじめまして。開発部じゃない加藤和良です。 最近、mixi では Buildbot をつかった継続的インテグレーションをはじめています。安定版の mixi のソースコードにコミットすると Buildbot がそれを検知し、自動的にテストが走るようになりました。 ここでの「テスト」は Test::Simple や prove(1) をつかった、Perl でかかれた開発者テストを指しています。mixi の開発者テストをとりまく環境は、ここ数年でかなり改善されました。今回はその歩みをふりかえりながら、テストの無いコードベースをどこからどうやって変えていったかという話をしたいと思います。 開発環境 はじめに、前提となる mixi の開発環境について説明します。mixi では複数人の開発者がひとつのマシンで作業を行います。それぞれの開発者は、あらかじめ割り当てられたポートで Apache を起動し、
PC向けmixiアプリ課金APIが登場しています - mixi engineer blog
皆さんこんにちは。プラットフォーム開発を担当しています、よういちろう です。今回は、最近リリースした非常に興味深い機能を紹介したいと思います。 mixiアプリ、楽しんでいますか？ mixiは昨年の8月24日にプラットフォーム化を遂げました。既に多くの方々が、何らかのmixiアプリに触れ、ソーシャルアプリケーションという新しいジャンルを楽しんでいるかと思います。 mixiアプリの特徴は、何と言っても「マイミクとのちょっかいの出し合い」です。 虫を付けたら付け返す 掃除をしてくれたらお礼をする 旧友と出会い当時の先生の話で盛り上がる などなど、ソーシャルグラフを使ったアプリケーションならではの多様なコミュニケーションを、mixiアプリを通じて体験することができます。電車に乗っていて「昨日虫いっぱい付けたでしょー」など、リアルな場においてもネタとしてmixiアプリのことが話されているのを聞いて、
The Art of Mixi-mobile-appli Capacity Planning | Carpe Diem
2009年も残すところあと僅かになりました。今年のネット業界にはたくさんのことが起きましたが、国内でもっともインパクトがあったのは日本最大の SNS サイト mixi がついに OpenSocial 対応になったことだと思います。 今日現在、PC 版とモバイル版の2種類が提供されており、PC 版は企業と個人、モバイル版は企業のパートナー契約を結んだ会社のみ開発して公開できるようになっています。 さて、mixi のモバイル版が公開された直後は、アクセス殺到にて軒並みモバイル版のアプリケーションを提供しているパートナー企業のサーバに大きな負荷がかかって、ほとんどの mixi のモバイルアプリが使えない状況になったのは記憶に新しいです。3日で約60万人ユーザも集める人気アプリも数多く登場した様子です。 今日は、もし仮に僕が 2010年1月1日に mixi モバイル版アプリを提供することになったこ
flashでmixiアプリを作ってみたー - 無題 @ はてな
mixiでいつの間にかOpenSocialのmixiアプリが作れるようになったようなので、試しにFlash(Flex)で作ってみましたー:) http://platform001.mixi.jp/view_appli.pl?id=1097 ぱっと見、インディーズコーナーにチャットがあんまりなかったんで、簡単なチャットを作りました。アプリ名も画像もちょーてきとーです。今はまったく聞かなくなったCocomoさんのチャット機能を使いました。アプリウィンドウの大きさは、だいたいwidth="210" height="130"でぎりぎりっぽいです。まー、中身はまったく凝ってないんで説明は省略して、使ったライブラリをご紹介します。 ひとつめはOpenSocial Actionscript Client Library↓ opensocial-actionscript-client http://cod
mixi Developer Center (ミクシィ デベロッパーセンター) » Flashを使ってみよう
mixiアプリでは、Gadgets Feature-Specific JavaScript APIにて提供されるFlash関連機能を利用することで、mixiアプリ内にFlashコンテンツを手軽に埋めることができます。Flashに対応するためには、Gadgets XMLファイル内で以下のリストのように記述しておくことが必要となります。 <ModulePrefs> <Require feature="flash" /> </ModulePrefs> 基本的な埋め込み方法 下のリストは、Flashコンテンツをmixiアプリに埋め込むためのコード例です。 gadgets.flash.embedFlash( "http://your.server.host/flash/content.swf", document.getElementById("target"), 6); Flashコンテンツの埋め
署名付きリクエストで外部サーバへデータを保存する - ppworks.jp
今までアプリケーションのデータ保存は永続化データに任せていました。この度、mixiアプリを作成しましたで作成したアプリを機能拡張するにあたり、データを外部サーバに保存してみようと思います。あるユーザの投稿内容を外部サーバへ送る際に気をつけなければ行けないことを調査してみました。 結論からいうと、署名付きの |javascript| gadgets.io.makeRequest ||< を使うようにする、ということになります。 今回はその具体的な使い方を見ていきます。 その前に、OpenSocialアプリケーションとOpenSocialコンテナ、外部サーバの関係について整理しておきます。 ** 署名なしのgadgets.io.makeRequestからのリクエストを確認する まずは署名なしのgadgets.io.makeRequestを使ったリクエストはサーバ側へ、どのようなパラメータを渡す
mixiの年末年始対策 日記投稿システムの改善 - mixi engineer blog
朝晩冷えてきましたね。風邪など引いていませんでしょうか。さて、年末が近づいてくるこの時期に弊社のエンジニアが最も気になるのは、お正月。それも来年1月1日を迎えた瞬間です。 1日1日0時に何があるのでしょう？そう、mixiのサービスで最も日記が書き込まれるタイミングになるのです。個人的に「あけおめことよろアタック」と呼んでいます。今年は日記だけではなく、エコーでもメッセージが飛び交うことでしょう。この時期は携帯電話のキャリアでもさまざまな対策を行っていますが、ミクシィでも年末年始でもユーザの方に快適にサービス提供ができるように努めています 以下は昨年の年末年始の日記投稿数の推移です。青色が12/31から1/1、赤色が1/1から1/2になります 1/1の方が全体的に多いですが、特に年が変わる前後の投稿数は倍近くなっていることがわかります。この時に負荷により日記の投稿がしづらい状態になっていたの
memcached 座談会雑感 - id:kazuhookuのメモ置き場
memcached座談会：連載｜gihyo.jp … 技術評論社 MacBook を修理に持ち込む途中で見てた。まだ第２回の途中までしか見てないけど感想。 mixi の設計がきれい ローカル memcache 導入より、複数台へのライブラリレイヤでの分散のがいいなぁ ウェブサーバ100台に対してトップページをキャッシュする memcached が10台みたいな構成にできるし コーディングも楽そう ただし、ネットワーク機器がボトルネックにならない限りかなぁ tmpfs でローカルキャッシュは難しいよ 速度出そうと思うなら、ね (速度出さないなら memcached でいいし) (open + mmap するとして) 問題は、排他制御。リードのたびに flock とか遅いし *1 拙作の swifty は lock-free read + flock write でやってるけど、memcach
Catalystでmixi OpenIDからニックネームを取得 - Problems
ボヤボヤしてるうちにmixiがOpenIDのProviderになって、そろそろOpenIDのRPに対応する準備しとかんとあかんやろ、と思い、認証してニックネームを取得してくるだけのRPのテストプログラムを作ってみた。 ここで紹介されているサンプルのCatalyst版（の更にマイミク認証を除いたやつ）です。 mixi OpenIDで「マイミクシィだけの掲示板」を作ろう(Perl編) - ラーニング人生。 Catalystは当然インストールしてあるとして、事前にNet::OpenID::ConsumerとCatalyst::Authentication::Credential::OpenIDの2つのモジュールをCPANに上がっているやつじゃなくてSubversionのリポジトリから取得してそれぞれインストールします。 Net::OpenID::Consumerの方は依存モジュールに注意した方が
mixi Engineers’ Blog » Lua on Tyrant: DBサーバにLLを組み込む
遅めの夏休みで那須塩原に行ってきたmikioです。牧場でアルパカに触ってきたのですが、めちゃかわいかったです。さて今回は、Tokyo Tyrant（TT）にスクリプト言語Luaの処理系を組み込んで使う方法について解説します。 つか、Luaって何？ Lua（公式サイトによると「るーあ（LOO-ah）」と発音）という言語の名前は聞いたことがあっても、数あるマイナー言語のひとつと思って特に気にかけていない人も多いと思います。私もそうでした。しかし、今では、C言語使いの第2言語・第3言語として使うにはとても有望な言語だと思っています。 Luaに関する日本語の情報はまだ多くはないのですが、以下のサイトを順に読むとだいたいの雰囲気が掴めると思います。 Lua で組んでみる Lua 5.1 リファレンスマニュアル Luaは言語仕様が小さいので、とても習得しやすいです。上記のリファレンスマニュアルだけ読め
かんたん友人検索 その弐 - mixi engineer blog
朝のジョギング生活を絶賛継続中ですが、あまり体重が減らなくてショボンヌなmikioです。さて今回は、Tokyo Dystopiaを使った検索機能「かんたん友人検索」の設計と実装についてお話しします。 全体の戦略 Tokyo Dystopia（TD）は単なる全文検索用のインデックス管理ツールです。多数の文字列の中から特定のパターンを含んだ文字列を特定する処理を高速化することはできますが、逆に言えばそれしかできないのです。住所を市区町村単位で限定して結果を絞り込むとか、ログイン時間が近い順に並び替えるとかの高機能は備えていません。Hyper Estraierにはそういったアプリケーション寄りの機能を持たせていましたが、逆にコードベースが肥大化して保守や最適化がしにくくなってしまいました。その反省を踏まえて、今回は、「全文検索による対象の絞り込み」だけはTDにやらせて、その他の機能は全て専用に書
速報、1500万人が使える mixi OpenID の技術面を解説するでござるの巻 - Yet Another Hackadelic
と言う訳でついに来ましたね。 http://mixi.jp/openid.pl mixi OpenID << mixi Developer Center (ミクシィ デベロッパーセンター) 中の人、お疲れ様でした。 実はさっきまで mixi に行って技術的な意見交換などしてきました。mixi OpenID の技術的な側面なんかを簡単に紹介したいと思います。 ミクシィ認証 これは普通の OpenID Provider の挙動と同じです。僕のアカウントは http://mixi.jp/show_profile.pl?id=29704 なので僕の OP Local Identifier は、 https://id.mixi.jp/29704ここでお気づきの方も居るかと思いますが、OP Local Identifier 自体も https で提供されています。さて最初の html の内容を確認して
mixi Developer Center » mixi OpenID
仕様 mixi OpenID は mixi 内のユーザー情報を外部サイトでの認証に使用するためのサービスです。この文章では mixi OpenID の仕様について説明します。 FAQ mixi OpenID について、よくある質問とその答えをまとめました。 mixi Platform用素材利用ガイドライン ユーザーに簡単にわかりやすくログインできるようにするために、専用ログインボタンを配布しています。また、利用ガイドラインに沿ったボタンの利用をお願いしています。 ガイドライン mixi OpenIDを導入いただくにあたってのガイドラインとなります。本記載内容に沿った対応サイトを作成いただくことで、ユーザーにメリットのあるコミュニケーションがもたらされることを望んでいます。
ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
mixi Engineers’ Blog » ロングテールな画像配信 その1
開発部・システム運用グループの長野です。最近は「サーバ／インフラを支える技術」を読みながら通勤しています。今回はmixiの画像配信について書かせて頂きたいと思います。1回目は画像配信の課題について説明させて頂きます。 ■画像配信の種類 これまで画像の配信は大きく分けて2種類あると考え、システムを構築してきました。1つは１ファイルあたりへのアクセスが非常に多くなりますが、ファイル数が少ないもの。もう一つはファイル数が膨大になる代わりに、１つのファイルへのアクセスは少ないものになります。 前者はmixiの中で使われるロゴ画像やメニューの画像等のページ部品、また広告画像や絵文字画像になり、後者はユーザがアップロードする日記やアルバムの画像にあたります。ページの部品の画像はファイル数はそれほど多くないものの、サーバへのアクセス数が最大で秒間に数万リクエストにもなります。逆にアルバムや日記の画像は全
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
mixi Developer Center (ミクシィ デベロッパーセンター) » アプリケーション登録
はてな技術勉強会 - JavaScript Programming 2.0
