DBMによるテーブルデータベース - mixi engineer blog
正月早々インフルエンザにかかって寝込んだmikioです。電車に乗る時や繁華街などに出る時はマスク着用が必須ですね。さて今回は、Tokyo Cabinetで実装したテーブル方式のデータベースについて紹介します。意外にどうして強力な機能なので、このネタは連載することを予告します。 テーブルデータベースとは 簡単に言えば、リレーショナルデータベースのテーブルのように、複数の列からなるレコードを格納できるデータベースです。SQLや表結合などの複雑な機能はサポートしませんが、そのぶん高速に動作します。つまり、DBMの速度で動くリレーショナル風データベースです（厳密にはリレーショナルデータベースではありません）。 TCの基本となるハッシュデータベースは、単純なkey/value型のデータベースであり、つまりキーにも値にもスカラ（数値や文字列などの特に構造を持たない単一の値）しか格納することはできません
ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
YAPC::Asia 2008の資料公開します - mixi engineer blog
開発部・システム運用グループの長野です。5月15日・16日に東工大大岡山キャンパスで開催されたPerlのカンファレンス、YAPC::Asia 2008に参加してきました。2日目にはセッションの時間を２つ頂いて、発表をしてきたのでその資料を公開します。 ■memcached in mixi [pdf] memcachedはmixiのシステムでも重要なアプリケーションの１つになります。発表ではmemcachedの基本から、弊社でのmemcachedの事例、そして分散方法の改善、TokyoTyrantの活用事例について説明させて頂きました。発表の最後時間が足りなくなり説明できなかったスライドも含まれていますのでご覧下さい。 memcachedについては、研究開発グループのtmaesakaによる記事が、またTokyoTyrantの活用事例については、こちらの記事にもありますので参考にして頂けたら幸
404 Blog Not Found:Society is the Next "Next Intel Inside"
2008年03月06日05:30 カテゴリArt Society is the Next "Next Intel Inside" これを見て脊髄反射で出たのが、タイトルのフレーズ。 「使用」を主張して「格納」を理由とするミクシイ - ベイエリア在住町山智浩アメリカ日記 「タダで使わせてもらってるのに文句言うな」とか書いてる人はわかってない。 タダだからこそ大量のユーザーが集まり、その数が会社の価値となり、株価を支えているのだ。元ネタは、もちろんO'Reilly -- What Is Web 2.0の3ページ目。 これは、元ネタの"Data is the next intel inside"と同じようでいて違う。ちょっと殺伐とした例えだが、データというのは枝肉。O'reillyが例としてあげているAmazonにしろGoogleにしろ、元となっているデータは確かにユーザー由来であるが、データに
mixi Engineers’ Blog » libmemcachedで快速キャッシュ生活
みんな大好きなmemcached。今日はBrian AkerのC言語用クライエントライブラリについて書きたいと思います。日本語の情報がとても少なく、ドキュメンテーションも英語だけという事で興味はあるけど手をつけていないという方のお役に立てれたらなと思います。 本題の前に why libmemcached? 既にlibmemcacheが存在するのに何故、libmemcached？かと言うと理由の一つは最近libmemcacheの開発が止まったからです。本家ではそれが理由でlibmemcacheではなくlibmemcachedを推奨してますね。又、効率的なメモリ使用、Consistent Hashing、様々なハッシュアルゴリズム、新しいオペレータに対応している等という宣伝文句があります。apr_memcacheというライブラリも存在しますが自分は使った事がないためノーコメント。 ただ、推奨さ
日本経済新聞
【ニューヨーク=関根沙羅】24日の米国株式市場でダウ工業株30種平均が4営業日続落。終値は前週末比653ドル17セント（2.9%）安の2万1792ドル20セントと、2017年9月以来、約1年3カ月…続き NY原油、42ドル台に下落 1年半ぶり安値 [NEW] 米「恐怖指数」が大幅に上昇、2月以来の高水準
http://mixi.jp/issue_ticket.pl は OpenID server だったよ - 知らないけどきっとそう。
mixiのURLにOpenIDっぽいパラメータがくっついてる件 http://blog.fkoji.com/2007/08051128.html OpenID大好きなので、少し調べてみました 結論から言うと、news.mixi.jp とか video.mixi.jp とかの、mixi.jp と別ドメインにセッションを引き渡すために使ってるぽい このあたりの話のあと、cookieのdomain指定をやめたのかもしれない http://kaede.to/~canada/doc/mixi-and-cookie リクエストのやりとりはこんな感じ ログインしてcookieもらう（domain指定なしなので mixi.jp にしか渡されない） POST /login.pl HTTP/1.1 Host: mixi.jp HTTP/1.x 200 OK Set-Cookie: BF_SESSION=***
NIFTY-Serve化するmixi ― ＠IT
2007/10/12 SNSサービスの雄mixiは、NIFTY-Serveの末期に似た状態にあるのではないか。NIFTY-Serveというのは、ニフティが提供するISPおよびWebサービスとしての＠niftyの前身であるパソコン通信ホスト局のことだ。パソコン通信時代の最大手だった。 2002年にFriendsterの登場で始まったSNS（ソーシャル・ネットワーク・サービス）ブームは、国や言語の違いで分断されているとはいえ、それぞれ版図が固まった感もある。 しかし、それは見ようによってはパソコン通信時代末期の、大手ホスト局の群雄割拠に似ている。「ホスト局」というのは、今でいうISPのようなもので、利用者は、それぞれのホストを提供する事業者と契約し、特定の電話番号にダイヤルアップ接続することで掲示板やチャットルームなど個別のサービスを受けることができた。そうしたホスト局としては、米国にはCom
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
「1人で開発したmixiが、会員数1000万人の国民的インフラに」、ミクシィ 衛藤バタラ 取締役最高技術責任者
「1人で開発したmixiが、会員数1000万人の国民的インフラに」、ミクシィ 衛藤バタラ 取締役最高技術責任者 衛藤バタラ氏は、2004年2月にSNS（ソーシャル・ネットワーキング サービス）の「mixi」を立ち上げた人物。現在は、運営会社であるミクシィで取締役最高技術責任者を務める。 mixiの会員数は今年7月末時点で1110万人に上る。「当初から、日本国民全員に会員になってもらうことが夢だったが、正直言ってここまで成長するとは思わなかった」。サービスを提供するためのサーバーは当初2～3台だったのが、今では数千台になっている。 衛藤氏は、無料のオープンソースソフトウエア（具体的にはLAMP＝Linux、Apache、MySQL、Perl）を駆使してmixiのシステムを1人で開発し、サーバーの設置などもこなしたという。今では自分でプログラミングをすることはないというが、30人強に増えた技術
ミクシィのこわざ :: ぼくはまちちゃん！
mixiSpyで足跡のこさず偵察 ミクシィでは、誰かの日記を見ると、必ず自分の「足あと」が残っちゃいますよね…！ が…！ 足あとをつけずに、日記を見る方法を発見しちゃいました！ といっても雰囲気だけなんですが！！！ ↓ 現在はmixiの仕様変更により使えなくなっています ↓こんなかんじ http://mixi.jp/list_diary.pl?id=****** ←相手のIDいれる http://mixi.jp/list_comment.pl?id=****** ←相手のIDいれる たとえば、はまちや２を偵察するなら↓こうだよ！ (足あと残りません) http://mixi.jp/list_diary.pl?id=609805 http://mixi.jp/list_comment.pl?id=609805 そう！ 要するに日記の一覧とか、コメント一覧とかを直接みれば足あと残んないみたい…
ビジネスリサーチの心得
2．ビジネスリサーチの情報収集 デスクトップ調査 の基本〜アニュアルレポートなど公開情報から… デスクトップ調査 とは、主にインターネットなどを使用して、公開情報を調査して整理・分析を行うものです。「CIAも収集する情報の95％が公開情報」ということで、情報不足とい… 2021.01.28 2021.05.13 1915 view 5．ビジネスリサーチのビジネスモデル ビジネスリサーチがアウトソースされる理由 ビジネスリサーチを社外に依頼する理由①〜信頼できる人「すべては依頼から始まる」からでも書きましたが、依頼主が社外にリサーチを委託する最大の理由は、事業環境を定点で把握… 2021.01.18 2021.05.13 146 view
ビジネスリサーチの心得
2．ビジネスリサーチの情報収集 デスクトップ調査 の基本〜アニュアルレポートなど公開情報から… デスクトップ調査 とは、主にインターネットなどを使用して、公開情報を調査して整理・分析を行うものです。「CIAも収集する情報の95％が公開情報」ということで、情報不足とい… 2021.01.28 2021.05.13 1962 view 5．ビジネスリサーチのビジネスモデル ビジネスリサーチがアウトソースされる理由 ビジネスリサーチを社外に依頼する理由①〜信頼できる人「すべては依頼から始まる」からでも書きましたが、依頼主が社外にリサーチを委託する最大の理由は、事業環境を定点で把握… 2021.01.18 2021.05.13 147 view 2．ビジネスリサーチの情報収集 日常的な情報収集・整理術（Feedly＋Dropbox） 【 ビジネス 情報収集 と 情報整理 の基本 】いま目の前にある
あちら側とこちら側の日常: MySpace上陸しても、mixiには勝てない４つの理由
予想外の割引と、その内容が宣伝のイメージの予想外だったことで、ニュースをにぎわせたソフトバンクですが、今度はMySpaceと提携して、国内SNS市場に乗り込んできました。「MySpaceは2003年7月に米国でオープンした世界最大のSNSで、約1億2500万人が登録しており、現在も1日30万人のペースでユーザーが増え続けている。招待制のmixiと異なり、誰でも自由に参加可能。米国、ドイツ、日本など7カ国、4言語で展開中だ。」 （「mixiを抜く」と孫社長 MySpace日本版の武器は「音楽」｜itmedia） 実際に、MySpace japanにログインしてみましたが、第一印象としては、これは日本じゃ流行らないだろうなというところでした。以下理由をいくつか挙げてみます。 １.ＪＡＳＲＡＣが日本にあるから MySpaceが、アメリカで驚異的なユーザー数を獲得できた原動力となっているのが「音
「ブログで書いた日記をｍｉｘｉにも反映させたい。…
「ブログで書いた日記をｍｉｘｉにも反映させたい。」 ｍｉｘｉでは、ブログの更新にあわせて自動的にリンクを張ることは出来ますが、来るヒトからすると、なんかめんどくさいし、ｍｉｘｉにコメントを返すことが 出来なくていまひとつだなと思います。 かといって、いちいちコピペするのは面倒。 そこで、ブログで書いた日記を簡単にｍｉｘｉに取り込むツールを探しています。 なるべく自動的に、簡単に取り込めるものがよいです。
スラッシュドット ジャパン | ミクシィ、画像に認可制御なしの欠陥を改修できず、ヘルプで弁解
jbeef曰く、"セキュリティホールmemo経由、葉っぱ日記10月17日のエントリによると、2005年5月にIPAの脆弱性情報届出窓口に届け出られたmixiの欠陥の件が、1年半たってようやく決着したという。この欠陥は、mixi内でアップロードされた画像が、mixiにログインしていなくても画像のURLを指定すれば誰にでも閲覧できてしまうというもの。もっとも、数百万人の会員がいるとされるmixiでは、いずれにせよ誰にでも見られるのに等しいのだから問題じゃないという考え方もあろう。しかし、「友人まで公開」に設定している日記の画像はどうだろうか。普通のユーザなら、写真画像も「友人まで公開」だと信じて貼り付けるのではなかろうか。 葉っぱ日記によると、IPAはこれを脆弱性として受け付け、取り扱いを開始したものの、11か月後の2006年4月になって、ミクシィ側からギブアップの連絡があったという。その内容
mixCipher - mixi Diary Cryptographer - Lab MagicVox.net
mixCipher は mixi の日記本文やコメントを暗号化することで，心無いユーザによる情報漏えいを防ぐためのソリューション(?)です。 "みっくすさいふぁー"と読みます。投稿者が設定したパスワードを正しく入力しない限り元の文章を読むことはできません。しかし貴方が信頼してパスワードを教えた人が，実は情報漏えいの黒幕であった場合にはどうしようもありません。マイミクは大切にしましょう。 どうやって読むの？ mixi 日記を読んでいて -----BEGIN BLOWFISH DATA BLOCK----- DWVKdwrD2vbTQiDeeHN5ZoKGi9YOUZdiMClHGHXj Wub+YxpRqvobqw== -----END BLOWFISH DATA BLOCK----- のような日記本文やコメントを見かけたら，すかさず次の Bookmarklet(ブックマークレット) を実行
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ミクシィ、衛藤バタラCTOが12月で退任。今後は技術顧問に
Mimori's Algorithms tDiary(2006-10-20) mixi の認証脆弱性
PC