mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です． このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています． 今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤 まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
【2011年2月最新版】直近決算発表に基づくmixi、GREE、モバゲー、Amebaの業績比較：In the looop：オルタナティブ・ブログ
国内三大SNSサービスの、2010年10-12月期の四半期決算発表が出揃った。 今回記事より、従来のmixi、GREE、モバゲータウンにプラスして、ソーシャルプラットフォームへの積極展開をはじめたサイバーエージェントのAmeba事業を対象として追加し、その業績やサービスの比較を分析してゆきたい。 なお，この分析レポートは，各社が投資家向けに公表している最新の決算報告，および広告代理店・クライアント向けに発行している媒体資料を主要な情報ソースとしている。また、今回から、ネットレイティングス社NetViewおよびビデオリサーチインタラクティブ社Mobile Media Mesurementによる視聴データ調査を導入、さらに関係者のヒアリングもあわせ、多面的な考察を試みた。 当記事においては，それらの客観的な数値に基づき，できる限り公平な視点で、各社の業績やサービスを比較することを心がけている。
mixi大規模障害について その2 - mixi engineer blog
こんにちは。システム本部技術部たんぽぽGの森本です 補足を追記しました (2010/08/20 15時) 先日のmixi大規模障害についての続報です 今回は小ネタはありません はじめに まず初めにtwitter/blogなどを通じて今回の問題の解析を行っていただいたみなさんに感謝の言葉を捧げたいと思います kzk_moverさん stanakaさん mala(bulkneets)さん llameradaさん (順不同) ありがとうございました 書き漏らした人ごめんなさい memcachedはすごい 今回の件でmemcachedに対して不安感を持たれた方もおられるとお聞きしました 説明不足だったせいで誤解を与えてしまい申し訳ありません きちんと設定および監視を行っていれば通常の使用にはまったく問題はありません 弊社にて -c 30万で起動したmemcachedに対して、先のテストスクリプトに
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi 2010-08-12 02:33:00 Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 2010-08-12 08:45:50 Masahiro Nagano / 長野雅広 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60とし
［速報］mixiが障害の経緯を発表。原因はお盆のアクセス急増ではなく、memcachedの異常終了
8月10日の17時20分頃から12日未明までの長時間にわたり、サービスが利用不能もしくは利用しにくい状況になっていた「mixi」。数度の断続的な復旧ののちに、本日12日午前1時50分頃には復旧が完了し、現時点で全面的に復旧しているようです。 その障害の経緯について株式会社ミクシィの広報からプレスリリース「『mixi』のアクセス障害のお詫び及び復旧に関するお知らせ」として発表されました。 原因はアクセスの急増ではなかった プレスリリースの中で、今回の障害の原因は以下のように説明されています。 『mixi』のデータベースへの負荷軽減のために導入しているデータキャッシュシステムが複数同時に異常終了したことに伴い、データベースへの負荷が急増したため『mixi』を閲覧しづらい状態となりました。 高負荷かつ特殊な状態でのみデータキャッシュシステムの異常終了が発生していたため、根本的な原因の究明に時間が
「ヤフーにいては、動けない」 50万ユーザーのmixiアプリ「ぼくのレストラン」の挑戦
設立半年のベンチャー企業によるmixiアプリ「ぼくのレストラン」が、2週間で50万ユーザーを突破した。ただ遊ぶだけでなく、料理に関する豆知識や実際のレストラン情報を共有する機能もあり、「プレイヤーの食生活も豊かにしたい」という開発者の思いがこもっている。 開発したのは、公文善之さん（34）と安徳孝平さん（38）が6月に創業したSynphonie （シンフォニー）だ。2人とも4月にヤフーを辞めたばかり。「ヤフーと勝負できる会社を作りたい。そうでないと残してきた人たちにも失礼」と、公文さんは決意を述べる。 このままでは世の中の動きに付いていけない 2人はヤフーでともに「Yahoo！モバイル」の立ち上げに関わり、公文さんは「Yahoo！グルメ」「Yahoo！みんなの検定」などにも携わってきた。それ以前は2人とも、あるITベンチャーに立ち上げから参画。その企業がヤフーに吸収合併されたことに伴い、ヤ
オレオレ検索窓を設置しよう - mixi engineer blog
まだピクミン2をクリアしてないのでケジメ的に新作ゲームを買えないmikioです。今回は、Tokyo Cabinetを使って激烈簡単に特定サイトの専用の検索機能を設置する方法について説明します。クローリングから検索までを10分くらいの作業で可能にします。 特定サイトの検索エンジン Web全体の検索機能を作るのは、途方もない技術力と設備を持っているGoogleやMicrosoftなどのビッグプレーヤでないと難しいのが現実です。でも、自分が気に入っているいくつかのサイトを対象とした検索エンジンを作るのであれば個人だってできます。また、インターネットから手が届かないイントラネットのコンテンツの検索機能は自分達で手がけないと構築できません。 ということで、企業用の検索システムが数多く売られていますし、LuceneやGroongaやHyper Estraierなどのオープンソース製品も世に多数存在しま
まずは、mixiアプリを使ってみよう、作ってみよう
まずは、mixiアプリを使ってみよう、作ってみよう：基礎から分かる、mixiアプリ作成入門（1）（1/3 ページ） mixiのアプリ？それって何？ 「mixiアプリ」は、iGoogleのガジェットのように、SNS「mixi（ミクシィ）」上に組み込まれて実行される、Webアプリケーションです。主に、JavaScript＋XML＋HTML＋CSSで作ります（やり方によっては、Flashなども使える）。 誰でも開発でき、人が開発したmixiアプリを自分のマイページなどに自由に組み込むことができます。また、Webアプリケーションのため課金方式は異なりますが、iPhoneアプリのようにmixiアプリを作って公開することで報酬を得ることもできます。 mixiアプリは、2009年6月現在、オープンβ環境のみで利用可能となっています。正式版は、8月公開予定です（参考：「mixiアプリ」8月に正式公開 販売
らられぽーと: mixi･mbga･gree･amebaを全力で比較する
2009年5月4日 mixi･mbga･gree･amebaを全力で比較する 会員数、月間PV数、広告収入/PV数、有料課金収入、課金収入/会員数、広告収入、海外事業 の順番に見ていきます。 会員数mixi 1,630万人mbga 1,344万人 gree 1,000万人amba 500万人 mixi2006年に急伸。mbga2007年に急伸。gree2007年7月のEZGREE開始から伸び始め、未だ鈍化せず。amebaそろそろアメーバのターン。 月間PV数(四半期) PC mbilemixi 41.7億PV 101.3億PVmbga -187.1億PV gree 1.8億PV120.0億PVamba 41.2億PV42.4億PV mixipcは減少傾向、モバイルは上昇傾向。 年末に向けてpv数が減る傾向がある。(忙しいから？) mbga月によるpv数の上下が最も激しい。3月と8
ミクシィの株は高い？ 安い？ 企業価値で考える
山口揚平（やまぐち・ようへい） 早稲田大学政治経済学部卒。トーマツコンサルティング、アーサーアンダーセン、デロイト トーマツ コンサルティング、アビームM&Aコンサルティング シニア・ヴァイス・プレジデントを経て、現在はブルー・マーリン・パートナーズの代表。主な著書に『株M＆A大化け相場に乗り遅れるな！』（日本実業出版社 2005年）、『なぜか日本人が知らなかった新しい株の本』（ランダムハウス講談社 2005年）、『世界を変える会社の作り方』（2008年、PDF）、『デューデリジェンスのプロが教える 企業分析力養成講座 会社の本質を見抜く9つのポイント』（日本実業出版社）など。Business Media 誠では2007年4月～12月まで連載「時事日想」を執筆。 2006年9月にマザーズ市場に上場したミクシィ。ご存じの人も多いだろうが、国内最大のSNS「mixi」と求人Webサイト「Fin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
