mixiのサーバOS移行のお話 - ビルド&Kernel編 - mixi engineer blog
こんにちは。年末と年度末になるとブログを書きたくなる運用部アプリ運用グループの清水です。 気づけば前回の記事から3ヶ月が経過してしまいました… 今回は、ビルド&Kernel編と題して、Fedora 17向けにおこなったパッケージのビルドや、KernelのConfig、TCP周りの変更点について紹介したいと思います。 パッケージのビルド OSが大幅にバージョンアップすると、依存しているライブラリに大きな変更が入ったり、RPMの仕様変更もあるため、Fedora 8時代のパッケージのリビルドなど、多くのRPMパッケージを作りなおさなければなりません。 mixiでは、Fedora標準パッケージとは別に150個以上のパッケージを、 configureなどビルドオプションを変える Fedoraで提供されないパッケージを作る ディストリビューションに依存しない構成のパッケージを作る(あとで紹介するPer
Apache HiveにおけるJSON連想配列処理の最適化 - mixi engineer blog
あけましておめでとうございます． 平野啓一郎著「葬送」がようやく読み終わった技術部の石川有です．ショパンの死を題材とした内容が難解で重く，すべて読み終えるのに都合５ヶ月ぐらい掛かっていたのではないかと思います．本当にとても重い内容ですが，濃厚で至福な時間を過ごせました． さて「重い」と言えば，「大規模データ解析」という言葉が頭に思い浮かびますよね．以前の記事「mixi の解析基盤とApache Hive での JSON パーサの活用の紹介」の通り，ミクシィの解析基盤として Apache Hive を利用しています． また Apache Hive で"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"を実現するための Hive の JSON パーサを活用しています． 新年最初のエントリーは，Apache Hive で JSON 連想
「インタレストターゲティング」リニューアルの裏側 - mixi engineer blog
こんにちは。下田@研究開発グループです。 前回は、かなりライトな「行って来ました」記事でしたので、今回はデータマイニング技術の活用事例の一つとして「インタレストターゲティング」という広告商品と、そのリニューアル案件についてご紹介します。 あらまし mixiには「インタレストターゲティング」という広告商品があります。まだ僕が入社する前の2009年に研究開発グループが広告の部署と協力して作成したプロダクトになります。 リリース当初は効果が高く、人気の広告商品の一つだったそうですが、メンテナンス性やオペレーション部分に問題等を抱えており、つい最近、再度広告関係の部署と協力して、バックエンドを作り直し、新しい仕組みをリリースするに至りました。 2012年12月現在、販売している広告商品としては、2009年作のプロダクトが動いていますが、間もなく切り替わる予定となっています。 以下、2009年製の今
mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です． このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています． 今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤 まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
ミクシィの技術研修について - mixi engineer blog
こんにちは。道路に飛び出した猫に向かって危ないって叫ぼうとしたら思わず「ニャーッ！！」って叫んでしまった技術部技術支援グループのtakaiです。 ちなみに猫は無事でした。よかったですね。 さて、今回はミクシィで実施している技術研修について紹介しようと思います。 大事なこと ミクシィの技術研修は主に新卒のエンジニア職向けに実施しています。 肝心なコンセプトは既に部長が書いてしまいましたが大事なことなのでもう1度言います。 現在ミクシィでは以下のコンセプトのもと、技術研修を行なっています。 関係各所、チーム、チーム横断でのタスクに関して 迷惑をかけずに自分で判断できる/あるいは正しく判断を仰げる状態までの成長現状の技術的問題点や課題を把握し、改善策や改善のためのプランニングができる各項目への知識体系の羅針盤を提供して、自学自習によってより高度な領域まで発展することができる 「ミクシィでしか使え
Javaしかかけないおいらがmixiアプリ第4弾をリリースするまで - しんさんの出張所 はてなブログ編
やっとマモノバスターが公開されました。 マモノバスター マモノバスターの開発にまつわるお話をお聞かせしましょう。長文です。 開発の始まり このプロダクト、もともとはmixiアプリ第2弾のPONPONが開発完了した後から取り掛かっています。 PONPON つまり2月ぐらいから。それが11月末になってやっと出来上がったわけです。 間にはmixiアプリ第3弾のコレオススメ！を挟んでいますが、それは予定にありませんでした。 本来マモノバスターが第3弾になるはずだったのです。 震災・・・そして方向を見失う 開発中の3月に震災が起こりました。この後急激にやる気を喪失していましたが、開発はだらだら続けていました。 進みは遅いものの、モックはそれなりに完成していました。フォントを１から作成しておりかなり気合が入っていたのがわかります。 開発中のRPG が、もともと完成していた内容をイメージし切れておらず、
LSH (Locality Sensitive Hashing) を用いた類似インスタンスペアの抽出 - mixi engineer blog
GW 中の長距離移動のために体調が優れない takahi-i です. 今回は巨大なデータをマイニングする一つの技術として LSH (Localtiy Sensitive Hashing) を紹介させていただきます. LSH とは LSH は大量なデータから類似度が高いインスタンスのペアを高速に抽出してくれるアルゴリズムです. ここでインスタンスはデータ集合の一つの要素を表します. たとえば扱うデータが E-コマースサイトの購買ログであれば, インスタンスは各ユーザですし, 画像データ集合であれば, インスタンスは個々の画像データです. LSH の詳しい解説については以下のサイトがあります. Wikipedia のエントリ LSH に関する論文がまとめられているページ 本稿ではE-コマースサイトの購買履歴データを基に LSH の機能について述べてゆきます. 以下のような E-コマースサイトの
思いついたら書くノート
思いついたらすぐに書けるオンラインノートブック手書きのメモ 思いついたことを手書きでメモができます。手書き以外にもテキスト入力や画像をはり付けることができます。 ほかの人と共有 URLを教えるだけでほかの人と共有することができます。パスワードで保護することもできます。 リアルタイムな共同編集 URLを教えるだけでほかの人とリアルタイムにドキュメントの共同編集ができます。 簡単に探せる ドキュメントは広大なデスクトップ空間に同じ縮尺で保管されます。置いた場所や色、形で簡単に探すことができます。 軽快なアプリケーション 動作が軽快なので小型のパソコンでも使えます。タッチパネル付きのノートパソコンをお勧めします。 mixiユーザーならすぐに使える mixi IDを持っていれば、面倒な登録作業なしですぐに使えます。 mixiでログイン Windows XP、Vista、7: Internet Ex
Tokyo Dystopiaの設計思想 - mixi engineer blog
夏本番に向けて海に行ける体作りに励まないといかんなーと思いつつも、ついついDSのスターフォックスで遊んでしまうmikioです。さて今回は、人知れずリリースされている検索エンジンTokyo Dystopiaの概要と設計思想について述べます。 Hyper Estraierとの違い Tokyo Dystopia（以下、TDと呼びます）は、新しい検索エンジンです。しかし、私が作ったもう一つの検索エンジンHyper Estraier（以下、HEと呼びます）の後継としては位置付けていません。 Hyper Estraierの製品コンセプトは、「検索システムの需要が生じる様々なシーンで手軽に導入できる」ことです。言い換えれば、「いわゆるシロウトの人でも、お高い商用システムを買えない個人や小組織でも、ちょっとの努力で自分の要求を満たすシステムを構築できる」ことです。そのために、様々なファイル形式に対応したテ
YAPC::Asia 2008の資料公開します - mixi engineer blog
開発部・システム運用グループの長野です。5月15日・16日に東工大大岡山キャンパスで開催されたPerlのカンファレンス、YAPC::Asia 2008に参加してきました。2日目にはセッションの時間を２つ頂いて、発表をしてきたのでその資料を公開します。 ■memcached in mixi [pdf] memcachedはmixiのシステムでも重要なアプリケーションの１つになります。発表ではmemcachedの基本から、弊社でのmemcachedの事例、そして分散方法の改善、TokyoTyrantの活用事例について説明させて頂きました。発表の最後時間が足りなくなり説明できなかったスライドも含まれていますのでご覧下さい。 memcachedについては、研究開発グループのtmaesakaによる記事が、またTokyoTyrantの活用事例については、こちらの記事にもありますので参考にして頂けたら幸
窓の杜 - 【NEWS】PCで再生した曲のタイトルを“mixi”へ送信できる「mixi station」が一般公開
大手ソーシャルネットワーキングサービス“mixi”を運営する（株）ミクシィは28日、PCで再生した曲情報をmixiへ送信できるソフト「mixi station」を、mixiのユーザーへ一般公開した。本ソフトは5月22日に初公開されたが、月額315円（税込み）の有償サービス“mixiプレミアム”に登録したユーザーのみ入手可能だった。本ソフトはWindows 2000/XPに対応し、mixiの会員は無償でダウンロードできる。なお、利用にはmixiのユーザーアカウントが必要で、同アカウントは既存ユーザーからの招待でのみ入手可能。 「mixi station」は、「Windows Media Player」あるいは「iTunes for Windows」で再生した曲情報を、mixiへ送信可能にするタスクトレイ常駐型ソフト。mixiのアカウント情報を登録後、いずれかのソフトで楽曲を再生すると、曲名と
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
