『アメーバで利用しているLuceneのMergePolicyについて』
こんにちは。アメーバで検索を担当しているYASUDAです。 今日は、アメーバで利用しているオープンソースの検索エンジンであるLucene/Solr の新機能の一つをご紹介します。いつもLucene/Solrの恩恵を受けているので、少しでも普及に繋がると嬉しいです。 紹介するのはLucene 3.2以降のバージョンで利用可能となるTieredMergePolicyです。 以下に、LuceneにおけるインデックスのSegment構成、MergePolicyの概要、TieredMergePolicyの特徴とアメーバの対応について記述します。 ■ Luceneにおける転置インデックスのSegment構成 Luceneの転置インデックスは、各々が独立したSegmentという単位で構成されており、ドキュメントの追加分をflushする際、新しい世代番号を付けたSegmentを生成していきます（図1）。
『株式会社ミクシィ様と合同勉強会を開催しました。』
こんにちわ Ameba Technology Laboratory (以下ATL) 所属、通称アキバ組 の hattori です。 秋葉原オフィスの話もしたいところですが…今回は、先週末の金曜日に弊社渋谷オフィスにて 株式会社ミクシィ 様と合同勉強会を初めて開催しましたので、その際の様子を報告したいと思います。 ■ 勉強会会場の様子 当日は業務時間後の開催にも関わらず、両社合わせて90名程度の参加者が集まりました。 上写真のように結構な規模。 勉強会のプログラムとしては「 前半戦 : 30分セッション × 4 」＋ 「 後半戦 : LT × 5 」という流れで、結構な長丁場でしたが、発表分野も多岐に渡り非常に内容の濃い勉強会でした。 以下では各セッションの発表内容を紹介していきたいと思います。 ( private な勉強会だった事もあり、全ての発表資料を公開する事はできませんがご了承くださ
『ドキュメント指向データベース「MongoDB」』
皆様、はじめまして。 アメーバ事業本部と言うところでサービス開発のプログラマをしている津田と申します。 先日、M.S.氏より、当エンジニアブログにて「技術に関して書くように」とお達しが下りました。 同じ技術者として、尊敬の気持ちを通り越し、畏怖の念すら抱いているM.S.氏に 「技術」に関して書けと言われるとは、もはや路頭に迷った子羊の気分です。 どうにか違う話題に出来ないかとごまかしてはみたものの、 やはり「技術」に関して書くようにと念を押されてしまいました。 路頭に迷っていても致し方ないので、今後サービスに利用する予定で検証を行っていた 「MongoDB」と言うドキュメント指向データベースに関して紹介させて頂きます。 ■MongoDBとは ここ数年注目を浴びている「NOSQL（NotOnlySQL）」のデータストアの一つ KVSとは異なり、スキーマレスではあるが、カラムに近い概念がある
『【研究課題レポート抜粋】各無償OSにおけるFSとMySQLの性能』
これは第1回研究課題(2008年前半期)におけるDaikoku氏のレポート「Linux，OpenSoralis，FreeBSDの各ファイルシステムにおけるMySQLの性能評価」からの抜粋です。当時の環境、状況における結果の有用性から、最優秀賞を受賞しました。 1. はじめに これまでは，Linux上でMySQLを利用することが多かったが，昨今，他のOSもオープン化や利便性向上，新しいファイルシステムへの取り組み等，注目すべき点がある．本稿では，IAサーバにLinux，OpenSolaris，FreeBSDをインストールし，MySQLを稼動させ特徴や性能の評価を行う． 2. ファイルシステムについて 現在のところ，アメーバで利用しているMySQLはext3を利用している．その他の主なファイルシステムとしては，下表のようなものがある． 本稿では，特に実用性が高いと思われるext3，UFS2（以
『MPJoin を使った類似データ抽出 ―アルゴリズムシリーズ 1―』
Hattori です。以前書いた記事の冒頭 で、”今度はシリーズで何かエントリを書きたい ! ”と軽いノリで一文を表記しておいたら、ホントにやることになりました。 弊社のエンジニア組織の特徴のひとつに、手を上げる・声を上げると、『じゃ、やってよ。』というノリで返ってくるという事が挙げられるのですが、今回もその例に漏れなったわけですね・・・。シクシク・・・。 というわけで、何を書こうかなぁって話しなんですが・・・。私の場合アルゴリズム系の話しかできそうにないので、毎回ポツポツとマイナーで極一部の人にしかウケないテーマを紹介して行こうと思います。 で、初回の今回は SimilarityJoin 関連のアルゴリズムで "MPJoin" というやつを紹介したいと思います。 ■ Similarity Join とは何ぞや？ まず最初に SimilarityJoin [1] の定義なんですが、ざっくり
『内定者バイトとして、サイバーエージェントで働いてみました(2)』
2011年卒でサイバーエージェントに内定した、大学4年生、Raitaです。 東京都の田舎の方にある大学のコンピュータサイエンス学部出身のオタク生です！ あまりの文才の無さと堅苦しい言葉使いが好き（できない）でないことから 以下のような箇条書き or 適当口調になってしまいましたが 2010年5月頃より始めた内定者アルバイトを経験して思ったことをノンフィクションで 書きましたので諦めずに読んで下さい！ サイバーエージェントで働いてみて感じた5つのこと 1.技術に対して貪欲な人しかいない！ 逆に言えば技術に貪欲じゃない人は生き残れない！そう感じました。 社員の方と話していると次から次へと聞いたことの無い技術名が飛び出していき （自分が無知なのもありますが・・・）それを調べていくだけでも凄く勉強になります。 2.思ったよりしっかりしてる？ Web系企業は時間とかにルーズなイメージがありましたが、
『内定者バイトとして、サイバーエージェントで働いてみました(１)』
2011年卒でサイバーエージェントに内定した、大学4年生、Nakazawaです。 東京都の西の方に位置する女子大で、数学科に所属し、ちょうど1月末で卒論発表を終えてほっとしています。 このエントリでは、2010年6月の終わりごろから始めた内定者アルバイトを経験しての、私なりの想いを書かせていただきます。 -*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-*-* 働いてみて一番強く感じていることは、「会社を向上させる」という強く熱い信念です。 どんなときも、社員の方々は、「こうしたらもっと良くなるかも」とか「こんなサービスを作りたい」、「こんなことが知りたい」といったやる気・熱い想いを常に秘めていて、仕事に対して生き生きと活動されていて、 そんな姿勢が大変印象的です。 それは、まだ入社したばかりの人であろうと、長く勤めている方だ
『SSDをキャッシュデバイスとして使用できるFlashcacheの紹介』
こんにちは。アメーバでインフラエンジニアをやっているSakamotoです。 今回はSSDをキャッシュデバイスとして使用できるFlashcacheについて書きたいとおもいます。 ■Flashcacheとは Facebookが開発したSSDをキャッシュ領域として使用し、 データを書きこむ際にHDDと同時にSSDに書き込み（ライトバック）を 行うことができるカーネルモジュールです。 データの読み出し時もSSDを参照するため高速になります。 Device-Mapper(論理/物理デバイスのマッピング機構)を使用しており、 OSからはキャッシュで使用する領域とデータとして使用する領域が 論理的に一つのスライスとして認識されます。 MySQLのInnoDB用に開発されたようですが、 上記のことから他アプリケーションでも通常のディスクとして キャッシュ領域を意識することなく使用することができます。 今回
『【研究レポート抜粋】P2P Replicated File Store の実装』
上記表の通り、仮想ノードにより偏りは少なくなったが、仮想ノードの導入により以下の問題が発生する。 ノード追加時のデータコピーの局所性物理ノードだけでコンシステントハッシングを行う場合、ノードを追加した際は新ノードが配置される場所の次に位置するノードからデータをコピーするだけでよいという特徴がある。 しかし仮想ノードを導入すると仮想的なノードが入り混じる形で配置されるので、結果的に全ての物理ノードにデータコピーが発生する。 そのため、P2P Replicated File Storeではオンラインでのノード追加機能を諦め、ノード追加時には再起動による再配置に絞ることにした。 耐障害性 レプリケーション P2P Replicated File Store では、ファイルの格納時にノード側でレプリケーションを自動的に行う。 上図のようにシーケンシャルにファイルレプリケーションを行う。 非同期での
『サーバの構築作業やシステム管理を自動化する「Chef」』
皆様、はじめまして。2010年9月に入社した並河です。 インフラ周りの話題を・・・ということで、今回はサーバの構築やシステム管理作業を楽にしてくれるツールである「Chef」について紹介します。 ■ Chefとは「Chef」は、サーバOSでのインストール・設定・各サービスの状態管理等、諸々のシステム構築や運用作業を自動化してくれるRuby製のシステム管理ツールで、オープンソースとして公開されており、既に、37signalsやEngine Yard、RightScaleなどでも使われており、利用実績も出始めています。 Ruby製のシステム管理ツールといえば「Puppet」を思い浮かべる方も多いのではないでしょうか。ChefはPuppetの競合ソフトウェアとなる位置付けで、出来ることだけでいうと、特別大きな差はないと感じていますが、Puppetは外部DSLとして設定を記載するのに対し、Chefは
『アメーバを支える自作サーバのいままでとこれから』
初めましての方は初めまして。知ってらっしゃる方はありがとうございます(※)。 アメーバでインフラエンジニアをしている桑野章弘と申します。id:akuwanoと言ったり、@kuwa_twでtwitterもやっています。 ※M.S.注...「桑野トラップ」でご存知の方、その節はどうも申し訳ありませんでした。 twitterではどうでもいいことかカレーの事をメインにつぶやいております。（って言ったら誰もフォローしませんよね、、、参加した勉強会の実況等もしています） 色々話したいことはあったりするのですが、今回は私の最初のエントリということもありまして「アメーバの自作サーバのこれまでとこれから」についてお話しさせていただければと思います。 え？キャッチーだからとかじゃ、、、ないですよ？ ■ミルフィーユサーバの紹介 、、、それでは、気を取り直して。 まず、現在アメーバで主に使われている自作サーバと言
mysqlコマンドをより便利に安全にするための小粒なTIPS集｜サイバーエージェント 公式エンジニアブログ
初めまして。2010年の3月に入社した oinume です。新年1月からウィルス性胃腸炎に罹りながらもなんとかこのエントリーを書いています。今回は、mysqlコマンドに関する自分が今まで学んだ＆教えてもらった細かい実践的なTIPSを紹介します。小粒ですが何かの役に立てば幸いです。 edit (¥e)コマンド mysqlプロンプトにいながら任意のエディタでSQLが編集できちゃいます。具体的には、mysqlコマンドでプロンプト待ちの状態で mysql> edit のように edit または ¥e と入力すると、環境変数EDITORで設定してあるエディタが立ち上がりSQLが編集可能になります。編集が終わったらエディタを終了して ; とやればSQLが実行されます。viなどターミナルで動くエディタに慣れている人は長いSQLを編集する時に重宝する機能でしょう。この技は前職の同僚に教えてもらって、以降便
『明けましておめでとうございます。』
新年、明けましておめでとうございます、M.S.です。 ここ１０数年は、毎年元日を迎えるたびに、閉塞感のなく、常に変革する業界で働けることに喜びを感じています。われわれの業界は現在、２０数年前、雨後のたけのこのようにゲームソフトハウスが出来て、その後統廃合を繰り返したゲーム業界の状況に酷似していますが、われわれの業界が、現在のゲームと同じく、世界と比肩するレベルになるかどうかは、向こう数年で明らかになるでしょう。 この(日本の、狭い)BtoC業界では、現在エンジニア転職市場でのミニバブルが起きているため、最近はよく「○○の会社が待遇がいい」「いや、こっちのほうが...」と、個人での待遇に一喜一憂する人を見かける事が特に多くなりましたが、そもそも企業家ではなくサラリーマンエンジニア(フリーを含む)として、日本(の企業)で働くことを選んでいる時点で、金銭的な待遇などたかが知れています。で、あるな
『ネットワーク基盤の変遷の歴史』
こんにちは。アメーバのネットワークアーキテクト、責任者のいづるです。 本当は子育てについて書きたいのですが、何でもお見通しのM.S氏から 「育児の話題は禁止だから」 と、前もって眉間に釘を刺されたので、渋々、子供と嫁とロックと哲学と青い空と広い海の次に好きな、ネットワークの話でも書いてみようと思います。 とは言え、ネットワーク機器のような、比較的単純なパターンマッチングの処理をひたすら高速にぶん回す世界では、CPUの処理速度が飛躍的に高まった現在でも、まだまだASICやFPGAなどのハードコーディングされたチップ処理が主流でございまして、、、つまるところ、ちょっと足を深く踏み入れた濃ゆいところはNDAベースのやりとりになったり、セキュリティ的に開示できなかったりと、本当に面白いところは大人として書けなかったりもします。 そんなわけで、何を書こうか悩んだ結果、アメーバというサービスを支える、
外国人から見た日本のエンジニアと職場｜サイバーエージェント 公式エンジニアブログ
皆さんこんにちは。新規開発局システムディベロップメント(sysdev)グループのYu.です。 サイバーエージェント新規開発局には何人かの韓国のエンジニアがいて、その方たちと日本に来て感じたことなどについて話す機会がありました。今回は、ブログを書くことになったので、これについて私が共感したことを個人的な感想としていくつか気軽に書いてみようかと思います。 ■日本での飲み会 このブログを書くにあたって、他の韓国人エンジニアの人と話をしましたが、P.さんからは飲み会で無理に飲ませる雰囲気がないので気楽に参加できるし、楽しむことが出来ていいとの話がありました。 これは同じ話を他の知り合いの韓国人からもよく聞きますし、お酒が弱い私も感じていることです。 今考えてみると飲み会というのはストレス解消法の１つとしての傾向が強かったので、昔は現実から少しでも離れた開放感を感じるために自分も無理して飲み、他の人
『アメーバピグのソケットサーバーたち』
はじめまして！サイバーエージェント 新規開発局でアメーバピグ（以下、ピグ）の主にバックエンド部分を約１年間担当しているKosakaです。 今回は、ピグのクライアントFlashアプリケーション（以下、Flash）が、どのようにサーバーと接続されているかをザックリ見ていきたいと思います。 ピグのFlashは、サーバーとソケット通信を使って様々な情報のやりとりをしています。Flashが直接ソケット通信を行うサーバーには、info-serverと呼ばれる、ログイン状態を管理したり、ユーザー情報を主に処理するものと、chat-serverと呼ばれる、ユーザーの各エリアでの会話や行動を主に処理するものの2種類があります。それぞれが数十台から成るサーバー群で構成されています。 ログイン時にはまず数十台あるinfo-server群のうち1台に接続されます。このinfo-serverとの接続はログアウトする
『新規開発局エンジニア全員にAndroid携帯を配布』
局長の長瀬がやってくれました。要望提出から実施までの展開が速過ぎて、もはや私もブログでの告知が遅れる状態ですが。 http://www.cyberagent.co.jp/news/press/2010/1110_1.html 社内電話のオープンIP-PBX化プロジェクトは遅れますが、どっちにしろしばらく手がける余裕もなかったし、System 7.5のころから某社のハードウェアを毛嫌いしているM.S.としては、iPhoneにならずに心底、ほっとしたところです。社内でも、スマートフォンにより力をいれていくというメッセージが発せられたところですし、これからソフト開発に、コミュニケーション強化に、目いっぱい利用してきましょう。 私は……とりあえず、これあるから、配給うけなくてもいいですけど。 れっきとしたAndroid(利用可能)携帯。
『研究課題レポート制度』
こんにちは、研究課題レポート実行委員長のT.SことTossyです。 今回は、新規開発局の技術的な取り組みの一つである研究課題レポート制度について紹介させていただきます。 新規開発局ではエンジニアの行動規範として以下のルールがあります。 新しいサービス、技術に取り組まない姿勢は『悪』 自由な代わりに自己管理を徹底 自分の設計、開発には責任を持つ 新人教育、採用に力を入れる 主体的な問題提起と解決 このルールの1つ目にあるように、エンジニアが新しい技術、または皆が楽しめるサービスを自ら生み出す挑戦を続けない限り、エンジニアの価値は、時間とともに徐々に失われてしまうという思いから、研究課題レポート制度が導入されました。 研究課題レポート 研究課題レポート制度の目的としては以下の3点が挙げられます。 技術者としての成長の促進 技術者間のナレッジ・ノウハウのシェア 外部への技術アピール 研究課題レポ
『第2回エンジニア全体MTG』
本ブログ読者の皆様 こんにちは、2009年度入社新卒2年目の菊地優輔と申します。 今回は先週10/22に開催され、半年に一度行われている局のエンジニア全体MTGについて、進行管理を勤めさせていただいた関係で、私が報告させていただきます。今回で第2回目となるエンジニア全体MTGですが、エンジニア全体MTG運営委員(全員、エンジニアがメンバー)の下、今回のMTGでは2部構成となりました。 第1部では、 ・エンジニアインターンの報告 ・M.S氏からのプレゼンテーション ・研究課題レポート発表 ・スピーカーセッション 第2部では、懇親会 という形式で行われました。 第1部の研究レポート発表に関しましては、今後運用責任者のT.S氏からエントリーがあるかと思いますので、ここでは、それ以外のコンテンツについて、写真を交えながら簡単にご紹介したいと思います。 こちらが、第1部の様子です。 技術者採用強化に
『女性エンジニアが働きやすい職場』
はじめまして。新規開発局インフラテクノロジーグループで、主にサーバー管理をしている、おくら、です。 今回のエントリでは、【女性エンジニアが働きやすい職場】としてのサイバーエージェントをご紹介させていただこうと思います。 私は、この会社に中途入社して５年目になります。入社当時は、女性インフラエンジニアは私１人でしたが、現在ではエンジニア全体の４分の１にまで増えました（この割合は、同業の他社と比べても多いのではないでしょうか？） 私が入社した当時は、数多くのサービスがものすごいスピードでリリースされていて、リリースされるサービス数とスピードにエンジニアの絶対数が足りず、また、連日の障害対応もあって男女関係なく、深夜まで作業していました（徹夜での作業も普通にありました）。世間様からは、うちのビルは『不夜城』なんて呼ばれていたんですよ。当時のエンジニアは全員、こんな風に【身を削って、プライベートを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
