タグ

ブックマーク / ameblo.jp/principia-ca (8)

  • 『アメーバピグにおけるDB構成&対応記』

    2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成 まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな

    『アメーバピグにおけるDB構成&対応記』
    sh2
    sh2 2014/05/22
    DBCPのtimeBetweenEvictionRunsMillisでフェイルオーバーを素早く検知する。100GBytesを超えるテーブルをpt-online-schema-changeで再編成している、再編成時のI/Oはかなり出ているがioDriveなので耐えられる
  • 『redis、それは危険なほどのスピード』

    どうも、プラットフォームDivでエンジニアをやっている Wataru です。 最近3人目の子供が産まれて、産後自宅勤務をさせてくれた弊社はとてもいい会社だと思います。出産予定のあるエンジニアのかたは是非弊社に転職を。 さて、今回はRedisの紹介をさせて頂きたいと思います。 Redisってすごくマイナーなわけではないのですが、めちゃくちゃ便利なのにあまり注目されていないなーという印象があるので、これを機会に是非使ってみてもらえると嬉しいです。 Redisって何?Redisとは「remote dictionary server」から名前が付けられたオープンソースのkey-valueデータストアです。 MemcacheDB等のKVSとの最大の違いは、格納するバリューがデータ構造というところです。 つまり、リスト・セット・ハッシュなどのデータ構造で格納できるのでバリューに対してアトミックな操作が

    『redis、それは危険なほどのスピード』
    sh2
    sh2 2012/04/05
    ブックマークコメントでマサカリが飛び交っていると聞いて
  • 『OSキャッシュの便利な利用方法』

    アメーバ事業部スマートフォンゲームDiv兼ソーシャルゲームDivの岩と申します。 アメーバのソーシャルゲーム開発を担当しているエンジニアです。 今回は、アメーバのソーシャルゲームを開発する際によく使われる、WEBサーバ上でのOSキャッシュを、Java、Springを利用して実装する便利な方法をご紹介いたします。 またここでのOSキャッシュとは、JavaのJVM上でのヒープメモリにsingletonで情報を格納することとします。 ■まず何をキャッシュしたいのか? 下記のデータを対象にします。 ・DB上のマスター情報で参照のみのデータ よくあるマスタデータです。毎回DB上にSQLを投げてもいいのですが、結果は同じになります。 システム側での情報の更新も行いません。キャッシュしたいですよね!! よく使うキャッシュは、下記の3点です。 ・MySQLのクエリーキャッシュ ・Memcached ・

    『OSキャッシュの便利な利用方法』
    sh2
    sh2 2012/03/01
    オブジェクトキャッシュと呼んだ方が自然な気がする
  • 『新年、明けましておめでとうございます。』

    皆様、新年明けましておめでとうございます、佐藤真人です。 年もどうぞ、よろしくお願いいたします。 昨年はクリスマスや年末、賑わう時期に甚大な障害を発生させ、ユーザーの皆様には大変ご迷惑をおかけいたしました、申し訳ありません。 エンジニアの飽くなき技術への追及とスキルアップ環境の場の提供、セキュリティ、品質の向上を同時に成長させていくことは困難ではありますが、引き続き、少なくとも日一の『エンジニアが働きやすい職場』と『ネットサービスの開発』を目指して、精進していきたいと思っています。 どこかの取材でもお伝えしたのですが、昨年は私の想定寿命のほぼ折り返し地点ということもあり、居住場所、時間の使い方、所持物、今後60才までの人生計画や実施すべき項目※などをすべて総さらいしました。同時に2-3ヶ月ぐらいかけて、アメーバやCADCのエンジニア/クリエイター組織の過去、現状を振り返り、今後のサイバ

    『新年、明けましておめでとうございます。』
    sh2
    sh2 2012/01/01
    CTOって大変そうだなあ
  • 『MariaDB』

    はじめまして。サイバーエージェントインフラエンジニアをしていますSです。 よろしくお願いします。 現在、弊社ではMySQLの使用が多いのですが、 別のオープンソース・データベースとしてMariaDBを触ってみました。 MariaDBMySQLからフォークして立ち上げられたプロジェクトで、 インストール手順などはMySQLとほぼ一緒です。 MySQLを使用している方は何の違和感もなく導入できると思います。 その中で、今回は『MariaDB』の拡張機能や新機能を見てみました。 Storege Engine MySQLに含まれる(MyISAM、Blackhole、CVS、Memory、and Archive storage engine)のもの以外に以下をサポートしている。 ・Aria ・・・・・・・・・ MyISAMベースのMariaDB用ストレージエンジン ・PBXT ・・・・・・・ P

    『MariaDB』
    sh2
    sh2 2011/09/08
    MySQLは実行計画をキャッシュせずに都度作るので、こういったクエリ最適化を前段に挟むと徐々に何ともないクエリが重くなっていくのではないかと懸念している
  • 『SSDをキャッシュデバイスとして使用できるFlashcacheの紹介』

    こんにちは。アメーバでインフラエンジニアをやっているSakamotoです。 今回はSSDをキャッシュデバイスとして使用できるFlashcacheについて書きたいとおもいます。 ■Flashcacheとは Facebookが開発したSSDをキャッシュ領域として使用し、 データを書きこむ際にHDDと同時にSSDに書き込み(ライトバック)を 行うことができるカーネルモジュールです。 データの読み出し時もSSDを参照するため高速になります。 Device-Mapper(論理/物理デバイスのマッピング機構)を使用しており、 OSからはキャッシュで使用する領域とデータとして使用する領域が 論理的に一つのスライスとして認識されます。 MySQLのInnoDB用に開発されたようですが、 上記のことから他アプリケーションでも通常のディスクとして キャッシュ領域を意識することなく使用することができます。 今回

    『SSDをキャッシュデバイスとして使用できるFlashcacheの紹介』
    sh2
    sh2 2011/02/02
    「データがSSDにすべて乗っている場合でも~HDDにもアクセスしている」CentOS 5.4なら念のためnoatimeを試してみてほしいところ
  • mysqlコマンドをより便利に安全にするための小粒なTIPS集|サイバーエージェント 公式エンジニアブログ

    初めまして。2010年の3月に入社した oinume です。新年1月からウィルス性胃腸炎に罹りながらもなんとかこのエントリーを書いています。今回は、mysqlコマンドに関する自分が今まで学んだ&教えてもらった細かい実践的なTIPSを紹介します。小粒ですが何かの役に立てば幸いです。 edit (¥e)コマンド mysqlプロンプトにいながら任意のエディタでSQLが編集できちゃいます。具体的には、mysqlコマンドでプロンプト待ちの状態で mysql> edit のように edit または ¥e と入力すると、環境変数EDITORで設定してあるエディタが立ち上がりSQLが編集可能になります。編集が終わったらエディタを終了して ; とやればSQLが実行されます。viなどターミナルで動くエディタに慣れている人は長いSQLを編集する時に重宝する機能でしょう。この技は前職の同僚に教えてもらって、以降便

    mysqlコマンドをより便利に安全にするための小粒なTIPS集|サイバーエージェント 公式エンジニアブログ
    sh2
    sh2 2011/01/19
    『「テスト環境だと思って豪快なクエリを投げたら実は本番環境だった」ということがよくあります』いやいやいやいや
  • 『アメーバを支える自作サーバのいままでとこれから』

    初めましての方は初めまして。知ってらっしゃる方はありがとうございます(※)。 アメーバでインフラエンジニアをしている桑野章弘と申します。id:akuwanoと言ったり、@kuwa_twでtwitterもやっています。 ※M.S.注...「桑野トラップ」でご存知の方、その節はどうも申し訳ありませんでした。 twitterではどうでもいいことかカレーの事をメインにつぶやいております。(って言ったら誰もフォローしませんよね、、、参加した勉強会の実況等もしています) 色々話したいことはあったりするのですが、今回は私の最初のエントリということもありまして「アメーバの自作サーバのこれまでとこれから」についてお話しさせていただければと思います。 え?キャッチーだからとかじゃ、、、ないですよ? ■ミルフィーユサーバの紹介 、、、それでは、気を取り直して。 まず、現在アメーバで主に使われている自作サーバと言

    『アメーバを支える自作サーバのいままでとこれから』
    sh2
    sh2 2011/01/19
    Core 2 Quad Q9550s(TDP 65W)後継はCore i5-2500T(45W)だと思う。ただリテール販売されていないので調達が難しいならCore i5-2400S(65W)かなあ
  • 1