『Amebaのログ解析基盤のワークフロースケジューラー』
技術本部でログ解析基盤を担当している善明です。 Amebaのログ解析基盤Patriot向けに開発したワークフロースケジューラーをオープンソースとして公開したので、その紹介をさせて頂きたいと思います。 開発の背景Patriotのようなログ解析基盤では、データの取り込み、変換、集計という一連の処理の流れ（ワークフロー）を管理する必要があります。 これがないと、例えば、必要なデータがそろってないのに集計処理が実行され誤った数字がレポーティングされる、といった事態を引き起こしてしまいます。 PatriotではAmebaの様々なサービスのデータを扱っており、それを処理するためのワークフローは大規模で複雑なものになります。 また、例えば、ブログとピグの両方を使っているユーザ数などの複数のサービスをまたぐ集計も行っているのでサービス毎にワークフローを分割して管理するのは難しく、継続率や累計利用日数など処
『fluentd + Elasticsearch + kibanaでCassandraモニタリング』
はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし
『Redisとハサミは使いよう』
ロック機能のポイントはSETNXです。 指定したキーがなかった場合は値をセットして1を返し、 既に存在する場合は何もせず0が返ってきます。 つまり、1はロック成功、0は他からロック済みと判断することができます。 それでは実装に進みましょう。 まずロックのインタフェースを用意します。 public interface Lock { public void lock() throws TimeoutException; public void unlock(); } 最低限のロックとアンロックを用意しました。 続いて中身を実装します。 public class RedisLock implements Lock { private static final String LOCK_KEY_PREFIX = "lock:"; private static final int LOCK_EXPIR
『redisをsentinelとAliasIPを利用して冗長化』
どうも初めまして2012年度入社の社内ニート予備軍editnukiです。 普段は引きこもって WebSocketで監視もリアルタイムに を書いた社内ニートさんの下でコミュニティサービスのインフラをやっております。 運用面以外ではrpmパッケージ作ったりしています。 さて、本題ですがコミュニティサービスでもredisを利用したいという声が最近多くなりいくつかのサービスではredisを導入しているのですがマスターとなるredisが死ぬと更新系が一切できなくなるため、マスターが死んだ時はアプリの向き先をスレーブに変更しなければなりません。 今までのredisの構成としては下図の様な構成でした。 redisの2.6系がリリースされた時に「sentinel」というフェイルオーバーの機能が追加されました。 詳細は公式ドキュメントをご参照ください。 フェイルオーバーしたとしてもアプリ側にマスターが切り替
『ピグ麻雀のアルゴリズム』
皆様初めまして。 12年度新卒のぱっとしない方のハカマタです。 アメーバピグの制作部署で、サーバサイドエンジニアとして陰ながら頑張っています。 さて、突然の告白ですが最近私は仕事中にアメーバピグで麻雀をしています。 しかし私は今まで一度たりとも叱られたことがありません。 それは、私が叱責に耐えうるメンタルが無いと先輩方に諦められているからでしょうか？ 違います、私は麻雀ゲームの制作者メンバーで、デバッグという名目で、ピグで麻雀をしているためです。 本日の記事は、ピグでリリースしたピグ麻雀についてお話します。 ピグ麻雀はエンジニア・ディベロッパー・デザイナー各1名で制作したもので、 私はエンジニアとして参加しました。 サイバーエージェントのクリエイターブログに過去の記事として、デザイナーの鈴木さんの記事『ピグ麻雀におけるデザインのポイント』と、ディベロッパーの鈴木さんの記事『ピグ麻雀がリリー
| サイバーエージェント 公式エンジニアブログ
rymnw73さん ボロボロ会社から入社3か月でトップセールスマン！？ 営業スキルアップ講座のブログmikutan67さん 未来のブログatsnngsさん ngsのブログrapoemさん ٩(๑❛ᴗ❛๑)doaradoara2さん いっちゃんのブログ7x7x7xさん ゆかいな４つ子の ゆかいな４コマまんがshinhachi11さん ShinLifepengencangpayudaraさん pengencangpayudaraのブログpowder-privateさん 水素吸入・リフトアップフェイシャルなら日本橋の「powder」へsh-shinichiさん リーマン行政書士の日記。〜ゆるい日常編〜
『（前半)OSCON 2013(Open Source Convention)行ってきた』
こんにちわ。 今回は7月にオレゴン州ポートランドで行われたOSCON 2013(Open Source Convention)についてレポートしたいと思います。 参加したのはアプリケーションエンジニア4名です。
『HBaseCon2013参加レポート（後編）』
General Sessionの中で出てきたHBaseエコシステムに触れると、今年のHBaseConのセッションのいくつかを紹介できるのでまずHBaseエコシステムについて書きます。 Hadoopエコシステムの1つとしてHBaseがあるわけですが、そのHBase自身のエコシステムも発展してきています。まず、SQLライクなクエリでHBaseにアクセスできるオープンソースプロダクトとして、ClouderaのImpala、SalesForceのPhoenix、Apache Drillといったものがあります。今回それぞれ本カンファレンスでセッションがありました。 Impala はデータサイエンティストがHadoop上のデータをインタラクティブに解析できることを目指したクエリエンジンで、HBase・HDFSの両方をサポートしています。高速に動作するようC++で開発されており、クエリがHiveQLがベ
『HBaseCon2013参加レポート（前編）』
2013年6月13日に開催されたHBaseCon2013に参加してきましたのでレポートさせていただきます。HBaseConは、Apache HBaseの貢献者、開発者、管理者およびユーザのためのコミュニティイベントで、年1回開催されています。 今回はサンフランシスコのマリオット・マーキースホテルが会場で、講演は4トラック構成になっており、参加者は興味のあるものを選択して聴講していきます。 それでは、早速セッションの紹介に移りたいと思います。私は、Facebook、Yahooの中の人のセッションを紹介します。長文ではありますが、とても興味深い内容だと思いますので、是非最後までご覧ください。 HBase use cases at Facebook Liyin Tang, Software Engineer, Facebook & HBase PMC Member Facebookは、大規模なデ
『cassandra運用監視小ネタ集』
はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
『QCon SF参加レポート（後編）』
こんばんは。Amebaで雑用をしている佐野と申します。 前編を執筆した寺本に引き続き、QCon San Francisco 2012の参加レポート後編を執筆させていただきます。 3日間で20セッション近く聞いたのですが、特に印象的だったものについて概要をレポートさせていただきます。 1. Architectural patterns for high availability → Netflixのアーキテクチャについて。 NetflixはWebでDVDのレンタルを提供するサービスを展開していて、 DVDはストリーミングでも視聴可能。 そのトラフィックは北米でトップ(モバイルのトラフィックは除く)。 下りトラフィックは、北米の下りトラフィックの33%を占める(ちなみにyoutubeは14.8%)。 そのシステムの中核はAWSとCassandraでした。 2. Scaling Pinteres
『QCon SF参加レポート（前編）〜Twitter/Facebook/Google〜』
QCon SF参加レポート（前編）〜Twitter/Facebook/Google〜 | サイバーエージェント 公式エンジニアブログ
『Ruby on RailsとApache Solrで構築するドキュメント全文検索システムの開発』
はじめまして、アプリケーションエンジニアをしています、たかぎわ (@shun_tak) と申します。 2013年度4月入社予定の内定者で、現在はアルバイトとして週に2日間ほど勤務しております。 今回のエントリーでは、私が業務で開発した社内システムについて紹介しようと思います。 社内システム Tech Search を開発・リリースしました。Tech Searchのリリースにより、社内に蓄積された知識資産の活用が大幅に改善されました。 Tech Searchとは、弊社の研究レポート制度を利用して執筆されたテックレポートの全ファイル・全文章を横断的に検索するための社内システムで、Ruby on RailsとApache Solrを利用して実現しました。全文検索だけでなく絞り込み検索も実装し、UIにも手を抜かず、ユーザーに使いやすいシステムを目指して開発しました。 Tech Searchがリリー
『OSSのカスタマイズと、実環境への反映をGitで行う運用について考えてみる』
はじめまして、2011年9月に入社した 前田 です。アメーバのサービス向けのサーバや、開発環境向けサーバを提供するプライベートクラウドを運用・構築を行うクラウドチームで仕事をしています。このエンジニアブログにも何度か登場している”Maeda”さんと同じチームに所属しているので、社内では”こうへい”と呼ばれています。前田姓は珍しくありませんが、個人的には今まで身近なところで被ることはあまりなかったので、家族以外から日常的にファーストネームで呼ばれるのは結構新鮮な体験です。 さて、今回のブログは、技術ネタをと依頼されたので、入社してからやっている亊や入社前にやってきたことに絡めた話を紹介したいと思います。このエンジニアブログを読まれている皆さんは普段オープンソースソフトウェアを使って、バグがあったり機能が足りなかったら、パッチをモリモリ書いて、Upstream(開発元)にフィードバックされてい
『node.js + okuyama について』
はじめまして ブログDivでアプリエンジニアをしている川田です。 今回はV8エンジン上で動作するサーバサイドJavaScriptのnode.jsと 日本製の分散キーバリューストアであるokuyamaについての記事を書かせていただきます。 ■ node.jsとokuyamaの主な特徴 ▼ okuyama ・タグ機能 … データにタグ情報を付加することが可能で、タグに紐づいたデータの検索・取得が可能 ・javaで実装されている … 100% javaで実装されているのでクロスプラットフォームで実行可能 ・データの永続化をサポート … データの永続化・非永続化を選択可能で、永続化は特性を選ぶことも可能。 ・構成要素はすべて冗長化可能 … okuyamaを構成※1するマスターノード、データノード共に冗長化可能。またデータノードはレプリケーション機能も有している。 など。 ※1 okuyamaの構成
『MongoDBを用いたモバイルゲーム開発について』
こんにちは。アメーバ事業本部のブログDivでエンジニアをしている@ygenkiと申します。 今回は、2010年12月末から2011年3月にかけて開発したモバイルソーシャルゲーム(以下、モバイルゲーム)で導入したMongoDBの話をさせていただきたいと思います。 MongoDBについては、すでに当エンジニアブログで津田氏によって紹介されております。 ドキュメント指向データベース「MongoDB」 ■MongoDBを使った理由 今回のゲームは私にとって2つめのモバイルゲーム開発になりました。 前回の開発ではMySQLを使用しておりましたが、モバイルゲーム開発の以下の特徴からMongoDBを採用いたしました。 ○開発効率の向上 モバイルゲーム開発は短期間での開発が求められ、ゲームという特性上仕様変更が頻繁に行われます。スキーマレスであるMongoDBはデータ構造の変更に柔軟に対応する事ができると
『【研究課題レポート抜粋】パブリッククラウドサービスAmazon EC2の性能検証レポート』
※これはをシステムエンジニアのNamikawaさんが優秀賞を受賞した第6回研究課題レポート(2011年3月提出)からの抜粋です。 はじめに 大手パブリッククラウドサービスの1つにAmazon Web Servicesがある。Amazon Web Servicesは、仮想サーバを1時間単位課金の従量制で利用できるAmazon EC2や、高信頼性のオンラインストレージを1GB単位からの従量制課金で利用できるAmazon S3などを中心とした、IaaS(Infrastructure as a Service)の代表格である。 現在も定期的に続々と新しいサービスや機能を発表し、Amazon Web Servicesは日本でも益々注目を集める存在である。本稿では、このAmazon Web Servicesの中でも、特に仮想サーバ部分であるAmazon EC2について、主に性能に関する調査結果を記す。
『GREE × CyberAgent 合同勉強会レポート』
みなさまはじめまして！ アメーバ事業本部スマートフォンDivエンジニアで１０年入社の紫竹佑騎(twitter: @79yuuki)と申します！！ 今回は７月２７日に開催したGREE x CA 合同勉強会での内容についてレポートさせていただきます。 尚、本エントリはサイバーエージェント公式エンジニアブログ初？のGREEエンジニアブログとの相互リンクになっております。 （こちら→GREE Engineers' Blog | グリーエンジニアブログ） 弊社側のプレゼン資料はこちらのブログで紹介し、GREE様(以下敬称略)のプレゼン資料はGREEエンジニアブログでの掲載していますので合わせて読んでいただければと思います。 会場はGREE株式会社本社の部屋をお借りしました。 両社から８０名前後の参加者が集まり、各社20分セッション × 2 と LT × 4 を行いました。 （その後懇親会代わりにre
『MariaDB』
はじめまして。サイバーエージェントでインフラエンジニアをしていますSです。 よろしくお願いします。 現在、弊社ではMySQLの使用が多いのですが、 別のオープンソース・データベースとしてMariaDBを触ってみました。 MariaDBはMySQLからフォークして立ち上げられたプロジェクトで、 インストール手順などはMySQLとほぼ一緒です。 MySQLを使用している方は何の違和感もなく導入できると思います。 その中で、今回は『MariaDB』の拡張機能や新機能を見てみました。 Storege Engine MySQLに含まれる（MyISAM、Blackhole、CVS、Memory、and Archive storage engine）のもの以外に以下をサポートしている。 ・Aria ･････････ MyISAMベースのMariaDB用ストレージエンジン ・PBXT ･･･････ P
『【研究課題レポート】MySQL ストレージエンジン性能比較』
１．３ 今回の検証に利用するサービス ブログ(mobile)のログイン管理用とスキン情報のデータベースを利用 １．４ 使用するDBの詳細情報 DB構成 Master：1台 Slave：3台 ブログモバイルで2台 その他サービスで1台 各データ件数 モバイル登録ユーザー及びログイン情報：役2,000,000件 総スキン数：155件 スキン適用ユーザ数：約1,100,000会員 ピークタイム時のSQL発行回数(Slave1台あたりの発行回数) ブログモバイルのみ Select：58,000/分程度 ブログモバイル以外のサービス Select：20,000/分程度 以下は共通 Insert：60/分程度 Update：900/分程度 Delete：10/分程度 １．５ 使用するベンチマークツール super-smack-1.3 ベンチマークで使用するSQLの内容ログイン状態チェックSQL 1件問
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
