『Amebaのログ解析基盤のワークフロースケジューラー』
技術本部でログ解析基盤を担当している善明です。 Amebaのログ解析基盤Patriot向けに開発したワークフロースケジューラーをオープンソースとして公開したので、その紹介をさせて頂きたいと思います。 開発の背景Patriotのようなログ解析基盤では、データの取り込み、変換、集計という一連の処理の流れ（ワークフロー）を管理する必要があります。 これがないと、例えば、必要なデータがそろってないのに集計処理が実行され誤った数字がレポーティングされる、といった事態を引き起こしてしまいます。 PatriotではAmebaの様々なサービスのデータを扱っており、それを処理するためのワークフローは大規模で複雑なものになります。 また、例えば、ブログとピグの両方を使っているユーザ数などの複数のサービスをまたぐ集計も行っているのでサービス毎にワークフローを分割して管理するのは難しく、継続率や累計利用日数など処
『fluentd + Elasticsearch + kibanaでCassandraモニタリング』
はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし
『Amebaの開発環境について』
コンニチハ たぶんサーバサイドエンジニアの@pnskです。 約１年前に設立した、「Ameba Dev. Center」という 「Amebaの開発環境周りに関わる事であれば、何でもやる」というスタンスで いつか世の中に出しても恥ずかしくない開発環境とその文化をAmebaに根付けられたらなぁと野望を持った組織に所属しています。 さてはて。 今回は、エンジニアブログ執筆の機会をいただいたので、Ameba開発環境についてこしゃべりをしようと思います。 誰得情報ですが・・ Amebaの開発環境ですが、この1年でちょっぴり変わりました。 （誰も気づいていないかもしれないですけど・・・） topicでいうと、GitHubEnterprise、JIRA、HipChatが導入されました。 現在は ・ドキュメント管理はConfluence ・課題管理はJIRA、アジャイル開発補助ツールとしてJIRA Agil
『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』
(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo
『QCon SF参加レポート（前編）〜Twitter/Facebook/Google〜』
QCon SF参加レポート（前編）〜Twitter/Facebook/Google〜 | サイバーエージェント 公式エンジニアブログ
『第６回テックヒルズでアメーバピグにおけるJenkinsの活用例を発表しました。』
はじめまして。 アメーバ事業本部でアメーバピグの開発/運用を担当しております、丸山と申します。 去る6月18日、CROOZ株式会社主催の勉強会テックヒルズにて第６回はJenkinsをテーマにして開催されました。そこでアメーバピグにおけるJenkinsの活用事例について登壇の機会を頂きました。 当日は、すでにローンチして2年以上経った状態でのアメーバピグにおいて、 * コード品質管理 * バッチ制御 * オペレーションの自動化 の3点をJenkinsを利用して如何に実現してきたかを実例を交えて話させていただきました。 が、あまりにも内容が赤裸々すぎたので後で会社から怒られないか若干心配です。 なお、発表時の資料をslideshareに上げておりますので、これからJenkinsを導入する方にとってで少しでも参考になれば幸いです。
『cassandra運用監視小ネタ集』
はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
『WebSocketで監視もリアルタイムに』
こんばんは。社内ニートの佐野と申します。所属はいちおAmebaのインフラチームです。Twitterもやっていますがフォローする価値はないです。つぶやいているのはメシと酒の話と下ネタだけです。 最近、組織改編とかもろもろありましてこのたびは雑用からニートになりました:(;ﾞﾟ'ωﾟ'): あまり目立たないように生きてたんですが、何気にこのブログへの登場は3回目になります...。前回は2012年12月に「QCon San Francisco 2012の参加レポ」を書かせていただきました。その前は2012年5月に「Virident FlashMAXの検証」として名前だけ登場しました。なんか、ニートだけど会社に貢献してる気がしてきた(^ρ^) そんなわけで以前WebSocketを使った監視ツールもどきを作ったので、それについての簡単な説明と、各種技術要素(Python, Jolokia)のTips
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
