こんにちは！サイバーエジェント アドテクスタジオ新卒の黒崎 (@kuro_m88) と申します。 Dynalystというチームに配属され、一人前のサーバサイドエンジニアになるべく修行をしています(｀・ω・´)最近はScalaを書くことが多くて、Sparkで大量のログを集計するバッチの開発をしています。ほぼ100%AWSで構成されているプロダクトなので業務でネットワークの運用もしませんし、構成の事を意識する事はあまりありません。 そんな中でネットワークの事が知りたくなったのは、広告の配信に関わる開発をしてみて、広告の配信の仕組み自体も技術的にめちゃくちゃ面白いんですが、それと同時に自分たちのサーバから広告が表示される端末までの間がどうなってるのか気になってしまったのがきっかけです。学んでいくにはやはり手を動かすのが一番ですよねo(((^^)))o

サーバーサイドエンジニアの田中です。ずっとソーシャルゲームやってましたが最近動画系に異動になりました。 re:Invent2015に参加してきましたが、自分が参加したセッションの中ではAPI GateWay / LambdaといったAWSサービスを使ったマイクロサービス、サーバーレスに関するセッションが多かったかなと思いますので、そのあたりをピックアップして書いていきたいと思います。 ちょうどAPI Gatewayの東京リージョンでの利用開始やLambdaの新機能発表もこのタイミングであり、Scheduled Eventなど嬉しい機能もあって、おお！と思ったのを覚えています。 参加セッション The Serverless Company Using AWS Lambda / AWS Lambdaを使用しているサーバーのない企業(YouTube/SlideShare) インスタンス -> コ

Ameba統括本部CTOなICHIROです． 数年どころじゃなくて5年ぶりくらいに，このブログでのエントリを書いています． もともと秋葉原ラボでHadoop回りをやっていたりするので，いわゆるBigData関連のセッションと動画が好きなので動画関連のセッション中心に書いていこうかなと思います． BigData関連 1日目のKeynoteではQuickSightというブラウザベースのBIツールが紹介されました． データの置き場としてはS3とRedshiftあたりが想定されているようです． 今までRedshiftはあるものの，簡便に分析やダッシュボード共有ができないという点がありましたが，それを解決する一手法になりそうです． データの投入もKinesis Firehoseの登場で容易になりそうです． また，既に大量のデータを持っていることを想定してSnowballも登場しました． セキュリティ

技術本部の須藤(@strsk)です。前回から約1年ぶりの投稿です。 部署名は変わりましたが、相変わらずAmebaのソーシャルゲーム全般のインフラとプラスでピグも担当しています。いろんな理由でコラ画像を作る機会は減ってきました…。 さて、もう既に1ヶ月が経とうとしていますが、AWSが毎年ラスベガスで開催しているカンファレンス、re:Invent2015に参加してきたのでそのレポートになります。社内勉強会でも発表していてスライドはアップしたんですが、残念ながらアメブロにはembedできないのでリンクだけ貼っておきます。技術系のブログを書くには辛い仕様ですね！ re:Invent2015参加レポ // Speaker Deck 今回の記事では印象に残っているセッションについて詳細を記しておきます。（※英語の解釈に間違いがあるかもしれません(・_・;)） 基調講演 Keynote/基調講演(You

どうもこんにちは。@stormcat24です。前回寄稿した記事から1年半ぶりになります。 主な仕事は業務中のTwitterで、その傍らでAmebaFRESH!というサービスを絶賛開発してたりしています（この記事が公開される頃にはリリースしてるかしら？）。何かネイティブやりに意気揚々と異動してきたんですが、いつの間にかサーバサイドエンジニアになってました。まあサーバサイドといっても、自分はかなりWebオペレーション寄りなんですけど。 で、今回はFlexible Blue Green Deploymentの仕組みを作ったよっていうお話です。 そもそもBlue Green Deploymentとは Blue Green DeploymentとはImmutable Infrastructure（不変なインフラストラクチャ）思想の一貫で、サーバの内容やアプリケーションを更新したい場合に、稼働している

はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし

TOTEC2014 インフラチューニング（チューニンガソン）で優勝したはなし | サイバーエージェント 公式エンジニアブログ インフラ＆コアテク本部の仲山です。 「TOTEC2014 インフラチューニング」という社内チューニンガソンイベントで優勝をいただいたので、 技術ブログを書くことになりました。 TOTECは、サイバーエージェントグループ内の技術者コンテストで、 インフラ、フロントエンド、サーバサイドの分野ごとに、 「チューニンガソン」と呼ばれる形式でその速度向上を競い合います。 今回の「インフラチューニング」では、 参加者はソフトウェアのソースコードを改変できないため、 あくまでミドルウェア等の変更、チューニングや、サーバ構成の最適化のみで闘います。 主なレギュレーション 運営があらかじめ用意したMediaWikiの応答速度を競う。 ソースコードの変更は禁止だが、設定ファイルの編集は

こんにちは。 アメーバピグでNode.jsを使って開発をしている中村と申します。 平日はエンジニア、土日は主夫として働いています。 さて、早速ですが、この記事ではESLintを使って、JavaScriptのソースコードのバグを発見する手順をご紹介したいと思います。 ESLintとは ESLintはNicholas C. Zakas氏が中心となって開発しているJavaScriptのLintツールです。 JavaScriptのLintツールといえば、最近ではJSHintが定番だと思います。 ESLintはJSHint同等の機能を持つ他、解析ルールが完全にプラガブルになっており、独自ルールを自由に追加できるという特徴があります。 例えば、JSHintでいうところの、strict（strict modeで実行されるかをチェック）というオプションは下記のURLのように個別のルールとして実装されていま

こんにちは。 全社システムの吉田です。 私の所属する全社システムでは、主に社内向けシステムの構築や運用を行っています。先日、社内の認証に用いている LDAP サーバーのバッチを作成しました。 全社システムでは、コーディングをする際には主に Ruby を用いています。 Ruby から LDAP とお話するには、ActiveLdap というモジュールを使用しました。ActiveLdap の利用法についてはるびまに記事が載っています。Rails を使用した事のある人ならば、きっと直感的に使用出来ると思います。 ところで、このバッチ処理のテストはどうすれば良いでしょう？？ 出来れば LDAP のモックを使った Unit Test を書きたい所です。でも、適当なモックを探して見たのですが、なかなか見つかりませんでした。Schema 登録無しで OpenLDAP と ActiveDirectory の

(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo

General Sessionの中で出てきたHBaseエコシステムに触れると、今年のHBaseConのセッションのいくつかを紹介できるのでまずHBaseエコシステムについて書きます。 Hadoopエコシステムの1つとしてHBaseがあるわけですが、そのHBase自身のエコシステムも発展してきています。まず、SQLライクなクエリでHBaseにアクセスできるオープンソースプロダクトとして、ClouderaのImpala、SalesForceのPhoenix、Apache Drillといったものがあります。今回それぞれ本カンファレンスでセッションがありました。 Impala はデータサイエンティストがHadoop上のデータをインタラクティブに解析できることを目指したクエリエンジンで、HBase・HDFSの両方をサポートしています。高速に動作するようC++で開発されており、クエリがHiveQLがベ

2013年6月13日に開催されたHBaseCon2013に参加してきましたのでレポートさせていただきます。HBaseConは、Apache HBaseの貢献者、開発者、管理者およびユーザのためのコミュニティイベントで、年1回開催されています。 今回はサンフランシスコのマリオット・マーキースホテルが会場で、講演は4トラック構成になっており、参加者は興味のあるものを選択して聴講していきます。 それでは、早速セッションの紹介に移りたいと思います。私は、Facebook、Yahooの中の人のセッションを紹介します。長文ではありますが、とても興味深い内容だと思いますので、是非最後までご覧ください。 HBase use cases at Facebook Liyin Tang, Software Engineer, Facebook & HBase PMC Member Facebookは、大規模なデ

どうもこんにちは、社内ではJava嫌いで有名になってしまった oinume です。最近Javaに慣れすぎてむしろスクリプト言語が苦手になってきています。今回は「これがあればJavaでの開発もそんなにストレスないかもなぁ」と思える個人的な3種の神器のひとつである lombok を紹介します。 lombokってなに？一言でいうとJavaの野暮ったいgetter/setterメソッドなどを自動的に生成してくれるソフトウェアです。例えば @Data アノテーションをつけて以下のようにメンバー変数を定義するだけで、lombokがgetter/setter/equals/hashCode/toStringのメソッドをコンパイル時に生成してくれます。 package sample; import lombok.Data; @Data public class User { private int id;

皆様はじめまして。 アメーバ経営本部で開発支援を行っている織田と申します。 今回、Ameba事業本部で執り行っている社内勉強会「Skill U Friday」についてご紹介さし上げます。 アメーバでは、社内外のノウハウや最新動向を持ち寄り部門や職能を越えて勉強会を定期開催しています。 現在アメーバには様々な部門があり、 それぞれの部門のプロジェクトに配属された開発者の数も1,000人※1を超えています。 Skill U Friday は、アメーバ全体の技術・品質の向上と 開発に携わる社員1人1人のスキルアップの一助となる機会のうちの1つとなります。 昨年の夏より取り組み、2013年5月時点で計40回を越えました。 これら過去に行われた勉強会は、資料と映像を記録し 新たに配属された社員や、当日参加できなかった社員でも 参照できるようにしております。 今この記事をご覧の方で将来サイバーエージェ

はじめまして、2011年9月に入社した 前田 です。アメーバのサービス向けのサーバや、開発環境向けサーバを提供するプライベートクラウドを運用・構築を行うクラウドチームで仕事をしています。このエンジニアブログにも何度か登場している”Maeda”さんと同じチームに所属しているので、社内では”こうへい”と呼ばれています。前田姓は珍しくありませんが、個人的には今まで身近なところで被ることはあまりなかったので、家族以外から日常的にファーストネームで呼ばれるのは結構新鮮な体験です。 さて、今回のブログは、技術ネタをと依頼されたので、入社してからやっている亊や入社前にやってきたことに絡めた話を紹介したいと思います。このエンジニアブログを読まれている皆さんは普段オープンソースソフトウェアを使って、バグがあったり機能が足りなかったら、パッチをモリモリ書いて、Upstream(開発元)にフィードバックされてい