みなさんこんにちは！　エンジニアブログ運営チームの板敷です。 今回は、先日社内で行われたGo勉強会について紹介したいと思います。 今回の勉強会では、サイバーエージェントグループの各社から発表がありました。 勉強会ポスター。事前予約不要！ Golangの注目度は高く、開始即満員御礼でした。(若手中心に立ち見もｗ それでは発表内容を紹介したいと思います。 ※勉強会資料は社内情報が含まれているため全公開はできませんが、 勉強会の雰囲気だけでも感じ取っていただけると幸いです。 「Goトラップ ～中級者向けGo言語でよく引っかかる同期処理など周りの問題、分析と解決方法～」 技術本部 基盤システムG マリオさんの発表です。 ※発表資料 https://github.com/imkira/gostudy 後述しますとおり、この他の発表内容は「サービスの中でGoをどのように使っているか」か話題の中心でした

こんにちは。Amebaの基幹系インフラ担当している鳥垣です。 ユーザーのサービス用途でElasticSearch（0.19.10）を使用しているのですが、先日ElasticSearchの障害で一部のShardが読めなくなってしまいまして、それを力技で無理やり読めるように復旧させたのでその時の奮闘記を記載したいと思います。 運用情報台数：30台CPU：24コアHeap：8GBインデックス数：３総データ容量：約300GBShard数：128レプリカ数：2バージョン：0.19.10※OpenStackの仮想サーバ ホスト障害発生OpenStackのホストサーバがダウンし、ElasticSearchのノードが1台ダウン。Shardの再配置処理が走り、ダウンしたノードが持っていたShardは他ノードに分散される。この時点ではElasticSearchのクラスタステータスはグリーンだった（Headプラ

みなさんこんにちは。 技術組織戦略G & 技術内閣の板敷です。 普段はAmebaのシステム障害の火消し → 障害対策ならびにエンジニアの育成評価等をしています。 今回は、先日終了したサイバーエージェント新卒エンジニア技術研修について紹介したいと思います。 研修概要従来の研修内容を一新、内製での技術研修に挑戦 これまでの新卒技術研修は委託先講師の話を新卒全員が聞くという、いわゆる「座学中心」の研修でしたが、ここ数年の技術的進歩、組織内でのエンジニアに対する期待の変化を反映するため、内製での研修へとゼロから再設計しました。 研修のコンセプトと概要 ベースとなる研修のコンセプトは以下2点からなります。 全体のアーキテクチャを俯瞰して設計、技術選定をする自分の頭で考え、動くこれらのコンセプトを実現するために今回の研修では、2つの某有名サービスを 自分たちで設計、実装するという形をとりました。 研修

SGE（Smartphone Games & Entertainment）のグレンジ所属の塚原と袴田です。 2016/04/20に開催されたリアルタイム通信ゲーム勉強会で発表してきたので報告をします。 グレンジについてCAのゲーム事業部(SGE)の中の1つです。 ・ポコロンダンジョンズ ・イグドラシル戦記 の2つを開発・運営しています。 勉強会ではポコロンダンジョンズの共闘(多人数の協力プレイ)の仕組みについて発表しました。 ポコロンダンジョンズについて2014年夏にリリースされた「なぞるパズルRPG」です。 当初は1人プレイのみでしたが、2015年春に最大4人の協力プレイ「共闘」が実装されました。 共闘はSocket.IOを使ったリアルタイム通信システムによって動作していて、勉強会ではサーバサイド/クライアントサイドの仕組みを「そこまで見せるのか」というほど公開しています。 サーバサイド

こんにちわ Make Your Goals Come True. Easier + Faster. をコンセプトに開発環境の改善や統一化をおこなっているanzaiです。 2013年10月よりチャットツールとして某Hを導入しておりましたが、2015年12月にSlackへ乗り換え（移行し）ました。 今回は、管理者視点で以下項目について書かせていただきました！ 数あるチャットツールの中から、なぜ、Slackを選んだのか？移行時に意識したところはまったところ大規模組織で運用してみて今後の課題※以下記載した情報は移行時点のものです。Slackは日々アップデートが行われていて、新しい機能やAPIが実装され続けています。あくまでもご参考までとして、移行を計画する際には、最新情報をご確認ください！ 数あるチャットツールの中から、なぜ、Slackを選んだのか？Integrationが豊富である昨今、IT界隈

Amebaのソーシャルゲーム全般のインフラを担当しつつ賃貸マンションの間取りを眺めたり、 戸境壁の工法による防音性の違いについて日夜研究しています。 いつかD値が60以上のマンションに住みたいです。

アドテクスタジオのDynalystというチームで働いている黒崎 (@kuro_m88) です。 たまに社内で自作ドローンを飛ばしたりしています。 早いもので入社2年目になりました。つい先月まで新卒だったはずなのですが…(・・;) 今年も新卒の技術者が約60名入社し、新入社員全体の研修が終わり現在はエンジニアの技術研修が行われています。 今回はその環境構築で行ったことについて紹介しようと思います。 エンジニアの新卒研修の概要 今年の研修のゴールは「アーキテクチャをゼロから考え、実装できるようになる」というもので、研修課題は2つあります。 1つ目は現在まさに取り組んでもらっているのですが、2週間でミニブログシステムを3～4名のチームで制作してもらいます。 チームによってスキルセットが違うので、ネイティブアプリに特化するチームもいれば、バックエンドやインフラでいかにスケールしやすい構成にするか、

はじめまして@shohhei1126です! 2016年1月にリリースされたAmebaFRESH!のサーバサイドを担当しております。 ここ1、2年社内でもGo言語を使うプロジェクトが増えてきているのですが（Go Lang in Cyberagent こちらもどうぞ）AmebaFRESH!でもGo言語をメインに使っています。 今回はGo言語のテストへのアプローチについて考えたいと思います。 テストの書きやすさGoでは言語レベルでテストをサポートしている（https://golang.org/pkg/testing/#pkg-overview）のでテストを書くという敷居は他の言語より低く感じます。実際これまでのプロジェクトの中で一番テストを書いていますし、やっぱりテストがあると安心感ありますね(・∀・) Mock化の難しさテストの取っ掛かりとしての敷居は低いですがデータアクセスまわりのテストを書

2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/

はじめに AWAでサーバサイドエンジニアをやっている山下といいます。初めてエンジニアブログを書かせていただきます。よろしくお願いします。 簡単に自己紹介をさせていただくと、2011年にSIerからサイバーエージェントに中途入社し、いくつかのコミュニティ系サービスの立ち上げ・運用、インフィード広告配信APIの作成などを経て、2015年4月からAWAチームに参加しました。 今回は、(今さら？な) DevOpsについてです。といってもスムーズな連携をするには といった話ではなく、現在のチームに参加してからというもの、「エンジニア間の役割が変わってきていて、DevOpsって現状にあってないんじゃないか」と感じており、それについてご紹介させていただきます。 AWAとは 定額制音楽配信サービスです。 スマートフォン、PCでアプリを提供しており、他のデバイスにも順次対応をすすめています。2015年のベス

新卒入社２年目エンジニアがGitHubにAndroidのライブラリを公開してみて感じたこと | サイバーエージェント 公式エンジニアブログ はじめましてー。 サイバーエージェント入社２年目のAndroidエンジニアな@magiepoohです！ 業務ではもっぱらAndroidを書いています。（楽しい！） @kakerukaeruさんに続き、アドベントカレンダー２日目を担当させていただきますーヽ(=´▽`=)ﾉ 現在、僕はAmebaFreshという動画サービスのAndroid版を開発中で、言語はJavaではなくKotlinを使っています。 Kotlinという言語について書き出すとアメブロの最大記事本文文字数(全角20,000文(半角40,000文字))を超えそうなので、Kotlinに関しては @satorufujiwaraさんや@AAkiraあたりがKotlinアドベントカレンダーに書くことを

こんにちは！サイバーエジェント アドテクスタジオ新卒の黒崎 (@kuro_m88) と申します。 Dynalystというチームに配属され、一人前のサーバサイドエンジニアになるべく修行をしています(｀・ω・´)最近はScalaを書くことが多くて、Sparkで大量のログを集計するバッチの開発をしています。ほぼ100%AWSで構成されているプロダクトなので業務でネットワークの運用もしませんし、構成の事を意識する事はあまりありません。 そんな中でネットワークの事が知りたくなったのは、広告の配信に関わる開発をしてみて、広告の配信の仕組み自体も技術的にめちゃくちゃ面白いんですが、それと同時に自分たちのサーバから広告が表示される端末までの間がどうなってるのか気になってしまったのがきっかけです。学んでいくにはやはり手を動かすのが一番ですよねo(((^^)))o

こんにちは。現在フロントエンドエンジニアへ転向中の神谷(@fuzzy31u)です。 このブログに登場するのは2回目。前回執筆時はAndroid開発をやっていたんですねー。 …あれから3年。 大学院修士課程修了、結婚、出産、産休／育休と怒涛の日々を経て、現在はAWA株式会社でサーバでもフロントでもjsを書く毎日を送っています。 そんな育休明け半年の私が再びエンジニアブログを執筆することになりましたので、今回はママエンジニアとしてどういったワークライフを送っているのかをテーマに筆を執らせていただきます。 ワークスタイルリモートワークAWAでのワークスタイルはとても柔軟です。 子どもが風邪で保育園をお休みしないといけない時や、予防接種などで小一時間抜けなければならない時には在宅勤務が可能です。 こちらは夕会風景です。 Slackで/roomと打つだけでビデオミーティングが開始できるRoomや/h

こんにちは、技術本部 秋葉原ラボのデータマイニングエンジニア の高野（@mtknnktm）です。弊社で運営しているゲームやコミュニティなどのソーシャル系Webサービスをより良くしていくためのデータ関連のあれこれを主な業務としています。そんな日々の業務の中で、ソーシャル系Webサービス上での現象や課題が、社会科学系の研究と関連してるんじゃないかなーと思ったので、その関連についてつらつらと書いてみました。最近、ソーシャル系Webサービスのデータを使った社会科学研究は非常に盛んで、SocInfo、COSN、SocialCom、IC2S2などなど、それを含む Computational Social Science をテーマとした新しい国際会議も数多く開催されています。本記事で取り上げるものは、私が主に興味のあるものを挙げたため、かなり偏りが有るかと思いますが、その他にもこんな興味深いトピックがあ

こんにちは、秋葉原ラボの鈴木(@brfrn169)です。 普段は、ログ解析基盤のインフラ部分や分散DB(主にHBase)周りをやっています。

最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法 | サイバーエージェント 公式エンジニアブログ こんにちは. エンジニアの平野です. ふだんはプライベートクラウドのサーバハードウェアとストレージを担当しています. サーバのリプレイスや増設, 仮想サーバの移植などでテラバイトクラスのデータを2つのサーバ間で転送することがよくあります. こんなとき, 転送終了を待ちながら「あと何時間掛かるのかなー」とか「もっと速く転送終わらないかなー」なんて考えたことはありませんか? 今回は下記のようなシーンで活躍する, 特盛りデータを30倍高速に転送する方法をご紹介します. - サーバの交換でデータを移設したい - MySQLスレーブサーバの増設したい - 仮想サーバを別のホストに移植したい - 大量のファイルを別のサーバに移設したい - 大容量データをバックアップしたい ■ 環境を用

はじめまして、 ogaclejapan です。 昨年の6月にサーバサイドJavaエンジニアからAndroiderへ暗黙な型変換でジョブチェンジしました。会社ではAmeba事業本部でAndroidアプリの開発を担当しています。

どうも、アドテクスタジオ所属RightSegmentチームの安田です。 元ソシャゲエンジニアで今はアドテクエンジニアしてます。 サーバーサイドJavaエンジニアです。 なので、昨今は特別派手なネタがないので ソーシャルゲームからアドテクに業種変更して技術的な違いとか書きたいと思います。 ちなみにRightSegmentはDMPという位置づけなのですが DMPとはData Management Platformの略で 広告主がもつデータ、第三者のデータなどを一元管理・分析し、 最適な広告配信をするために活用されるプラットフォームになります。 主にタグと呼ばれるJavaScriptを広告主のサイトに貼ってもらい、 サイトに訪れたユーザーのアクセス履歴からユーザ情報を作成してカテゴリ（セグメント）管理しています。 例えば、 某不動産サイトが有名サイトに広告配信したいとした場合、 ランダムに全国の

CyberAgent エンジニア Advent Calendar 2014 3日目の記事です。 3日目は、インフラ&コアテク本部の桑野が担当します。今日はエンジニアの僕が写真を存分に使って社内の紹介をしてみたいと思います。 「ようこそ、サイバーエージェントへ」こちらは受付です。 「ここが僕のデスクです」普段はこんな感じで作業しています。モンゴの調子はどうかな。 「MyS○Lはダメだよ！そこは○ongoDBじゃないと！」ミーティングスペースはこんな感じです。 「このコーヒーはうまい」無料で飲める自動販売機も充実しています。 「今日のお弁当はなにかな？」お昼にはちょっとお得なお弁当の販売もあります。 「勉強会開催しようかな」勉強会が開催できるような、大きなセミナールームもあります。最大でこの2倍の広さになります。（勉強会のご用命があれば是非お問い合わせください） 「これテストにでるからね」 「

アメーバ事業本部コミュニティ事業部の大﨑 (@hiroosak)です。 24LOGというサービスの開発を担当しています。 サイバーエージェントでは、コミュニティサービスが多数存在しているのですが、 実は、その中のいくつかのサービスでRailsが使われています。 ですが、社内・社外問わずあまり知られていないようです。 なので、今回は、Railsを使ったプロジェクトでは どのように開発が行われているかを簡単に紹介したいと思います。 基本構成 構成図の概要は上の図の通りです。 (監視サーバなどは上の図から省いています) 静的なファイルは、社内の共通ストレージに置き、検索については 社内のラボチームで用意したシステムと連携しています。 なのでプロジェクトのチームでは、主に app, db, cache, queue を見ています。 ちなみに、rubyのバージョンは主に2.0, railsは3.2で