新規プロダクトでKubernetesを中心にCloudNativeなアーキテクチャのインフラを導入した話 | Tech Blog
新規プロダクトでKubernetesを中心にCloudNativeなアーキテクチャのインフラを導入した話 Tech Blog 2019.08.26 はじめに アドテク本部Airtrackチームの横山（@nnao45）です。 チーム内ではScala書いたり〜K8Sと遊んだり〜AWSったり〜しています。 この度Airtrackチームの新規プロダクトでKubernetesを採用し、本番環境に投入したのでその知見を共有させた頂きます。 おしながき 目指したアーキテクチャ Kubernetes周り ミドルウェア CI/CD 監視 感想 目指したアーキテクチャ 妥協はしないが身の丈にあったコンテナプラットフォーム って感じですかね。 Kubernetes周り サービスレイヤひとまわり Airtrackチームで広告系完全新規プロジェクトの立ち上げに Kubernetes中心にクラウドネイティブなアーキテ
Jupyter Notebook の Tips をまとめてみた | AI tech studio
こんにちは、AI Lab の馬場です。 このブログは CyberAgent Developers Advent Calendar 2016 の11日目の記事です。 昨日は sitotkfm さんの「ログを集める時に気をつけたいポイント」という記事でした。 この記事では、僕が仕事でデータ分析をやっていく上で大変お世話になっている Jupyter Notebook の Tips をまとめてみます。Jupyter Notebook では便利な機能がたくさんあるので、ちゃんと使うと無駄作業の削減になります。僕もこれまで分析途中で「あーこれができたらなあ」と検索しては時間をつぶしてきたので、ここでまとめて記憶にとどめておきたいと思います。 図表・可視化系 notebook 内に図を表示したい 単純に jupyter notebook を起動して、pyplot などでグラフを描画しようとしても、図は
【Akka入門の入門】Part.1 メッセージを送る | Scala Tech Blog
初めまして、新卒の増田と申します(^o^) 入社後はJavaを使っていて、チームを異動して初めてScalaを触り始めた・・・ という頃に、Akkaというフレームワークを使うので勉強するように言われました(^o^;) まず入門書を買おうとしたのですが、日本語の本がない・・・(T_T) ドキュメントも英語だし何書いてあるのかさっぱりわからない・・・(T_T) Scalaも始めたばっかでよくわからない・・・(T_T) という状況だったので、英語でもドキュメントより入門書の方がまだ理解できるかも・・・と思い『Developing an Akka Edge』という本を購入しました。 その本を読みながら、ドキュメントを読みながら、先輩に聞いたり調べながらAkkaについて勉強したことをスライドにまとめました！ ただとても長いので、このブログでは簡潔なまとめ＋説明のための簡単なコードを書いていきます(^o
社内向け技術カンファレンス ADC2016 より「Axion meets HashiCorp」 | AI tech studio
こんにちは、アドテクスタジオ基盤開発グループの阿川です。 アドテクスタジオでは、社内のエンジニア向けイベントとして AdTech Developer Conference 2016 を 7月8日に開催しました。名前のとおりカンファレンス形式で、アドテクスタジオ内の広告プロダクトを開発しているチームから登壇者を募集して、普段チームで利用している技術やアドテクの話をする機会となりました。なんだかんだで他のチームが利用している技術やノウハウを知る機会は豊富とは言えないので、技術交流を促す良い試みだったと思います。 今回は基盤開発グループの代表として私が発表したスライドを公開します。(もともと社内イベント向けのためにフリーダムに用意したものであるため、公開用にスライドを削ったり文言を変更しています) 何を話すかは結構悩んだのですが、Docker を本格的に利用するにあたって採用した Consul,
Elastic Beanstalk の Multi-Container Docker Environment は便利① | AI tech studio
2016.8.22 Elastic Beanstalk の Multi-Container Docker Environment は便利① はじめまして、アドテクスタジオのオペレーションテクノロジー事業部（通称オペテク）の杉澤です。 私の担当しているプロダクトで使っている AWS の Elastic Beanstalk が便利なのでご紹介させて頂きます。 Elastic Beanstalk とは AWS のプロダクトで、Elastic Beanstalk の部分は「ビーンスターク」と読むらしいです。 アプリケーション実行環境を自動構築でき、 CloudFomation ライクな記述で設定ファイルをコード管理できるプロダクトです。 Go, Java, Ruby…など様々な言語に対応しており、 Docker コンテナにも対応しています。 今回は Docker コンテナでの利用についてご紹介させ
[Google Cloud Platform] AWSしか使ったことがない私から見たGCE | AI tech studio
初めまして、アドテク本部でインフラエンジニアをしております山下といいます。 GCP東京リージョンの開設が近づいているこのタイミングで、GCPをネタに記事を書くことになりました。 GCPと言えば、先日ポケモンGoのバックエンドとして利用されていることでも話題になりました。 しかし、私自身GCPに全く触れたことが無く、まだ私にはパブリッククラウド＝AWSのイメージがあります。 そこで、パブリッククラウドの基本的なサービスであり、必ずついて回るであろうIaaSにフォーカスし AWSしか使ったことがない私がGCE(Google Compute Engine)を触ってみて感じたEC2との違いをまとめることにしました。 早速、私がGCEに触れてみて感じたAWS(EC2)との違いを一覧にまとめてみます。
![[Google Cloud Platform] AWSしか使ったことがない私から見たGCE | AI tech studio](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f698f9956044f92f207be48d1381b1d5f652892/height=288;version=1;width=512/https%3A%2F%2Fcyberagent.ai%2Fwp-content%2Fuploads%2F2016%2F11%2Feye2.png)
0からAkka【第１回】Akkaの勉強始めました✨ | Scala Girls Blog
みなさんこんにちは！ アドテクのダーシャです✨先週は自己紹介だけでしたが今日から！！ついに！！Akkaの勉強を初めますょ‼︎ 今日はこんな感じでこのブログを書きながらアクター君を描いてます！（コーヒー飲んでるのが写真でもバレますね ） さて、早速ですが勉強タイムスタート！！ 今日のテーマは基本の基本ですが、とても大事です！そのテーマは いやいや、そもそもAkkaって何？？ 大事 最短説明：Akkaは並列処理、分散システムを簡単に作るためのtoolkitです。 ちょっと長めの説明：「Scalaを始めてからAkka気になってました」って言ってましたけど、実はAkkaはScalaだけではなくJVMで並列処理を簡単にできるActor Modelを使っているtoolkitです。なのでJavaでも、Scalaでも、（本当に使いたい人がいるかどうか不明ですけど）Groovyでも使えます。 AkkaはAc
sbt で Docker イメージを作る | Scala Tech Blog
こんにちは、基盤開発グループの阿川です。 基盤開発グループは、アドテクスタジオに存在する様々なプロダクトが共通して抱える課題を解決するべく動いているチームです。そこでは Finagle をベースに Scala で社内向けサービスを実装することになったのですが、せっかくのゼロから構築するシステムなので Docker を全面的に採用することにしました。これまでも限定的に Docker を使うことはあったのですが、コンテナスケジューラーまで導入して Docker を使うのは初めてのことです。 そんな流れがあり sbt で Docker イメージをビルドする方法を調査してみました。 sbt の Docker 関連プラグイン ざっくり調べてみたところ sbt の Docker 関連プラグインは以下の 2 つが代表的のようでした。 sbt-docker sbt-native-packager + Do
VPCエンドポイントを使ったS3プライベートアクセスのススメ | AI tech studio
こんにちは。アドテクスタジオでネットワークエンジニアをしている山本 孔明です。 前回までAXCを使用したネットワーク自動化を取り上げてきましたが、今回はAmazon Web Services（以下AWS）に関連するお話をしたいと思います。 VPCエンドポイントについて アドテクスタジオとAWS アドテクスタジオでは様々なプロダクトが存在し、そのインフラ基盤はプライベートクラウドだけでなく、サービスに合わせてパブリッククラウドも積極的に利用しています。その中でもAmazon S3は99.999999999%の耐久性を実現するよう設計されており、価格としても$0.0300 /GB(※1)と安価に利用が可能なため、弊社でも多くのプロダクトで利用されています。 ※1 2016年4月現在、東京リージョンにおいてスタンダードストレージを最初の1TB/月までの範囲で利用した場合の価格です VPCエンドポ
o0800055413105035012 | AI tech studio
2014.11.7 o0800055413105035012 Tweet 関連記事
[AdTech Scala Meetup] Apache Sparkについて情報共有 | Scala Tech Blog
こんにちは、CA ProFit-Xという広告サービスを開発している塚本です。 先日、第9回 AdTech Scala Meetupを開催しました。今回はApache Sparkの情報共有を行いましたので、その様子を少しご紹介します。 Spark Streaming Snippets 一人目はSmalgoチームの阿川さんでした。 Spark Streamingのコードスニペットを交えて、SmalgoがどのようにSpark Streamingのコードを書いているかについて発表されていました。 私事ですが、最近Spark Streamingの利用を検討していましたので、非常にタイミングの良い発表でした。参考になります。 Spark SQL Thrift JDBC Server 二人目は私、塚本で、Spark SQLのThrift JDBC Server機能について発表しました。 色々とSpark
GCメモリ初心者の新卒がScalaでGCメモリを勉強してみた | Scala Tech Blog
この記事はCyberAgent エンジニア Advent Calendar 2015の14日目の記事です。 昨日は13卒の鈴木さんのブログでした、明日は同期のchoheyさんです。 はじめに こんにちは、サイバーエージェントアドテクスタジオ15新卒のフィ（@dxhuy)と申します。 アドテク新卒の中で「YYY初心者の新卒がXXXでYYYを勉強してみた」というタイトルが流行っていますので、パクらせていただきました。 ネットワーク初心者の新卒がDockerでネットワークの勉強をしてみた Scala初心者の新卒が頑張ってLispを作ってみた 現在RightSegmentという子会社でData Management Platform (DMP)を作っています。データの会社なのでHadoopのバッチの開発とか、フロントサーバでJavaの開発などをしています。 GCメモリについて 会社に入る前にはスク
Akka Cluster Shardingで即時集計系をつくる | Scala Tech Blog
こんにちは、CA ProFit-X の松村です。 私たちのプロダクトでは広告配信のシステムにAkkaを使っていて、アプリケーションはAWS/Docker環境に配備して運用しています。今回はAkkaのCluster Shardingという拡張を使って、主にAWS環境を想定した簡単なリアルタイム集計システム(即時集計系)をつくってみたのでその内容をご紹介します。 下ではAkka Cluster Shardingについて簡単に説明した後、試作した即時集計系の実装・永続化と配備について説明します。その後、ワークロードとノード数を増減させた実験とその結果について説明します。 Akka Cluster Sharding について Akka ClusterはGossip Protocolとφ Accrual Failure Detectorという手法に基づいた非中央集権的なノード群構築を行うAkka拡張
KamonとDatadogを使ってAkka actorのパフォーマンスを可視化する | Scala Tech Blog
こんにちは、CA ProFit-X の塚本です。 先日ご紹介いたしました、同チームの松村の記事はいかがでしたでしょうか。 Akka Cluster Shardingで即時集計系をつくる 上記の記事では応答時間など特定の値を収集するためにKamonというJVMのモニタリングを行うライブラリを用いています。（KamonはAkka actorをモニタリングすることもできます。）また、その収集した値を保存し可視化するために、モニタリングサービスであるDatadogというクラウドサービスを用いています。 この記事では主にKamonとDatadogをメインに、私たちCA ProFit-Xが行っているモニタリングの方法についてご紹介して行きます。 Datadogとは Datadogとはクラウドのモニタリングサービスです。詳しくは以下のリンクをご覧ください。無料で簡単に利用できますので、試してみると良いか
Kafkaを使ってチャットツールを作ってみました | Scala Tech Blog
こんにちは、15卒のフィ(@dxhuy)です。 最近仕事でちょっとKafkaを使う機会がありました。Kafkaは汎用的に色々な用途で使えるとても面白いミドルウェアです。そこでKafkaの知識を深めるために何か作ろうかなと考えて、コマンドラインで実現する簡単なチャットツールを作ってみました。 Kafkaとは Apache Kafka は Publish-Subscribe 型のメッセージングシステムであり、オフライン・オンライン両方のメッセージ取得に適している。これ は大容量のイベントとログデータを低遅延で収集および配信する目的で、当初は LinkedIn で開発された メッセージングシステムであった。 Kafkaでの概念を簡単に説明します： Producer：情報を作る側。 Consumer : 情報を使う側。 Topic： ConsumerがTopicにSubscribeして情報取り出し
【Akka】Akka Streamsがめっちゃ便利すぎて脳汁が出た話し | Scala Tech Blog
こんにちは！Smalgoの來田です。 注意：タイトルは過激ですが内容至って普通なチュートリアル記事です。 仕事でWorkerを作った時に使ってみてめっちゃ便利だと思ったのでAkka Streamsについて書きたいと思います！ まだまだ中の実装の深いところまで追えてるわけじゃないので間違っていたら教えてください。 Akka Streamsとは Reactive Streams（ノンブロッキングでback pressureな非同期ストリーム処理の標準仕様）のAkka実装 Back Pressureとは 非同期なストリーム処理の場合下記の問題が起きる Publisher側の処理が早い場合Subscriber側のバッファーが溢れてしまう Subscriberに遠慮してPublisher側の処理を抑えた場合は無駄が多くなってしまう それをSubscriberが自分が処理できる量をPublisherに
【Scala.jsではじめるScala道】第二回・DOMとscalatagsであけおめ | Scala Tech Blog
あけましておめでとうございます。編集部新卒の小林です。2015年もアドテクスタジオと、この Scala blog をよろしくお願いします。 本連載では Scala.js を使ってブラウザで動作するアプリケーションを作っていくことで Scala を学んでいっています。前回に引き続いて今回は Scala.js の DOM ライブラリを見ていきます。 第一回はこちら DOM ライブラリを使っての HelloWorld まずは、DOM のライブラリを読み込めるように build.sbt に libraryDependencies += "org.scala-lang.modules.scalajs" %%% "scalajs-dom" % "0.6" を追記します。 build.sbt: scalaJSSettings name := "Scala.js Tutorial" scalaVersio
バッチではじめてAkkaを使ってみた | Scala Tech Blog
こんにちは! Smalgo の阿川です。 先日、Spray, Akka, Scala といった技術のノウハウを共有しましょう、という趣旨の社内勉強会で発表する機会がありましたので、そのスライドを公開します。 スライド Actor と Future 僕は Scala 歴はこの時点で 2 ヶ月ほどで scala.concurrent.Future を使ったプログラミングの経験も浅いものでしたので、Akka の Actor と Future の使い分けにはかなり悩みました。最初は全て Actor で実装しようとしていたのですが、そのためにはアクターモデルそのものや Typed Actor など、学習しなければならない要素が多すぎると判断して、最終的にスライドにある方針に落ち着きました。 この方針に決めてからは設計で悩むことも減りサクサクと実装が進みましたので、これからはじめて Akka を触って
【Akka入門の入門】Part.1 メッセージを送る | Scala Tech Blog
初めまして、新卒の増田と申します(^o^) 入社後はJavaを使っていて、チームを異動して初めてScalaを触り始めた・・・ という頃に、Akkaというフレームワークを使うので勉強するように言われました(^o^;) まず入門書を買おうとしたのですが、日本語の本がない・・・(T_T) ドキュメントも英語だし何書いてあるのかさっぱりわからない・・・(T_T) Scalaも始めたばっかでよくわからない・・・(T_T) という状況だったので、英語でもドキュメントより入門書の方がまだ理解できるかも・・・と思い『Developing an Akka Edge』という本を購入しました。 その本を読みながら、ドキュメントを読みながら、先輩に聞いたり調べながらAkkaについて勉強したことをスライドにまとめました！ ただとても長いので、このブログでは簡潔なまとめ＋説明のための簡単なコードを書いていきます(^o
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
