KamonとDatadogを使ってAkka actorのパフォーマンスを可視化する | Scala Tech Blog
こんにちは、CA ProFit-X の塚本です。 先日ご紹介いたしました、同チームの松村の記事はいかがでしたでしょうか。 Akka Cluster Shardingで即時集計系をつくる 上記の記事では応答時間など特定の値を収集するためにKamonというJVMのモニタリングを行うライブラリを用いています。（KamonはAkka actorをモニタリングすることもできます。）また、その収集した値を保存し可視化するために、モニタリングサービスであるDatadogというクラウドサービスを用いています。 この記事では主にKamonとDatadogをメインに、私たちCA ProFit-Xが行っているモニタリングの方法についてご紹介して行きます。 Datadogとは Datadogとはクラウドのモニタリングサービスです。詳しくは以下のリンクをご覧ください。無料で簡単に利用できますので、試してみると良いか
Akka Cluster Shardingで即時集計系をつくる | Scala Tech Blog
こんにちは、CA ProFit-X の松村です。 私たちのプロダクトでは広告配信のシステムにAkkaを使っていて、アプリケーションはAWS/Docker環境に配備して運用しています。今回はAkkaのCluster Shardingという拡張を使って、主にAWS環境を想定した簡単なリアルタイム集計システム(即時集計系)をつくってみたのでその内容をご紹介します。 下ではAkka Cluster Shardingについて簡単に説明した後、試作した即時集計系の実装・永続化と配備について説明します。その後、ワークロードとノード数を増減させた実験とその結果について説明します。 Akka Cluster Sharding について Akka ClusterはGossip Protocolとφ Accrual Failure Detectorという手法に基づいた非中央集権的なノード群構築を行うAkka拡張
[AdTech Scala Meetup] Finagle | Scala Tech Blog
こんにちは、CA ProFit-Xという広告サービスを開発している塚本です。 今回も弊社で行っているAdTech Scala Meetupの様子をご紹介します。そろそろ何回目か分からなくなってきました。今回のテーマはFinagleでした。 Finagle (フィネーグル) はTwitter社が開発しているRPC用のフレームワークです。Webサービス/Webアプリケーション フレームワークと捉えても良いかもしれません。 我々アドテクスタジオではほとんど導入実績が無いため、語れる人は少ないのですが、幸いこの前のアドテクハックで利用された方がいらっしゃったため、発表していただけました！アドテクハックはアドテクスタジオで開催している社内向けハッカソンです。詳細は以下の記事を御覧ください。 アドテクハッカソン「第二回アドテクハック」を開催しました。 もろもろFINAGLE 一人目はhuyさんのもろも
t02200162_0543040112917505668 | AI tech studio
2014.11.8 t02200162_0543040112917505668 Tweet 関連記事
Aerospike Meetup in Tokyo #3 にて発表してきました | AI tech studio
こんにちは。アドテク本部の makocchi です。 Aerospike といえば高速な NoSQL として注目されていますが、アドテク本部でも積極的に採用が進んでいます。 Aerospike 社とは既に Enterprise 契約をしておりまして、様々なサポートを受けています。 また、国内最大規模の契約(発表当時) ということで先日一緒にプレスリリースをさせて頂きました。 CyberAgent Chooses Aerospike’s NoSQL Database as Data Infrastructure for Its AdTech Division 「Aerospike」の活用規模が国内最大に！アドテクノロジー事業のデータ基盤を強化 そんな中、先日 Aerospike Meetup in Tokyo #3 が開催されましたのでさっそく参加してきました！ Aerospike Meet
o0800055413105035012 | AI tech studio
2014.11.7 o0800055413105035012 Tweet 関連記事
VPCエンドポイントを使ったS3プライベートアクセスのススメ | AI tech studio
こんにちは。アドテクスタジオでネットワークエンジニアをしている山本 孔明です。 前回までAXCを使用したネットワーク自動化を取り上げてきましたが、今回はAmazon Web Services（以下AWS）に関連するお話をしたいと思います。 VPCエンドポイントについて アドテクスタジオとAWS アドテクスタジオでは様々なプロダクトが存在し、そのインフラ基盤はプライベートクラウドだけでなく、サービスに合わせてパブリッククラウドも積極的に利用しています。その中でもAmazon S3は99.999999999%の耐久性を実現するよう設計されており、価格としても$0.0300 /GB(※1)と安価に利用が可能なため、弊社でも多くのプロダクトで利用されています。 ※1 2016年4月現在、東京リージョンにおいてスタンダードストレージを最初の1TB/月までの範囲で利用した場合の価格です VPCエンドポ
Scala Days 2016 in New York【1日目】 | Scala Tech Blog
Scalaの最大規模カンファレンス、Scala Days が始まりました。 今年はNew York での開催とのことで、弊社も３名で参加してます！ 早速初日のレポートをお届けします！ 去年同様、１日目のkeynoteはScala開発者のMartin Odersky先生の発表でした。 2016年は2015年と比較して大きく動く年になる！とのことです。 Scalaを”best” programming languageにするという意気込みを感じた発表でした。 主なトピック ・Scala 2.12が2016年夏頃にリリース予定 ・java8対応により、実行時間短縮、コード圧縮を実現 ・scala native について触れられており、3日目のセッションで Denys Shabalin(@den_sh) さんの発表があるとのこと ・スタイルについて ・必読 !! :http://www.lihao
Kaggleゼミ成果報告（Rossmann編） | AI tech studio
評価尺度 このコンペでは予測したSalseの評価尺度として、 RMSPE という以下の計算式が用いられています。 RMSPEは、実際の Sales と、予測した Sales の誤差の割合をベースに算出される値で、0 に近く小さいほど良いというものです。仮に全ての店舗の全ての日の Sales の予測値が実際の Sales と一致していれば RMSPE = 0 となります。 売上予測結果の一例 コンペのイメージを湧き易くするために、実際に予測モデルで予測した売上の結果についてお見せします。下図は2015年6月までのデータを使って、2015年7月の売上を予測したもの（緑線）と実際の売上（橙線）を3店舗分可視化したものです。なかなか良く売上の予測ができていることが見て取れます。以降では、この予測モデルの構築について説明していきます。 Rossmann Store Sales での取り組み 情報収集
Kaggleゼミ成果報告(Allen AI チャレンジ編) | AI tech studio
Is your model smarter than an 8th grader? こんにちは、CAリワード配属新卒2年目の阿部です。 KaggleゼミでAllen AIチャレンジに参加していたので、その成果と感想を紹介したいと思います。Kaggleを簡単に説明すると、「世界一のデータ解析コンペ」です（KaggleとアドテクスタジオKaggleゼミの詳細紹介はこちらの記事を御覧ください）。 今回私たちが参加したコンペティションは2015年10月7日から2016年2月13日の間に開催されていた 「The Allen AI Science Challenge」で、自然言語の質問を人工知能のコンピュータプログラムで回答するチャレンジです。人工知能、自然言語処理、情報検索の研究分野では、「質問応答」というセクションがありますが、古くから盛んに研究されており、様々な手法が提案されてきました。今回のコ
Apache Kafkaのすゝめ Part 1 | AI tech studio
アドテクスタジオでは、Apache Kafkaを利用するケースがここ最近増えています。 Apache Kafkaは、2011/01/11 LinkedInから公開されたOpenSourceで分散コミットログを通してpub/sub型を実装 オンライン/オフライン処理に対応しzookeeperを利用したスケールアウトを備えたオープンソースプロジェクトです。 これまではキュー処理といえばActiveMQ等を利用する事が多かったのですが 冗長構成が組め、スケール可能で1台あたりのパフォーマンスが良く、Sparkとの連携を考えた結果、Apache Kafkaの採用を進めました。 必要な構成は以下です（Zookeeperは最小構成が3台となります。） 以前のバージョンではProducerもConsumerもZookeeperにアクセスする形をとっていましたが 現行のバージョンではConsumerはBr
【Akka】Akka Streamsがめっちゃ便利すぎて脳汁が出た話し | Scala Tech Blog
こんにちは！Smalgoの來田です。 注意：タイトルは過激ですが内容至って普通なチュートリアル記事です。 仕事でWorkerを作った時に使ってみてめっちゃ便利だと思ったのでAkka Streamsについて書きたいと思います！ まだまだ中の実装の深いところまで追えてるわけじゃないので間違っていたら教えてください。 Akka Streamsとは Reactive Streams（ノンブロッキングでback pressureな非同期ストリーム処理の標準仕様）のAkka実装 Back Pressureとは 非同期なストリーム処理の場合下記の問題が起きる Publisher側の処理が早い場合Subscriber側のバッファーが溢れてしまう Subscriberに遠慮してPublisher側の処理を抑えた場合は無駄が多くなってしまう それをSubscriberが自分が処理できる量をPublisherに
spray-routingのディレクティブを活用しよう | Scala Tech Blog
spray-routingではリクエスト・レスポンスの処理を 次のような形式で処理していきます。 本家のMinimal Exampleです。 import spray.routing.SimpleRoutingApp object Main extends App with SimpleRoutingApp { implicit val system = ActorSystem("my-system") startServer(interface = "localhost", port = 8080) { path("hello") { get { complete { <h1>Say hello to spray</h1> } } } } }
Scala Girls Blog | BY CYBERAGENT ADTECH STUDIO
0% AdTech Studio Scala Girls Blog Copyright © CyberAgent, Inc. All Rights Reserved.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
さよならScala Girl | Scala Girls Blog