[AdTech Scala Meetup] Apache Sparkについて情報共有 | Scala Tech Blog
こんにちは、CA ProFit-Xという広告サービスを開発している塚本です。 先日、第9回 AdTech Scala Meetupを開催しました。今回はApache Sparkの情報共有を行いましたので、その様子を少しご紹介します。 Spark Streaming Snippets 一人目はSmalgoチームの阿川さんでした。 Spark Streamingのコードスニペットを交えて、SmalgoがどのようにSpark Streamingのコードを書いているかについて発表されていました。 私事ですが、最近Spark Streamingの利用を検討していましたので、非常にタイミングの良い発表でした。参考になります。 Spark SQL Thrift JDBC Server 二人目は私、塚本で、Spark SQLのThrift JDBC Server機能について発表しました。 色々とSpark
GCメモリ初心者の新卒がScalaでGCメモリを勉強してみた | Scala Tech Blog
この記事はCyberAgent エンジニア Advent Calendar 2015の14日目の記事です。 昨日は13卒の鈴木さんのブログでした、明日は同期のchoheyさんです。 はじめに こんにちは、サイバーエージェントアドテクスタジオ15新卒のフィ（@dxhuy)と申します。 アドテク新卒の中で「YYY初心者の新卒がXXXでYYYを勉強してみた」というタイトルが流行っていますので、パクらせていただきました。 ネットワーク初心者の新卒がDockerでネットワークの勉強をしてみた Scala初心者の新卒が頑張ってLispを作ってみた 現在RightSegmentという子会社でData Management Platform (DMP)を作っています。データの会社なのでHadoopのバッチの開発とか、フロントサーバでJavaの開発などをしています。 GCメモリについて 会社に入る前にはスク
KamonとDatadogを使ってAkka actorのパフォーマンスを可視化する | Scala Tech Blog
こんにちは、CA ProFit-X の塚本です。 先日ご紹介いたしました、同チームの松村の記事はいかがでしたでしょうか。 Akka Cluster Shardingで即時集計系をつくる 上記の記事では応答時間など特定の値を収集するためにKamonというJVMのモニタリングを行うライブラリを用いています。（KamonはAkka actorをモニタリングすることもできます。）また、その収集した値を保存し可視化するために、モニタリングサービスであるDatadogというクラウドサービスを用いています。 この記事では主にKamonとDatadogをメインに、私たちCA ProFit-Xが行っているモニタリングの方法についてご紹介して行きます。 Datadogとは Datadogとはクラウドのモニタリングサービスです。詳しくは以下のリンクをご覧ください。無料で簡単に利用できますので、試してみると良いか
【スライド公開☆】「ディープラーニングチュートリアル 応用編：言葉の『意味』表現〜word2vec〜」 | PR Blog
【スライド公開☆】「ディープラーニングチュートリアル 応用編：言葉の『意味』表現〜word2vec〜」 PR Blog 2015.04.15 みなさんこんにちは 先日、アドテクスタジオが主催した 「ディープラーニングチュートリアル 応用編：言葉の『意味』表現〜word2vec〜」 の様子をお届けいたします おさらい ディーププランニングとは？ Deep Learning(深層学習)は、機械学習の一種であるニューラルネットワークなどを用いた、人工知能技術の総称です。 画像認識のコンペティションで優勝するなど、近年話題を集めています。 広告業界では、広告のテキスト生成、関連度付けにおいて、 単語の意味をベクトルで表現し、単語間の意味類似度をスコア化することが重要となります。 今回、講演のメインテーマとなる「word2vec」 は、大規模データから単語の意味表現を学習する手法で、この分野における
Kafkaを使ってチャットツールを作ってみました | Scala Tech Blog
こんにちは、15卒のフィ(@dxhuy)です。 最近仕事でちょっとKafkaを使う機会がありました。Kafkaは汎用的に色々な用途で使えるとても面白いミドルウェアです。そこでKafkaの知識を深めるために何か作ろうかなと考えて、コマンドラインで実現する簡単なチャットツールを作ってみました。 Kafkaとは Apache Kafka は Publish-Subscribe 型のメッセージングシステムであり、オフライン・オンライン両方のメッセージ取得に適している。これ は大容量のイベントとログデータを低遅延で収集および配信する目的で、当初は LinkedIn で開発された メッセージングシステムであった。 Kafkaでの概念を簡単に説明します： Producer：情報を作る側。 Consumer : 情報を使う側。 Topic： ConsumerがTopicにSubscribeして情報取り出し
Akka Cluster Shardingで即時集計系をつくる | Scala Tech Blog
こんにちは、CA ProFit-X の松村です。 私たちのプロダクトでは広告配信のシステムにAkkaを使っていて、アプリケーションはAWS/Docker環境に配備して運用しています。今回はAkkaのCluster Shardingという拡張を使って、主にAWS環境を想定した簡単なリアルタイム集計システム(即時集計系)をつくってみたのでその内容をご紹介します。 下ではAkka Cluster Shardingについて簡単に説明した後、試作した即時集計系の実装・永続化と配備について説明します。その後、ワークロードとノード数を増減させた実験とその結果について説明します。 Akka Cluster Sharding について Akka ClusterはGossip Protocolとφ Accrual Failure Detectorという手法に基づいた非中央集権的なノード群構築を行うAkka拡張
【Akka】Akka Streamsがめっちゃ便利すぎて脳汁が出た話し | Scala Tech Blog
こんにちは！Smalgoの來田です。 注意：タイトルは過激ですが内容至って普通なチュートリアル記事です。 仕事でWorkerを作った時に使ってみてめっちゃ便利だと思ったのでAkka Streamsについて書きたいと思います！ まだまだ中の実装の深いところまで追えてるわけじゃないので間違っていたら教えてください。 Akka Streamsとは Reactive Streams（ノンブロッキングでback pressureな非同期ストリーム処理の標準仕様）のAkka実装 Back Pressureとは 非同期なストリーム処理の場合下記の問題が起きる Publisher側の処理が早い場合Subscriber側のバッファーが溢れてしまう Subscriberに遠慮してPublisher側の処理を抑えた場合は無駄が多くなってしまう それをSubscriberが自分が処理できる量をPublisherに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Adtech Scala Meetup] Scalaで型クラス入門 | Scala Tech Blog![[Adtech Scala Meetup] Scalaで型クラス入門 | Scala Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/be816fd04a55c4389205324db296081fe0568cbc/height=288;version=1;width=512/http%3A%2F%2Fd3bktha63fjub8.cloudfront.net%2Fscalablog%2Fwp-content%2Fuploads%2Fsites%2F2%2F2015%2F12%2Fscreen-shot-2015-12-21-at-15.53.38.png)