Apache SparkでカスタムStreamingする - もょもとの技術ノート
はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。 TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/examples/streaming at master · apache/spark · GitHub spark/external at master · apache/spark · GitHub これらは、いろいろ利用できそうですね。 一方で、オリジナルのStreaming処理を行いたい場合には、 Sparkが提供するReceiverクラスを拡張する必要があります。 この記事では、Receiverクラス
sifue's blog
N高等学校でプログラミングを学ぼうとしている新入生向けに、プログラミングをやっているN高等学校の生徒/卒業生の情報発信、メディア露出、作品まとめを作ってみました。適当にまとめたので、自分のも入れて欲しい！とかというのがあったらN高のSlackの #programming にて @teacher_sifue までメンションください。 7coco Tech Blog 7cocoさんの技術ブログ 文系女子高生をどん底から救ったプログラミングの魅力 | 日経 xTECH（クロステック） 7cocoさんのメディア露出 uehr uehrさんのポートフォリオサイト 「N高等学校」ってどうなの？ 卒業生に聞いた、学校生活と現在 ohtasojiさんのメディア露出 学校生活振り返り - deletend’s diary deletendさんの競技プログラミングブログ かっこいいサイバーマスクを作る[後編]
Netty at Twitter with Finagle
Finagle is our fault tolerant, protocol-agnostic RPC framework built atop Netty. Twitter’s core services are built on Finagle, from backends serving user profile information, Tweets, and timelines to front end API endpoints handling HTTP requests. Part of scaling Twitter was the shift from a monolithic Ruby on Rails application to a service-oriented architecture. In order to build out this new arc
Making Storm fly with Netty
Yahoo recently submitted work to Storm that allows the messaging layer to be pluggable and provides an implementation based on Netty. This is an important step for many reasons. It enables Storm to run without dependencies on native library, and thus simplifies Storm deployment onto any OS and to the cloud. It opens up a path to add authentication and authorization to the connections between work
How to Migrate Netty 3 to 4 (Netty 番外編) - Taste of Tech Topics
こんにちは！新しい物好きなエンジニアのツカノ(@snuffkin)です。 強い風を吹かせて台風が通り過ぎましたが、皆さんはいかがお過ごしでしょうか。 このブログで紹介しているVert.xもそうですが、Nettyは様々なプロダクトで採用され、追い風を感じる状況です。はい、今回は久しぶりのNettyです。 これまでのおさらい さて、これまで何回かに分けてNettyの話をしてきました。まずは、簡単に振り返ってみましょう。 イベントドリブンで通信処理を行えるNetty 導入編 - Taste of Tech Topics イベントドリブンで通信処理を行えるNetty 導入編2 - Taste of Tech Topics イベントドリブンで通信処理を行えるNetty 導入編3 - Taste of Tech Topics オリジナルの通信プロトコルを実装してみよう(Netty 実践編1) - Ta
Netty 4 at Twitter: Reduced GC Overhead
At Twitter, Netty (@netty_project) is used in core places requiring networking functionality. For example: Finagle is our protocol agnostic RPC system whose transport layer is built on top of Netty, and it is used to implement most services internally like Search TFE (Twitter Front End) is our proprietary spoon-feeding reverse proxy which serves most of public-facing HTTP and SPDY traffic using Ne
オリジナルの通信プロトコルを実装してみよう(Netty 実践編2) - Taste of Tech Topics
こんにちは！新しい物好きなエンジニアのツカノです。 Nettyを利用しているOSSは多いですが、Netty4が登場して気になるのはNetty3からの移行ですよね。どのくらいのプロジェクトが移行しようとしているかは分かりませんが、Issueを見ているとNetty4への移行話が登場しているものもチラホラあります。個人的には移行状況もチェックしておきたいと考えています。 さて、前回の実践編1では、オリジナルプロトコルのEncoder/Decoderを作成しました。今回の実践編2ではEncoder/Decoder以外の部分(クライアント/サーバのプログラム)を作成し、ChannelBufferについて解説します。 クライアントのプログラム 以前のシリーズで紹介したクライアントプログラムを参考に、書いてみましょう。 MyProtocolClient StringEncoder/Decoderだった部
オリジナルの通信プロトコルを実装してみよう(Netty 実践編1) - Taste of Tech Topics
実践編 目次 オリジナルの通信プロトコルを実装してみよう(Netty 実践編1) - Taste of Tech Topics オリジナルの通信プロトコルを実装してみよう(Netty 実践編2) - Taste of Tech Topics こんにちは！新しい物好きなエンジニアのツカノです。 Vert.xがますます面白いところに入ってきましたが、今回は久しぶりのNettyシリーズです。Vert.xは通信周りにNettyを利用しており、その仕組みを理解する上でも良いかと思います。 前回シリーズを掲載した後、Nettyの世界では大きな変化がありました。ついにNettyのメジャーパージョンアップであるNetty4がリリースされました。Netty4ではパッケージ名から変わっており、直接的な互換性もありません(パッケージ名やクラス名を置き替えることで、ある程度移行できます)。そのくらい大きく変わって
GitHub - spullara/redis-protocol: Java client and server implementation of Redis
A very fast Redis client for the JVM. Description of each module: redisgen/ Scrapes the redis.io/commands page and produce various typed clients and servers, very extensible util/ Some common encoding and data structures client/ Leverages the protocol module for encoding and decoding. Supports both synchronous and asynchronous pipelined requests from the RedisClient. Supports 2.6 commands. protoco
JavaでノンブロッキングIOを使ったネットワークアプリを学ぶのに最適なNetty 3.5系のGetting Startedを日本語訳しました - sifue's blog
Nettyと言えばJavaのノンブロッキングIOのAPIであるNIOをラップしたフレームワークとして、TwitterのFinagleなどで分散ネットワークアプリケーションシステムで使わていて高速で実績のあるライブラリとして有名ですが、ノンブロッキングIOでイベント駆動のサーバークライアントのネットワークアプリケーションを知るのに非常に良い題材ですので、素人翻訳ですがその日本語訳を公開することにしました。 ちなみにNettyがどれぐらいパフォーマンスに優れているのかというと、Herokuの仮想インスタンスを利用した実験の結果が参考になります。Scala(Finagle)がNettyの実装を利用したものになりますが、秒間6000リクエスト時の1dyno(APサーバー)の応答が秒間4000レスポンスで、C(Accept)、Java(Jetty)、Java(Tomcat)、Js(Node)、Pyt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
