ブックマーク / acro-engineer.hatenablog.com (9)

  • Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた - Taste of Tech Topics

    こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか? 私はケーキは買う派ではなく、自分で作る派です。……まぁ、べるのも自分なのですが…… クリスマスはさておき、今日はKinesisとStormに関する内容です。 AWS re:Invent 2013 で 発表されたAmazon Kinesis が12/17にPublic Betaになり一般公開されましたね! 以下のように、KinesisはStormのコネクタを含んでいる、ということなので、さっそく試してみましょう。 Kinesis does include a connector for porting data to Storm, which AWS General Manager for Data Science Matt Wood said is a possibility in

    Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた - Taste of Tech Topics
    miyashiki
    miyashiki 2013/12/25
  • ラムダ禁止について本気出して考えてみた - 9つのパターンで見るStream API - Taste of Tech Topics

    こんにちは @cero_t です。 今日のテーマは・・・ラピュタ禁止令! バルス! いや違う。ラムダ禁止令、です。 さて、なかなかの滑り出しですが、今日はただのラムダの紹介ではなく、禁止令に主眼を置いて語ります。 このエントリーは、Java Advent Calendar 2013の12/16分の投稿です。 http://www.adventar.org/calendars/145 前日は @sugarlife さんの JDK 8 新機能ダイジェスト (JDK 8 Features) です。 翌日は @setoazusa さんです。 ラムダ禁止令はあり得るのか? 勉強会やその懇親会などで、たびたび「ラムダ禁止令が出るのではないか」が話題に上ることがあります。 「そりゃ禁止する組織もあるでしょうね」というのがお決まりの答えなのですが、ただそれに従うだけでは面白くありませんし、要素技術の発展も

    ラムダ禁止について本気出して考えてみた - 9つのパターンで見るStream API - Taste of Tech Topics
    miyashiki
    miyashiki 2013/12/17
  • Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた - Taste of Tech Topics

    こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 (Amazon Kinesis は、Stormとも連携できるようになっているようです)。 さて、先日、Storm 0.9.0 が正式リリースされたり、Apache Kafka 0.8.0 が正式リリースされたりしたので、 それらを連携して、ストリームデータの可視化を行うプロトタイプを作ってみました。 1. はじめに まず、「ストリームデータ」とは、連続的に発生し続けるデータのことを指します。 システムが出力するログやセンサーが発生するデータ、SNSなどで常時発生するメッセージなどが該当します。 今回は、Apacheが出力するログを、ストリームデータとして収集・可視化することを行ってみます。 1-1.やりたい

    Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた - Taste of Tech Topics
    miyashiki
    miyashiki 2013/12/13
  • RxJavaを使ってCallback Hellから脱出する( Vert.x がいいね!第5回 ) - Taste of Tech Topics

    id:KenichiroMurata(@muraken720 )です。 記事はJava Advent Calendar 2013 - Adventarの6日目の記事です。 皆さん、RxJava 使っていますか? RxJavaNetflixが開発する Reactive Extensions のJava版です。Reactive Extensions (Rx)はReactive Programmingを可能にするライブラリです。 私はReactive Programmingとはなんぞや?と語れるほどには詳しくないので、ここでは asynchronous で event-based なプログラムを書くのに便利なライブラリというレベルの紹介とさせて頂きます。:-) さて、なぜ RxJava なのか?というと Vert.x を使って、asynchronous で eventbusベースのプログラ

    RxJavaを使ってCallback Hellから脱出する( Vert.x がいいね!第5回 ) - Taste of Tech Topics
    miyashiki
    miyashiki 2013/12/06
  • Javaのマイクロベンチマークツール「JMH」 - Taste of Tech Topics

    ブログの読者の皆様方におかれましては、JavaのArrayListとLinkedListの 実装の違いにより性能に差があることは、当然のように熟知のことと存じあげます。 しかし! 実際にいかほどの差があるのか、それを数値で説明できるという方はどれほどいらっしゃるでしょうか。 いきなり丁寧語の煽りでスタートしました @cero_t です。 そう、今日のテーマはマイクロベンチマークです。 たとえば、 文字列を + で結合すると遅い。 ArrayListの初期化時にはサイズを指定したほうが良い。 ArrayListはループ処理が得意、LinkedListは途中の追加が得意。 など、よくあるパフォーマンスのプラクティスについては既に知っているという方も多いと思うのですが 実際に何倍ぐらいの差なのか(どれぐらいのオーダーの差なのか)を数値で話すことができるという方は、 あまり多くないように思います

    Javaのマイクロベンチマークツール「JMH」 - Taste of Tech Topics
    miyashiki
    miyashiki 2013/11/07
  • 試して学ぶ Backbone.js 入門のまとめ - Taste of Tech Topics

    皆さん、こんにちは。id:KenichiroMurataです。 今回はKnowledge Noteにて連載させて頂いていた 「試して学ぶBackbone.js入門」が全5回分公開されたため、そのまとめをしたいと思います。 記事のコンセプト タイトルに含めた通り、実際にコードを書いて試してみることでBackbone.jsの理解を深めることを一番の目的としています。 なので、ぜひ実際に記事の中に出てくるコードを書いて、動かして、コンソールのログや動作を確認することをおススメします。 各記事の概要 第1回 試して学ぶBackbone.js入門 Backbone.jsの概要から、インストール方法、Model、Collectionの基を説明しています。 目次 はじめに セットアップ Modelの基 Collectionの基 Collectionの便利な関数 第2回 試して学ぶBackbone.

    試して学ぶ Backbone.js 入門のまとめ - Taste of Tech Topics
    miyashiki
    miyashiki 2013/10/08
  • Storm0.9.0-rc1で何が新しくなったの? - Taste of Tech Topics

    こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。 さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Stormで大きなニュースがまた一つ出ました。 Storm0.9.0-rc1のリリースです。 rcで正式版ではないのか、という突っ込みもありますが、 このバージョンは「0.9.0正式版リリースに向けた最終リリース確認バージョン」という位置づけのため、 そう遠くないうちに正式な0.9.0としてリリースされることが見込まれます。 1.Storm0.9.0の新機能/変更 Storm-Nettyの登場 まず、もっとも影響の大きな機能変更点として、「通信レイヤをZeroMQとNettyどちらを使うか選択可能になった」があります。 これまではSto

    Storm0.9.0-rc1で何が新しくなったの? - Taste of Tech Topics
    miyashiki
    miyashiki 2013/10/01
  • Vert.x がいいね!(第2回:開発環境を構築する) - Taste of Tech Topics

    id:KenichiroMurataです。 皆さん、Vert.x 使っていますか? 前回の「Vert.x がいいね!(第1回:入門する) - Taste of Tech Topics」に続き、第2回目となる今回は開発環境の構築について書きます。 目次は以下の通りです。 environment install setting gradle project template auto redeoploy remote debugging 1. environment Vert.xをインストールをして開発を行う前に、必要な環境を揃えましょう。私の環境はOS X Mountain Lionですので、Windowsの方は環境に合わせて読み替えてください。 JDK 1.7 Vert.xはJDK 1.7.0以上が必要になります。JDK 1.7は「Java SE - Downloads | Oracle

    Vert.x がいいね!(第2回:開発環境を構築する) - Taste of Tech Topics
    miyashiki
    miyashiki 2013/08/15
  • Vert.x がいいね!(第1回:入門する) - Taste of Tech Topics

    id:KenichiroMurataです。 最近2.0がリリースされたVert.xについて、皆さんご存じでしょうか? Vert.xは一言で表現すると、 Vert.x is a polyglot, non-blocking, event-driven application platform that runs on the JVM. です(公式サイトより引用)。 JVM上でのnon-blockingでevent-drivenなプラットフォームな所が私のお気に入りポイントです!まぁ、Java屋さんですからね。うちは。 そんなお気に入りのVert.xについて、これから数回に分けてブログにて記事を書いて行こうと思います。 Vert.xを知る Vert.xを知るには、ドキュメントが充実した公式サイトを読むのが一番です。ですが、ボリュームがかなりあるので、オススメのサイトを紹介します。 vert.

    Vert.x がいいね!(第1回:入門する) - Taste of Tech Topics
    miyashiki
    miyashiki 2013/08/10
  • 1