tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
Twitter、分散リアルタイム処理システム「Storm」公開 | gihyo.jp
2011年9月18日、Twitterは分散リアルタイム処理システム「Storm」をオープンソースで公開しました。より正確に言うと、2011年7月に買収されたBackTypeのメンバーが買収以前より開発を進めていたものです。BackTypeはTwitterのつぶやきを解析するシステムを開発していたスタートアップ企業でHadoopのヘビーユーザでもありましたが、リアルタイム性の問題点を解消すべくStormの開発に至ったようです。ちなみに同じオープンソースの分散リアルタイム処理システムとして米Yahoo! が「S4」を公開していますが、Stormはデータを処理する信頼性の高さやAPIのシンプルさに違いがあります。 StormのアーキテクチャはHadoopと似通っており、クラスタはMaster-Workerパターンに基づいています。Masterノードには「Nimbus」、Workerノードには
分散リアルタイム処理フレームワーク Storm（その1） - 現場のためのソフトウェア開発プロセス - たかのり日記
少し前になりますが、2011/09/19に、Twitterから、分散リアルタイム処理フレームワーク「Storm」がオープンソース化されて公開されました。 最近は、Hadoopの効果により、BigDataへの注目度が高まっていますが、Hadoopが領分とするバッチ処理から、よりリアルタイム処理へのニーズが高まってきているように思います。 Stormは、BigDataに対してリアルタイムの処理を可能にするフレームワーク。 Hadoopと比較されることがありますが、個人的には、それぞれ用途が違うと思っているので、比較することにあまり意味はなく、特性に応じて使い分けることが重要だと思います。 Stormの特性は、以下のような点。 非常に広範囲のユースケース メッセージ処理、ストリーム処理、データストリーム上の継続的なクエリ実行・クライアントへの結果配信、同時並行で行う対話形式での検索回答（分散RP
Twitter Stormをインストールしてみます！（その２ - Taste of Tech Topics
こんばんは。kimukimuです。 前回に引き続き、Twitter Stormのインストール手順を書いてみます。 ・・・今回はあまり画面が無くて、文字ばかりになりますが、ご了承下さい＾＾； 3.Stormインストールの前提ソフトウェアのインストール（２ ZeroMQ 2.1.7 ZeroMQというのはネットワークライブラリの一つで、 マルチキャストやユニキャストといった『多数への通信』が 扱いやすいという特徴を持ちます。 Stormは多数のマシンで構成されるのが前提なため、適しているのでしょう。 バージョンが指定されているのは動作確認を行ったバージョンのようです。 とりあえず、インストールしてみましょう。 > cd /usr/local/download > wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz > tar
Hadoop × リアルタイムストリーミング＝ Storm？ - Taste of Tech Topics
こんばんは、kimukimuです。 今日はいつものAndroidではなくて、Hadoopで最近調べていることを書きます！ 1. 最近Hadoopは熱いんです！ 最近、Hadoopを用いたビジネスがひたすら熱いです。 『Big Data』を扱う新たな情報分析プラットフォームとして、 破壊的なまでの広がりを見せています。 これまで１日かかっていたデータの集計が、 １５分で出来るようになり、より素早い意思決定が可能になる。。。。 それを特別なハードは使わず、マシンを束ねてやってのけるというのはすごいですよね。 ２〜３年前にAmazon Elastic MapReduceが登場したころに弄ってみて、 価値が理解できずに投げ出した過去の自分を蹴り飛ばしたいくらいに。 しかも、ついこの間次世代MapReduce(Hadoop-0.23)も発表されて、さらに勢いが増しています。 ただ、これはどうやら現在
tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
storm-programming
storm-programming — Presentation Transcript MacBookAirから始める storm @tjun2012/3/1 Advanced Tech Night BigDataの次のSTEP リアルタイム分散処理のイマドキ LT 自己紹介名前： 高木潤一郎twitter： @tjunblog： http://tjun.jp/blog仕事： メーカーエンジニア最近stormなどのリアルタイム分散処理に興味があります 2 アジェンダ・ 1台から始めるstormプログラミング・ そして分散へ・ (storm-contribの紹介) 3 stormプログラミングを始めよう 今回LTに向けて作ったもの twitterからユーザタイムラインを取得して 話題のURLを取り出して Growlで通知する 4 なんとなく設計するtwitterからユーザタイムラインを
Twitter Stormをインストールしてみます！（その１ - Taste of Tech Topics
こんばんは。kimukimuです。 今日は以前紹介した、Twitter Stormのインストール手順をまとめてみます。 公開された直後だったためにそれほど大々的な動きはなかったのですが、 最近Cassandraとの接続プロジェクト等も公開されて、 実際に使えるものになりつつあるようです。 最近ネタがころころ変わっていますが、他のネタに窮したからではないんですよ。 決して。ええ。多分。 ・・・いえ、Android4.0（Galaxy Nexus）も出ないし、 InfinispanもWin7+WinXPでIPv4/IPv6混在してIPマルチキャストできなかったりいろいろありますので、否定はしないのですが。。。。 1.まずはマシンの準備をします まずはじめにマシンの準備を行います。・・・なんですが、 このために物理マシンを買ってくるわけにもいかないので仮想マシンです。 スペックとしては下記のよう
tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
リアルタイム分散処理Stormの耐障害性は？ - Tech-Sketch
リアルタイム分散処理とは 「ビッグデータ」処理のためにHadoopを用いますと、「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」ことが容易に可能となります。 ところがHadoopの弱点としまして、ビッグデータをいったん蓄積し、バッチで一括処理する形態で処理が行われますので、処理データが発生してからそれに対する処理結果が得られるまで必ずタイムラグが発生します。このため、クレジットカードの不正アクセス検知、センサーデータなどでの異常値検出のようなリアルタイムなレスポンス(低レイテンシー)が要求されるビッグデータ分野へのHadoopの適用は向いておりません。 このような随時発生する大量データ（ストリーミングデータ）を、蓄積せずにリアルタイムに処理する「リアルタイム分散処理」が求められています。 今回は、リアルタイム分散処理のソリューションとしてTwitter社より公開された
Stormってどこで実際に使われてるの？ - Taste of Tech Topics
こんにちは。kimukimuです。 今日もStormの話です。 ですが、今日は少し趣向を変えてStormが実際にどんな場所で使われているかを紹介してみます。 ・・・というのも、Stormって「リアルタイム分散処理フレームワーク」ではありますが、 それだけだと何ができるかさっぱりで、かつ日本では実運用として使っている場所は無いので。 ＃あるかもしれませんが、少なくとも情報は公開されていません。 そんなわけもあって、紹介するのは全て外国の企業となりますが、書きますね。 尚、元情報はStormのWikiからです。 企業名 用途 Groupon リアルタイムのデータ統合に使用している。重複しないデータをまとめるのに有用。 Rubicon Project リアルタイム入札システムにおける広告の表示回数の解析に使用。毎日6億5千万のオークションの結果を毎日処理し、より有効な広告の提案を行っている。また
Streaming Processing for Big Data - なぜか数学者にはワイン好きが多い
ビッグデータが流行っているので，大量データをストリーミングにsemi-realtimeに処理できるフレームワークを探しました． 条件は， 処理の取りこぼしが無いこと できるだけシンプルであること 各種言語へのバインディングがあること などです． フレームワークとしては，Dempsy，Storm，Esper，Streambase，HStreaming，Yahoo S4などがありますが，順次調べていきます． Dempsy比較的新しい，Dempsy. http://dempsy.github.com/Dempsy/ What is Dempsy? In a nutshell, Dempsy is a framework that provides for the easy implementation Stream-based, Real-time, BigData applications.
Apache Drillの開発された背景とモデル、構造 - 夢とガラクタの集積場
こんにちは。 とりあえず前回のものだけではまだApacheDrillが何が何やらわからないため、 開発された背景や位置づけなども含めてまとめてみます。 1.Apache DrillProposalの内容 とりあえず、Apache DrillProposalの内容を要約して訳してみます。 概要 Apache DrillはGoogle Dremelをベースに開発された、巨大なデータに対して対話式に解析が可能な分散システムである。 提案 Apache DrillはGoogle Dremelをベースに、 幅広いクエリ言語／解析対象のデータセットに対応することを目指す。 かつ、入れ子構造になっているデータに対しても適した検索手段を提供する。 Apache Drillは最終的に10000のサーバ、ペタバイトクラスのデータ、兆単位のレコードに対して秒単位での検索を可能とすることを目指す。 背景 多くの組
StormでTopologyを素早く起動させる方法は？ - Taste of Tech Topics
こんにちは。kimukimuです。 最近花粉で駆逐される側に回っている今日この頃です。 アレグラＦＸ、ザジテン等普通に薬局で買える薬も強力なものがそろってきているんですが、 それ以上に花粉の症状がひどく、例年になく苦しんでいる状態です。 ・・・ただ、マスクすると息が吸えずに苦しく、それはそれで問題なんですよね。 ともあれ、では本題に入りましょう。 1.Topologyを起動するのには時間がかかります 実際にStormクラスタを扱ったことがある方であればわかるかと思いますが、 StormでTopologyを起動する際には下記のように時間がかかります。 ＃当然、マシンの性能で変わりますがCorei7やXeon E3といったCPUを積んだエントリサーバクラスだと下記くらいです。 TopologyをSubmitするJavaコマンドを起動するのにかかる時間：3秒 TopologyをSubmitする時
Stormをはじめよう - Go ahead!
O’Reillyの方からStormをはじめようを献本して頂いて読んだのでレビュー！ 感想 最近増えてきている100ページくらいの本なので，さっくり読めました． 簡単にまとめると ”英語は読みたくないので情報が古くてもStormの概要を日本語で読みたい” という方向けの本． 大きな理由は以下: Stormの対象バージョンが0.7.1と古い．俺でもTridentというのが0.8から入っているのを知っているので，その辺の目玉機能は書かれていない 多分原著の方も少し書き方が雑．なんの説明もなく実装のクラス名を使って説明している所とかあるので「？」となる所がある サンプルコードも少し雑で，使ってない変数があったり説明と実装があってなかったりもたまにある 翻訳が少し微妙．Cursorが”カーサー”だったり，原著の方の構成の不味さもあるのか，日本語的に理解しにくい文がちょくちょく混じっている (監訳はい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
http://blog.ik.am/entries/111
No.4 BigDataの次のSTEP リアルタイム分散処理のイマドキ - Advanced Tech Night
Charming Python: Functional programming in Python, Part 3
内海 英一郎のブログ: 「Storm 解剖」@ データ・ストリーミング勉強会