Termtter + Fluentd ですべてのツイートを構造化データとして収集する | 774::Blog
<source> type forward port 9999 </source> <match twitter.statuses> type mongo database twitter host localhost port 27017 tag_mapped flush_interval 1s </match> > show dbs; twitter 0.015625GB > use twitter switched to db twitter > show collections; system.indexes twitter.statuses > db.twitter.statuses.findOne() { "_id" : ObjectId("522828fe1c2a362fed000001"), "created_at" : "Thu Sep 05 04:00:11 +0000
おいしいherokuの使い方
ーーーーーーーーーーーーーーーーーーーーーーー schoo WEB-campusは「WEBに誕生した、学校の新しいカタチ」。 ＷＥＢ生放送の授業を無料で配信しています。 ▼こちらから授業に参加すると、先生への質問や、ユーザーとのチャット、資料の拡大表示等が可能です。 https://schoo.jp/class/409/room ーーーーーーーーーーーーーーーーーーーーーーー
Pryが真の力を発揮してくれる19個のコマンドとコマンドの自作方法[Rails]
開発の効率を大きく向上してくれるgem Pryをさらに使いこなすための便利なコマンド19個をまとめてみました。標準のコマンドをしっかり理解してPryの使いこなしを目指します！ (04/16 20:55) オススメの記事を追加その2 🎃 オススメ記事Pry の簡易的なコマンドまとめ Pryの設定ファイルや、関連Gemの簡易的なコマンドをまとめてくれている記事。この記事をひととおり読んだあとに、設定をいじると捗るかも！ Rails4 今のところ最強なデバッグツール達 開発やテスト環境で使っているGemfileの紹介。pryについてもかなり丁寧に書かれています！ Ruby 2.1の基本構文／基本文法まとめ＆Pryの使い方 オープンソースのオブジェクト指向プログラミング言語「Ruby」の文法をゼロから学ぶための入門連載。 🐞 (1) helphelpはコマンドの一覧と英語での説明を表示してくれ
![Pryが真の力を発揮してくれる19個のコマンドとコマンドの自作方法[Rails]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
DOM操作の最適化によるJavaScriptチューニング（前編）
連載「Webサイト・アプリ高速化テクニック徹底解説」の第4回は、JavaScriptのチューニングのうち、ボトルネックになりやすいDOM操作の最適化について解説します。前編・後編にわたって、DOM操作が遅くなる原因と仕組み、その解決策について詳しく解説します。 CodeIQとの連動企画！ この記事で学べるJavaScriptチューニングのテクニックを、実際にCodeIQの問題で試すことができます。もう既に自信がある方は腕試しに、もしくは理解度チェックのための復習として是非ご活用ください！こちらから問題にチャレンジ！ DOM（Document Object Model）とは、HTMLをアプリケーション（ここではJavaScript）から利用するためのAPIです。JavaScriptによるユーザーインターフェースの構築やレスポンスの表示など、インタラクティブな部分はほとんどがDOM操作によるも
Private Presentation
Private content!This content has been marked as private by the uploader.
膨大なビルド・テストで泣かないための継続的統合／CI実践ノウハウ
膨大なビルド・テストで泣かないための継続的統合／CI実践ノウハウ：DevOps時代の開発者のための構成管理入門（4）（1/3 ページ） 「DevOps」という言葉にもあるように、ソフトウェア構成管理は、インフラ運用に取り入れられるなど、変わりつつある時代だ。本連載では、そのトレンドにフォーカスして、現在のソフトウェア開発に有効な構成管理のノウハウをお伝えする。今回は、Jenkinsをはじめ、ツールが格段に使いやすくなってきた継続的インテグレーションについて、概要やメリットに加え、実践ノウハウを事例とともに紹介。 今回は、継続的な統合（Continuous Integration、CI、継続的インテグレーション）について紹介します。 CIとは、継続的な統合とは 皆さんは、CIという言葉を聞いたことがあるでしょうか？ CIとは、1度限りもしくは数回限りではなく、継続的に小まめにビルドを実行して
m7a.me - m7a リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Expanding the Cloud: More memory, more caching and more performance for your data
Expanding the Cloud: More memory, more caching and more performance for your dataSeptember 03, 2013 • 1287 words Today, we added two important choices for customers running high performance apps in the cloud: support for Redis in Amazon ElastiCache and a new high memory database instance (db.cr1.8xlarge) for Amazon RDS. As we prepared to launch these features, I was struck not only by the range of
ElastiCache Redis Engineのベンチマークともろもろ - まめ畑
Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the CR1 Instance も発表されています) 基本的なこと 機能 Replication GroupsによるRedisレプリケーションのサポート Replication Groupsは1ノード毎にSlaveとなる、Endpointは各ノード毎にアサインされる Masterへは統一のEndpoitが与えられ、Read replicaをmasterにpromoteしてもendpoin
ネットワーク/ストレージの処理能力をチェックするためのベンチマークツール 2ページ | さくらのナレッジ
サーバー上でさまざまなサービスを構築する前に、そのサーバーの処理能力を把握しておくことは重要だ。特にネットワークの帯域やストレージの速度といったリソースはサービスの品質に大きく関わってくる。そこで、今回はこれらの性能を調査するためのベンチマークツールやその使い方を紹介する。 ネットワークの性能を調査するベンチマークツール まずはネットワーク関連の性能を調査するベンチマークについて紹介しよう。ネットワークの性能といっても、その指標は次のように複数ある。 スループット（速度、帯域幅） レイテンシ（遅延） パケットロス（損失パケット） まず1つめは、スループット（ネットワークの速度）だ。帯域幅などとも呼ばれるが、ネットワークの性能としてもっとも重視されるのはこれだろう。ネットワークの速度が早ければそれだけ多くの情報をやり取りできるし、またより多くの接続に対して迅速に反応できるようになる。通常スル
vagrant + berkshelf + chefで環境をつくってみたら鼻血が出た - リア充爆発日記
vagrantのチュートリアルをやったログでvagrantの便利さとおよその使い方は理解できた。 もともとChefのレシピを作る環境を用意しよう、というのが主題だったので今回はVagrantを活かしてChefのレシピを書いてみようとしたところ、最近じゃBerkshelfというツールがあってこれも活かすとイカスことになるってもっぱらの噂だったので試してみたメモ。 入門Chef Solo - Infrastructure as Code 作者: 伊藤直也出版社/メーカー: 伊藤直也発売日: 2013/03/11メディア: Kindle版購入: 16人 クリック: 1,027回この商品を含むブログ (19件) を見る Berkshelfはcookbookを管理してくれるツール。bundler->gemのようにberkshelf->cookbookというイメージ。 具体的にどういうメリットがあるか
Tatsuya Takamura | Digital Ocean で Docker & dokku を動かす | scriptogr.am
以下の要素を組み合わせて、heroku のような自分用の PaaS を実現する dokku を試してみたのでメモ。 Docker で仮想マシンを起動し Buildstep でインスタンスにアプリケーションをデプロイする Gitreceive で git push を hook して自動化 下記の環境で試してみる vagrant-digitalocean で Digital Ocean のインスタンスを起動 Docker インストール dokku インストール Digital Ocean ユーザ登録 事前に、Digital Ocean のサイトからユーザ登録を行い、クレジットカードの登録と SSH Key の登録もやっておく。 ついでに APIのページ で client_id と api_key を調べて控えておく。 vagrant-digitalocean vagrant-digitalo
yum のパッケージキャッシュについて - aptheia.info
/etc/yum.confでkeepcache=1にしておくと、インストールしたパッケージがキャッシュされるようになる。これが無効化された状態だと、パッケージアップグレード時に問題が起きても元に戻せなくなるので有効化しておいた方がいい。 あるパッケージについて、どのバージョンが利用可能な状態かは以下で確認できる。 $ sudo yum --showduplicates list パッケージ名 RHEL なら過去のバージョンまですべて手に入るけど、CentOS だとOSリリース時のバージョンと最新版しか手に入らない模様。リポジトリ上なりキャッシュなりで過去のバージョンが手に入るのであれば、yum install や yum update は以下の手順でロールバックが行える。 # yum の利用履歴を確認 $ sudo yum history # 履歴から詳細を確認 # 未引数なら直近、引数あ
VagrantとChefで開発スピードを上げる話
各種 L2 over L3 encapsulation 方式について比較検討をします。VXLAN, NVGRE, STT, Geneve, L2TP static tunneling, VXLAN-gpe (eVXLAN) などをカバーしています。
vagrantの標準設定はどこに由来するのか？ - Qiita
ちょっとさがすのに手間取ったので記録しておきます。 vagrantの標準のネットワーク設定(ssh 22 -> 2222に転送とか)は、どこで設定されているのか 不明だったので調査してみました。 どうやら(vagrant@1.0.7)では、 /var/lib/gems/1.9.1/gems/vagrant-1.0.7/config/defaulst.rb にいろいろ標準の設定が書かれている模様です。 中身としては以下のような物となっています。 Vagrant::Config.run do |config| # default config goes here config.vagrant.dotfile_name = ".vagrant" config.vagrant.host = :detect config.ssh.username = "vagrant" config.ssh.hos
Vagrantの使い方まとめ - 酒飲みの備忘録
Vagrantの使い方まとめ． Vagrantを利用することで，Virtual BoxやVMWare Fusionで作成された仮想環境を，コマンドラインから簡単に利用できる． 公式サイト：http://www.vagrantup.com/ 事前に用意した環境 Virtual Box 4.1.26 Downloads | Virtual Box：https://www.virtualbox.org/wiki/Downloads インストール VagrantはRuby製のツールで，Rubygems.orgに公開されているため，gemを利用して以下の通り簡単にインストールできる。 1 $ gem install vagrant ただし現状Rubygems.orgに公開されているVer.は1.0.7止まりなので，最新版を利用したい場合は専用のインストーラを利用する必要がある（今回利用するのは，Ve
Vagrantで固定IPのVMを作ってみたら超簡単だった - haracaneのメモ
2013-07-27 Vagrantで固定IPのVMを作ってみたら超簡単だった Vagrant 本当に超簡単。 まずはいつも通り $ vagrant box add centos http://developer.nrel.gov/downloads/vagrant-boxes/CentOS-6.3-x86_64-v20130101.box $ vagrant init centos してからVagrantのドキュメントの通りにVagrantFileに Vagrant::Config.run do |config| config.vm.network :bridged end を追加します。設定後にvagrant upすると $ vagrant up default] VM already created. Booting if it's not already running... [
chefでmysql-5.6インストールしようとしたら苦労した話 - blog.youyo.info
最近chefにハマってます。 いろんなレシピを書いて勉強中です。 で、mysql-5.6をchefでインストールしようとしたらはまってしまいました。(泥沼に… CentOS6標準のmysql-5.1と同じノリでやったら苦労したのでメモ。 mysql-5.1のとき こんな感じでレシピ書いてました。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 %w(mysql-server mysql mysql-devel).each do |pkg| package pkg do action :install end end template '/etc/my.cnf' do source 'my.cnf.erb' owner 'root' group 'root' mode 64
社内で Chef 勉強会をして色々教えてもらった - @banyan's blog
自分の働いている会社は、ロリポップや heteml, Sqale などのホスティング事業をしてたり、また mizzy さんをはじめとして Puppet などを使ったプロビジョニングへの知識・経験がある人が多く、インフラエンジニアの人も多い。 開発側としては正直ものすごく楽なことが多々ある。けれどそうやって頼ってると、個人的な遊びとか開発に必要な簡単な VM とか以外ではなかなか Puppet や Chef を使ってという機会が少ないんで、まずは適当なネタをでっちあげて偉大なプロビジョニングマスターの人たちから少しずつ色々教えてもらおうと思いました。 ということでまず最初にやったのは rails-dev-box を chef で移植してみました。 banyan/chef-rails-dev-box rails-dev-box rails-dev-box は Contributing to R
HadoopとDunkheadでハッカーの電脳模擬戦(Defcon 8 CTF)のポートスキャンを可視化する
はじめに Dunkheadはタイムスタンプ付きのテキストデータ（アクセスログなど）を手軽に可視化するためのソフトウェアです。Hadoop上で動作するため、データのサイズが大きい、いわゆるビッグデータの場合にも使用することができます。 今回は、ハッカーの祭典として知られるDefconで行われた電脳模擬戦(Defcon 8 CTF)のログをDunkheadで可視化し、ポートスキャンやホストスキャンの様子を観察してみます。 PCAP形式のデータをtsharkでテキストデータに変換する 可視化の対象とするデータは、tcpdumpによって収集された、いわゆるPCAP形式のファイル(パケットダンプ)となります。このデータはバイナリデータであり、通常はWiresharkというGUIのツールで開いたり、tcpdumpの-rオプションなどを使って読んだりします。今回はDunkheadを使って解析するため、タ
メソッドの使い方もRubyに教えてほしい
Rubyの世界には「RubyのことはRubyに聞け」という格言があります1。 この格言に従い、早速Arrayクラスがどんなメソッドを持っているかRubyに聞いてみます。irbを使います。 % irb irb> Array.instance_methods(false) => [:inspect, :to_s, :to_a, :to_ary, :frozen?, :==, :eql?, :hash, :[], :[]=, :at, :fetch, :first, :last, :concat, :<<, :push, :pop, :shift, :unshift, :insert, :each, :each_index, :reverse_each, :length, :size, :empty?, :find_index, :index, :rindex, :join, :reverse,
fluent-plugin-geoip v0.0.4 をリリースしました。ElasticSearch＋Kibanaの世界地図に位置情報をプロットするために必要なFluentdの設定サンプルも紹介します
fluent-plugin-geoip v0.0.4をリリースしました。 今回は主にGeoLiteCityデータベース参照パスの不備の修正とREADMEの加筆を行いました。 https://github.com/y-ken/fluent-plugin-geoip http://rubygems.org/gems/fluent-plugin-geoip 修正内容の説明に続けて、後半では次のお役立ちTipsの紹介も行います。 インストール時のTips Fluentd + ElasticSearch + Kibana v3 を使う際のTips 変更内容概要 v0.0.3とv0.0.4の修正差分より紹介します。 [不具合] GeoLiteCityデータベース参照パスの不備を修正 [改善] 過剰なログ出力の削除 [改善] Travis-CIを用いた自動テストへの対応 Tips紹介 ここで、ハマりやす
Apache Hadoopをインストールする - CLOVER🍀
順番は逆ですが、HBaseに続いてHadoopのインストールをやりたいと思います。Hadoop 2系とか、知らんですよー。 Apache Hadoop http://hadoop.apache.org/ あくまで、現時点ではHBaseをHDFS上で動かしたいがためにHadoopをインストールしようとしているので、HadoopのバージョンはHBaseが依存しているものに合わせます。 先日インストールしたHBaseのバージョンは0.95.2で、こちらが依存しているHadoopのバージョンは2.0.5 alphaなので、このtar.gzをダウンロードしました。 では、Hadoopは「/usr/local/apache-hadoop」にインストールするものとして、以降進めていきます。 $ cd /usr/local/ $ sudo mkdir apache-hadoop $ cd apache-h
Apache HBaseことはじめ - CLOVER🍀
ちょこちょこNoSQLをかじっていっていますが、今度はApache HBaseを使ってみようと思います。 Apache HBase http://hbase.apache.org/ on HadoopなNoSQLですが、自分はHadoopについては素人。3年くらい前、0.20.Xとかいってた時期に、とりあえず入れてみてWordCountしたくらいの記憶しかありません。まあ、触っていないも同然。 これを機に、ちょっとはHadoop周りに詳しくなれるといいなぁ…。 とは言っても、仕事ではまず使わないんですけどね。 インストール とりあえず、さわりということで。Getting Startedを見ながら。 ＊最初はCDH4を使おうとしたのですが、HBaseが起動しなかったのでやめました… Quick Start／Getting Started http://hbase.apache.org/boo
30分でできる分散レコメンデーション：パラメータを決定する。 - tetsuya_odakaの日記
先のログでは、Parallel ALS(Alternating Least Squares）による分散レコメンデーション環境を手っ取り早く用意して、チェコスロバキアの「Libimseti.czという出会い系サイト（http://www.libimseti.cz/）」の1700万件の評価データで、分散レコメンデーションを実行した。 Mahoutでの、Parallel ALSの実装には、２つのパラメータ（λと、フィーチャーの数）がある。実行用に用意したShellでは、λ=0.20、フィーチャーの数を20とした。これは、この２つのパラメータを変えて、簡単なシミュレーションをした結果から決定した。 Featuresの数 フィーチャーの数を20と50にし、RMSEを比較したところ以下の結果を得た。 フィーチャーの数は、縮約する次元を表しており、一見、多いほうがよい精度を得られるように感じられる。反面
Amazon EMRでMahoutのレコメンデーションのワクワク感を体験する：30分でできる分散レコメンデーション - tetsuya_odakaの日記
追記：2013/9/17 このログの続編の投稿が完了しましたので、記事の末にリンクを追加しました。これで、このログの方法を応用した分散レコメンデーションエンジンの構築もばっちり（のはず）です。 先のログでは、Parallel ALS(Alternating Least Squares)を用いたレコメンデーションの理論面のフォローアップと、Apache Mahoutでの実装を少し詳しくみた。 このアルゴリズムは極めてシンプルで、かつ、Apache MahoutではHadoop上でスケーラブルに実装されている。 Apache Mahoutは発展途上のプロジェクトなので、スケーラブルに実装されているアルゴリズムとそうでないアルゴリズムがあって、レコメンデーションについていえば、0.8では、アイテムベースのレコメンデーション、Slope Oneレコメンデーション、Parallel ALSを使ったレ
自然言語解析 in MONMO（後編） - 中年engineerの独り言 - crumbjp
一連の自然言語処理をMONMOちゃん上で実現する試みの第３弾 前回はベクタライズまで行った。 今回は、形態素解析結果から、そのドキュメントの特徴を表す『ベクトル』を算出する、ベクタライズを行う。 monmo-NLProcessing github https://github.com/monmo/monmo-NLProcessing k-means 非階層型のクラスタリング手法。 シンプルで軽量。 ある程度の分散処理も可能。 概要 初期値として、仮重心を複数与え、各ベクトルは一番近い重心に所属するものとし、それらの平均値を新たな重心とする。 これを繰り返す事で、仮重心は移動して行き、最終的に動かなくなる。それが本当の重心と言える。 但し、初期値として与える仮重心の個数や値ににより、結果が大きく変わる。 canopy 非常にシンプルで荒っぽいクラスタリング手法 分散処理は難しい。 k-mea
自然言語解析 in MONMO（中編） - 中年engineerの独り言 - crumbjp
一連の自然言語処理をMONMOちゃん上で実現する試みの第２弾 前回は形態素解析まで行った。 今回は、形態素解析結果から、そのドキュメントの特徴を表す『ベクトル』を算出する、ベクタライズを行う。 monmo-NLProcessing github https://github.com/monmo/monmo-NLProcessing TF-IDF 自然言語処理における代表的なベクタライズ手法。 考え方 ドキュメント中、何回も出現する単語はそのドキュメントを表す重要な単語である。 多くのドキュメント中に出現する単語は普遍的な単語なので重要ではない。 シンプルだ。 TF-IDFの要素 N 総ドキュメント数 TF[a] ある単語（a）がその１ドキュメント中に現れた回数 DF[a] ある単語が現れたドキュメント数 IDF[a] log( N / DF[a] ) TF-IDF[a] TF[a] x I
自然言語解析 in MONMO（前編） - 中年engineerの独り言 - crumbjp
前回MONMOちゃんの紹介の続き。 今回は（日本語）自然言語解析の第一歩であるトークンナイズ（tokenize）を行う。 monmo-NLProcessing github https://github.com/monmo/monmo-NLProcessing 形態素解析 日本語の解析で一般的に使われるtokenize手法で、辞書を使った文脈解析。 メジャーな形態素解析ライブラリは以下の様なものがある。 mecab https://code.google.com/p/mecab/ lucene-gosen http://code.google.com/p/lucene-gosen/ ちょっと説明 ラテン語圏だと大抵の文章はスペース区切りで表記される。 I want to read it. これをプログラムで扱う場合は、単純にスペースの部分で切れば良い。 I want to read it
TechCrunch | Startup and Technology News
An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Over the past eight years, famed vehicle designer Henrik Fisker…
地図タイルをs3へ低冗長化でアップロード - tmizu23の日記 〜メインブログのための下書き〜
作成した地図タイルをs3に低冗長化ストレージでアップする方法です。 低冗長化にしたのは、料金を安くしたいのと、元データは手元にあるので消えても大丈夫だからです。 S3へアクセスするためのアクセスキーを設定 cd ~/ emacs .aws export AWS_ACCESS_KEY_ID=hogehoge export AWS_SECRET_ACCESS_KEY=fugafuga source ~/.awss3-parallel-putと依存するbotoをインストール 低冗長化ストレージでアップするようにプログラムを変更 pip install boto git clone https://github.com/twpayne/s3-parallel-put cd s3-parallel-put emacs s3-parallel-put -key.set_contents_from_st
S3での利用料金解析 - tmizu23の日記 〜メインブログのための下書き〜
S3 programatic billingの設定 http://sssslide.com/www.slideshare.net/AmazonWebServicesJapan/awsaws-billing GrowthForecast、Fluentd http://techmedia-think.hatenablog.com/entry/20121102/1351850643 設定 インストール ec2にインストール。やり方はここの通り http://kazeburo.github.com/GrowthForecast/ 起動 外からアクセスしたい場合は、ポートをec2で開けておく。データの保存場所を指定 growthforecast.pl --data-dir ~/gw --port 20008 データ保存 例えば、vegetation-billing-dailyのグラフに現時点の値=3
S3で地図タイルのアクセス制御 - tmizu23の日記 〜メインブログのための下書き〜
S3に保存した地図タイルへの直呼び出しのアクセス管理ができないか検討 アクセス制御方式 http://www.tdn.co.jp/techblog/201207/55/ s3でのアクセス制御の方法は4種類らしい。 ACL、bucket policy、IAM、Query String Request 自分なりの解釈 ACL：ファイルパーミッション bucket policy：.htaccessのようなもの IAM：ユーザーグループのようなもの Query String Request：Oauth認証のようなもの 地図タイルへのアクセス制限 目的：地図タイルへの直アクセスを制御したい。 直アクセスできるのは、許可したサイト、アプリ、ソフトから 方法： Refererを参照してアクセス解析。申請してもらったサイト以外からアクセスが頻発する場合は、bucket policyでブロック 申請してもら
SolrをUnitTestで動かす - makotanのブログ
Solr4.4をJUnit4でテストする方法 たまには技術ネタ。個人の趣味でAWS関係ないネタだからこっちｗ mavenあたりにsolr-test-frameworkをtestで追加して ↓こんなコードを書く public class SolrTest extends AbstractSolrTestCase { private SolrServer server; @Override public String getSolrHome() { return System.getProperty("user.dir") + "/solr"; } @BeforeClass public static void beforeClass() throws Exception { initCore("solr/solrconfig.xml" , "solr/schema.xml" , "solr"
AWSのSecurityGrouopのroleを当てられるcapistranoプラグインcapistrano-ec2group - ドナドナごとごと
awscapistrano 通常capistranoでroleを定義する際には下記のように記述するわけですが、インスタンス数に変更があった場合 追加したり削除したりがめんどくさいです。 set :app, "app-ip-address" set :web, "web-ip-address" 上記のような問題を解決するプラグインがcapistrano-ec2groupです。 GitHub - logandk/capistrano-ec2group: Capistrano plugin for deploying to Amazon EC2 instances by security groups インストール gem install capistrano-ec2group コード deploy.rbに以下の様に追記します。 このように指定するだけで、"web"roleには"security
Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vagrantでlxcを使う - Qiita
James Carr
Jenkins Polyglot Persistent Applications Part 2 – Red Hat OpenShift Blog
How to Build and Deploy OpenShift Java Projects using Travis CI – Red Hat OpenShift Blog