第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
Twitter StreamingのデータをMongoDBに突っ込む - nokunoの日記
昨日のエントリでTwitter Streaming APIの使い方を紹介しました。 Twitter Streaming APIの使い方 - nokunoの日記今日は、溜めたデータをMongoDBに突っ込んで検索してみます。なお、MongoDBはインストール済みとします。MongoDBを使ってみたメモ - nokunoの日記$ ./mongod --dbpath twitter &$ ./mongoimport -h localhost -c twitter --type json --file twitter.json$ ./mongo> show dbs;adminlocaltest> show collections;system.indexestwitter> use twitter;switched to db twitter> db.twitter.findOne(){ "_id
Twitter Streaming APIの使い方 - nokunoの日記
このエントリでは、Twitter Streaming APIの使い方について解説してみたいと思います。 Twitter StreamingとはTwitter Streaming APIとは、通常のTwitterクライアントやボットで利用されるREST APIとは異なり、データ解析などで大量のデータを必要とする開発者のために用意されたAPIです。一度接続するとHTTP接続を保ったまま自動的にデータを流し続けてくれます。Streaming API Documentation | dev.twitter.comGoogleなどの一部の企業はStreamを使って全Tweetのデータを取得するAPI（firehose）を使う権限を持っていますが、個人ではもちろん権限もありませんしあったとしても処理できませんので、firehoseの約1%以下のデータからサンプリングされたデータがストリームされるAPI
サイマルラジオ
コミュニティ放送局が放送すると同時にインターネットに配信をするサイマルラジオは、平成20年（2008年）にコミュニティ・サイマルラジオ・アライアンス（略CSRA）としてスタートしました。 ラジオ局がインターネットに同時配信することは、現在では普通のことになりましたが、日本で初めての運用でした。 また、平成23年東日本大震災においては、臨時災害局のサイマルラジオ環境設置を行い、平成30年3月に最後の1局が閉局するまで支援いたしました。「遠方にいるご家族の、地域の状況を知りたい！サイマルラジオを設置してほしい」という1通のメールから始まった活動でした。 これからのCSRAとしては、地域のSDGs（持続可能な開発目標）の手段として、サイマルラジオが地域にとって有効な手段として利用できることを目指してまいりたいと考えております。 2019年9月 【本件へのお問い合わせ】info@csra.fm
無料で使えるRed5とは？
Flashストリーミングって何？ 動画を使ったサービスが増えています。ひと昔前でしたらRealやWindows Mediaなどの形式が主流でしたが、最近ではFlashを採用するのが標準的なやり方になってきました。一説によるとFlashプレーヤーの普及率は99％に迫る勢いだそうで、細かいバージョンを問わなければほぼ全員の環境で使えるのがFlashということになるでしょう。 本連載では、オープンソースで提供されているRed5というプロダクトを軸に、Flashでの動画再生について紹介していきます。Flashというとクライアントサイドの技術といった感が強いのですが、Red5を使うことによってサーバーサイドとも連携した、より一歩進んだFlashの世界が開けると思っています。 まずは、ストリーミングについておさらいしましょう。「動画」であることと「ストリーミング」というワードが混同されている場面もあり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
livedoor ReaderのクローラとStreaming APIなどの話
