Flumeを使いMac上でTwitterのツイートを取得する - Qiita
Apache Flume 1.5.0 で Twitter Source が入ったので、Twitter から簡単にデータを取得することができる。(注: Experimental のため利用には十分注意すること) この記事ではMac上で簡単に試すための方法を紹介する。 環境 Flume バージョン: CDH 5.4.2 (1.5.0 ベース) OS: Mac OS X 10.10.3 準備 ファイルのダウンロード Cloudera のリポジトリからFlumeのtar.gzを取得する。 最新版へのリンク 適当な場所に Flume を設置し、展開する。私は ~/lib/flume にしている。 次に avro-tools をインストールする。 Twitter API キーとアクセストークンの取得 https://apps.twitter.com/ から取得する。取得の仕方はググってください。 以下
カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Avro - Wikipedia
