Treasure Dataに大量にデータをアップロードする td import 機能 | iret.media
大量にデータをアップロードしたい ログのデータをtd-agentを使ってTDにためて行く方法については情報が多いですが、検証や過去データの移行などで一度に大量のデータをTDに入れてしまいたいというニーズも一定数あると思います。 TDに大量にデータをアップロードするときは、データをmsgpack形式に圧縮してからアップロードできる td import 機能を使いましょう。 SIOS ビッグデータ技術ブログ: TreasureDataのtd import:prepare機能の比較検証 トレジャーデータのWebサイトにあるマニュアルでも、Bulk Import の章で説明がされています。 Bulk Import Internal | Treasure Data
TreasureDataってなんじゃ？（Googleスプレッドシートで簡易ダッシュボード） | iret.media
前回、TrasureDataでデータのロードとクエリの実行を行いましたが、今回は結果をTreasureDataの外に出してみます。 まず、Google Spreadsheetで空のスプレッドシートを作成します。 名前は適当に、「TreasureDataTest」シートは「dashboard1」と名づけます。 また、Googleでパスワードに2段階認証を掛けている場合、TreasureDataがGoogle Spreadsheetへアクセスできないので、予めGoogleアカウントでアプリ用のパスワードを作成しておきます。 ここまでできたら、TreasureDataの画面に移ります。「New Query」の「Result Output」のプルダウンで出力先の選択肢が表示されますので、今回はGoogleSpreadsheetを選びます。
TreasureDataってなんじゃ？ | iret.media
Treasure Dataはデータの収集、保存、管理、処理、可視化などを行えるログ解析の基盤サービスで、fluentdを使ってデータを収集し、hadoopで解析を行います。 自分も以前の記事で書きましたが、よくelasticsearch + kibanaや、splunkなどの部分がサービス化されているようなイメージです。 Treasure Dataについては、中の人が非常に詳しくブログで書かれています。 それでは実際に触ってみます。 ユーザー登録＆ログイン http://www.treasuredata.com/jp/products/try-it-now.php にアクセスして、サインアップのリンクをクリックします。 ログの送信 ログの収集対象となるサーバーで、apacheのログデータをTreasure Dataに送信するように設定します。 まず、ログのあるサーバーでtd account
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
