TreasureDataの2015年を新機能で振り返る - Qiita
普段トレジャーデータでサポートしてる@nora96oです。 今回は、Treasure Data Advent Calendar 2015の10日目の記事です。 去年は、TreasureDataの1年半を機能面で振り返るという記事を12月に書いたので、今年も2015年を振り返ってみます。 Streaming Import Fluent Bit Fluentd Bitという組み込みLinux向けにC言語で書き直された軽量のFluentdをリリースしました。 MQTTやXbee Input Pluginを持っていてIoT向けのFluentdといったところです。 ちなみにMailing ListやSlackなどもあって、興味があれば参加してみていただけると嬉しいです。 メインメンテナのEduardoが喜びます。 Slack: http://slack.fluentd.org Mailing lis
BigQueryのstreaming insertでログが欠損する - Qiita
3千万件送信して、2605件のログが欠落した。 今回の調査ではここまでになった。 BigQueryはログを取り入れてからは素晴らしいけど、まずログを取り入れる部分で不安がある。td-agentを使わなければ良いのかもしれないが、そうするとログ収集システムを自前で構築せねばならず非効率である。 googleはfluetdをGCEなどの標準ログコレクターにしたのだから、bigqueryプラグインについても手を加えてくれても良いかも知れない。 TreasureDataへ、並列送信 後半は、TreasureDataへも並列で送信を行った。一番最後に一千万件のログを送信した際には、TreasureData,BigQuery両方共ログ欠損はなかった。 TreasureDataの設定は特に何もしなくても、ログ欠損が起こらないのが素晴らしい。 ログ欠損とデータ分析 今回の調査ではfluent-plugin
データ分析で大切な４つのこと：1. 「当たり前の結果」をたくさん出す事の大切さ - トレジャーデータ（Treasure Data）ブログ
データ分析で大切な４つのこと トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 ここ数年，データの大量な蓄積とそれに対する分散並列処理が可能な環境が成熟してきました。元々はデータの蓄積やバッチの効率化といった分析バックエンド（プラットフォーム）の方にフォーカスがあてられてきましたが，やっとその先のデータ」「分析」というところ，そしてその役割を果たすデータ分析者の重要性が理解されるようになってきているように感じています。 このブームは分析者にとって非常に喜ばしいことでもあると同時に，大きなプレッシャーにもなっているような気がします。 そのプレッシャーの１つに，企画者や経営者・あるいは顧客といった結果を活用する人々（＝意志決定者）の，「これだけ材料（データ）が揃っているのだから多くの課題が解決できるはずだ」という期待に応えないといけないというプレッシャーがあると思いま
Hive (SQL-style) Query Language | Treasure Data
{"serverDuration": 35, "requestCorrelationId": "b45a8231fbaabbfb"}
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
