YAPC::Asia Tokyo 2015での発表 - Go ahead!
YAPC::Asia Tokyo 2015 今年で最後となるYAPC::Asia Tokyoで，データ分析基盤まわりについて発表してきました．部屋は満席だったようで，聞きに来てくれた皆さん，ありがとうございました．会場はD言語erにふさわしくD会場でした． データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015 これが今どきのデータ解析基盤だ！初心者のためのデータ解析講座 #yapcasia #yapcasiaD - Togetterまとめ どういう展開にしようか悩んだんですが，データ分析基盤の構築に使われる様々なソフトウェアが，どういう問題を解決するために導入されているのか，またその一方どういう問題を持っているのか，を一からデータ分析基盤を作るという流れで話していくことにしました． 既にガリガリやっている人向けではなくて，これからやろうとしている人，やってるけど現状の
Fluentdの現実装のPros/Cons - Go ahead!
TODO: 必要なら図を足す 他に書いた方が良いPros/Consのリクエストがあったら追記 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forwardプラグイン)を実装していますし，内部のイベントのハンドリングもそれに沿うようになっています．ただ，それによって相性の悪い操作とかもあります． Fluentdはバッファ機能を提供しており，これによって転送の効率化とエラー時のデータロスを防ぐ設計になっています．が，あまりにも書き込み先が遅いなどの問題があると，バッファの制限を超えて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
