サイボウズのサービスを支えるログ基盤

Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/

[ackintosh]

Fluentd で at least once が難しい理由が気になる...! / 補足していただいた https://twitter.com/ueokande/status/890018829597687808

[muddydixon]

「結局ファイル最強だった」うむ

[tofu-kun]

もう少し突っ込んだ話を聞きたい感あるけど、俺の知見がそもそもそこに達していない

[kimutansk]

fluentdでExactly onceではなく、At least onceが出来ないってどういう意味なんでしょうね。普通にできるような。何か欠落するパターンが発生した？

[naga_sawa]

Apache Kafka/pubsub型メッセージング基盤

[nilab]

Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表

[azuone]

at least onceにこだわるあまりに過剰投資になっていないのかどうかが気になる。fluentdで取りこぼすような場面のログがそこまで絶対に必要なものなのか費用対効果を検討したのかなど

[t2y-1979]

メッセージキューかぁ

[kaerucircus]

kafkaへ転送するGoエージェント気になる。AWSでやるなら、fluentd -> kinesis firehorse -> s3 だけで良さそうなんですが

[hinashiki]

一部ブコメでも書かれてるけどFluentdでat least onceが出来なかったケースの実例を知りたいかなぁ

[InoHiro]

[logging[

[teppeis]

1日で20億行800GB出力されるcybozu.comのログ基盤をKafkaで刷新中の話

[uchiten]

800GB/day！

[smokeymonkey]

“ ”

[programmablekinoko]

サイボウズレベル未満までならssh+tarでイケるという知見を得た

[iekusup]

ほー。

[jojo800]

fluentdってat least onceじゃないっけ/みんな疑問なのか

[hide_o_55]

fluentdでログの取りこぼしが起こるってどういう状況だろ？

[Spring_MT]

ログが多すぎじゃないかなというのと、Fluentdのat leasst onceの問題がどういう状況でおきるのかが気になる。。

[progrhyme]

Kafka

[sonots]

fluentd で at least once を保証するのが困難と判明というのはどういう話だろ。