Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub

はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は

[koba789]

リバランス時のネットワークのフラッディングをどう回避しているかとか、Raft のクラスタを細切れにしたことがどのようにスケーラビリティに貢献するのかとかの詳細が知りたい

[roshi]

分散オブジェクトストレージやキューシステムの実装が出始めるの、言語として一つのマイルストーン感ある。

[benridane111]

分散ストレージで知りたいのは、データの偏りと解決方法、バランシングのタイミング。

[nacika_inscatolare]

水面下でみんなRustやってる。コッソリやってるんだ。

[fukken]

"近年進めている新配信システム（そのバックエンド部分はDMCと呼称されることもあります）への移行"

[raydive]

うーんすごい。色々考えた結果、既存のフィットしないから作ったんだと思うけど運用してるのすごい。

[versatile]

こういうのって一度使うとストロングにテクノロジーロックされるから、できれば最初から S3 などにしておくのがいいと、まぁそう思ってます。自社製のこういうのを何年も面倒見た経験からそう思います

[Haaaa_N]

前ドワンゴのリポジトリ見て｢なんで非同期処理みたいなプリミティブな部分自前でライブラリとして提供してるんだろ…｣って思ったけど前はRust公式に無かったのか

[atpons]

2018年の記事なのか、すごい

[igagurimk2]

つまりるところこれはオンプレをあと10年使うぜ宣言と見れば良いのかな。 規模がかなり大きいとはいえ、既にインフラ施策に慢性的な問題があるような気がするのだが……

[sonots]

jemalloc メモリ使いすぎ問題ありますよね

[cocoonP]

自社で採用したり何らかコントリビュートしたいとは思わないけど、読み物として面白かった。

[ono_matope]

公開まで持っていったの素晴らしい。Rust/Raft/ECの技術チョイスに攻めを感じる。データの分散とローカルストレージについて知りたい。

[Nyoho]

Frugalos. “Frugal object storage”の略。目的「膨大な数のblobを容量効率よく保持すること」

[peketamin]

す、すごい

[regularexception]

こういうのハードウェア化してほしいんだがな

[synbizmix]

Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub

[razokulover]

スゴイ

[wordi]

すごい

[shinpeinkt]

“jemallocのメモリ使い過ぎ問題”

[otoan52]

すごい

[tick2tack]

全然理解できないが、ニコニコ特有の話とか載ってて面白い。/　Raftという分散合意アルゴリズムてのがあるのね

[sharaku3eyes]

すごい

[MonMonMon]

すげえなこれ

[programmablekinoko]

ほお・・・

[zyzy]

Rustの非同期周りの環境がめまぐるしく変わっている最中に作ったのは、確かに大変だったろうな……。

[todesking]

Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub

[masu_mi]

いいね

[ainame]

すごい

[berlysia]

すごい

[sifue]

こういうのを実装、運用できる人本当にすごい。

[naka-06_18]

すごいけどメンテし続けるんだよね。割り切りが凄い。

[albacore]

すごい