Go vs Rust : 特徴量DBに適するのはどっち！？ (2020-04-14 実験追記) - ABEJA Tech Blog

ABEJA で Research Engineer をやっている中川です．普段は論文読んだり，機械学習モデルを実装したり，インフラを構築したりしています．今回のブログでは，Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語選定について紹介します． ※ たくさんの方々からのコメントありがとうございます．いただいた観点をベースに「2020-04-14 追記」以下に実験を追加しました． モチベーション リピート分析では，任意の特徴量をクエリに最も類似した特徴量を数100msec以内に検索する必要があり，一般的なデータベースでは実現することが難しいという課題がありました．そこで，われわれは python で独自のインメモリデータベースを実装し運用してきました．このデータベースがサービスの成長に合わせて限界を迎えつつあるので，アルゴリズム

[saturday06]

早速識者から指摘が https://github.com/ynaka81/in_memory_db_comparison/issues/1 Rustの処理時間が跳ねるのはスレッドをブロックするstd::sync::RwLockの使用が原因の可能性あり。 Goのsync.RWMutexと同様に動作するtokio::sync::RwLockを使うべき

[kwhrtsk]

レコードの追加と削除を繰り返すようなワークロードがあると GCのオーバーヘッドがより顕著になりそうな気がする。

[hnishi2509]

読んだ

[msh5_h]

GOGC を増やせば GC の発生頻度が減るのでスループットが上がることがありますね

[Nyoho]

おもしろ

[theatrical]

大体ベンチマークの記事書くと、好きな人から改善案来るイメージある

[vaaaaaanquish]

github issueやtwitterでの指摘も学び深い。良い記事。

[bungoume]

特徴量の類似検索する場合はJubatusやElasticsearchのdense_vector、UDF入れたMemSQLあたりを使うことが自分は多いけど、トランザクションとか自由度考えて、自前で実装するのも面白そう

[knok]

やはりネイティブバイナリ吐けるのは強い

[yarumato]

“2つの観点（リクエストの並列数増加、長期稼働）から性能比較。　pythonに比べて100倍以上Go,Rustが性能高い。GoとRustは大きな性能差なし”

[misshiki]

“リピート分析では，任意の特徴量をクエリに最も類似した特徴量を数100msec以内に検索する必要”一般的なDBでは難しく、pythonで独自のインメモリDBを実装＆運用。限界に来たのでGoかRustを選別。どっちも良い。今後期待。