Google はどうやって Deep Learning でメモリ使用量を 99% 削減したか。

今回は、QCon NY 2019レポート（Day 1）で予告した ML for Data Systems セッションの参加レポートです。登壇者は Google Brain SIR から Alex Beutel さんです。 コンピュータの基礎アルゴリズムである 木構造 や ハッシュテーブル は、古典的で安定した理論である一方、昨今のコンピュータ計算資源の潤沢化に伴うような急進的な技術発展は見られていません。このセッションは、機械学習をデータ構造理論に応用し、性能の大幅改善を図るという野心的なテーマを扱います。 なお、この記事の内容は当該セッションと登壇者共著論文 The Case for Learned Index Structures に基づきます。 TL;DR 「データ構造」は、機械学習の文脈で言うところのモデルです。たとえば B木 は、キー値入力に対してソート済みインデックスを返す「モ

[tasukenosuke]

Chromeのメモリ使用量も99%削減してくれ

[masterq]

"B木の置き換えでは、メモリ使用量を 最大 99% 削減し、最大 2.7 倍の高速化を実現しました。ハッシュテーブルの置き換えでは、ハッシュ衝突率を 最大 77% を削減しました。"

[mkusunok]

こうした基礎技術にじゃぶじゃぶと要員を投入できるの素晴らしい

[keijak]

ニューラルネットで大部分の入力を捌きつつエッジケースでは小さなB木やブルームフィルタにフォールバックして最悪時のコストを保証したり偽陰性を排除したりするハイブリッド構成。メンテコストは増えそうだが。

[macj_jp]

“ニューラルネットワークは計算リソースを大量に費やすフレームワークですので、(中略) 学習はニューラルネットワークを使い、推論は学習結果の最適モデルを用いることで、この問題を解決しました。”

[TequilaBancho]

面白い!!!!!

[ryunosinfx]

凄いな・・・これを逆手に取ると、生物内化学反応の演算が理解できたりとかしないのかな。

[natsutan]

こういうのもっと知りたい

[kazuph1986]

スゴスゴスゴ

[satorish]

書きました。このセッション、とってもおもしろかったので、たとえ僕の記事がだめでも（笑）原論文は読んでみてください。

[monzoup]

QCon レポートです。このセッションはとても面白かったのでオススメです。