「深層ニューラルネットワークの高速化」読んだらめっちゃ良かったよって話 - ふぁむたろうのブログ
gihyo.jp 上記を読んだところめっちゃ良かったので感想として残しておきます。 自分の場合1回読んだから終わりというより度々振り返りで読み直すことになりそうです。 どんな本？ DNNの高速化（=効率化）という切り口で実装から理論的背景（あれば）まで網羅している本 比較的最近のトピック（モデルマージ）にも触れている 他には生成モデルやLLMで扱われがちな高速化についても触れられている Flash Attention とかも記載されてる 「推論のしくみから紐解く高速化の原理」とあるが学習面についても記載されてる 何が良かったの？ 各背景や実装の手間についても触れているところ 高速化のトレードオフ対象として精度が挙げられがちだけど、実際には実装の手間もあるという現実 「DNN 高速化」でググればネット上にもまとめが沢山あるけど最近は記事が多すぎるし背景もバラバラなので正直追うの辛い 背景の例
なぜCatboostの推論は速いの？ - 簡単なレポート
前回の記事｢AutoML v.s. Catboost｣に出てくるCatboostは、XGBoostやLightGBMと比べて30-60倍も推論が速いという特徴があります。 推論時間は、kaggleなどのコンペでは推論に時間をかけられるのであまり気にしませんが、実サービスとなると重要ですよね。 推論時間の比較 以下のグラフは、3大GBDTライブラリでの推論時間比較です。Catboostがずば抜けて速いことがやかります。 そして学習時間の速さに定評があるLightGBMは、なんと最遅です。 この推論時間の速さは、CatboostがGBDTのベースとなる決定木に symmetric tree と呼ばれる、特殊な形の木を使っているからです。 ここで、symmetric treeとは以下の図の右側のような木です。左側は普通の決定木です。 なぜsymmetric treeは速いか ｢同一の深さではすべ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
