タグ

performanceと*algorithmに関するsh19910711のブックマーク (2)

  • 「深層ニューラルネットワークの高速化」読んだらめっちゃ良かったよって話 - ふぁむたろうのブログ

    gihyo.jp 上記を読んだところめっちゃ良かったので感想として残しておきます。 自分の場合1回読んだから終わりというより度々振り返りで読み直すことになりそうです。 どんな? DNNの高速化(=効率化)という切り口で実装から理論的背景(あれば)まで網羅している 比較的最近のトピック(モデルマージ)にも触れている 他には生成モデルやLLMで扱われがちな高速化についても触れられている Flash Attention とかも記載されてる 「推論のしくみから紐解く高速化の原理」とあるが学習面についても記載されてる 何が良かったの? 各背景や実装の手間についても触れているところ 高速化のトレードオフ対象として精度が挙げられがちだけど、実際には実装の手間もあるという現実 「DNN 高速化」でググればネット上にもまとめが沢山あるけど最近は記事が多すぎるし背景もバラバラなので正直追うの辛い 背景の例

    「深層ニューラルネットワークの高速化」読んだらめっちゃ良かったよって話 - ふぁむたろうのブログ
    sh19910711
    sh19910711 2025/07/05
    2024 / "比較的最近のトピック(モデルマージ)にも触れている / 生成モデルやLLMで扱われがちな高速化についても触れられている"
  • なぜCatboostの推論は速いの? - 簡単なレポート

    前回の記事「AutoML v.s. Catboost」に出てくるCatboostは、XGBoostやLightGBMと比べて30-60倍も推論が速いという特徴があります。 推論時間は、kaggleなどのコンペでは推論に時間をかけられるのであまり気にしませんが、実サービスとなると重要ですよね。 推論時間の比較 以下のグラフは、3大GBDTライブラリでの推論時間比較です。Catboostがずば抜けて速いことがやかります。 そして学習時間の速さに定評があるLightGBMは、なんと最遅です。 この推論時間の速さは、CatboostがGBDTのベースとなる決定木に symmetric tree と呼ばれる、特殊な形の木を使っているからです。 ここで、symmetric treeとは以下の図の右側のような木です。左側は普通の決定木です。 なぜsymmetric treeは速いか 「同一の深さではすべ

    なぜCatboostの推論は速いの? - 簡単なレポート
    sh19910711
    sh19910711 2024/05/27
    "Catboost: 決定木に symmetric tree と呼ばれる、特殊な形の木を使っている + 同一の深さではすべての分岐条件が同じ / LightGBM: 学習時間の速さに定評 / GPUを用いた場合は、学習時間でもCatboostが最速" 2019
  • 1