タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
輸送問題と呼ばれる問題があります． この問題は，普通は線形計画法やフローのアルゴリズムを使って解かれます． この記事では，この輸送問題を近似的に行列計算で解くアルゴリズム（エントロピー正則化 + Sinkhorn-Knopp アルゴリズム）を紹介します． 輸送問題とは アルゴリズム 得られる解の例 なぜこれで解けるのか？ 競プロの問題を解いてみる 機械学習界隈における流行 まとめ 輸送問題とは 輸送問題とは以下のような問題です． 件の工場と 件の店舗からなる，ある商品の流通圏があるとする． 各工場には 個の在庫がある.． 各店舗では 個の需要がある． 在庫の総和と需要の総和は等しいとする （すなわち ）． 工場 から店舗 に商品を一つ運ぶためには の輸送コストがかかる． 各工場 から各店舗 への輸送量 を適切に決めて，各店舗の需要を満たしつつ輸送コストの総和を最小化せよ． 輸送問題は最適化
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.
はじめに 疎行列とは、行列の要素の大部分が0である行列のことを言います。数値計算や機械学習、グラフ理論など幅広い分野で扱われている(と思います)。行列内のほとんどが0という特徴から、0を無視する工夫をすれば、高速に行列計算を実施することが可能になります。例えば、9割近くが0の大規模疎行列(100万行×100万列とか)で非ゼロ部分だけ用いて計算すれば、計算時間が約1/10になり計算が早く終わらせることが可能になることが容易に想像できます。つまり、工夫すれば、1反復あたりの計算量を$O(N^2)$から$O(N)$に落として計算することが可能になります。 本記事では、Python・Numpy・Scipyを用いて、こうした疎行列計算について解説していきます。追加したいことが出てきたら適宜更新していきます。間違い等ございましたら、コメントにてご連絡して頂けたら幸いです。 対象読者 Pythonを扱え
Yohsuke Watanabe on Twitter: "あえて専門的な立場から発言します。 整数は、掛け算の順序が全く関係ない可換群と呼ばれ、代数学では非常に重要な性質です。全てのカテゴリーが保有する性質ではありません。行列計算を習った方は、2つの行列で掛け算の順序が逆だと、答えが違… https://t.co/j6f1mLSPDA"
あえて専門的な立場から発言します。 整数は、掛け算の順序が全く関係ない可換群と呼ばれ、代数学では非常に重要な性質です。全てのカテゴリーが保有する性質ではありません。行列計算を習った方は、2つの行列で掛け算の順序が逆だと、答えが違… https://t.co/j6f1mLSPDA
行列計算の強い味方！ The Matrix Cookbook：AI・機械学習技術者のマストアイテム | 株式会社オープンストリーム
今回は小ネタである。知っている人には当たり前、でも意外に知らないままの人もいるという、The Matrix Cookbook を紹介したい。 ■概要 The Matrix Cookbook (https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf)は行列関連の公式・計算レシピ集だ。インターネット経由で誰でも無料で入手できるPDFファイルである。行列式、逆行列、行列分解、行列の微分、確率統計関連・・・などなど、A4 約70ページに渡って様々な公式や計算法が集められていて、とても役にたつ資料となっている。作者の方に大いに感謝したい。 検索すると分かるように、この Cookbook はネット上のあちこちで公開されているが、幾つかのバージョン違いが存在する。私の知る限りでは、2012年版が最新のようだ。 なお、上図のように表紙には ma
こんにちは（@t_kun_kamakiri）(‘◇’)ゞ 本記事ではPythonのNumpyの使い方のまとめを書いています。 数値計算において行列を使った計算はよく行いますよね？ この記事では、Pythonを使った行列計算の基礎についての解説を行います。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
輸送問題を近似的に行列計算で解く（機械学習への応用つき） - 私と理論
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
【Python】疎行列計算が高速にできるようになる記事 - Qiita
【Python初心者】Numpyを使って行列計算の使い方をまとめる。｜宇宙に入ったカマキリ
novel18.syosetu.com
ameblo.jp/matutake-nobuyuki
eczine.jp
togetter.com
note.com/megamarsun
meganez.com