---【追記：2022-04-01】--- 「基礎線形代数講座」のPDFファイルをこの記事から直接閲覧、ダウンロードできるようにしました。記事内後半の「公開先」に追記してあります。 --- 【追記ここまで】--- みなさん、はじめまして。技術本部 開発技術部のYです。 ひさびさの技術ブログ記事ですが、タイトルからお察しの通り、今回は数学のお話です。 ＃数学かよ って思った方、ごめんなさい（苦笑） 数学の勉強会 弊社では昨年、有志による隔週での数学の勉強会を行いました。ご多分に漏れず、コロナ禍の影響で会議室に集合しての勉強会は中断、再開の目処も立たず諸々の事情により残念ながら中止となり、用意した資料の配布および各自の自学ということになりました。 勉強会の内容は、高校数学の超駆け足での復習から始めて、主に大学初年度で学ぶ線形代数の基礎の学び直し 、および応用としての３次元回転の表現の基礎の理解
推薦システムにおいて線形モデルがまだまだ有用な話 | CyberAgent Developers Blog
本記事は、CyberAgent Advent Calendar 2022 19日目の記事です。 目次 はじめに 問題設定 協調フィルタリングのための線形モデル iALS EASE 関連する非線形モデル 実務活用 おわりに はじめに メディア DSC所属の機械学習エンジニアで、タップルの推薦システムを担当している橋爪 (@runnlp)です。 最近、推薦システムを触り始めました。推薦手法は、協調フィルタリング、コンテンツベース、ハイブリッドなど様々ですが、今回は昔から今に至るまで長く使われている協調フィルタリングについてです。 協調フィルタリングではDeep系のモデルがたくさん出る中で、RecSys2022で発表された論文では10年以上前から使用されている線形モデル(iALS)がDeep系のモデルに匹敵する結果であると報告されており興味深いです。また、推薦システムを開発するにあたって、問題設
グラフ最適化をマスターしよう！ - Qiita
はじめに グラフ最適化（Graph Optimization）は、パラメータをグラフ構造で表現し、最適化問題を解決する手法です。特にロボティクスなどの領域で広く活用されています。 以下に、グラフ最適化の応用例をいくつか挙げます。 Visual SLAMやSFMのバンドル調整（Bundle Adjustment）問題 Graph SLAMのループクロージング問題 経路計画問題(TEB, ebandなど) 実際のアプリケーションでは、ceresやgtsam、g2oなどのグラフ最適化ライブラリを利用することで、グラフ最適化問題を解決することができます。しかし、グラフ最適化の内部原理を理解していないと、性能の向上や課題の解決が困難になることが多いです。 筆者自身は、グラフ最適化の理解を深めるため、独自のグラフ最適化ライブラリをPythonで実装したことがあります。g2oなどの大規模なOSSと比較し
行列入門
行 列 入 門 i 本教材について 本教材は，行列の基本的な性質を学ぶために作成したものです。 行列については，平成 21 年告示の学習指導要領における新設科目「数学活用」の「社会 生活における数理的な考察」の「数学的な表現の工夫」の内容となりました。行列は現代数 学の基礎的な内容として様々な場面で活用されているにもかかわらず，繁雑な計算の意味 やどのような場面で活用されるのかがわかりにくかったことから， 「数学活用」の内容とし たものです。ただし， 「数学活用」の内容としたことから内容は大綱的に示すことになりま した。そこで，専門教科理数科の「理数数学特論」の内容としてはそれ以前のもの（平成 11 年告示の学習指導要領における数学 C の内容）をそのまま残すとともに，高等学校数学を 超える内容に興味をもつ生徒には「数学活用」の内容を踏まえ「線型代数学入門」のような 学校設定科目を設けて指
こんにちは、Research Internの荒尾(@karolis_ml)です。 日進月歩の勢いで研究が進んでいる深層学習ですが、教師あり学習でもっとも大事なデータのアノテーション、応用分野ではまだまだ大変ですよね。例えば、犬の写真から犬種を判断する分類器を作ろうとして教師データが必要になったとき、あなたは以下の画像にどんなラベルをつけるでしょうか? 出典: Pixabay 犬好きの方は正しくアラスカンマラミュート、そうではない方は似た有名犬種であるシベリアンハスキーと答えられたことでしょう。マラミュートの茶色い目(かわいい)や小さめの尖った耳(かわいい)を見分けて正しくラベル付けをするのは、決して簡単ではありません。 このようなアノテーションの分野に関して当ブログでは以前、Bounding BoxやSegmentationの効率化についての研究サーベイを行いましたが、この犬種分類のような
はじめに 前回の記事で重回帰分析の導入をしてみたので、今回はその続きということで、2つ同時にやってみたいと思います。 ベクトルの微分公式については下記のブログが参考になります。 もしこの記事がお役に立てた時はQiitaのイイねボタンを押していただけると励みになります。 参考記事 「ベクトルで微分・行列で微分」公式まとめ 重回帰分析 リッジ回帰について考える際に、重回帰分析の理解はマストになるのでここでも見ていこうと思います。式変形については、前回の記事で詳しく導入したので少しだけ端折っていきます。 準備 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$（$x$のベクトル）とする 予測値を$\hat{y}$とする（$\hat{y}$はスカラー） 回帰係数を$w_1, w_2, w_3, \cdots, w_m$を$\boldsymbol{w}
カルマンフィルタを実装してみる！ドローンに使用される姿勢推定システムの作り方 - ABEJA Tech Blog
はじめに こんにちは、ABEJAの栗林です！ 私はもともと機械工学・制御工学の出身であり、車からロボットまで幅広く機械が大好きです。今回はそんな私がドローンを作るために取り組んでいた飛行制御システムの一部をご紹介できればと思い記事を書いています。 機械学習等は使わず、制御工学のアプローチにはなりますがIoTなどに興味がある方に読んでいただければ幸いです！ Raspberry Pi zeroを用いた、ドローン用の簡易な姿勢角推定装置を実装する方法をまとめています 実際にドローンに搭載するものは500Hz程度での計算が必要になるのでCで実装する必要がありますが、理論の確認ではRaspberry Piでも十分かと思われます。10000円程度で姿勢角推定装置を自作できます！ 概要 ドローンなどの小型無人航空機(SUAV：Small Unmanned Aerial Vehicle)において、飛行制御
以下では、この表データは \(X\) という行列にまとめられているとします。上記テーブルに含まれる user_id 数を \(N_U\) , item_id 数を \(N_I\) とするとき、 \(X\) は \( N_U \times N_I\) 行列であり、その第 \(i\) 行は user_id として \(\mathrm{user}[i]\) を持つユーザーに、第 \(j\) 列 は item_id として \(\mathrm{item}[j]\) を持つアイテムに対応するとします。このマッピングのもと、 \(X\) の \(i\) 行 \(j\) 列の要素は、以下の式で与えられます。 $$ X_{ij} = \begin{cases} 1 & (\text{if } \mathrm{user}[i] \text{ and } \mathrm{item}[j] \text{ had
プログラミングのための確率統計-Ohmsha
第I部 確率そのものの話 第1章 確率とは 第2章 複数の確率変数のからみあい 第3章 離散値の確率分布 第4章 連続値の確率分布 第5章 共分散行列と多次元正規分布と楕円 第II部 確率を役立てる話 第6章 推定と検定 第7章 擬似乱数 第8章 いろいろな応用 付録 付録A 本書で使う数学の基礎事項 付録B 近似式と不等式 付録C 確率論の補足 第I部 確率そのものの話 第1章 確率とは 1.1 数学の立場 1.2 三つの扉（モンティホール問題） ――― 飛行船視点 1.2.1 モンティホール問題 1.2.2 正しい答とよくある勘違い 1.2.3 飛行船視点への翻訳 1.3 三つ組(Ω,F, P) ――― 神様視点 1.4 確率変数 1.5 確率分布 1.6 現場流の略記法 1.6.1 確率変数の記法 1.6.2 確率の記法 1.7は裏方 1.7.1の正体にはこだわらない 1.7.2のと
概要 GNNは, 信号処理の観点でローパスフィルタの効果を持っている. そして, GNNが通常のMLPに比べて高精度となるようなデータでは, 低周波成分に(タスクに関して)有用な情報が多く含まれており, 高周波成分には無駄な情報が多いようなケースになっているように見受けれられる. また, 実際にタスクの精度を様々なフィルタで比較すると, 信号処理の観点での性質が反映された結果を与えている. GNNの最も大きな役割（通常のMLPとの違い）は, ローパスフィルタとしての性質の影響なのではないかと考えられる. 逆に言うと, ローパスフィルタとしての性質が生かせるようなデータが, GNNの効果が最も期待出来るものなのではないかと考えられる. 内容 はじめに GNNとはどのようなものだったか？ 信号処理のいくつか GNNのローパスフィルタとしての役割 まとめ 1. はじめに Graph Neural
0 x 0 行列の行列式｜のらんぶる
ときどき，「$${0 \times 0}$$ 行列の行列式」を考える必要が生じる． $${0\times 0}$$ 行列の行列式はいくつなのか，行列式の定義に従って考えてみたい．行列式を定義する方法はいくつもあり，人ごとに（あるいは場面ごとに）定義のしかたが異なるかもしれない．ここでは，次の目次に挙げる４つの流儀に基づいて考えてみる．好みの定義のところを読んでほしい．好みの定義でないところも読んでほしい．なお，行列の係数は一般の体 $${K}$$ で考えているが，$${\mathbb{R}}$$ などだと思って読んでもよい． 定義１：置換を使った公式で定義するよ派定義$${n\times n}$$ 行列 $${A=(a_{ij})_{1≤i,j≤n}}$$ の行列式 $${\det(A)}$$ を次のように定義する： $$ \displaystyle\det(A)=\sum_{\sigma
三角関数の話
はじめに 度々、三角関数不要論が取りざたされます。そもそも、三角関数にあまり良いイメージを持っていない人はわりと多いのではないかと思います。サイン、コサイン、タンジェントの定義はわかっても、そこからごちゃごちゃ出てくる公式の数々に圧倒され、加法定理の公式を「咲いたコスモスコスモス咲いた」のように唱えて覚え、そこから倍角公式だの半角公式だのも出てきて、さらに\sin(-x)=-\sin(x)だけど\cos(-x)=\cos(x)みたいにサインは符号が入れ替わるけどコサインは入れ替わらないみたいなやつから、\sin(\theta + \pi/2) = \cos(\theta)みたいにサインとコサインが入れ替わる奴まで出てきて、イヤになった挙句に社会に出たらそんなの全然でてこなくて、うっかり「三角関数なんて不要だ」などと言おうものなら袋叩きに会う、そんな状況で三角関数と仲良くなるのは難しい気がし
恵方巻といえば、節分の日に決まった方角（恵方）を向いて無言で食べると良いとされる巻き寿司のことです。 恵方は毎年変わり、以下のようにして決まるそうです： 西暦年の1の位 恵方 24方位 方位角*1 16方位 東基準反時計周り 4・9 甲 075° 東北東やや東 015° 0・5 庚 255° 西南西やや西 195° 1・6 3・8 丙 165° 南南東やや南 285° 2・7 壬 345° 北北西やや北 105° （歳徳神 - Wikipediaより一部引用） 例えば2021年の恵方は「南南東やや南」ですね。 16方位だと「南寄りの南東のやや南（7.5°）」と聞こえてややこしいので、個人的には「南むいて15°左に回転」が分かりやすいと思います（他の恵方も同様）。 それはさておき、今年の恵方を計算で求められたら便利ですよね。毎年毎年「恵方 方角」で検索せずに済みますし。 ということで今回は、
はじめに こんにちは。技術部の中山といいます。普段はぼくらの甲子園！ポケットチームでUnityとかGAS(Google Apps Script)を触ったりしています。 この記事では、色覚異常1のシミュレート方法について紹介します。 シミュレート結果 ここで紹介する方法で1型2色覚の人の見え方をシミュレートをすると次のようになります。左が元画像、右がシミュレートしたものです。 左が元画像、右が1型2色覚のシミュレート結果 シミュレート方法 どの方法を選ぶか シミュレートの方法は調べるといくつか出てくるのですが、自分が1型2色覚なので、自分の目で元画像と変換後の画像を見て一番差がないと思ったものを紹介します。「Digital Video Colourmaps for Checking the Legibility of Displays by Dichromats」という論文に載っている方法で
前処理の改良でここまで伸びる！ 実世界での画像劣化とのギャップに注目した超解像モデル「Real-ESRGAN」紹介 - Qiita
前処理の改良でここまで伸びる！ 実世界での画像劣化とのギャップに注目した超解像モデル「Real-ESRGAN」紹介機械学習DeepLearning論文読み超解像ICCV2021 2021年のディープラーニング論文を1人で読むAdvent Calendar24日目の記事です。今日読むのは「超解像技術」の論文です。 この論文はESRGANという、2018年の論文のリファインなのですが、訓練時の低解像度データの作成方法（訓練時の前処理）を大きく変えて、モデルはそれほど変わっていないという面白い改善です。通常この手のリファインはモデル構造側を工夫することが多いのですが、「前処理を実際の画像劣化に合わせることで、現場で通用するような超解像モデルを作りましょうね」というのがコンセプトです。前処理を変えるとこんなに変わるというのをぜひ体感してほしいです。 ICCV2021のWorkshopに採択されてい
閉半環を使ってグラフ上の最短距離を計算する！
この記事は Haskell Advent Calendar 2020 21日目の記事です。 以前の記事でトロピカル行列を使ったグラフの最短経路の求め方を解説しました。 ここではトロピカルな隣接行列の累乗を収束するまで繰り返すという方法で最短経路を計算しましたが、実は閉半環という代数を考えると直接的に最短経路を求める計算が可能になります。そこで今回はその方法について解説したいと思います。 以前はHaskellのリスト [a] をベクトルとして行列を実装しましたが、今回はそれだと実装が少し煩雑になるので型レベル自然数を型引数に持つ Vector n a を中心に実装していきたいと思います。この話は以下の Functional Pearl が元になっていますが、この論文もリストを使って実装されているので Vector n a を使ってどのように実装できるかはこの記事で新しく試したところです。 ト
Webサービスの開発やWebサイトのスクレイピングから機械学習まで、様々なことができるプログラミング言語のPython。 Pythonは人気プログラミング言語ランキングの中でも上位に入っていて、プログラミング学習初心者の方からプログラミング経験が豊富なベテランエンジニアの方にまで人気な印象です。 今回は、プログラミング言語Pythonを学べるUdemyのPythonコースの中で、プログラミングを学ぶ目的別にオススメのコースを紹介していきます。 Udemyとは？Udemyの特徴 Udemyとはどんなサービスなのか？ Udemy とは、Google・Apple・FacebookなどIT有名企業が本社を置くアメリカのシリコンバレーで生まれたオンライン学習サイトです。 プログラミング言語のPython以外にも多くのプログラミング言語のコースや、Webデザインのコースなど、様々なプログラミングを学習
この記事は古川研究室 Workout_calendar 5日目の記事です。 （注：2021/02/08に「付録」の誤りを修正し、参考になりそうな文献を追記しました） 忙しい人へアニメで説明 多変量正規分布の次元をどんどん上げていくと、こうなります。 最終的には超球面になります。 はじめに 正規分布（ガウス分布）と聞いて、皆さんどんな「形」を思い浮かべるでしょうか？おそらく、こんな形を思い浮かべるのではないでしょうか これは標準正規分布$p(x)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x^2)$のグラフそのものです。正規分布を知ってる人なら、きっとこの形を思い浮かべますよね。では2次元の正規分布ではどうでしょう？ これは2次元の標準正規分布からのサンプル点を図示したものです。まぁこんな感じですよね。同じように3次元も見てみましょう。 というように次元の違
こんにちは。年末年始はファイアーエムブレムで可処分時間が消えてしまった DSOC R&D Group の橋本です。 さて、今回の記事では、変分オートエンコーダ (Variational Auto-Encoder, VAE) [1]に基づくグラフの表現学習について紹介したいと思います。 近年グラフに対する深層学習手法の発展が目覚ましく、応用先としては材料科学（分子や結晶をグラフと見る）*1や、ソーシャルネットワークなどが挙げられます。ここではソーシャルネットワークのようなグラフに対するものに限定して、ノードの潜在表現を得る手法を紹介します。*2 Variational Graph Auto-Encoder 変分グラフオートエンコーダ (Variational Graph Auto-Encoder, VGAE) とは、VAEにおけるencoderの部分にグラフ畳み込みネットワーク (Graph
NumPy / Pandas / Matplotlib / scikit-learn などの理解度確認ができる「Python 3 エンジニア認定データ分析試験」に合格した - kakakakakku blog
先週末に「Python 3 エンジニア認定データ分析試験」を受験して合格した🎉とても良い試験で，特に試験勉強をする過程で知識の幅が広がった．試験の認知度向上のためにも紹介したいと思う．当然ながら試験問題に関しては何も書かず，基本的に公開情報をベースにまとめていく！ www.pythonic-exam.com 試験概要 : Python 3 エンジニア認定データ分析試験 📊 試験名にもある通り「Python 3 エンジニア認定データ分析試験」は Python を使った「データ分析」に関する理解を問う試験で「数学」や「Python ライブラリ」に関する出題が多くある．詳しくは以下に出題範囲を載せる． セクション 出題数 出題率 データエンジニアの役割 2 5.0% Python と環境 : 実行環境構築 1 2.5% Python と環境 : Python の基礎 3 7.5% Pytho
ストラング先生の「線形代数イントロダクション」は説明が明確で読みやすく、書き方が平易でかつ図を活用して理解しやすいように書かれています。また、英語ですがビデオが用意されています。しかし、もともと難しい考え方については、やはり理解には時間を要します。また、先生は誰にでも分かるように平易に書いているので、学習のステップが多すぎて時間がかかるという批判もあります。2023年5月13日時点で、日本語に翻訳されているのは4版で、その後5版、6版と進化を遂げています。ストラング先生はその時代のニーズに合うように構成を少しずつ変えています。特に6章以降ではその変更がある程度あります。そして、版を重ねるごとに理解しやすくなっているように私には思えます。そこで、時間短縮して学びたい人のために、固有値、固有ベクトルについて見ていきたいと思います。4版、5版、6版の構成は以下の通りです。6章を勉強するだけでも楽
高等学校数学科「行列入門」
行 列 入 門 i 本教材について 本教材は，行列の基本的な性質を学ぶために作成したものです。 行列については，平成 21 年告示の学習指導要領における新設科目「数学活用」の「社会 生活における数理的な考察」の「数学的な表現の工夫」の内容となりました。行列は現代数 学の基礎的な内容として様々な場面で活用されているにもかかわらず，繁雑な計算の意味 やどのような場面で活用されるのかがわかりにくかったことから， 「数学活用」の内容とし たものです。ただし， 「数学活用」の内容としたことから内容は大綱的に示すことになりま した。そこで，専門教科理数科の「理数数学特論」の内容としてはそれ以前のもの（平成 11 年告示の学習指導要領における数学 C の内容）をそのまま残すとともに，高等学校数学を 超える内容に興味をもつ生徒には「数学活用」の内容を踏まえ「線型代数学入門」のような 学校設定科目を設けて指
数学で物書きをするときに、"Suppose ...." と書くのか "Assume ...."と書くのか、"Let... "とはどういう関係？と思って調べ事をするも、こんなサイトに行きついたりする 一般言語としての違いはどうかと言えばこんなところに『思いの強さ（think、believe、feel、suppose、guess、expect、consider、assume、imagine、conceive～思う（動詞）の英単語の違い）』の情報はある 同じく一般言語として『結論付けたり、意見を述べたりする動詞(conjecture、infer、speculate、deduce、conclude、gather～推測、結論（動詞）の英単語の違い)』の情報はこんな風にまとまっている だがやはり、数学の書き物の場合と一般文書とでは違うように思うので、ちょっと長めの文章(A COOK-BOOK OF M
1. はじめに 深層学習ベースの有名な生成モデルとしては、GANやVAEなどがよく知られています。近年、これらとは異なるアプローチをとる生成モデルとして、拡散モデルに関する研究が盛んになっています。特に文献[6]では定量的評価・定性的評価の両面で、拡散モデルによる画像生成品質がBigGANを超えたと報告されました。画像生成以外でも、音声合成（文献[13], [20]）やテキスト処理（文献[12], [21]）、ロボット制御（文献[20]）などの種々のタスクへの応用事例が報告されており、ますます注目度の高い技術になっています。 本記事では、拡散モデルの代表であるdenoising diffusion probabilistic model(DDPM)による画像生成の理論的側面と、研究事例としてImagen [18]を紹介します。 2. 拡散モデルの基礎 2-1. 拡散過程・逆拡散過程の導入
TensorFlow Probability でカルマンフィルター（観測値から内部状態を探る） - HELLO CYBERNETICS
はじめに カルマンフィルタの意義 TFPでのカルマンフィルタ モジュール データの生成 TFPで線形状態空間モデルを作る カルマンフィルタの実行 追加実験 追加実験１：状態と観測の次元が異なるケース 追加実験2: 不可観測系 最後に はじめに カルマンフィルタを解説する記事はたくさんあります。 詳しい理論や、細かい実装を知りたい場合は下記の記事などを参考にすると良いでしょう。 www.hellocybernetics.tech www.hellocybernetics.tech qiita.com tajimarobotics.com 今回はTFPのdistributionsモジュールの中にある、比較的高レベルなAPIであるLinearGaussianStateSpaceModelというものを使い方の備忘録と、カルマンフィルタの意義の軽い説明です。特に状態観測器としての側面を理解することに
図式で学ぶ量子論 番外編その2 ～堀田先生の書籍「入門 現代の量子力学」では多準位系の数学的構造を演繹的に導けていない～｜Kenji Nakahira
連載の記事一覧： #1 量子論の数学的構造 #2 CP写像の基礎 #3 確率論としての古典論・量子論（前編） #4 確率論としての古典論・量子論（後編） #5 プロセスの表現 番外編 2準位系から多準位系への演繹による拡張は難しい 番外編その2 堀田先生の書籍（中略）演繹的に導けていない 番外編その3 量子もつれ状態と非局所相関について この記事は，ひと言で述べると，堀田昌寛先生の書籍「入門 現代の量子力学 ～量子情報・量子測定を中心として～」の主要な部分に間違いがある（かつその間違いを修正することは恐らく容易ではない）という話です。下記のAmazonのレビューに要点をまとめていますので，よろしければご覧ください。 なお，この記事の内容は「図式で学ぶ量子論」の本編とは大きく異なります。興味のない方は読み飛ばしてください。 ※ 前回と今回の記事に関して，堀田先生からは「補足」を書いてくださっ
修了課題レポート1 現場で潰しが効くディープラーニング講座の修了レポートです。 応用数学 線形代数学 要点 行列とはスカラー・ベクトルの集まりである。 行列を用いて連立方程式を機械的に解くことができる。 行列同士の積はl行m列の行列$\mathbb{A}$とm行n列の行列$\mathbb{B}$とでしか演算できない。 $\mathbb{A} \times \mathbb{B}$でできあがる行列$\mathbb{C}$はl行n列の行列になる。 行列$\mathbb{A}$に対する逆数のような存在として 逆行列 $\mathbb{A}^{-1}$がある。 対角のすべての要素が1でその他の要素が0な行列を 単位行列 $\mathbb{I}$と呼び、下記のような性質を持つ。 $$ \mathbb{A}^{-1}\mathbb{A} = \mathbb{A}\mathbb{A}^{-1} = \ma
ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽にフォローしてください！ この記事では近年グラフ構造をうまくベクトル化(埋め込み)できるニューラルネットワークとして、急速に注目されているGCNとGCNを簡単に使用できるライブラリPyTorch Geometricについて説明する。応用分野は生物学から、渋滞予測、レコメンダーシステムまで幅広い。 本記事はGCN生みの親のブログ記事とPyTorch Geometricの公式チュートリアルをかなり参考にしております。 読んで少しでも何か学べたと思えたら 「いいね」 や 「コメント」 をもらえるとこれからの励みになります！よろしくお願いします！ 1. Graph Convolutional Networksとは？ 1.1 そもそもグラフとは？ ノードとエッジで定義される。折れ線
はじめに 前回の記事で重回帰分析の導入をしてみたので、今回はその続きということで、2つ同時にやってみたいと思います。 ベクトルの微分公式については下記のブログが参考になります。 もしこの記事がお役に立てた時はQiitaのイイねボタンを押していただけると励みになります。 参考記事 「ベクトルで微分・行列で微分」公式まとめ 重回帰分析 リッジ回帰について考える際に、重回帰分析の理解はマストになるのでここでも見ていこうと思います。式変形については、前回の記事で詳しく導入したので少しだけ端折っていきます。 準備 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$（$x$のベクトル）とする 予測値を$\hat{y}$とする（$\hat{y}$はスカラー） 回帰係数を$w_1, w_2, w_3, \cdots, w_m$を$\boldsymbol{w}
「アドホック多相 vs パラメトリック多相」をマジメに考えてはいけない - 檜山正幸のキマイラ飼育記 (はてなBlog)
「アドホック多相」、「パラメトリック多相」という言葉は、覚えておけば便利に使えます。が、これらの言葉は、軽率に気分的・雰囲気的に使うものであり、違いや定義をマジメに議論すべきものではありません。 内容： nLabを見てもモンヤリ オーバーロード、多相、総称 多義的名前と識別インデックス アドホック多相は複数の関数定義（なの？） それでもマジメに考えたいのなら nLabを見てもモンヤリ nLab（https://ncatlab.org/nlab/show/HomePage）は、数理科学*1の概念・用語に、できるかぎり圏論的な、できるかぎり厳密な定義を与えようとしているサイトです。そのnLabでも、「多相〈polymorphism〉」のエントリーには、よくある説明しか載ってません。 https://ncatlab.org/nlab/show/polymorphism 多相〈polymorphi
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 逆行列を求めるには ある正方行列A（行数と列数が同じ行列）があったときに、Aとの行列積を計算すると単位行列（行列の左上から右下に向けた対角要素の値が1、他の要素の値が0となるような行列）となるような行列のことを逆行列と呼び、A-1と表記します。Iを単位行列とすると、A・A-1＝A-1・A＝Iとなるような行列のことです。ただし、全ての行列に逆行列が存在するわけではないことには注意が必要です（逆行列が存在する行列のことを正則行列と呼び
保型形式（モジュラー形式）を勉強するとこんなにも楽しい（応用編） - tsujimotterのノートブック
今回は「保型形式（モジュラー形式）を勉強するとこんなにも楽しい」シリーズの 応用編 です！ 数学ガール等を読んで保型形式について知ったけど、さわりの部分だけでは物足りない、もっと保型形式のその先を勉強してみたい、そう思っていた「あなた」のためのシリーズ記事です。 前回の記事では、「導入編」と称してモジュラー形式に関する最低限の事項を紹介しました。導入編で手に入れた知識は、まさに今回の応用編を読むために用意したものです。 tsujimotter.hatenablog.com 今回は「モジュラー形式を勉強するとこんなにも楽しい」ということを紹介したいと思います。いよいよ本題ですね。 前回の記事を読んだ方もそうでない方も、必要に応じて前回の記事を参照しつつ、読んでいただけたらと思います。 みなさんにご紹介したいのは、次の ５つ の話です。 応用①：「関数」の間の非自明な関係式が得られる（難易度：
phi16.hatenablog.com 続きです。「アニメーション」の話をします。 目的 今回のアニメーションは全体的に「曲の具現化」として作っています。なので音に合わせた動きをすることが基本。 「音に合わせる」というのはもちろんタイミングだけではなく、リリースの長さ、雰囲気、全体中の重要度、緩急、その他「音に関するプロパティ」なんでも、です。 また、これは「波形としての音」に限らず「リズムとしての音」も含みます、これは即ち無音であっても音に合わせることがあるということです。 今回の曲はめちゃくちゃ「楽しく」「遊び甲斐があり」「システマチックな構成をしている」ので音合わせがやりやすく楽しかったです。 www.youtube.com 基礎 動きを作るにあたり大事なことは、私は、「微分」だと思います。即ち「時間あたりの変化量」のことです。 例えば「瞬間」を表現するとき、文字通り一瞬で出す、と
AI技術者向け教育コースに「数理知識」「機械学習」「深層学習」を追加─インターネット・アカデミー | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ スキルアップ ＞ 新製品・サービス ＞ AI技術者向け教育コースに「数理知識」「機械学習」「深層学習」を追加─インターネット・アカデミー スキルアップ スキルアップ記事一覧へ [新製品・サービス] AI技術者向け教育コースに「数理知識」「機械学習」「深層学習」を追加─インターネット・アカデミー AIを新規ビジネス/サービスに活用するための技術スキルを習得 2023年2月27日(月)日川 佳三（IT Leaders編集部） リスト Web専門の教育講座を運営するインターネット・アカデミーは2023年2月27日、AI分野の新講座に「AI（数理知識）講座」「AI（機械学習）講座」「AI（ディープラーニング）講座」を追加した。神奈川工科大学と共同開発・制作した、AI技術者を対象としたプログラミング系コースで、AIを活用した新規ビジネスや新サー
KOT（Koopman Operator Theory）とは？ KOT（Koopman Operator Theory）は非線形なシステムに従う実験データ（制御状態、制御入力）を非線形な関数（エンコード関数）によって高次元空間へ写像することで、その高次元空間上では線形なオペレータ（クープマンオペレータ）に従い状態が変化していくと仮定する方法です。 発想としてはカーネル法に近いイメージになるかもしれません。 この方法で、ソフトロボット分野で今までのLSTMのモデリング以上に正確で高速にモデリング＋制御が可能になりました。具体的には100次元の写像によるモデリング＋50Hzの制御が可能になった例があります。 また、エンコード関数の行先の高次元空間が無限次元の場合、厳密に任意のシステムをエンコード関数とクープマンオペレータで表現できることが解っています。 先行研究は主に二つの方向に進化していて、
はじめに 半年前ぐらいにselective inferenceについてまとめました。 qiita.com その時、クラスタリングにおけるselective inferenceについて触れようと思いましたが、ブートストラップ法を用いたクラスタリングやマルチスケールブートストラップについての知識がなく、挫折しました。 ブートストラップ法を用いたクラスタリングにおける仮説検定は、生物学の分野ではよく用いられています。 特に最近では、新型コロナウィルスとSARSの遺伝子の違いを分析するのに用いられていたようです。 そこで今回ブートストラップ法を用いたクラスタリングについて調べたのでまとめます。 基本的には、以下の下平先生の解説を参考に(写経)しています。 以下の解説を読んでもらう方が早いかもしれません。 ブートストラップ法によるクラスタ分析のバラツキ評価 クタスタリングにおける問題 クラスタリング
はじめに ガウス過程回帰は機械学習領域ではかなりメジャーなので、皆様御存知かと思いますが、 ここで本当に初学者がガウス過程回帰にいきつくような解説と、多次元まで対応したPythonのガウス過程回帰クラスを提示したいと思います。実装については第2回で書きます。 まずは線形回帰モデルを考える まずは泣く子も黙る線形回帰モデルを考えることにします。 $w$はパラメータベクトル、$\phi(x)$は非線形の基底関数です。 $$ y(\boldsymbol{x}, \boldsymbol{w})=\boldsymbol{w}^T\phi(\boldsymbol{x}), $$ これは以前の投稿ベイズ線形クラスのPython実装で紹介したものです。 少し先走って書くと、$w$の事前分布を決めれば、関数$y(w,x)$に対する事前分布が決まり、訓練集合が与えられると$w$の事後分布が決まり、結果として関
量子論について理解するためには，線形代数に関する知識が少なからず必要になるはずです。その理由は，量子論では線形写像を考えることが実質的に不可欠であるためといえるでしょう。そもそも，なぜ量子論では線形写像が現れるのでしょうか？その理由を，量子論の専門家ではない人にできるだけわかりやすく説明します。 量子論では，大別すると2種類の線形写像が現れます。これらを区別できれば，量子論に関する理解が大幅に深まることと思います。 準備：線形写像とはまず，線形写像についてざっくりと説明しておきます。ある集合$${X}$$からある集合$${Y}$$への写像$${f}$$が線形であるとは，任意の$${x_1,\dots,x_k \in X}$$と$${a_1,\dots,a_k \in \R}$$（$${\R}$$は実数全体）に対して $$ f \left( \sum_{i=1}^k a_i x_i \rig
多重共線性があるときにL2正則化項を加えると解けるようになることのざっくりとした説明 - データサイエンティスト(仮)
動機 回帰モデル構築の際、特徴量とデータの関係によってはうまく機能しない（解けない）ことがあります。たとえば、考えているデータ数に対して特徴量の数が非常に多い場合や、特徴量間に強い相関（多重共線性）がある場合です。このような場合に、正則化項と呼ばれる項を通常の回帰モデル構築の際に用いられる2乗誤差などの目的関数に加えることで、先程の問題を解消することができます。こういった正則化項を加えた上でモデルの最適化をおこなう（ = パラメータを推定する）方法を、正則化法といいます。 上記の解けない場合が正則化によってどうして解けるようになるのか、数式で説明している資料があまりないと思ったので、メモとして残しておこうと思います。厳密でない部分もありますが、線形代数をそれなりに知っていればわかった気にはなれるかな、という感じの説明です。 記法と準備 データ数を, 説明変数の数を, 計画行列を, 正則化パ
密度行列が先か状態ベクトルが先か
(初稿:2023/11/18) (第二稿:11/19; 初稿では結論から始めなかった為僕の意図が伝わらなかったケースが多々あったようですのでこの色でいろいろ追記をしました。)(第三稿:11/20; 堀田さんに後半の例が例になっていないことをご指摘いただきましたので正しい例に修正しました。修正個所はこの色です。) 最近話題の量子力学の教科書堀田著「入門 現代の量子力学 量子情報・量子測定を中心として」(講談社)では状態ベクトルを導入する前に密度行列が導入され、状態ベクトルはあとで導入されるもののあくまで記述の便法としてのものである、と書いてあるように思います。 が、状態ベクトルに依存して生きてきた僕などからすると本当かな、と思うこともあります。 というわけでこのことについてちょっと掘り下げて考えてみましたので、ちょっと書いて見たいとおもいます。 (以下癖で数理物理屋むけに書いており、すいませ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クォータニオンとは何ぞや？：基礎線形代数講座 - SEGA TECH Blog
ノイズのある教師データを用いた機械学習に関する研究サーベイ - ABEJA Tech Blog
リッジ回帰とラッソ回帰の理論と実装を初めから丁寧に - Qiita
iALSによる行列分解の知られざる真の実力
GNNとグラフ信号処理 - 理とかなんとか
恵方を表す関数を求めてみた - Corollaryは必然に。
色覚異常をシミュレートする方法について - KAYAC engineers' blog
【エンジニア初心者向け】UdemyのPython入門のオススメコースを厳選 - 仮想サーファーの日常
高次元空間中の正規分布は超球面状に分布する - Qiita
VAEに基づくグラフの表現学習 - Sansan Tech Blog
Python3ではじめるシステムトレード：固有値と固有ベクトル入門 - Qiita
数学の言い回し in English - ryamadaのコンピュータ・数学メモ
拡散モデルの基礎と研究事例: Imagen - Qiita
現場で潰しが効くディープラーニング講座 修了レポート1 - Qiita
PyTorchで学ぶGraph Convolutional Networks - Qiita
リッジ回帰とラッソ回帰の理論と実装を初めから丁寧に - Qiita
［NumPy超入門］逆行列、行列式、固有値と固有ベクトルを計算してみよう
𝙐𝙇𝙏𝙍𝘼 𝙓𝙍 𝙇𝙄𝙑𝙀 解説 (2/2) - Imaginantia
クープマン作用素理論×ディープラーニング×非線形制御
マルチスケールブートストラップ法によるクラスタリングの有意差検定 - 名前はまだない
誰でも理解できるガウス過程とガウス過程回帰 基礎編 - Qiita
なぜ量子論では線形代数が必要なのか？｜Kenji Nakahira