【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 していきます。 それでは早速最適化アルゴリズムとは何
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
外積を利用した2つのベクトルに垂直なベクトルの求め方とは？
大学入試で出題される数学の問題を解くときの着眼点・考え方・解法の糸口の掴み方を伝えます。試験で点数を取りたい人集まれ。
テンソルとは何か Part.2 | 高校数学の美しい物語
V,WV, WV,W を有限次元のベクトル空間とし，{e1,…em},{f1…fn}\{e_1, \dots e_m\}, \{f_1 \dots f_n\}{e1,…em},{f1…fn} をそれぞれ V,WV, WV,W の基底のひとつとする。このとき V⊗WV \otimes WV⊗W は，形式的な記号 ei⊗fj,(i=1,…m,j=1,…n)e_i \otimes f_j, (i = 1, \dots m, j= 1, \dots n)ei⊗fj,(i=1,…m,j=1,…n) を基底にもつベクトル空間である。つまり集合としては V⊗W={∑i=1m∑j=1ncij(ei⊗fj)∣cij∈R,} V \otimes W = \left\{\sum_{i = 1}^m \sum_{j = 1}^n c_{ij} (e_i \otimes f_j) \mid c_{ij}
テンソルとは何か Part.1 | 高校数学の美しい物語
テンソル積（tensor product）とは，2つの（R\mathbb{R}R 上の）ベクトル空間 V,WV, WV,W に対して定まる新しいベクトル空間 V⊗WV \otimes WV⊗W です。（→ベクトル空間と次元） はじめに背後にあるモチベーションを説明し，次にとっつきやすい定義を紹介します。最後に普遍性を使った厳密な定義について軽く触れようと思います。 (以下では全て R\mathbb{R}R 係数で考えます。) 333 次元ベクトル空間 R3\mathbb{R}^3R3 を考えます。空間ベクトル v,w∈R3v, w \in \mathbb{R}^3v,w∈R3 に対して内積 v⋅wv \cdot wv⋅w というものが定義されていました。ここでは vvv と www の内積のことを b(v,w)b(v, w)b(v,w) と書くことにしましょう。つまり bbb は写像 b
量子計算のための「テンソル積」入門 - めもめも
何の話かと言うと 量子計算の説明で必ず出てくるのが、 といったヘソマーク を用いた積（テンソル積）です。テンソル積の定義にはいくつかの方法（流派？）があり、個人的には、双対空間を用いた多重線型写像として定義するのがいちばんスッキリするのですが、数学的な厳密性にこだわらない方むけには、いまいち抽象的すぎて、遠回りな説明に感じられるかも知れません。 そこでここでは、一番ベタな「数ベクトル」による、基底を用いた定義を使って、テンソル積を説明してみます。 1階のテンソル 量子計算の話を念頭に置いて、2次元の複素ベクトル空間で話を進めます。まずは、2個の複素数を縦にならべた「縦ベクトル」を考えます。 一般には、これは、「複素数ベクトル」と呼ばれるものですが、ここでは、これに「1階のテンソル」という別名を与えます。 また、これを転置して横に数字を並べて、さらに、各成分の複素共役をとったものを考えます。
オイラーの公式｜三角関数・複素指数関数・虚数が等式として集約されるまでの物語
空間情報クラブ｜インフォマティクス運営のWebメディア （株）インフォマティクスが運営する、GIS・AI機械学習・数学を楽しく、より深く学ぶためのWebメディア 数学とは繋がりを探求する物語 三角関数sinは対数logを導き、そしてオイラーによるネイピア数eの発見と連載は続きました。物語はオイラーの手によってクライマックスへと突き進んでいきます。 π、sin、log、eのすべてが一本の数式に統合されていくことになろうとは、誰が予想したでしょう。 オイラーの公式とは オイラーの公式とは、1740年頃にオイラーにより証明された等式です。 左辺はネイピア数 （自然対数を底とする複素指数関数）で、iは虚数、右辺のcos、sinは三角関数（正弦、余弦）を意味します。 すべてがつながるまでの後1歩｜虚数誕生物語 虚数i。 その不思議な名前の数なくして、π、sin、log、eのすべてが統合されることはあ
オイラーの公式とは何か？オイラーの等式の求め方の流れを紹介【我々の至宝と評された公式】｜アタリマエ！
数学の三大分野である、幾何学・代数学・解析学。 図形の性質について研究する幾何学は、「円周の長さ ÷ 直径」として円周率 π を定義し、 方程式の解き方を研究する代数学は、「i × i =－1」となる数として虚数単位 i を定義し、 関数の極限や微分・積分について研究する解析学は、ネイピア数 e を定義しました。 全く関係のないところから出てきたこれら3つの値が、「eiπ + 1 ＝ 0 」というシンプルな1つの式で繋がる。 それが、オイラーの等式です。 オイラーの等式を求めるにはまず、「オイラーの公式」を知る必要があります。 オイラーの公式とは、ネイピア数 e と三角関数 sinθ・cosθ (弧度法)の間に成り立つ以下の関係式のこと。 （※弧度法：半径1の円の、弧の長さθに対応する角度をθと定義する方法。単位はﾗｼﾞｱﾝで、360度＝ 2π ﾗｼﾞｱﾝ） この公式は、物理学者のリチ
オイラーの公式とは？証明やオイラーの等式との関係
この記事では、「オイラーの公式」および、最も美しい数式として有名な「オイラーの等式」について紹介していきます。 公式の証明などもできるだけわかりやすく説明していきますので、ぜひこの記事を通して知識を深めてくださいね！
複素数型のフーリエ級数展開とその導出 | 高校数学の美しい物語
まずは，実三角関数によるフーリエ級数展開の復習です。詳しくはフーリエ級数展開の公式と意味をどうぞ。 なお，この記事を通じて f(x)f(x)f(x) は周期 TTT の「まともな」実数値関数とします。 f(x)=a02+∑n=1∞(ancos2πnxT+bnsin2πnxT)f(x)=\dfrac{a_0}{2}+\displaystyle\sum_{n=1}^{\infty}\left(a_n\cos \dfrac{2\pi n x}{T}+b_n\sin \dfrac{2\pi nx}{T}\right)f(x)=2a0+n=1∑∞(ancosT2πnx+bnsinT2πnx) ただしフーリエ係数は， an=2T∫0Tf(x)cos2πnxTdxa_n=\displaystyle\dfrac{2}{T}\int_0^{T}f(x)\cos\dfrac{2\pi nx
フーリエ級数展開の公式と意味 | 高校数学の美しい物語
f(x)f(x)f(x) が周期 TTT の「まともな」関数なら f(x)=a02+∑n=1∞(ancos2πnxT+bnsin2πnxT)f(x)=\dfrac{a_0}{2}+\displaystyle\sum_{n=1}^{\infty}\left(a_n\cos \dfrac{2\pi n x}{T}+b_n\sin \dfrac{2\pi nx}{T}\right)f(x)=2a0+n=1∑∞(ancosT2πnx+bnsinT2πnx) ただし， an=2T∫0Tf(x)cos2πnxTdxa_n=\dfrac{2}{T}\displaystyle\int_0^{T}f(x)\cos\dfrac{2\pi nx}{T}dxan=T2∫0Tf(x)cosT2πnxdx bn=2T∫0Tf(x)sin2πnxTdxb_n=\dfrac{2}{T}\di
不偏推定量とは？平均と分散を例に分かりやすく解説 ｜AVILEN
不偏推定量とは統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数θθθの推定量をθ^\hat{θ}θ^と表すと、 E(θ^)=θE(\hat{θ}) = θE(θ^)=θ を満たすようなものです。また、この時の推定量θ^\hat{θ}θ^を不偏推定量と言います。これは点推定の一種です。 平均と分散の不偏推定量例として、無作為標本x1,x2,...,xnx_1,x_2,...,x_nx1,x2,...,xnから推定できる、母集団の平均μμμと分散σ2σ^2σ2の不偏推定量を考えてみます。 平均の不偏推定量標本平均をxˉ\bar{x}xˉとすると、 E(xˉ)=E(1n∑i=1n xi)=1n∑i=1n E(xi)=1n×nμ=μE(\bar{x}) = E(\frac{1}{n
13-3. ポアソン分布 | 統計学の時間 | 統計WEB
■ポアソン分布の"素"となる二項分布 ある交差点で1年間のうち事故が起こる日数とその確率について考えます。これは、事故が起こるか起こらないかのベルヌーイ試行と考えることができます。ここでは1日に事故が起こる確率をとします。このとき、1年間（）のうち事故が起こる日数を確率変数とすると、日事故が起こる確率は二項分布の一般式にあてはめて次のように計算できます（ただし、1日に2回以上事故は起こらないものとします）。 二項分布では、確率変数の期待値はによって求められることは13-2章で既に学びました。はある事象が起こる平均回数を表します。 ■ポアソン分布 ここでを一定の値「（ラムダ）」とおき、のままでを十分大きくを十分に小さくした場合の二項分布は、平均のポアソン分布に近似することができます。ポアソン分布は「ある期間に平均 回起こる現象が、ある期間に回起きる確率の分布」と言い換えられます。 がポアソン
ARモデルの定常性の判定方法 | マサムネの部屋
定常確率過程を作れるMA(q)モデルを紹介する記事を書きました。 MA(q)モデルでは、q次までの相関係数の絶対値がパラメーター次第で それなりにコントロール出来ました。しかし、MAモデルの問題点は、高次(次数N)の相関係数を持つデータを生成するにはMA(N) モデルを考える必要がある事でした。その問題点を解決できるARモデル( autoregressive model ) を紹介します。 AR(1)や、AR(p)は、以下の式で表されるモデルです。\( \epsilon _t \sim { \rm W.N. } (\sigma ^2 ) \)で\( \{ \epsilon _t \} \)が分散\( \sigma ^2 \)のホワイトノイズに従う事を示します。 [AR(1)モデル] $$\begin{eqnarray} y_t&=& c+ \phi _1 y_{t-1} +\epsilon
Ridge Regression - Google 検索
リッジ回帰（Ridge Regression）は、過学習を防ぎながらモデルの予測精度を高めるために開発された線形回帰の一種です。 この手法は、特に説明変数間に強い相関が存在する場合の多重共線性問題に対処するために有効です。 リッジ回帰は、モデルの複雑さにペナルティを課すことで、より一般化されたモデルを構築します。
さくっとトレンド抽出: Pythonのstatsmodelsで時系列分析入門 - Gunosyデータ分析ブログ
久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース
正規分布かどうかを見極める3つのステップ（Pythonでの検定実践あり） - 俺、サービス売って家買うんだ
学校の授業や資格のテストでは、「正規分布をしている」ことを前提に、検定や推定が行われることが多いですよね。 しかし、実際に自分でデータをとって分析する時は、当然ですが誰もそのデータ郡が「正規分布をしている」とは保証してくれないわけです。 そのため、データ解析を始めるその前に「正規性の検定（正規分布しているかどうかの確認）」をしなければなりません。 今回は、正規分布かどうかを見極めるための検定と手法を、Pythonを用いてやっていきたいと思います。 注)* 標準偏差・ヒストグラムなどを理解していない初学者の方はまずこちらから参照することをおすすめします。 www.ie-kau.net 目次：正規分布かどうか見極める手順 まずはサンプルデータの作成から ヒストグラムとQQプロットで視覚的に確認する 法則を使って正規性を検定する 1. まずはサンプルデータの作成から データがあったほうがわかりや
[5分で理解]GPUとは？CPUと違いや性能と活用 | カゴヤのサーバー研究室
この表の内容について、もう少し具体的にイメージするために、3Dゲームを例に説明してみます。 たとえば3Dゲームでは、精細な映像が、流れるようにモニタ上に映し出されます。この処理には膨大な計算が必要となりますが、これを担当するのがGPUです。ただし、当然のことながら映像を映し出すだけでは3Dゲームは成り立ちません。ゲームデータをハードディスクから読み出すことや、ユーザーがキーボードやマウスで入力したコマンドをプログラムに従って処理することなど、さまざまな処理が必要となります。これら映像の描写以外を担当するのがCPUであり、映像描写の部分はCPUがGPUに任せているわけです。 GPUは映像を描写するように、定型的かつ膨大な計算処理を行うのに適したプロセッサです。一方のCPUは、HDDやメモリ、OS、プログラム、キーボード、マウスなどを含むコンピューター全体から送られている情報をまとめて処理する
![[5分で理解]GPUとは？CPUと違いや性能と活用 | カゴヤのサーバー研究室](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cdcbfe1133eebf93f30a4addb3c156a79b8096c/height=288;version=1;width=512/https%3A%2F%2Fwww.kagoya.jp%2Fhowto%2Fwp-content%2Fuploads%2FFotolia_190532524_XS.jpg)
Windows版TensorFlow 1.13～1.15でGPUを使う (CUDAのインストール) - Qiita
【目的】 Windows環境のTensorFlowでGPUを使えるようにします。 【内容】 Windows環境のTensorFlow1.13～1.15でCPUよりも高速で処理が行えるGPUを使えるようにします。 TensorFlow2.5以上の場合は下記の記事を参照してください。 【Windows版TensorFlow 2.5以上でGPUを使う (CUDAのインストール)】- Zenn 大まかには以下の手順を行います。 ディスプレイドライバのインストールまたは更新 CUDA 10.0のインストール cuDNN SDKのインストール PATHの設定 GPU版TensorFlowのインストール 詳細手順はTensorFlowの公式手順を参照してください。 【TensorFlow - GPU support】 【システム構成】 本記事を書いている2019年4月15日時点では以下の通り。 CUDA
情報理論の基礎～情報量の定義から相対エントロピー、相互情報量まで～ | Logics of Blue
最終更新：2017年6月12日 この記事では「情報量をどのように定義するか」という問題への回答としての、情報エントロピー、そして、相対エントロピー（別名：カルバック・ライブラーの情報量）や相互情報量の導入とその解釈の仕方を説明します。 統計学や機械学習を学ぶ際に、どうしても必要となる考え方ですので、ある程度まとまった知識、解釈の仕方を持っておくと、少し難しい書籍を読んだ時にも対応ができるようになるかと思います。 スポンサードリンク 目次 情報理論とは 情報量を定義する 情報エントロピーと平均情報量 相対エントロピー 相互情報量 1．情報理論とは 情報理論とは、文字通り「情報とは何かを定義し、より良い扱い方を考える学問」といえます。 その中でも大きく3つのジャンルに分けることができます。 1つ目は、そもそも情報量をどのように定義するか、という問題を解決するジャンル。 2つ目は、情報を、いかに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
