機械学習　今までの失敗集 ・全てをtrainデータにしてハイパー過学習 ・random_stateを固定せず毎回精度が変わる ・標準化せずに重回帰→係数比較 ・決定木系で意味のない空欄埋めや標準化 ・max_depthやnum_l… https://t.co/OIJQEHdFiA

数日前にTwitterで, JavaScriptのオブジェクトに対する===の挙動が初心者には難しいみたいな話を見かけた. 発端や周辺の議論をちゃんと追いかけてないからとくに出典は貼らない. たぶん元々の話は「へぇ, こういう挙動なんだ, 簡単ではないね」くらいの話だったのかもしれない. 自分のタイムラインの観測範囲では「そうだそうだ, (参照の同一性ではなく)同値性にしとけばいいのに」と思っている人もそれなりにいそうに見えた. 個人的にも同値性が簡単に確認できるとよい気はするものの, 「なんでそうしないんだ, オブジェクトの中身を確認していくだけだろ!」みたいな簡単な話ではないことも知っているため, 以下のようなツイートをしたのだった. JavaScriptのオブジェクトの同値性、再帰的な構造とか作るとぜんぜん自明じゃないんだよなぁ。リンクの構造は違うけどプロパティを辿ったときのパスはど

「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし

何があったか はてなブックマークは、コメント表示改善の一環として、Yahoo! JAPANの「建設的コメント順位付けモデルAPI」を導入し、攻撃的であったり不謹慎であるなど穏当でないコメントが人気コメントに掲載される問題を抑制する取り組みを開始しました。 実は、公式の発表が知れ渡る前にAnonymousDiaryというサービスで話題になり、喧喧囂囂の大騒ぎとなったのです。 誉れ高い増田市民としては、旧来の破滅的コメント順位を望みます。 Pythonによる解決 googleのcolabで作業してました。 記事の情報をAPIで入手 記事jsonからブクマした各ユーザの「コメント情報のURI」を生成する スター取得APIでコメントURIを指定し、スター数を算出 各コメントのスター数を出し、上位10個を表示 後述するjsonの概要を見るとイメージがつきやすいかもしれません。 import json

はじめに 千葉大学/Nospareの米倉です．今回はカルマンフィルターについて解説していきたいと思います． カルマンフィルターで何が出来るの？ フィルターとあるように，カルマンフィルターが出来る基本的なことは線形ガウス状態空間モデルのフィルタリング密度を逐次的に求めることです．ここで２つのキーワード，「線形ガウス状態空間モデル」と「フィルタリング密度」という単語が出てきましたので，まずはそれらについて解説します． 線形ガウス状態空間モデルとは 状態空間モデルとは2つの確率過程からなります．1つは潜在変数・状態変数・隠れ変数といわれるもので，これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます．例えば景気の良し・悪し等，概念として存在するけれど直接は観測できないものを想像してください．2つめは観測値で，これは直接観測できるもの，つまりデータです．ただし変数に依存して観測される

二次元DCTとDFTとの比較。左はスペクトル、右はヒストグラム。低周波域での相違を示すため、スペクトルは 1/4 だけ示してある。DCTでは、パワーのほとんどが低周波領域に集中していることがわかる。 離散コサイン変換（りさんコサインへんかん、英: discrete cosine transform、DCT）は、離散信号を周波数領域へ変換する方法の一つである。 DCTは、有限数列を、余弦関数数列 cos(nk) を基底とする一次結合（つまり、適切な周波数と振幅のコサインカーブの和）の係数に変換する。余弦関数は実数に対しては実数を返すので、実数列に対してはDCT係数も実数列となる。 これは、離散フーリエ変換 (DFT: discrete Fourier transform) が、実数に対しても複素数を返す exp(ink) を使うため、実数列に対しても複素数列となるのと大きな違いである。なお、

――科学者とは、自然のひみつと美しさを探し求めるおとぎの国の旅人です。それは大変おもしろく、夢のある楽しい仕事なんですよ。―― マリア・スクウォドフスカ・キュリー ディープラーニングでノイズを消してみよう 論文の概要 U-Netとは U-Netのアレンジ Pythonで実装 ディープラーニングでノイズを消してみよう すっかり季節が初夏の陽気になってきたと思っていたら、暦はもう6月になっていました。キュリー夫人の言う「おとぎの国」という表現がぴったりのデンマーク生活も、そろそろ終わりを告げようとしています。 昨年7月にデンマークの土を踏んでから約1年間、短いようでとても長かったです。西洋のことわざで、「ロバが旅に出かけたところで、馬になって帰ってくるわけではない」という言葉があります。私はポニーくらいにはなれたでしょうか。 デンマーク生活で印象に残っていることはいくつかあります。そこに住む人

振幅変調がある時間波形の変調成分を抽出するには、波形の包絡線を求める必要があります。包絡線はヒルベルト変換という数学的処理で簡単に求めることが出来ますが、ここではPythonでヒルベルト変換を使い包絡線を求める簡単なコードを紹介します。

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、9.3.3項の内容です。混合ベルヌーイ分布に対するEMアルゴリズムによる最尤推定をPythonで実装します。 【数理編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに ・Pythonで実装 ・MNISTデータセットの準備 ・初期値の設定 ・推論処理 ・コード全体 ・処理の解説 ・Eステップ ・Mステップ ・対数尤度の計算 ・推論結果の確認 ・パラメータの確認 ・学習の推移の確認 ・分類結果の確認 ・他の結果 参考文献 おわりに ・Pythonで実装 MNISTデータセットを用いて、混合

第16回 StringBeginners での発表資料

このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 TL;DR: Issue, PR ソリューション第二事業部の今泉です。 先日東京大学の松井先生と共同でFacebook AI Research(以下FAIR)が公開している近似最近傍探索ライブラリFaissの4bit PQアルゴリズムのARM CPU(aarch64)上での動作を60倍程度高速化しました。 本稿ではまず近似最近傍探索やFaissについて軽く紹介した後、その高速化内容について解説を行います。 近似最近傍探索について まず最近傍探索とは、「複数のベクトルからなる集合 \( \mathit{Vs} \) が存在し、あるベクトル \( \boldsymbol{x} \) に対して最も近い要素 \( \boldsymbol{v} \in \mathit{Vs} \) を求める」と

最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https

Pythonで、試し割り法によって素因数分解を行う方法について説明する。 素因数分解（試し割り法）のサンプルコード 素数とその個数を取得 処理速度（処理時間）の目安 なお、試し割り法はシンプルなアルゴリズムであり、処理速度という点では最適なアルゴリズムではない。 素因数分解 - Wikipedia 試し割り法 - Wikipedia とはいえ、対象とする整数の桁数によっては十分実用に足る。処理速度（処理時間）の目安は最後に示す。 素因数分解（試し割り法）のサンプルコード 試し割り法による素因数分解のサンプルコードを示す。英語版ウィキペディアに掲載されているコードを参考にした。 Trial division - Wikipedia def prime_factorize(n): a = [] while n % 2 == 0: a.append(2) n //= 2 f = 3 while

バイリニア補間法（Bi-linear interpolation）は、周囲の4つの画素を用いた補間法です。 最近傍法よりも計算処理は重いですが、画質の劣化を抑えることが出来ます。 バイリニア補間法を用いて、拡大画像の座標における画素値を求める手順は以下の通りです。 ①拡大画像の座標を拡大率で割り、を求めます。 ②元画像におけるの周囲4画素の画素値を取得します。 ③周囲4画素それぞれととの距離を求めます。 ④距離によって重み付け（0～１）を行います。（距離が小さいほど重みは大きい） ⑤周囲4画素の画素値の加重平均を拡大画像の座標における画素値とします。 (1) 関連ページ PythonとOpenCVを用いてバイリニア補間法を実装する方法について以下ページで解説しています。

2020/07/17追記 下記のような情報に見つけたので、実験画像の差し替えを行いました。 https://srad.jp/story/20/07/15/117231/ はじめまして初めましてアダコテックの伊藤です。製造業に向けた異常検知のAIソフトウェアを提供する㈱アダコテックでエンジニア兼取締役をしています。 エンジニアとしては、コア技術の研究開発、顧客から依頼されたPOCの実施などのを行っています。 仕事以外ではエンジニア仲間と飲みに行ったり、週末は息子と釣りに行ったりしています。(今は、コロナで自粛中ですが・・・) 弊社では、国立研究開発法人産業技術総合研究所（産総研）で発明された高次局所自己相関特徴量(HLAC)(*1)という特徴抽出法を使った異常検出ソリューションの開発・販売を行っております。 この技術を発明された大津展之先生をはじめとした先生方に弊社技術顧問として関わって頂き

はじめに OpenCVを利用して二値化を行う際, 「とりあえずcv2.THRESH_OTSUやっとけばええやろ, ぽいー」って感じでテキトーに二値化してました. 「とりあえずいい感じに動く」って認識だったので, きちんと(?)理解自分なりにここにまとめていきたいと思います. 初心者なので間違いなどあれば教えていただけるとありがたいです. 概要 - OpenCVさんの説明 OpenCVのチュートリアルを見ると 大津のアルゴリズムは以下の式によって定義される重み付けされたクラス内分散を最小にするようなしきい値(t)を探します. $\sigma_{\omega}^2(t) = q_1(t)\sigma_1^2(t) + q_2(t)\sigma_2^2(t)$ (各変数の定義は本家を見てください) のように書いてありました. 詳しくはわからなかったけど, いい感じのしきい値(t)を探してくるって