Python3のテキストができました． Python3のテキスト（ミラーサイト） 無料で差し上げますので，意見や感想をくださいませ． → katsu_wm%mukogawa-u.ac.jp （’%’を’@’に変えるとメールアドレスになります） ページ末尾のコメント入力欄（非公開形式）も使えます．（名前，メールアドレスなどは無しで大丈夫です） 公開されている情報が豊富なPythonですが，アプリづくりのための一通りの入門ができる書籍などが見当たらない上，Kivyの日本語の情報も少ないのでテキストを自前で作ることにしました． 特に，既に別の言語を習得している人が，手っ取り早くPythonに取り掛かるのに役立つと考えています． Pythonには有用なライブラリ（モジュール）がたくさん公開されているので，いろんなモジュールの使い方を簡単に説明した「ライブラリブック」みたいな本も書いています．（ミラ
テンソル - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "テンソル" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2011年8月） テンソル（英語: tensor, ドイツ語: Tensor）とは、線形的な量または線形的な幾何概念を一般化したもので、基底を選べば、多次元の配列として表現できるようなものである。しかし、テンソル自身は、特定の座標系によらないで定まる対象である。個々のテンソルについて、対応する量を記述するのに必要な配列の添字の組の数は、そのテンソルの階数とよばれる。 例えば、質量や温度などのスカラー量は階数0のテンソルだと理解される。同様にして力や運動量などのベクトル的な量は階数1
目的 Chainerの扱いに慣れてきたので、ニューラルネットワークを使った画像生成に手を出してみたい いろいろな手法が提案されているが、まずは今年始めに話題になったDCGANを実際に試してみるたい そのために、 DCGANをできるだけ丁寧に理解することがこのエントリの目的 将来GAN / DCGANを触る人の助けになったり、理解間違ってるところにツッコミがあると嬉しい 本エントリの構成 DCGANの前提となっているGANの論文の要点をまとめる DCGANでGANとの差分として提案されている要点をまとめる DCGANのmattyaさんの実装を読み通して詳細を理解する 1. GANについて GANは、サンプル群と似たような性質を持つ出力を生成するためのフレームワーク 2014年にIan J. Goodfellowらによって提案された 論文: Generative Adversarial Net
1. 概要下記のarXiv論文を紹介します。 Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao (2018). Block Coordinate Descent for Deep Learning: Unified Convergence Guarantees.arXiv:1803.00225 現時点では投稿されて間もない論文ですが、個人的には機械学習の論文を読んでいて久々に楽しい気持ちになれました。 論文の提案手法はgradient-free methodと呼ばれる手法の一種なので、本記事はそのあたりのレビューも少し兼ねます。 2. 勾配法の収束条件ニューラルネットの構造をひとつ固定し、その構造を使って表せる関数の全体を $\mathcal{F}$ と書きます。ニューラルネットの学習とは、与えられた損失を最小化する関数を見つけることで
最近新幹線に乗る機会が多々あったので、暇つぶしに Javascriptだけで(Ajax等は使わずに) 分かち書きが出来るソフトウェアを作ってみました。実用性は謎です。 http://chasen.org/~taku/software/TinySegmenter/ たった 25kbyte ですが、新聞記事でしたら、95%程度の精度で分かち書きができます。 辞書は全く持たず、文字単位で分割するか分割しないかを当てる機械学習器を 作って分割しています。 モデルをコンパクトにするために、L1ノルム正則化の トリックを使っているのですが、想像以上にコンパクトになって、しかも そこそこうまくいっていて、刺激的です。
DeNAで開催された、Kaggle Tokyo Meetup #6の参加記です。YouTube配信の視聴を含めるとMeetup参加は3回目ですが、回を増すごとに情報量も発表内容の多様性も増しているように思います。 本当にすばらしい発表を皆様ありがとうございました。僕も発表やLTでコミュニティに貢献していきたいと思います。 この記事では、各発表について僕自身が面白い・知らなかったと思ったポイントを中心にまとめ、可能な限り出典などのリンクをつけています。 内容を網羅しているわけでは必ずしもありませんので、もとの資料を併せてご覧になることを強くおすすめします。素晴らしい資料なので。 それでは、15000文字を超える長い記事ですが、最後までお読みくださると幸いです。 Opening Talk (threecourseさん) Petfinder 2nd Place Solution (Wodoriチ
女子リベ 安原宏美--編集者のブログ
前回エントリー の続報です。 ----------------------- 東京都児童福祉審議会の面積基準緩和（３．３㎡→２．５㎡）の動きに対して、保育園を考える親の会で、ご意見募集フォームを作りました。16日に東京都に持参する予定です。（中間まとめ）お時間のあるときに、書き込んでいただければ幸いです。 この動きは全国に波及しかねない問題ですので、東京都在住の方に限らず、是非、ご協力下さい。よろしくお願いいたします。 http://www.aa.cyberhome.ne.jp/~aki-f/tokyomenseki.html 弁護士・社会福祉士 寺町東子（てらまち とうこ） ----------------------- http://www.shakyo.or.jp/research/2009_pdf/gaiyou.pdf 以上リンク先にのっている調査ですが、ここで触れられている「食寝
学習アルゴリズム以外のscikit-learn便利機能と連携ライブラリ - yubessy.hatenablog.com
Pythonで機械学習を使う場合、scikit-learnには何かとお世話になる。 豊富な学習アルゴリズムの実装を利用できるのが長所だが、実はアルゴリズムそのもの以外にも、前処理や評価のための様々な便利機能を有している。 これらを知らずに使っていると，車輪の再発明をしてしまうことになる。 また、機械学習関連のPythonライブラリはscikit-learnと連携できるAPIをもつものも多い。 scikit-learnを中心とするエコシステムが成立しているとも言える。 中にはコードをほとんど書かずに簡単なモデリングができるようなツールまである。 この記事では個々の学習アルゴリズムではなく、scikit-learnに予め用意されている便利機能やscikit-learnと連携できるライブラリなどを紹介する。 便利モジュール・パッケージ 前処理や評価で使われる一般的なテクニックの多くは既に実装され
キーフレーズを自動推定するPositionRankの収束性について解説 - Taste of Tech Topics
こんにちは。 学生時代に信号処理で使っていた数学の知識を生かして、機械学習関連の仕事をしている３年目の@maron8676です。 本記事はAdvent Calendar 機械学習の数理の21日目の記事となります。 0. はじめに 本記事では、文書からキーフレーズを抽出するアルゴリズムであるPositionRankの収束性について解説します。 原論文[1]には収束について書かれていませんが、アルゴリズムを使うにあたり収束性があるかどうかは気になるところだと思います。 ※機械学習では初期点によって結果が変わるなんてことはよくある話ですよね そこで、今回はPositionRankの収束性について関数解析の視点から検証してみます。 結果として、PositionRankのアルゴリズムが作る点列は、任意の初期点に対し唯一つの点に収束するという、とてもよい性質を持っていることが分かります。 1. Pos
明けましておめでとうございます。新年一発目は偏ったビューを開陳する代わりに、グローバルの機関投資家大手が公表している2023年のアウトルックの取りまとめた。ゴールドマンなどのウォール街のセルサイドのレポートもリンクが出回っているが、そちらより優先度が高くしたのは、バイサイドの方が当たるからということでは全くないが、セルのレポートがどちらかというと投資家にリスクとポジションの点検を促すものであるのに対し、バイは戦略に共感してもらってお金を集めるのを目的としており、個人投資家から見てもバイサイドの方が多少なりとも相性がよいと思われるためである。「じゃお前がそのポジションを張ってみろ」という話になるので極論も排除されている。 ブラックロックの大局観から始めよう。過去40年間の大安定期（Great Moderation）が終わり、今後の新レジームでは先進国は①高齢化に伴う人手不足②地政学的な緊張③
この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 どうもざるご（@zalgo3）です． 世界初のブラックホール撮影の成功例が出たようです． ブラックホールの撮影に成功 世界初 一般相対性理論を証明 - 毎日新聞 今回のブラックホール撮影は，スパースモデリングという機械学習技術を取り入れたことによる貢献が大きいようです． 天文学に計算機科学の知識が取り入れられて，大きな成果が出たというのは，驚くべきことだと思います． 今回はそんな大成功を巻き起こした「スパースモデリング」について解説していきます． スパースモデリングとは スパースモデリングとは，誤解を恐れずにざっくりいうと解けない連立一次方程式を無理やり解くための仕組みです． 次のような連立一次方程式を考えます． この方程式は，が逆行列を持つときに解くことができて， となります．では，が逆行
前回の続き。将棋AIで最初に大規模機械学習に成功させたBonanzaの開発者である保木さんのインタビューがちょうどYahoo!ニュースのトップ記事として掲載されたところなので、今回はBonanzaの機械学習について数学的な観点から解説してみたいと思います。 Bonanzaの保木さんのインタビュー記事 プロ棋士に迫ったAI「Bonanza」 保木邦仁「将棋を知らないから作れた」 https://news.yahoo.co.jp/feature/1712 BonanzaのGPW発表スライド とは言え、Bonanzaで使われている機械学習の技法は、いまどきの機械学習とは少し毛色が異なるので心の準備が必要です。 まず、保木さんのGPW(ゲームプログラミングワークショップ)での発表スライド、以前はBonanzaの公式サイトからダウンロードできたのですが、Bonanzaの公式サイトがジオシティーズにあ
パンケーキを食べる回数、歯磨き粉の購入回数、本の貸し出し回数は、それぞれ独立した行為です。それぞれお腹が空いた時に好みの食事をとり、それぞれ必要な時に歯磨き粉を買い、それぞれ必要な時に図書館に行き好みの本を借ります。これらは、それぞれのカテゴリーに対する消費者のプレファレンス自体の違い（消費頻度や購入回数などの見た目の違い）はありますが、プレファレンスに基づいてそれぞれのカテゴリーの構造が形成されるという全く同じ規則に従っています。プレファレンス（Preference）とは、消費者のブランドに対する相対的な好意度、選好性を指しています。バイロン・シャープ氏の言う「人気度」とは「他ブランドと比べてどれぐらい好きか＝人気があるか」と解釈しても良さそうです。 森岡さんは「我々が奪い合っているのは消費者のプレファレンスそのもの」「プレファレンスによって購入回数も支配されている」と断言しています。そ
ヒルベルト空間 - Wikipedia
数学におけるヒルベルト空間（ヒルベルトくうかん、英: Hilbert space）は、ダフィット・ヒルベルトにその名を因む、ユークリッド空間の概念を一般化したものである。これにより、二次元のユークリッド平面や三次元のユークリッド空間における線型代数学や微分積分学の方法論を、任意の有限または無限次元の空間へ拡張して持ち込むことができる。ヒルベルト空間は、内積の構造を備えた抽象ベクトル空間（内積空間）になっており、そこでは角度や長さを測るということが可能である。ヒルベルト空間は、さらに完備距離空間の構造を備えている（極限が十分に存在することが保証されている）ので、その中で微分積分学がきちんと展開できる。 ヒルベルト空間は、典型的には無限次元の関数空間として、数学、物理学、工学などの各所に自然に現れる。そういった意味でのヒルベルト空間の研究は、20世紀冒頭10年の間にヒルベルト、シュミット、リー
更新履歴 最適解と探索範囲を追記しました。 2016/11/29 @fimbulさん 編集リクエストありがとうございました。修正しました。 2017/7/10 @tomochiiiさん 編集リクエストありがとうございました。Easom functionを引用元の数式に修正、Schaffer function N. 2とN. 4の数式の修正 2018/5/9 @applicative62045 さん 編集リクエストありがとうございました(編集リクエストの確認遅くなりました。2019/12/31記載) Griek functionを修正 2019/12/31 @okamoto6496 さん 指摘ありがとうございました。Five-well potential functionの数式を修正。 2020/01/20 @higedura さん 指摘ありがとうございます。Bukin function N
特殊相対性理論 - Wikipedia
すなわち、時間と空間は、そこにある物体の存在や運動に影響を受けないと仮定した[2]。これをもって、我々が日常的直観として抱いている時間や空間に対する根本的感覚を表そうとした[2]。この絶対時間をかかげるニュートン力学においても、あらゆる慣性系は本質的に等価（すなわち相対的）でもある。ニュートン力学では、2つの慣性座標系(慣性系Aおよび慣性系B）における同一点A = (t, x)とB = (t′, x′)を示す関係は、次に示すガリレイ変換によって結ばれている。 ここで t, x は慣性系Aにおける時刻と位置であり、t′, x′ は慣性系Bにおける時刻と位置である。v は、慣性系Aから見た慣性系Bの移動速度である。 狭義の例を示すならば、ある座標系Aに対して等速直線運動する別の座標系Bがあるとして、これら二つの座標系は本質的に等価（相対的）である。すべての基準となる静止座標系といった概念は、上
はじめに 今回は、特異スペクトル変換法というアルゴリズムをPythonで実装します。このアルゴリズムは時系列データの異常検知に対して非常に強い力を発揮します。また、ハイパーパラメータ（人が調整する必要のあるパラメータ）が少なく、比較的チューニングが容易であることも特徴の一つです。数学の理論については深追いはせず、アルゴリズムの概要と実装まで書いていきたいと思います。 【目次】 はじめに 時系列データについて 時系列データの異常と変化点検知 特異スペクトル変換法の概要 履歴行列とテスト行列 特異値分解 変化度の定義 Pythonによる実装 特異スペクトル変換法の課題 おわりに 時系列データについて 時系列データとは、時間の推移ととともに観測されるデータのことです。昨今、様々な企業がデータ活用を推進していますが、世の中の実務の現場に貯まっていく多くのデータは時系列のデータです。 データ分析にお
吉田です。弊社では主に研究開発に携わっていますが、最近は顧問的なポジションになっている気がします。 普段は国立情報学研究所 (NII)という所で研究していて、よく論文を国際会議に投稿するということをします。 先日、CIKMという会議の結果が帰ってきて、今年開催される国際会議の結果が全て出そろったので、思い出話をしてみたいと思います。 紹介する論文の順番は、各会議が開催された(る)順です。 所々、専門用語を説明なしに使っていますがご容赦ください。 Yoichi Iwata and Yuichi Yoshida, Exact and Approximation Algorithms for the Constraint Satisfaction Problem over the Point Algebra. (STACS’13) 初めて東大の岩田君と書いた論文です。 岩田君は弊社でインターンや
ニューラルネットへのベイズ推定 - Bayesian Neural Network - nykergoto’s blog
ニューラルネットワークの過学習防止としてDropout という機構が用いられているのはご案内のとおりです。 この Dropout 、見方を変えるとディープラーニングにおける重みのベイズ推定に相当しているのではないか、という内容が Uncertainty in Deep Learning にて述べられていて、この記事ではその内容について解説していきたいと思います。 また末尾では実際にベイズ推定を実装して、予測がちゃんと不確実性を盛り込んだものになっているかどうか、を確認します。 基本的に記事の内容は元の論文(YARIN GAL さんの博士論文です)と同著者の解説ページを元にしています。それぞれ以下からアクセスできますので、解説じゃなくて自分で読みたい!という方はそちらを参考にしてください。個人的には解説も論文もとても読みやい (なんと数式もとても丁寧に記述されています!!) ので、英語が苦手
想像力はベッドルームと路上から - 僕らは多分、「正当性」よりも「身体と領域の自由」が欲しいんだ。～サウンド・デモの政治性～(長いよ)
なぜ若者は政治運動をしなくなったか‐狂童日報 ミッキーマウスのプロレタリア宣言‐S子の部屋 この問題意識のリンクっぷりは面白い。一方で学生は社会運動の足場や契機を失い、一方で明確な政治意識を前面に出さないサウンド･デモが勃興する。このあたり、社会運動を考える上での変節の鍵があるような気がする。 「サウンド･デモ」のベースとなっているのは「デモ」ではなく「野外レイヴ」だという点が肝だと思う。英国における野外レイブ発生の起源は(まあ、歴史を辿ればウッドストックとか色々あるんだけど)、アシッド･ハウス全盛期、クラブのドレスコードに引っかかった連中が、そのクラブの駐車場で勝手に音楽をかけて踊り出したことであるとされている。それが英国持ち前のD.I.Y精神と結びつき、農場やら廃屋やらを占拠(スクワッティング)して始めたのが「野外レイヴ」だ。 元々環境保護団体や反核団体などの左翼集団とも結びつきが強か
詳説 Deep Learning
エンタープライズ向けのディープラーニングの解説書。企業でディープラーニングアプリケーションを開発、運用するための実践的な手法を紹介します。対象読者はソフトウェア開発の現場で活躍する実務者。前半はディープラーニング初心者、後半はJavaエンジニア向けの構成です。機械学習、ニューラルネットワークの基礎から始め、ディープラーニングの基本的な概念、実際にチューニングを行う際のベストプラクティス、データのETL（抽出・変換・ロード）の方法、Apache Sparkを用いた並列化について、JavaライブラリDeep Learning4J（DL4J）の開発者でもある著者がわかりやすく丁寧に解説します。 日本のAIコミュニティの方々へ 監訳者まえがき まえがき 1章 機械学習の概要 1.1 学習する機械 1.1.1 機械が学習するには 1.1.2 生物学というヒント 1.1.3 ディープラーニングとは 1
iPhone/iPod touchで使える数式処理アプリMathStuio（元Spacetime）の超簡易マニュアル
先日、 iPhone/iPod touchで使える数学系アプリを紹介した。 その中で「愛用している」と紹介したMathStuio（元Spacetime）であるが、Mathematicaのように充実したオンライン・リソースがある訳でも、Maximaのように世界中でたくさんの人がドキュメントを提供している訳でもない。 日本語だと特に資料がないので、役に立つ人もいるかもしれないので、メモ程度のものだが出してみる。 MathStudio カテゴリ: 教育 価格: ￥1,700 第 1 章 MathStuio（元Spacetime）の基本 1.1 MathStuio（元Spacetime）とは MathStuio（元Spacetime）はクロス・プラットフォームの数式処理システムである。、iPhone/iPad、Windows、Macintosh、Windows Mobile、Windows Mob
目次 はじめに――長年の疑問 検証 結果 tf-idfは死んだのか？ まとめ はじめに――長年の疑問 自然言語処理でテキスト分類などに、よくtf-idfが使われます（最近はそうでもないのかもしれないが）。一般には、tf-idfを使うことで分類精度の向上効果があると認識されているようです。 このことを長年疑問に思っていました。tf-idfのうち、tfは文書中の単語の出現回数（あるいは相対頻度）ですから、単なるBag of Wordsと変わりません。また、idfは文書全体でのその単語の出現する文書数の対数みたいなものですから、文書集合全体で各単語に1つのidfが定まります。 けっきょく、tfi-dfはBoWにidfの列ベクトルをかけたものとみなせそうです。ということは、とても単純な線形変換ですから、こんなもので本当に分類精度が上がるんかいな？ という疑問をずっと抱いてました。分類器のアルゴリズ
はじめに 特異値分解 特異値分解と最適化問題 リーマン多様体上での特異値分解 $\mathrm{St}(p,m)\times\mathrm{St}(p,n)$ 上の最適化 接空間 レトラクション $R_{(U,V)}$ 勾配 $\mathrm{grad} F(U,V)$ リーマン多様体上での共役勾配法 Pymanopt による求解 モジュールのインポート 解くべき最適化問題の定義 最適化手法の定義 出力内容 おわりに 参考文献 おまけ はじめに 以前（2019 年 11 月）に「リーマン多様体上の最適化の初歩と Pymanopt による数値実験」 という記事を投稿した． mirucacule.hatenablog.com 記事内で用いた最適化 Toolbox である Pymanopt のバージョンアップに伴い，実行方法に変更が生じたため改めて書き直そうと思ったのが本記事を執筆するに至った経
機械学習による自然⾔語処理 チュートリアル 〜PerceptronからCRFまで〜 (2008-08-03-crf.pdf)
機械学習による自然⾔語処理 チュートリアル 〜PerceptronからCRFまで〜 岡野原 大輔 東京大学 Preferred Infrastructure 2008 8/3@PFI本郷オフィス 目次 • 自然⾔語処理 紹介 • 機械学習導⼊ • パーセプトロン • バッチ学習 (最大エントロピー法) • 過学習/正則化 • 多クラス分類 • 系列分類 (CRF, Structured Perceptron) このへんで 眠くなる 自然⾔語処理 (1/2) • ⾔語情報をコンピュータで処理する – コンピュータ⾔語の研究との対⽐で自然⾔語 – 世界最初のコンピュータの出現の頃から自動翻訳は 試みられている。コンピューターサイエンスの中で も歴史の⻑い分野 – 近年ビジネス的にも成功, Googleなどなど • 非常に幅広い分野と接触する、境界領域 – 処理する⼿法 = ⾔語学, 数学,
AlphaGo Zeroの論文を読む その4(自己対局) - TadaoYamaokaの開発日記
その3の続き 自己対局パイプライン 自己対局パイプラインは、3つの主要な部分から構成される。 最適化 評価 自己対局 これらは並行で実行される。 最適化 ミニバッチサイズ：2,048 (32バッチずつ別々のGPUで実行) ミニバッチデータは直近50万の自己対局のすべての局面からランダムでサンプリング モーメントありのSGDで最適化(モメンタムパラメータ=0.9) 学習率は以下の通り徐々に下げる 1000ステップ 学習率 0-400 400-600 >600 損失関数には、policyの交差エントロピーとvalueの平均二乗誤差の和を使用 policyの交差エントロピーとvalueの平均二乗誤差は等しく重み付けする L2正則化を行う(c=) 損失関数を式にすると以下の通り zは勝敗(-1,1)、vはvalue、はモンテカルロ木探索で求めた局面の遷移確率、はpolicyの遷移確率、はネットワー
TL;DR 機械学習を仕事で使う人はどんな理論的内容を扱っているのか コードは GitHub にあるし研究は論文になるが、実業務で必要な理論的トピックに関してはなかなか目にする機会がない 自分がこれまでどんなことをしてきたのかを簡単にまとめてみた 以前 機械学習をやる上で線形代数のどのような知識が必要になるのか という記事を書いた。 これに関して知人と話している時に「ある程度知っている人がこれだけやれば十分みたいな話をするのは不適切じゃないか」という感じの話をした。 何が不適切かというのは色々な解釈がある。 ここでは、ある対象に関してそれなりに知っている人が考える「これで十分」というのは、暗黙の前提や関連事項の理解があったりして、表面に出てくるのはほんの一部を聞いてもそこまで役に立たない、という点を挙げておく。 これは結構広く成り立つことだろう。 まあそれ自体はそれでいいし、表面に出てくる
主成分分析 - Wikipedia
関連する手法[編集] 主成分分析は因子分析によく似ている。因子分析は、データの背後にある構造に関する分野固有の仮設と、主成分分析の場合とはわずかに異なった行列に対する固有ベクトルを求める手法である、と要約できる。 主成分分析は正準相関分析 (canonical correlation analysis; CCA) とも関わりがある。正準相関分析は二つのデータセット間の相互共分散に基いて座標系を定める手続きだが、主成分分析は単一のデータセットの分散に基いて座標系を選択する手法である[7][8]。 詳細[編集] 数学的には主成分分析はデータの基底に対し直交変換（回転）を行い、新たな座標系を得ることであり[9][要ページ番号]、新しい座標系はその第一成分（第一主成分と呼ばれる）から順に、データの各成分に対する分散が最大になるように選ばれる。 以下では、データ行列 X として、各列の標本平均が 0
メンタルアベイラビリティについては、自分の頭の中に無数の引き出しがあるタンスが構築されている、と考えると良いでしょう。 私の場合、「お肉をサクッと食べたい」引き出しには「焼肉ライク」が一番手前に格納されています。「お肉を腹一杯食べたい」引き出しには「焼肉きんぐ」が、「良いお肉を少しずつ食べて多幸感に包まれたい」引き出しには「叙々苑」が一番手前に格納されています。 引き出しに付けられたネームを、ブランディングの科学ではブランドとつながっている道の入り口として「カテゴリーエントリーポイント」（CEP）と紹介しています。 消費者は、よほどの中毒でも無い限り、すぐさまブランドを思い浮かべるわけではありません。CEPを介してブランドを想起します。すなわち、より多くの引き出しに自社ブランドがなるべく手前に（第一想起されるよう）格納されることが重要です。 いわゆる「引き出し理論」自体は、某マーケターの方
3日で作る高速特定物体認識システム (3) SURFの抽出（2009/10/30）のつづき。 画像からSIFTや SURFといった局所特徴量を抽出できるようになったのでここらでそれを応用してみます。特徴点のマッチングを取ることで2つの画像間で対応する場所を求められるようになります。下の例のような感じです。下の図で2つのキーポイント間にひいた直線は、両端のキーポイントの特徴ベクトルが似ている（距離が小さい）ことを表しています。 以下、プログラムです。 keypoint_matching.exe [画像1のファイル名] [画像2のファイル名]のように2つの画像ファイルを入力として与えると上のようにマッチング画像が表示されます。 #include <cv.h> #include <highgui.h> #include <iostream> #include <vector> #include
bayonやCLUTOが爆速な理由 - download_takeshi’s diaryを読んで、すぐには成り立つかどうか分からなかったので証明してみた。 上の記事で述べられていることはクラスタ中のベクトルとその中心ベクトルのコサイン類似度の和と、クラスタ中のベクトルを全て足したベクトルのノルムが一致するというである。 ただしここでクラスタ中の要素ベクトルはすべて大きさ1の規格化されたベクトルであるとする。 証明 今クラスタ内に含まれるベクトルを とする。 このとき全ベクトルを足しこんだ複合ベクトルを とする。またこのクラスタのセントロイドは となる。このときセントロイドと各ベクトルとのコサイン類似度は [tex: s_i = \frac{}{||C|| ||x_i||} = \frac{}{||{C}||}] となる。ここでと正規化されていることを用いた。この類似度の合計は [tex:
![[機械学習] クラスタリングにおけるコサイン類似度に関する性質の証明 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/437ae042a71338c391758f2afa29457c5ff0c015/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030345%2F1557332441)
概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。 この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞれに用いられている正則加項をL1ノルム、L2ノルムと呼びます。 L1ノルムとL2ノルムの特徴を簡単にまとめると次のようになります。 L1ノルムはパラメータの一部を完全に0にするため、モデルの推定と変数選択を同時に行うことができる 特に次元数>>データ数の状況で強力 L2ノルムは微分可能であり解析的に解けるが、L1ノルムは 解析的に計算出来ない L1ノルムには様々な推定アルゴリズムが提案されている また、L1ノルムには 次元が標本数より大きい時、高々個の変数まて
「ロマンティック数学ナイトボーイズ」の発表をするにあたって、距離空間の記事を書こうと思います。 距離ってなによ？ GLSLやレイマーチングなど、3D数学をされていると、図形の形を表す数式の方程式だと思います。 だた、今回は、数学における距離を話そうと思います。 数学がおける距離とは 集合 $X$ 上で定義された $2$ 変数の実数値関数 $d: X × X → R$が、 任意の $x,y,z ∈ X$ に対して 非負性（正定値性） : $d(x, y) ≥ 0$ $x = y \Longleftrightarrow d(x, y) = 0$ 対称性 : $d(x, y) = d(y, x)$ 三角不等式 : $d(x, y) + d(y, z) ≥ d(x, z)$ を満たすとき、$d$ は $X$ 上の距離関数であるといい、対 $(X, d)$ を距離空間と呼ぶ。 何のことかわかりません
コミュニティ抽出とは簡単に言えばグラフにおけるノードのクラスタリング手法です。具体的なアルゴリズムとしてはGirvan–Newman法をはじめ様々なアルゴリズムが存在しますが、この記事では去年（2019年）提案された新しい手法について解説したいと思います[1]。 [1907.03993] Community Detection on Networks with Ricci Flow 話の元になっているのはこちらの論文で、グラフをリッチフローによって変形し、伸びたエッジを切断していくことでクラスタを求めるというアルゴリズムです。リッチフローという聞き慣れない言葉が出てきましたが、ちゃんと後で説明するので気にせず進めましょう。 まずは実際にグラフのクラスタリングを行う様子をアニメーションで見てみてください。 アルゴリズム自体はそれほど難しくありませんが、背景を含めて理解するためには2つの理論
投資家用・スタートアップ支援用・大学支援用に改良中 更新中）tfidf etc embeddings cluster reconstructing vis: 特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加） - Qiita
投資家用・スタートアップ支援用・大学支援用に改良中 更新中）tfidf etc embeddings cluster reconstructing vis: 特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加）自然言語処理NLP可視化Visualization特許 追記を繰り返しており整合性も取れておらず非常に読みにくい状態です．近日中に再整理します． 技術だけではなく方法論が重要となります。後ろ向きに検証し、前向きに予測することが重要となるでしょう。現在検証中です。 お題をいただけますと助かります。後ろ向き検証ではどうもわかりきったものを恣意的に選んで言えるかもしれない危惧があるところです。 個人的には、会社の方針に
（ 学習メモ ） 人間の脳 が 、少ない電力消費量 で 動作できる理由 に ついて の 一仮説 〜 "少数の基底" = "少数のNeuron" で 感覚データ の 内部特徴表現 を 生成する 「独立成分分析」（ICA） 相当 の 情報処理 を 行っている 可能性（Sparse coding 仮説）人工知能MachineLearning機械学習DeepLearningSparseCoding 脳内の視覚野における情報処理素過程 と Sparse coding との 関係 脳内の視覚野における情報処理素過程 と 独立成分分析（ Independent Component Analysis, ICA ） との 類似性 について 関心 を 抱きました。 学習メモ として、 参照すべき論文 この分野 に おける 最新 の 数理脳科学モデル（文献２参照） に インデックス を 貼って 整理してみました
フーリエ変換は自然現象を捉えるのに便利である
前回記事フーリエ変換とは無限次元空間の直交分解のひとつであるでは、 三角関数の族は関数空間の正規直交基底になっているよ！ フーリエ変換はそれらへの直交分解だよ！ ということを説明しました。 今回はさらに、 フーリエ変換は自然現象を捉えるのに役に立つよ！！ ということを説明していきたいと思います。 フーリエ変換で熱の拡散を捉えてみよう 明日の東京の気温はどれくらいだろうか？ エアコンはどこに置くと冷却効率がよいだろうか？ アツアツの鍋はどれくらい待てば持てるようになるだろうか？ 今の状態から、将来の温度の様子がわかりたいですよね. 今回はその中でも単純な, 電熱線がどう冷めていくか？ということを考えていきます. 高さを温度としたときの熱拡散のアニメーションは, こんな感じです. 熱の拡散が満たすであろう法則を数式に直すと, 次のような微分方程式がモデルとして得られます. \begin{equ
ニューラルネットワークはあらかじめ設計されたネットワーク構造に従ってデータが入力から出力に向かって計算されながら伝搬していく。多くの問題では、事前知識を使って構造を設計することで性能を上げることができる。 例えば、畳み込みニューラルネットワーク（CNN）は、画像は近い位置にある情報が関係があるという事前知識を使って、近い位置にあるニューロン間のみをつなぐことでパラメータ数を減らし、特定のモデルが学習されやすいようにして汎化性能を上げている。 このような事前知識は帰納バイアスとも呼ばれ、学習が成功するかの重要な要素である。しかし、データの流れ方は学習によって決定し、データに合わせて変わることが望ましい。 自己注意（Self-Attention）機構1-2）は、データの流れ方自体を学習し決定するような方法である。もともとRNN向けに提案されたが、CNNなど他のニューラルネットワークにも利用され
高卒でもわかる機械学習 (5) 誤差逆伝播法 その1
はじめに 多層パーセプトロンの重みを更新する理論について解説します。 更新すべき重みがたくさんあるので単純パーセプトロンより難しいですが、ここがわかると近年流行したディープラーニングを理解するための基本ができあがります。 ただし、結構長いので、「理論はざっくりでいいから最終的に使える重み更新式が知りたい」という人は、別のサイトや本を読むのをお勧めします。 なお、記事中で使われる各種記号の定義は前回やりましたので、わからなくなったらそちらを参照してください。 数学の前知識 今回は数式がけっこう出てきます。 そこで必要な数学知識について、いくつか説明を書いておきます。 簡単のため前提条件を少し省略しているので、数学的に厳密ではない箇所はご容赦ください。 偏微分 偏微分は以前の記事でも出てきましたが、僕が誤解してまして、高校数学の範囲には含まれていないようでした。 そんなに難しいことではなく、複
――新型コロナの感染拡大で、EU加盟国の中でも入国制限が導入されました。EUの理念に反するのではないですか。 3つのことが言えます。まず感染症を含む公衆衛生はEUでなく加盟国のコンペテンス（権限）。EUにできることは限られています。 EUはその範囲で、域内市場や移動の自由への制限をできる限り少なく、例外的なものにとどめようと努力していますが、危機の時に国家主権が前面に出てしまうのは想定されていることです。 ただ、そうは言っても、加盟国レベルの単独行動が目立ち、ひどかったよねというのが2点目。当初はマスクや医療機器の輸出を規制するなどして、ドイツが他の国を助ける姿勢をまったく見せなかった。その後少しずつ修正し、患者をイタリアから引き受ける形でソリダリティー（連帯）を示すようになりました。3点目は、医療の連帯も大事だけれど、本丸は（統一通貨の）ユーロだということです。 欧州中央銀行本部＝和気真
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python 3 | K-TechLaboゼミ用学習ノート
できるだけ丁寧にGANとDCGANを理解する - 午睡二時四十分
Backpropしないニューラルネット入門 (2/2)
きまぐれ日記: TinySegmenter: Javascriptだけで分かち書き
【質疑応答付き】Kaggle Tokyo Meetup #6 に参加しました - 天色グラフィティ
グローバル大手機関投資家の2023年マクロ見通し : 炭鉱のカナリア、炭鉱の龍
ブラックホール撮影にも使える「スパースモデリング」とは？【機械学習】 - ざるご博士になりたいブログ
機械学習エンジニアのための将棋AI開発入門その2 | やねうら王 公式サイト
マーケター必読「ブランディングの科学」の基礎を約10000文字でまとめました｜松本健太郎
最適化アルゴリズムを評価するベンチマーク関数まとめ - Qiita
特異スペクトル変換法による時系列データの異常検知（Python） - Fire Engine
今年の研究振り返り - Preferred Networks Research & Development
【python】tfidfは分類精度を向上させるのか？→向上しなかった - 静かなる名辞
リーマン多様体上の最適化―特異値分解の例を通して― - 冷めたコーヒー
機械学習案件に携わってきてどんな理論的トピックを扱ってきたか
定性的に発見した「買う理由」をブランディングの科学「独自指標」で定量的に評価する｜松本健太郎
3日で作る高速特定物体認識システム (4) 特徴点のマッチング - 人工知能に関する断想録
[機械学習] クラスタリングにおけるコサイン類似度に関する性質の証明 - tsubosakaの日記
回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic
ちょっと距離についてまとめてみた。 - Qiita
グラフからコミュニティ構造を抽出する 〜リッチフローによるグラフの時間発展〜
（ 学習メモ ） 人間の脳 が 、少ない電力消費量 で 動作できる理由 に ついて の 一仮説 〜 "少数の基底" = "少数のNeuron" で 感覚データ の 内部特徴表現 を 生成する 「独立成分分析」（ICA） 相当 の 情報処理 を 行っている 可能性（Sparse coding 仮説） - Qiita
《日経Robo》自己注意機構：Self-Attention、画像生成や機械翻訳など多くの問題で最高精度
【遠藤乾】支援を渋る豊かな国、募るイタリアの恨み EUの機能不全を避ける道は：朝日新聞GLOBE＋