皆さん、機械学習の勉強って楽しいですけど、正直キツくないですか？ 何がキツイって、結局のところ数学なんじゃないかと思います。 数学があまり強くない自分は、RやPythonで可視化してみたり、実装してみたり、単純に情報をググってみたりすることが結構多いですが、僕がもう一つやる選択肢が、Wolfram Alphaで数式や関数、分布を検索することです。 これがあまり有名じゃないみたいなので紹介します。 Wolfram Alphaとは 自分は、「統計情報や数学的な理論などの、事実を探せる検索エンジン」と認識しています。Webではなく、膨大なデータベースと数学処理エンジンに問い合わせをしている感じです。 ただ、彼らが作っているaboutページには、 http://www.wolframalpha.com/about.html 例えば「Tokyo」を検索すると、人口や地図上の場所、面積、現在の時間や気
scipy.sparseでの疎ベクトルの扱い – はむかず！
Pythonで疎行列を扱うライブラリであるscipy.sparseについて、自分がハマってきたところをまとめてみようと思う。とくに、行列よりもベクトルとして扱ったとき（つまり行または列の数が1のとき）の注意点をまとめる。 基本的なことばかりなのかもしれないが、日本語の情報は少ないので、それでも役に立てるかもと思いました。まあ自分の勉強ノートみたいなもんです。 基本 scipy.sparseで提供される疎行列の形式はいくつかあるが、ここではとくにCOO(COOdinate)形式、LIL(LInked List)形式、CSR(Compressed Sparse Rows)形式、CSC(Compressed Sparse Columns)形式について取り上げる。 それらの違いについて、詳細は本家のドキュメントを参照して欲しいが、すごく大雑把にまとめると、 CSR, CSC形式は、同じ型同士の掛け
自然言語処理分野で用いられる敵対的学習手法について - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社データサイエンティストが、自然言語処理分野でよく用いられる「敵対的学習手法」から、「FGM（Fast Gradient Method）」「AWP（Adversarial Weight Perturbation）」手法をピックアップしてご紹介します。 こんにちは。アナリティクスサービス部の佐々木です。 今回は、自然言語処理の分野においてよく用いられる「敵対的学習手法」についてご紹介します。 敵対的学習とは 敵対的学習の手法 FGM（Fast Gradient Method） AWP（Adversarial Weight Perturbation） おわりに 参考文献 敵対的学習とは 深層学習モデルの発展により、自然言語処理分野を含め様々な分野で高い精度のモデルを作成できるようになってきた
なぜ日銀は無謀なインフレ政策をとるのか
アベノミクス論争はもうやめよう。必要なのは、真の経済学論争である。 巷のアベノミクス批判、あるいは支持は、政治的な論争であり、われわれ経済学者とは関係がないだけでなく、経済学に対する不信を招き、本来行うべき経済学の論争の機会を失ってしまっている。またこうした形だけの経済政策論争は、政治的な論争、さらに悪いことに、似非（えせ）経済学者の売名行為、社会的地位獲得のための争いとなってしまう。これらは、アベノミクスがもたらした経済政策アリーナにおける最大の罪であろう。 実質的にわれわれが議論すべきは、もちろん金融政策、クロダノミクスである。黒田東彦・日銀総裁のサプライズ戦略――これは市場を驚かせて、市場での中央銀行と投機家のゲームをリードし、完全に彼らを支配することによって、前半戦は黒田氏が圧勝した。これが前日銀総裁の白川氏が唯一できなかったことである。ただ、前半勝ちすぎたために、後半は投機家たち
過去に困り事があったとしても、それが解決されてしまうと、その困り事があったこと自体の記憶を上書きして忘れてしまうことがあるという。 「不便や不安にはさまざまなヒントが隠されている。現状に至ったプロセスを解きほぐすように質問をしていくと、新しいものが見えてくることもある。生きてきた歴史が長いので、その時々の社会の変化によって気持ちも変わり続けている」（梅津氏） ハルメクの特集企画や商品開発の原動力として、なくてはならない存在となった生きかた上手研究所。さまざまなヒット企画やヒット商品を生み出し、定性調査に関する社内の興味はますます高まってきているという。 「分析上手」と呼ばれるためにビジネスの世界において「データ分析」は必須科目となりました。少なくとも、全く無縁なビジネスパーソンはいないはず。 一方で、誰しもが「分析上手」とは言えません。「知ってる」「だから？」と言われた（言った）経験は、私
用語「コサイン類似度」について説明。2つのベクトルが「どのくらい似ているか」という類似性を表す尺度で、具体的には2つのベクトルがなす角のコサイン値のこと。1なら「似ている」を、-1なら「似ていない」を意味する。主に文書同士の類似性を評価するために使われている。 連載目次 用語解説 数学／統計学／機械学習におけるコサイン類似度（Cosine Similarity）とは、2つのベクトルが「どのくらい似ているか」という類似性を表す尺度で、具体的には（ベクトル空間における）2つのベクトルがなす角のコサイン値のことである。この値は、2つのベクトルの内積（＝向きと大きさを持つベクトル同士の掛け算）を、2つのベクトルの大きさ（＝L2ノルム）で割ることで計算される。 この計算によって値が-1～1の範囲に正規化されるので、コサイン類似度が、 1なら「0度で、同じ向きのベクトル＝完全に似ている」 0なら「90
統計, 研究久しぶりに統計の事書きます。っていってもただの覚書ですが。。。まぁいいですよね。 疫学、特にゲノムワイドな解析を行うとき（例えば疾患の発症に寄与する要因としてSNPsなど）はp>>n問題というものがよく見られます。これはサンプル数(n)に比べて推定すべきパラメーター(p)が多すぎるという問題点です。この条件下では、回帰分析の数学的な妥当性が成立しなくなりますのでちょっと困っちゃいます。（正確には、漸近一致性などが成立しなくなる可能性など）これってちょっと考えれば分かることで、ゲノムとその組み合わせは何百億とありますが地球の人口は６０億そこらということは、全人類をサンプリングしてもp>>n問題がおこるということです。（あれ、この例なんかおかしい気がする。。。？） とにかく、今回はこのような状態を考えるときの考え方に関するメモです。このp>>n問題を解く非常に根本的なアプローチは、
メガバンクの手数料引き上げにかかる考察～結果的に自らの首を絞める怖れも～ - 銀行員のための教科書
2017年12月20日の日経新聞に3メガバンクが両替手数料の引き上げを行うとの記事が掲載されました。 収益が低下している銀行が今後も他の業務で手数料引き上げに動くことは当然想定されます。 この動きがどのような背景によるものなのか、そして今後どのようになっていくのかについて今回は考察致します。 日経新聞の記事 日銀副総裁の講演内容 銀行の手数料引き上げがもたらすもの 日経新聞の記事 まずは日経新聞の記事をおさらいしておきましょう。 3メガ銀が手数料引き上げ まず両替、窓口業務減らす 日経新聞2017年12月19日 22:00 メガ銀行が手数料の引き上げに動き出す。みずほ銀行は2018年1月から、三菱東京UFJ銀行は同4月から、それぞれ両替の手数料を上げる。銀行はマイナス金利政策に伴う収益環境の悪化で、店舗の統廃合や人員・業務量の削減を進めている。人手不足による合理化も急務で、無料のイメージが
はじめに こんにちは！間接照明ちゃん（間接照明ちゃん (@IndirectLight) | Twitter）です！ この記事は第三回レイトレ合宿のアドベントカレンダーです。 SIGGRAPH2015を夏に控え、テクニカルペーパーやコースの情報が随時公開されています。今回はテクニカルペーパーの中から個人的に気になっているものを列挙していきます。といってもタイトルからの直感ばっかりなのでガチ勢は自分で見ましょう（SIGGRAPH 2015 Papers） Technical Paper Previewも見ましょう。 www.youtube.com Doppler Time-of-Flight Imaging なんか名前がかっこいいですね。ToF式のカメラといえばKinect v2があります。これは光を物体に照射して反射、カメラに再び戻ってくる時間を計測することで対象までの距離を計測する仕組みで
金融政策で賃金を上げるのは不可能である
今回は、早川英男氏（元日本銀行理事、現富士通総研エグゼクティブ・フェロー）の「日本経済新聞7月26日付け経済教室」の議論に挑みたい。 渡辺教授と早川元日銀理事の共通点と違いとは？ 早川氏の議論とは何か。前回のコラム「なぜ日銀は無謀なインフレ政策をとるのか」で私が議論を挑んだ東京大学の渡辺教授もそうだが、早川氏も、現在の日本の問題は基本的に供給サイドにあると考えている。渡辺教授は、企業のイノベーションのために、デフレを打破し、企業の価格支配力を強め、高付加価値高価格の製品を開発し収益を上げるというモデルに戻り、右上がりの成長に戻ることを求める。そのために、賃金の上昇が必要であるという考えだ。 一方、早川氏も賃金上昇を求めているが、その理由は異なる。 供給サイドの問題であるという認識は共通だが、その問題はより根深く、日本企業は稼ぐ力を失っており、根本的に世界的なイノベーションの波に日本企業が対
Convex Optimization: Lecture Slides 凸最適化：講義スライド［日本語訳］ Reference (original document) S. Boyd and L. Vandenberghe, Lecture slides of "Convex Optimization", bv̲cvxslides.pdf (as of Oct. 2014)http://stanford.edu/∼boyd/cvxbook/ Japanese Translation by @convexbrain 目次 1. イントロダクション 2. 凸集合 3. 凸関数 4. 凸最適化問題 5. 双対性 6. 近似とフィッティング 7. 統計的推定 8. 幾何問題 9. 数値線形代数の背景知識 10. 制約なし最小化 11. 等式制約つき最小化 12. 内点法
人工知能の研究が始まってから60年が経ちます。 現在まで様々な手法が試されてきましたが、現在人工知能開発の主流になっているディープラーニングは脳の活動の模倣によって発展しました（従来からニューラルネットワークとして、脳の神経の構造を真似ることはしてきましたが、ディープラーニングでは脳の神経の振る舞いを真似るようになりました）。ディープラーニングが知的な振る舞いをする機械に発展するのか、あるいは他の方法なのか、それは誰にも分かりませんが、現在多くの分野で成果を上げていることは誰にも疑いようがありません。 ここまでディープラーニングが成果をあげてきたともなれば、そもそも脳の働きがどれだけ優れたものであるか、一体どのように動作しているのかに興味が湧いてきませんか？脳の構造を真似ているディープラーニングは、あくまでそのアルゴリズム通りに動作しているに過ぎません。まだまだ人間の脳の汎用性にはかなわな
Learning Discrete Representations via Information Maximizing Self Augmented Training [arXiv:1702.08720]
Learning Discrete Representations via Information Maximizing Self Augmented Training [arXiv:1702.08720] 概要 Learning Discrete Representations via Information Maximizing Self Augmented Trainingを読んだ Chainerで実装した はじめに Information Maximizing Self Augmented Training（以下IMSAT）は、Regularized Information Maximization（以下RIM）による学習と、data augmentationを用いて予測分布を滑らかにする学習の2つを同時に使ってクラスタリングを行う手法です。 MNISTを教師なしで98%分類できる
![Learning Discrete Representations via Information Maximizing Self Augmented Training [arXiv:1702.08720]](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7d57690043ca98898bbd61f10300c7a127dd8d4/height=288;version=1;width=512/http%3A%2F%2Fmusyoku.github.io%2Fimages%2Fpost%2F2017-03-11%2Fmnist_train.png)
引き続きリッチモンド連銀のアセモグルインタビューについてのエントリ。前回、前々回エントリで紹介した箇所の前段でアセモグルは、昔は経済成長すれば労働者を含め社会のすべてのセグメントが恩恵を受けると考えていたが、今はそのことをそれほど確信していない、と述べている。近著では、その問題に関して次の3つの要素の重要性を強調したという。 その時点の技術の性格 労働者の交渉力を形成する制度 予想とノルム（expectations and norms） このうち、最後の予想とノルムがとりわけ重要、とアセモグルは主張する。一例としてアセモグルは、Alex He、Daniel le Maireとの共同研究*1で見い出された、ビジネススクールで教育を受けた経営者が賃金を削減する傾向を挙げている。彼らは、株主の利益を追い求め、企業をスリムにする、というビジョンないし予想ないし思想に従っている、というのがアセモグル
pitti blog
2014年に観た映像作品ベスト30です。映画だけじゃなく、ドラマ、アニメ、AV等も含むため「映像作品」という括りにしました。基本的にはTSUTAYA派だけど、気になる作品は映画館で観ました。一応初見の作品に絞ってあります。 ... 8月2日鑑賞。とてもおもしろかった。「るろ剣」は小中学生の頃に原作のマンガを熱心に読んでいたから筋立てがわかっていたけど、映画はいい意味で原作をトリックとして活用している。つまり原作とは別の展開を見せることで予想がつきにくい展開になるのだけど、それが全然嫌 ... 2週間ほど前に鑑賞。宇野維正さんやYUさんが絶賛していたので遅れて鑑賞。おもしろかったけど、内容的におもしろいというより、とにかくレベルの高い映像を見せられている感じだった。終始映像が美しいんだけど、デヴィッド・フィンチャーやスティーヴ・マックイーンのような ... 今は亡きトニー・スコットと言うと、
をマンキューがNBERコンファレンスで明らかにした。以下はその概要。 フィリップス曲線は厳然として存在する インフレと失業率の無条件の関係としてはもはや存在しないが、条件付きの関係としては存在する。 金融ショック、ないし総需要ショックは、インフレと失業率を短期的に逆方向に動かす。これを短期のフィリップス曲線と定義すると、これから逃れることはできない。 しかしフィリップス曲線は実務的に有用なツールではない フィリップス曲線はマクロ経済理論の重要な部品、という点については断固として擁護するが、実務的なツールとしてはさほど重視していない。 NAIRUの推計は信頼区間があまりにも大きい。 フィリップス曲線が軌道から外れるたびに研究者は新たな定式化を提案してきたが、それはあまりにも頻繁に起きており、聖杯探しに似た状況になっている。 失業率よりもフィリップス曲線の当てはまりの良い経済のスラックの指標を
L1正則化について - DO++
先日L1正則化についての話をしてきました。 [ppt] [pdf] ちょっと専門的な話ですが、L1正則化はパラメータ推定のときにパラメータw∈R^m に対し|w|_1 = |w_1| + |w_2| + ...+|w_m| のペナルティをかけるもので、機械学習だけでなく、compressed sensingやらいろいろな分野で出てくる手法です。 L1正則化を使うと、殆どのパラメータが0になりコンパクトな学習結果モデルが得られる上に、ノイズが大きい場合にはそれらを無視することができます（L2の場合はrepresenter theoremより、重みベクトルは訓練ベクトルの線形和としてしか表せないので、要らない素性の重みを0にするようなことは難しくなります） さて、上の発表で話した中で今面白いのはL1-ball projectionという技術です。 "Efficient Projections
目次 / 現代線形代数入門 / 再履修線形代数研究会
目次Table of Contents トップページ 記号一覧 レッスン 1 行列算 1.1 例から入門 1.2 行列の言葉 1.3 行列の相等 1.4 和 1.5 行列のスカラー倍 1.6 積 1.7 積の単位元 1.8 分配則 1.9 積の結合則と拡大結合則 1.10 逆行列 1.11 積の逆行列は逆行列の逆順の積 1.12 転置 1.13 和、スカラー倍、積の転置 1.14 共役と共役転置 1.15 和、スカラー倍、積の共役、共役転置 1.16 ブロック行列 1.17 ブロック行列の積 1.18 ブロック行列の転置公式 1.19 ブロック行列の和とスカラー倍 腕試し問題 レッスン 2 ベクトル空間と線形変換 2.1 行列算総括 2.2 ベクトル空間の公理 2.3 簡単な結果 2.4 ベクトル空間の例 2.5 集合論から Part I 2.6 線形変換（線形写像） 2.7 線形変換の例
【 論文を読む 】Deep neural network に 外部知識DB を 参照する補正項 を 組み込むと、少量学習データ でも NLP意味計算精度 アップした件MachineLearningDeepLearningrdfNLP自然言語処理 【 関連記事 】 HirofumiYashima Qiita記事（2016/08/17）「【 概念・語彙 意味関係 知識ベース 参照型 word2vec（ GloVe ）】Joint representation 論文 の C＋＋言語 公式実装コード を サンプルデータ で 動かして挙動確認してみた」 ニューラル言語モデル × オントロジー セマンティック知識DB参照モデル 融合のアプローチ が切り開く可能性 （ 文書コーパスから、各トークンの意味表現ベクトルを組成する neural network モデル のアルゴリズムに、外部 知識DBに記述さ
■はじめに 闇の自己啓発会は6月6日、ベルサーニ＋フィリップス『親密性』読書会を行いました。今回は洋菓子を食べて親密性を高めながら、さまざまな親密性のあり方について話しました。 ※課題本は大手通販サイトでは品薄となっていますが、版元（ http://www.rakuhoku-pub.jp/book/27163.html )から購入してます。 ■参加者一覧 役所【暁】 洋菓子を買った人。最近プレイしているゲームは「アークナイツ」。 【江永】泉 洋菓子ありがとうございました。最近トレイラー等を視聴していたゲームは「Atomic Heart」。 【木澤】佐登志 洋菓子ありがとうございました。最近視聴していたVtuberのゲーム配信は天宮こころの「ぼくなつ」。 【ひで】シス 暁さんが持っていらっしゃったケーキ美味しかったです。マスクをしたまま喋り狂っていたら熱中症になってしまって、今回は自分の発言
- 理数アラカルト - 物理学や工学で現れる数学的手法を紹介
線形代数 ベクトル空間 ベクトル空間 線形独立と線形従属 基底・直交基底・正規直交基底・次元 部分空間 和空間・直和空間・補空間 線形写像 Kernel (核) と nullity (退化次数) 座標変換 行列の基礎 行列が等しいこと 行基本変形 行列の簡約化 行列式と余因子 行列式の定義 $2\times 2$ の行列式 $3\times 3$ の行列式 $4 \times 4$ の行列式 $5 \times 5$ の行列式 行列式の基本的な性質と公式 余因子展開 余因子行列 行列式=0 ⇔ 列が線形独立 逆行列 正則行列 $2\times 2$ の逆行列 $3\times 3$ の逆行列 $4\times 4$ の逆行列 掃き出し法による逆行列導出 連立一次方程式 掃き出し法で解く例題 クラメルの公式 連立一次方程式の一般的性質 連立一次方程式の計算機 同次連立一次方程式と自明な解 ラ
Deep Insider 全記事一覧
Deep Insider 全記事一覧 ＠IT／Deep Insider フォーラムのすべての記事を一覧表示しています。 ● ＠IT／Deep Insiderの歩き方： 「AI・機械学習の勉強をこれから始めたい」「AIサービスを作りたい」 という人のためのAI技術情報フォーラムです！ （Deep Insider イメージキャラクターについて、Deep Insider 編集部 について） 最終更新日： 2024年08月22日 機械学習入門（2024/08/22） 機械学習をPythonで学ぼう！ 基礎、できること、ライブラリ scikit-learn入門＆使い方 ― 機械学習の流れを学ぼう 「線形回帰」（数値予測）をPythonで学ぼう やさしい確率分布（2024/08/08） やさしいデータ分析【確率分布編】 新連載開始！ ［データ分析］二項分布とベルヌーイ分布 ～ 離散型確率分布の基本 ［
関。関連。関連といえばレコメンドですね。 というわけで今回はレコメンドエンジンに利用できそうな技術を紹介します。 MF系アルゴリズムの動的スコア計算 リブセンスでは以前から機械学習を用いたレコメンドエンジンを開発・運用しています。 ユースケースによりけりですが、最近ではMatrix Factorization(MF)系のアルゴリズムの利用が盛んです。 Non-negative matrix factorization - Wikipedia MFでは生成したユーザ・アイテムのベクトルの内積としてレコメンドのスコアを求めますが、ユーザやアイテムの数が多い場合、全てのユーザ×アイテムの組合せについてスコアを事前計算すると保持するデータサイズが非常に大きくなってしまいます。 このような場合はユーザ・アイテムのベクトルを別個に保持し、入力に応じて動的にスコア計算とソートを行ってレコメンド結果を返す
精度保証付き数値計算入門
講義の概要 精度保証付き数値計算の基礎になる区間演算は九大の須永教授の発明である． また，精度保証付き数値計算という日本語は山本哲朗先生の発案である． 精度保証付き数値計算の研究はこの１０年間に大きく発展し，実用段階に発展し た．これは，本来，数値計算はその精度が保証されたものでなければならないという 必然性からも大変重要なことである． 本講義では，精度保証付き数値計算の理論と実際のプログラミングについて 基礎から第一線まで丁寧に解説を加える． 特に，精度保証付き数値計算は実際に計算してみてこそ，その偉力を感じること ができると思われるので，Scilabという数値計算言語を利用して，簡単に，しか し実用的な計算ができることを明らかにする． 最終的には，積分方程式などの関数方程式の解の計算機援用存在証明まで実際に 行ってみることを目標とする． Scilabのインストール Scilabは誰
ニューラルネットワークモデルの訓練（training）では、過学習（over-fitting）が起きたり、局所的な極小点に陥り、性能が高くならないという問題が発生することがあります。 過学習 過学習は訓練データの数に対してパラメータの数が多い場合や、訓練データに偏りがある場合に起き易い現象です。図１はデータ数が少ない場合の入出力のグラフ（横軸入力、縦軸出力）ですが、このようにデータ数が少ない場合、各データにほぼ一致する曲線を見出す（パラメータを決定する）ことは難しくありません。 そして、もし図１の数少ないデータが、対象とするデータ全体の分布を代表していいるのであれば、図１の曲線は小さい誤差関数E（前の記事の式(5)）を持つ、大域的な最小点に近い、正しい曲線を表していることになります。 しかし、もし図１のデータが、対象とするデータ全体の分布を代表しておらず、データ数を増やすと図２のような分布
コーシー＝シュワルツの不等式 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "コーシー＝シュワルツの不等式" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2015年12月） 数学におけるコーシー＝シュワルツの不等式（コーシーシュワルツのふとうしき、英: Cauchy–Schwarz inequality）、シュワルツの不等式、シュヴァルツの不等式あるいはコーシー＝ブニャコフスキー＝シュワルツの不等式 (Cauchy–Bunyakovski–Schwarz inequality) とは、内積空間において、2つのベクトルの内積の絶対値はその2つのノルムの積以下であることを主張する不等式である。 線型代数学や関数解析学
要約: Vanishing Component Analysisは問題設定のレベルで壊れていると思うので誰かなんとかしてあげてほしい(4/12追記あり) http://d.hatena.ne.jp/m-a-o/20140323#p2 で、一時期話題になったVanishing Component Analysis([1], 以下VCA)への疑義が呈されていたので原論文を読んだ。感想はほぼ同じだったので上のエントリを読んでもらえればいいのだけど、ここでは自分なりに問題点をまとめなおしておく。 まずは背景から。多項式環とそのイデアルについては省略。今、$\mathbb{R}^n$上に$m $個の点が与えられたとすると、それら全ての点で0になる多項式の集合はイデアルをなすことがすぐに分かる(零化イデアル)。以下、点集合を$S_m $、対応する零化イデアルを$I(S_m)$と書くことにする。$i$番
はじめに 前回の記事に，「ベンチマーク函数があるよ」というフィードバックを頂きました．test functions for optimizationというWikipediaの記事にまとまっていたので，今回はこちらにあるRosenbrock function($f_{R}=100(y-x^2)^2+(x-1)^2$,大域解$f_{R}(1,1)=0$)を使います．Rosenbrock函数には大域解を含む広い濠があって大域解が見つけにくいのが特徴です． 一般に勾配法の更新方法はバッチ更新と呼ばれます．つまり勾配降下法であれば学習事例$n=1,2,\ldots,N$に対して個々の誤差函数$E_n$の和 \[E(x)=\sum_n E_n(x)\] について$x\gets x-\alpha\nabla E$と更新していました． 確率的な(stochastic)では$n\in\{1,\ldots,N
perlXSでSTLのstd::mapを使ってみる - download_takeshi’s diary
ここのところC++でコードを書いているんですが、やっぱりそいつをperlから使いたい。 ということでXSについてお勉強中です。 ごく簡単なものなら書けるようになってきましたが「perlから渡したハッシュをC++側でstd::mapとして受け取りたい」といった特殊なケースではまってしまったのでメモっておきます。 いろいろ悩みはしましたが、結論から言うと「hollyなblog」さんのところでまさにドンピシャな記事を書いてくれていたので、これを参考に頑張ってみました。 以下、サンプルコードと実践手順です。 C++コード hashを渡してstd::mapを返すというケースを想定しているので、以下のようなクラスを準備しました。コサイン類似度を計算するコードです。 vector_tool.hとして以下を用意します。 #include <iostream> #include <map> #include
第15回 情報論的学習理論ワークショップ (IBIS2012)† このページはしましまが IBIS2012 に参加してとったメモです．私の主観や勘違いが含まれていたり，私が全く分かってなかったりしていますので，その点を注意してご覧ください．誤りがあれば，指摘してください． 統計的学習理論チュートリアル：基礎から応用まで† 鈴木 大慈 (東京大学) 資料： http://www.simplex.t.u-tokyo.ac.jp/~s-taiji/ibisml2012/IBIS2012.pdf 理論は必要なのか? 理論を知らなくても実装できる → 理論家は役に立たない理論をこねくり回している？ 応用は基礎から発展してきた過去 理論は基本技術を開発して，応用手法の閉塞を打破する 成功例：SVM←VC次元，AdaBoost←弱学習器による学習可能性，Dirichlet過程←Fergusonの理論，そ
Otaku ワールドへようこそ！［212］嫁を拡大する人工知能 ── GrowHair ── 投稿：2015年06月05日 著者：GrowHair 二次元のキャラクタを「俺の嫁」として愛でる日本の風習は、海外にも知れ渡るところとなってきており、英語では、カタカナ発音に敬意を表して "mai waifu" と表現されている。 このほど、嫁を二倍に拡大するソフトウェア "waifu2x" が発表され、出力画像の驚異的なクオリティの高さがネットで絶賛されている。製作者はultraist と名乗り、日本人のようであるが、どこの誰なのかは不明である。 ultraist 氏がこのソフトをブログで発表したのが5月17日（日）のことで、バグを修正したとツイッターでアナウンスしたのが5月22日（金）のことであるから、ごく最近である。 さっそくウチの嫁で試してみた。『ローゼンメイデン』の真紅である。いやはや
Spark MLlibでcos類似度の総当たり計算が高速に実行できるDIMSUMがすごい(2)理論編 - Coyote blog
$A$: $m \times n$行列($m»n$) $s$: cos類似度の最小値 $L$: 一行の中で非ゼロ要素の最大数 特異値を保存する場合 $A^{\rm T}A$を近似計算する目的 行列Aは($m \times n$)の大きさで、$m$が$n$に比べて非常に大きいとします。$A$を直接固有値分解(SVD)するとき、そのまま行うと$A=U\Sigma V^{\rm T}$となりますが、比較的小さい$n \times n$行列の$A^{\rm T}A$を固有値分解しても、$A^{\rm T}A=V\Sigma^{2} V^{\rm T}$となり、$\Sigma$と$V$は求めることができます。このようにして$A^{\rm T}A$を利用すると固有値分解を小さい計算量で実現することができます。しかしながら、$A^{\rm T}A$の計算量は大きいので、固有値の精度が落ちない範囲で近似計
九龍ジョー ◆ライター／編集者 ◆とくにインタビュー仕事ばかりやっているわけではありませんが、ウェブ上にあるのは… 杉田俊介インタビュー 前田司郎インタビュー 松江哲明インタビュー 磯部涼インタビュー ◆こんなのも… 『デメキング』復刊によせて 五反田団「ふたりいる風景」 『前略、大沢遥様』 ◆管理人しております… 快楽亭ブラックの出直しブログ ◆メールはこちらまで… kowloonjoe@gmail.com ◆６月４日（日）「ミッキーマウスのプロレタリア宣言」 大友良英が吉祥寺に立ち上げたスペース、GRID605のオープニング・イベント。 平井玄『ミッキーマウスのプロレタリア宣言』をめぐる、平井玄＋北里義之＋大友良英の鼎談。 平井玄の言う「デジタル・フリーター」ていうのはなにもＰＣ画面に向かうような仕事を指すだけじゃなく、たとえば宅急便の人が伝票入力機を携帯したり、キオスクにもＰＯ
パッケージユーザーのための機械学習(4)：ニューラルネットワーク - 渋谷駅前で働くデータサイエンティストのブログ
（※はてなフォトライフの不具合で正しくない順番で画像が表示されている可能性があります） 実は僕は普段全くニューラルネットワークを使ってない上に、すぐ隣に再帰ニューラルネットワークでバリバリNIPSに通していたことのある教授氏がいるので*1、こんなところで知ったかぶりして何か書くのはほとんど蛮勇に近いんですが（笑）、純粋に自分の勉強も兼ねて分離超平面の可視化をやってみたいので頑張って書いてみようと思います。 今回の参考文献もピンクの薄い本です。第7章pp.102-113にパーセプトロン型学習規則の発展系として、誤差逆伝播法に則った多層パーセプトロン＝ニューラルネットワークの説明が載っています。 はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ (4件) を見る
世の中そんなに甘くない。 SakanaAIの「AI科学者(AI Scientist)」を使ったら爆発的に研究が捗る!と思ったのも束の間、人間並、いや下手すると人間より日給が高くなる可能性があることがわかった。 この二日間、好き放題にAI科学者に研究させた結果がこのザマ 二日で300ドルを突破する勢いで、これはちょっと遊びでやるレベルを超えてる。 また、指示の出し方(seed_ideas.json)によっては、実験が失敗する可能性もある。 昨日はMNISTと進化計算をテーマに7つの研究をしたみたいだが、5本は失敗し、2本だけ論文が得られた。 まあ一晩で2本も論文書けるレベルの人間の日当はもっと遥かに高いと思うが、個人で抱えるにはリッチすぎる。 というのも、デフォルトでClaud-3.5-SonnetやGPT-4oを使うようになっているからだ。そこで激安になったGPT-4o-miniをデフォル
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する｜Tatsuya Shirakawa
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実（μTransfer）を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。 μTransfer 下記の手順で大規模モデル（Neural Networks）の最適なハイパーパラメータを効率的に獲得できる 1. 学習したい大規模モデル（ターゲットモデル）と同じアーキテクチャの次元や層数のより小さいモデルを用意し、それぞれのモデルのパラメータと最適化アルゴリズムを μP と呼ばれる方法でパラメータ付けする 2. その小さいモデルで、最適なハイパーパラメータ（学習率など）を探索する 3. ターゲットモデルに小さいモデルで獲得されたハイパーパラメータを適用する Greg Yang+, "Tensor Programs V: Tuning Large Neural Net
Convex Optimizationposted with カエレバStephen Boyd,Lieven Vandenberghe Cambridge University Press 2004-03-08 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに 凸最適化の概要と種類 線形計画法 (Linear programming) 二次計画法 (Quadratic programming) 二次錐計画問題(Second-order cone programming, SOCP) 整数計画問題 (Mixed Integer programming) 凸最適化の専門用語 unbounded infeasible active, inactive redundunt 凸集合と凸関数 Convex Set (凸集合) Convex function(凸関数)
累進課税下げろというが、そもそも優秀な企業や人材が海外に流出したら日本の国力は下がるのか? - teruyastarはかく語りき
仮定としてよくそういう話を聞くけど 本当だろうか? 働き蜂の法則、 働きアリの法則、 パレートの法則、 などと呼ばれるものがある。 特定の集団を集めても 2割が超絶に働き 6割が普通で 2割がサボる。 これは超絶に働く人達だけを集めても また2-6-2に別れてしまう。 というような法則。 これは僕の狭い観測範囲でもよく見られる。 いわゆる｢立場が人を作る｣というやつだ。 エース二人が抜けたら、 その穴を埋めるために普通の人達から 次に実力のある人に決定権やチャンスが与えられ 次のエースとしての経験をつむことになる。 そしていつのまにか前のエース以上に活躍することもしばしば。 これを経験的にわかってて経営に活用してるのが モバゲーやビッターズなどを手がける南場氏。 ベンチャー企業経営者・南場智子（2007年3月8日放送） | NHK プロフェッショナル 仕事の流儀 http://www.nh
前置き 某 オンライン機械学習コース の Linear Regression with Multiple Variables（多変量線形回帰）で出てきた、Normal Equation（正規方程式）について。 Andrew Ng 先生（以降、Ang先生 と略記）が「導出するのめんどい（意訳）」と言って結果だけ示されたので、ちょっとだけ掘り下げてみました。 その中で、疑問点も浮かんできたので共有してみます。 私自身、まだちゃんと分かってない部分もあるかもなので、ツッコミ大歓迎です。 【2015/07/24 23:10】検証コードを追加し、大幅に加筆修正しています。 まずはおさらい。 $X$ は、トレーニングデータの特徴量全体を表す $m \times (n+1)$ 行列（$m$（行数）はデータの件数、$n$ は feature（特徴）の数）。 $y$ は、トレーニングデータの「正解の値」を並
TransE [NIPS'13] を実装（と実験再現）した - でかいチーズをベーグルする
Graph embedding を調べる上で避けては通れないっぽいTransEを実装して実験再現してみた。モデルがシンプルでカッコイイし実装も簡単だった。データもパラメータも公開されてて実験を再現できたのもポイント高い。 TransE NIPS'13で提案されたGraph embeddingをする手法。Google scholarで既に100以上引用されていろんな拡張モデルが提案されてる。論文は以下。 papers.nips.cc TransEはKnowledge graph（Freebaseとか）をベクトル空間上にembeddingする。入力としてKnowledge graphを与えると、全てのsubject, predicate, objectに対してそれぞれk次元のベクトルを出力する。ポイントは出力されたベクトル空間に構造があること。例えば、 v(Kei Nishikori) + v
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習の学習とWolframAlpha - Qiita
一気通貫に定性分析と定量分析を行った結果を約8000字で完全解説します｜松本健太郎
コサイン類似度（Cosine Similarity）とは？
変数選択について、LASSOの問題点とその解決を中心に。。。。 - kingqwertの覚書
SIGGRAPH2015個人的注目論文まとめ - 間接照明ちゃんの間接照明ブログ
Convex Optimization: Lecture Slides 凸最適化：講義スライド［日本語訳］
人工知能を語る前に、脳について知りたい - HELLO CYBERNETICS
予想とノルム - himaginary’s diary
インフレについての6つの考え - himaginary’s diary
【 論文を読む 】Deep neural network に 外部知識DB を 参照する補正項 を 組み込むと、少量学習データ でも NLP意味計算精度 アップした件 - Qiita
愛を問い直す術はまだあるか？ ベルサーニ＋フィリップス『親密性』読書会【闇の自己啓発会】｜江永泉
Facebookの高速ベクトル計算ライブラリfaissをレコメンドAPIに使ってみる - Qiita
ニューラルネットワークの訓練の問題点：過学習と局所的極小点 – 数理・機械学習トピックス学習会
Vanishing Component Analysisがダメそうという話 - 地球飽きた
最適化手法について—SGDからYellowFinまで— | moskomule log
しましま/IBIS2012 - 機械学習の「朱鷺の杜Wiki」
Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair
犬猫ウォーズ*: ミッキーマウスのプロレタリア宣言
人間よりいいぜ!と思ってAI科学者を使ったら、人間より日給が高かった｜shi3z
凸最適化(Convex Optimization)の基礎 - MyEnigma
線形回帰の Normal Equation（正規方程式）について - Qiita