畳み込みニューラルネットワーク（CNN）が画像判別でよく使われるというのは知っていても、従来の機械学習アルゴリズムと比較してどれぐらいすごいものなのかというのがいまいちピンとこなかったので確認してみました。だいぶ長いよ！ 概要 機械学習のアルゴリズムとして、ディープラーニングが出る前は例えばロジスティック回帰、サポートベクトルマシン、ランダムフォレストなどがありました。従来の手法というと漠然としますが、Scikit-learnでできるアルゴリズムと考えてよいです。これらの手法は現在でも有効で、これらのどれを使っても、手書き数字（MNIST）に対して最低でも8割、ちゃんと実装すれば9割の精度は出ます。Scikit-learnはとても使いやすいライブラリで、学習効率・実装効率ともによく、計算が比較的簡単なので高速です。逆にその段階で9割近く出ちゃうと、「学習が大変で処理も遅いディープラーニング
ブログを書いていると、知りもしない話題をブログ記事なんかに書くなという罵倒をもらうことがある。しばしばある。というか、この手のナイス・マウンティングは実際にはもう制度化していて、まさか罵倒している本人もそうした思想制度に絡め取られているんじゃねーのといったメタ・マウンティング返しをしていると、ほらぁ、はてな的世界の螺旋地獄はとまらなくなるし、あー、ここは、はてなじゃねーよ。 と切り出したのは、この螺旋マウント地獄のノリがはてなっぽいんじゃないかと思えたこともあるが、こうした一種の対話的な機能が、はたからは地獄に見えても、他面では低能先生の実効をそれまで抑止していた対話機能なんじゃないかと思うからで、そこの点が、非モテとインセルの大きな違いなんじゃないかというのが、この記事の結論で、それだけでわかった人は以下読む必要はないんだけど。あと、この記事が何言っているのか、まるでわからないという人も
先日、こんな記事が上がっていました。 グーグルの天才AI研究者、ニューラルネットワークを超える「カプセルネットワーク」を発表 中々刺激的なタイトルですね。 ニューラルネットワークといえば、近年の機械学習分野を支える最も大きな技術の一つであると言えます。そんなニューラルネットワークを超えたカプセルネットワークとは一体何なのでしょうか。また、本当にニューラルネットワークを超えたのでしょうか。 本記事では、カプセルネットワークの仕組みを理解することで、従来のニューラルネットワークとの違いを比較していきます。 CNN カプセルネットワークに触れるにあたり、まず畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)について理解しなければなりません。なぜなら、カプセルネットワークは、CNNをベースとして、CNNの欠点を克服するために生まれたモデルだからです
大学１年生で学ぶ数学「解析学・微積分」の要点まとめ，勉強法の解説。 入門用に全体像・概要をわかりやすく紹介 - 主に言語とシステム開発に関して
講義ノートの目次へ 大学一年生で学ぶ数学のうち，「解析学の基礎（微積分）」について 勉強法やポイントを，図表を交えつつ分かりやすく解説。 つまずきがちな微積分の全体像をつかめる。 解析学は，「微小量の厳密な理論」だ。 これを学ぶ理由・価値は何なのか？ また，どのように全体像を把握して学習を進めたらよいのか。 下記は，新入生が「解析学の概要」を理解する助けになるだろう。 （要約） 解析学とは，一言でいうと「微小量の理論」であり，微積分や極限のこと （特徴） 無限小のレベルでの「精密さ・厳密さ」を追求する学問 （価値・意義） 微小量を制する者は，巨大な量をも制する。厳密な理論を展開できるから （要点のつながり） 大学１年生の「解析学」のポイントを追いかけるストーリー （ステップ１）「多重積分」のためには，１変数での積分や微分が必要。 （ステップ２）１変数の微分のためには，「関数列」や「点列」の
ディープラーニングによる 自然言語処理 (技術編)
名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に効く手法 • RNNの話題 2 目的関数: 誤差 • 教師あり学習の目的関数 • 𝑥 ∈ 𝑋: 入力, 𝑦 ∈ 𝑌: 出力 • 入力xからyを予測したい問題設定 • 真の目的関数: 𝐿∗ 𝜃 = ∫𝑝 𝑥, 𝑦 ℓ𝜃 𝑥, 𝑦 𝑑𝑥𝑑𝑦 • ℓ𝜃は事例ごとの損失関数（後述） • 訓練データでの誤差 • データ分布p(x,y)は普通わからないので訓練データN個: D=
用語の意味が分からない！ Amazon Machine Learningを始めてみようとナビゲーションに沿ってサンプルを触ってみると、なんとなくできてしまう簡単さではありますが、実際のところ用語の意味がよく分かりません。そこで、この記事では、Amazon Machine Learningを学ぶ上で必要になるであろう単語の意味や、機械学習の勘所になりそうな部分についてご紹介したいと思います。 どんなタイプの機械学習なのか？ Amazon Machine Learningは、「教師あり学習」をすることができます。その中でも、「二項分類」、「多項分類」、「回帰分析」を行うことができます。 学習方法 教師あり学習（Supervised Learning） 事前に与えられた教師データ（訓練データ）を使って学習します。教師データに基づいて一般化（モデル化）し、未知のデータに対する出力を予測します。 教
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
Gradient Boosting や XGBoostについて調べたことをまとめました． Gradient Descent や Newton法と絡めて説明していきたいと思います． 目次 Boosting Gradient Descent (Steepest Descent) Gradient Boosting Regression Tree Gradient Tree Boosting Learning rate Newton Boosting XGBoost Generalization Error Conclusion Reference Boosting Boostingとは，ランダムより少し良い程度の”弱い”学習アルゴリズムを使って， そのアルゴリズムよりも”強い”学習アルゴリズムをつくることです． イメージとしては，弱い学習アルゴリズムを”boost”してあげる感じでしょうか．
こんにちは.無事に3年生に進級できてホッとしています. 昨年度から深層学習のモデル改変による高速化手法について調べていました.そんなわけで本稿では深層学習モデルのパラメータ容量の削減や高速化を目的とした手法に関する論文を80本紹介します. 一部, ハイパーパラメータ探索(Neural Architecture Search等)の論文を「高速なモデルの探索に使えないかな〜」というきもちで含めました. また, 蒸留に関する論文は必ずしも高速化を狙ったものだけではなく, 蒸留そのものの派生論文についても含めています. 全ての論文について詳解ではなく雑な概要のみ記載しています. サーベイする際のガイドにでも使っていただければ幸いです. サクッと読んだだけの論文も多々ありますので間違い等ございましたらご指摘ください. では参りましょう. 高速なモデルアーキテクチャ より良い速度と精度のトレードオフを
こんにちは、二台目のmbaを買うのをためらっている岡野原です。 アイテム集合に対し、与えられたアイテムと似ているアイテムを求める、という近傍探索問題は古典的な問題でありながら、現在でも多くの改善がされています。特に言語情報、画像情報、行動履歴情報、生物情報、購買情報などありとあらゆるデータが高次元中の点として表現されるようになってきており、こうしたデータの最近傍探索は広い分野で応用範囲がある技術になっています。 アイテムが低次元（例えば2, 3次元）の場合はkd木や最近だとwavelet木を使う方法がありますが、今回扱うケースは各アイテムが高次元（数百万次元）中の点であったり、アイテム間の距離のみが定義されている場合（カーネル関数など）です。アイテム数は数万から数億ぐらいを想定しています。 最近傍探索問題はいくつかありますが、例えばk近傍グラフ構築問題では、 「アイテム集合X = x1,
2012/1/2310:6 「一般意志2.0」実装の鍵はデータベース、ではない？ 飯田泰之 ■「一般意志」はすでに実現している？ 東浩紀氏の『一般意志2．0 ルソー、フロイト、グーグル』（以下『2.0』）はルソーの政治・社会思想に現代的な拡張を施すことで、新たな民主主義を構想する快著である。 未読の方のために説明を加えておくと、東氏の解釈によればルソーは『社会契約論』において、個々人の思考と嗜好を「特殊意思」と位置づけ、その特殊意思を単純に足し合わせたものを「全体意思」と名付けた。そして、互いに相反する特殊意思を、その際を保ちながら折り合いをつけたもの（ヘーゲル流に言うならば止揚したもの）が「一般意志」ということになる。 一般意志の全体意思に対する優位性は、『2.0』の冒頭に掲げられた、 「熟議もなければ選挙もない、政局も談合もない、そもそも有権者達が不必要なコミュニケーションを行わない、
モダンな深層距離学習 (deep metric learning) 手法: SphereFace, CosFace, ArcFace - Qiita
モダンな深層距離学習 (deep metric learning) 手法: SphereFace, CosFace, ArcFaceDeepLearningMetricLearningFaceRecognition はじめに 顔認識 (face recognition) 等の個体識別問題において、距離学習は非常に重要です。ここで個体識別問題というのは、顔認識を例に取ると下記のようなものです。 2つの顔画像ペアが与えられた際にその顔画像ペアが同一人物のものであるかを判定する1:1認証 N人の顔画像データが予め与えられた状態で、個人が特定されていない顔画像が入力された際に、その顔画像がN人のうちどれであるか、またはどれでもないかを判定する1:N認証 何故距離学習が重要かというと、クラス分類問題とは異なりクラス数が不定で各クラスに属する画像を事前に得ることができず1、クラス分類問題として解くこと
# python f = lambda x: ### n = ### S = 0 for k in range(n): S += f(k/n) / n print(S) 簡単ですね． 長方形近似の極限としてのリーマン積分 リーマン積分は，こうした長方形近似の極限として求められます(厳密な定義ではありません4)． $$\int_0^1 f(x) \, dx \; = \; \lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^{n} f\left(a_k\right) \;\;\left(\frac{k-1}{n}\le a_k \le \frac{k}{n}\right) .$$ この式はすぐ後に使います． リーマン積分できない関数 さて，リーマン積分を考えましたが，この考え方を用いて，区間 $[0,1]$ 上で定義される以下の関数 $1_\mathbb{Q
恥ずかしながら，線形代数周りの用語って似たようなものが多くて，すぐにアレがどれだっけと混同してしまいがちになります．線形代数の手計算とかがんばってたのなってもう10年とか昔の話だし，チートシート的にまとめなおしておこうと思いました．内容的には，主に統計や機械学習で使うような内容が中心になっています． 概要 統計・機械学習で使う線形代数は，基本的には以下「計算の簡便化」と「データ変換」の2つがメインです．もちろん数学的に突っ込んでいったり，統計・機械学習でも応用的な手法を用いる場合はその限りではないですが，基本的には下の2つが大きいと思います*1． 計算の簡便化 （例えば固有値・固有ベクトルを用いて）行列を対角化することで，行列の乗算を高速に実施する （LU分解を用いて）扱いやすい形に行列を分解することで，その後の計算を高速にする データ変換 SVDを行うことでLSIやPCAといったデータ縮
はじめに 勾配ブーストを用いた決定木(GBDT)によるクラス分類や回帰はデータ分析コンペでも非常によく使われています。 その中でも2016年に出されたXGBoostはLightGBMと並びよく使われている手法です。 性能が良いことで有名なXGBoost, LightGBMですが、モデル内部でどのような処理が行われているかよくわかっていなかったので論文を読んでみました。 式変形の省略が多く、またイメージしづらい箇所もあり、読みづらかったのですが 一度イメージできれば割とあっさり理解できます。 その体験を踏まえて、イメージ図を多く取り入れながらXGBoostの論文を（途中まで）丁寧に解説します。 XGBoost: A Scalable Tree Boosting System 論文 この記事で述べること データの入出力 XGBoostの木構造 損失関数とboosting 木構造の学習（spli
SIGGRAPH2009で発表された"Moving Gradients: A Path-Based Method for Plausible Image Interpolation"という論文*1では、2枚の連続する入力画像を与えると、その間のフレームを極めて自然に補間生成する新たな手法を提案している。 図1 図1は両端の入力画像A, Bから間の3フレームを生成した例を示している。生成する補間フレーム数は任意で何枚でも生成可能であり、極めて自然な補間が実現できている。この例の驚くべきところは、制約条件を有する複雑で柔らかな局所変形を含む自然な補間画像が、全自動で生成されている点である。モーフィング処理では対応点を一点一点指定する必要があるが、ここで必要なのは2つの画像を選択するだけだ。 生成される補間画像の品質は素晴らしく、またアイデアもシンプルで興味深いので、原論文を参照して本手法の概要
今年のSIGKDDベストペーパーを実装・公開してみました - Preferred Networks Research & Development
毎日暑いですね。比戸です。 ちょうど今週シカゴで開かれていたSIGKDD2013でBest research paperに選ばれたEdo Liberty氏 (Yahoo! Haifa Labs)の”Simple and Deterministic Matrix Sketching”のアルゴリズムを実装して公開してみました。 元論文PDFは著者サイトから、私が書いたPythonコードはGithubからそれぞれ入手できます。 SIGKDD (ACM SIGKDD Conference on Knowledge Discovery and Data Mining)はACM主催で行われる、知識発見＆データマイニングにおけるトップ会議です。最近は機械学習との境目が曖昧になってきましたが、査読時には理論的な新しさだけでなく、実データ（特に大規模データ）を使った実験での評価が必要とされるのが特徴です。
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
ORDER BY 狙いのキーの話2
Kenn Ejima @kenn 普通のSQL処理と逆に、ORDER BYするカラムにだけインデックス張って、あとはソート順にレコードを取り出しながらWHERE句を評価していく、みたいな処理ってできないの？ 2013-10-20 23:34:47 Kenn Ejima @kenn 男女のマッチングは、個人を大量の属性をもった多次元ベクトルへと正規化して、その多次元ノルム空間上での近さ順に(P)R-treeとかで取り出すのが良さそうなんだけど、MySQLでやれるかなぁ。PostgresならKNNGiSTが使えそうだけど、やっぱり処理順がネックか。。 2013-10-21 00:03:26
ホクソエムサポーターの白井です。学生時代は自然言語処理の研究をしていました。 「今年読んだ論文、面白かった５つ」というテーマで、自然言語処理(NLP)の論文を紹介します。 主にACL anthologyに公開されている論文から選んでいます。 はじめに 今年のNLP界隈の概観 1. Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems 面白いと思った点 2. Errudite: Scalable, Reproducible, and Testable Error Analysis 面白いと思った点 3. Language Models as Knowledge Bases? 面白いと思った点 余談 4. A Structural Probe for Finding Syntax in Word
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介されたNGT（Neighborhood Graph and Tree）という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実践的な内容を紹介します。word2vecを扱うライブラリとしてgensimを使用します。word2vecやgensimの詳しい説明は省略しますが、分からなくてもpythonの文法を知っていれば理解できると思います。今回使用した環境はMacBo
不確定性原理 - Wikipedia
不確定性原理（ふかくていせいげんり、（独: Unschärferelation、英: Uncertainty principle）は、量子力学に従う系の物理量を観測したときの不確定性と、同じ系で別の物理量を観測したときの不確定性が適切な条件下では同時に0になる事はないとする一連の定理の総称である。特に重要なのは、がそれぞれ位置と運動量のときであり、狭義にはこの場合のものを不確定性原理という。 原理的には、一般のフーリエ解析で窓関数を狭めるほど得られるスペクトルが不正確となるのと同種の説明がなされる。 このような限界が存在するはずだという元々の発見的議論がハイゼンベルクによって与えられたため、これはハイゼンベルクの原理という名前が付けられることもある。しかし後述するようにハイゼンベルク自身による不確定性原理の物理的説明は、今日の量子力学の知識からは正しいものではない。 今日の量子力学において
入国審査
外国に入国する際には入国審査がある．その厳しさは国によって大きな違いがある．私が経験した中で一番いい加減だったのは EU 統合をする前のフランスである．日本のパスポートの表紙を見せればO.K.で中を開いてみることさえなかった．何のスタンプも捺していない．有効期限が切れていようが他人のパスポートだろうが大丈夫だと思ったものだ．すぐ隣のイギリスは概してずっと厳しい．大学やコンファレンスに行くのに招待状を出せと言われたことはよくあるが，一度は数学者だと言ったところ，その証拠を出せと言われたのだった．困ったがちょうど自分の論文を印刷したものを持っていたのでそれでO.K.だった．イギリスはこういう調子なので時間がかかる． アメリカはおそらく一番審査が厳しい国の一つで，いろいろなことをチェックされる．昔，友人で学生ビザを持っている人が学期の合間に短期入国しようとしたことがあった．大学に行くのではないの
背景 はじめまして、JX通信社でインターンをしている原田です。 近年深層学習ではモデルが肥大化する傾向にあります。2020年にopen aiが示したScaling Laws（[2001.08361] Scaling Laws for Neural Language Models） の衝撃は記憶に新しく、MLP-Mixerが示したように、モデルを大きくすればAttention構造やCNNでさえも不必要という説もあります。（[2105.01601] MLP-Mixer: An all-MLP Architecture for Vision） しかし大きな深層学習モデルを利用しようとすると、しばしば以下のような問題に悩まされます。 推論速度が問題でプロダクトに実装不可能 GPU/TPUはコスト上厳しい プロダクトの性質上バッチ処理が不可能（効率的にGPU/TPUが利用できない） 例えばJX通信社
ABEJAでReseacherをしている白川です。 以前、Poincaré Embeddingsという双曲空間への埋め込み手法をご紹介しました。当時、木構造データを5次元の空間に精度良く埋め込めるということで話題になったのですが、その後双曲空間での機械学習手法が多数研究・提案され、双曲空間での機械学習についての理解をバージョンアップする必要があるなと感じたので、最近の研究の進展を中心に理論背景含めてご紹介したいと思います。 tech-blog.abeja.asia Tl;dr 本記事で伝えたいのは、論文の各論というより、各種論文で共通/独自に主張されている下記のような内容です。 木なら2次元で十分 双曲空間では指数写像/対数写像が明示的に計算され空間全体に拡張されるので取扱が容易 Gyrovector space: 双曲空間における線形代数のような代数構造 Riemann幾何とGyrove
C++の行列ライブラリ Eigenの紹介 - Preferred Networks Research & Development
C++で行列計算をする場合に便利なライブラリEigenを紹介したいと思います。 ベクトル・行列演算は知っているからEigenの使い方だけを教えてくれというかたは最初の章は読み飛ばしてください。 — 多くの統計処理がベクトル・行列演算を用いるとコンパクトに表すことが知られています。ちょっと複雑そうにみえる問題も整理してみるとベクトル・行列演算で書ける場合が多いです。（ベクトル・行列という言葉に抵抗がある方はそれぞれを単に配列、配列の配列とでも思ってもらえればいいでしょう）。ベクトルの内積は\(u^T v = u_1 v_1 + u_2 v_2 + \ldots +\)として求められ、ベクトルのノルムは自分自身のベクトルとの内積の平方根、\(|u| = \sqrt{ u^T u} \)として求められます（以降ベクトルは全て列ベクトルを指すとします）。 例えば、あるユーザーの商品の購買履歴は、\
bayonやCLUTOが爆速な理由 - download_takeshi’s diary
クラスタリングツールbayonを使っていて、常々「どうしてこんなに高速に処理できんのかなぁ」と疑問に感じていました。repeated bisectionという手法自体がk-means法などと比べると効率がいいのですが、それにしても、それだけでは説明がつかないほど爆速なわけです。 うまく例えられませんが、自前でk-meansのスクリプトを書いて比べてみると、自転車と新幹線くらいちがうという印象です。はじめてCLUTOを触った時、数万件程規模のクラスタリング処理が本当に「あっ」という間に終わってしまい、びっくりした記憶があります。 きっと実装面でなにか特殊なことがあるんだろうなと思い、mixiエンジニアブログでbayonの記事を改めて読み漁っていたら、以下の部分が目に止まりました。 このクラスタの評価は、クラスタの各要素とクラスタの中心とのcosine類似度の和としています。この和が大きいほど
『代数的整数論』目次
『代數的整數論』高木 貞治 著の現代仮名遣い版高木貞治さんの『代數的整數論』初版を現代語訳しました。 高木さんの出版された書籍は2010年末に著作権が消失しているため、現代語訳は法律的に問題ないと考えています。 著作権について、ブログ：高木貞治プロジェクトを顧みる。 二（三）次利用について、現代語訳の権利について。 推奨環境：PC。（スマホ：Chrome、Firefox。） JavaScript有効。 現在も岩波書店から第2版が出版されています。 底本：『代数的整数論』高(たか)木(ぎ)貞(てい)治(じ)著、岩波書店、1959年刊 $\blacktriangleright$ 評判 代数的整数論 概説および類体論序 前編 概説 第一章 代数的整数 $1.1$ 代数的な数 $1.2$ 有限代数体 $1.3$ 代数的整数 $1.4$ 整除 $1.5$ 単数 第二章 代数体の整数 イデアル $2
はじめに metric learningとは マハラノビス距離学習 deep metric learningとは siamese network triplet network サンプルの選び方と直感的理解 L2 softmax network MNISTで実験 実験条件 実験1-1: 表現力の確認 実験1-2: 未知クラスの表現力を確認 実験1-3: 奇数/偶数を学習 天気データで実験 データの準備 実験条件 実験2-1: 表現力の確認（その１） 実験2-2: 表現力の確認（その２） 実験2-3: 未知クラスの表現力を確認 まとめ おわりに 参考 はじめに metric learningについて学ぶ機会があったので忘れないうちに得た知識を書き留めておきます。学んだ期間は10日程度と短く、deep learningも含めて初心者ですので疑いながら読んでいただければと思います。間違いを見つけ
Numerical Computation as Software
Numerical Computation as Software ソフトウェアとしての数値計算 Last Update: 2007-10-21 お断り＆言い訳 [2007-10-21] 「今後の当面の方針」について [2007-10-13] Version 1.0.3.2公開。 内容 [Bug] 表紙 目次 初めに 数値計算のための予備知識 数学ソフトウェアの現状と数値計算の役割について 数の体系，コンピュータ，浮動小数点数 浮動小数点数と丸め誤差 多倍長計算 計算量について 初等関数の計算 連立一次方程式の解法1-- 直接法 ノルム，条件数，連立一次方程式の誤差解析 連立一次方程式の解法2 -- 反復法 連立一次方程式の解法3 -- Krylov部分空間法 行列の固有値・固有ベクトル計算 非線型方程式の解法 代数方程式の解法 補間と最小二乗法 数値微分と数値積分 常微分方程式の初期値問
LINEでClovaの開発をしている上村です。これはLINE Advent Calendar 2017の13日目の記事です。今日は文字列の話をします。 はじめに 与えられた文字列によく似たものを大きな文字列集合から探すということは、古典的でありふれていながら奥が深く難しい問題です。文字列の類似度を正確に見積もるには複雑な計算が必要ですが、膨大な量のコーパスが与えられたときも可能な限り高速に応答を返す必要があります。 検索する文字列の性質をよく把握することも、品質のよい類似文字列検索を行うためには極めて大切です。ここで、今回考える問題の例を見てみます。 この例では、1文字ずつ違いを見つけ出したり、単語単位で見たり、文全体が疑問文や否定文であるかどうかを調べ、それらを総合的に見ることで最終的な判断を下しています。文字だけを見た場合、1文字の違いによって全く違う単語になることは見つけられませんし
MLTL: 機械学習テンプレートライブラリ Introduction MLTL機械学習テンプレートライブラリは，自然言語処理へ機械学習を応用する研究や，より自然言語処理に適した機械学習手法の開発を容易にするため，YANS活動の中で清水伸幸と宮尾祐介を中心として作られた C++ テンプレートライブラリです．特に，系列構造や木構造など，自然言語の構造を表現するのに適した構造に対して，様々な機械学習アルゴリズムを利用できるように設計されています． 設計の特徴として，データ構造を表すクラスと学習アルゴリズムを表すテンプレートクラスを分離し，これらの間をつなぐインタフェースを設定することで，汎用性を高めています．これにより，新たにデータ構造クラスを作成した場合に様々な学習アルゴリズムとの組み合わせを容易に試すことができ，逆に，新たな学習アルゴリズムを実装した場合には様々なデータ構造との組み合わせを試
楕円同士の接触判定と衝突判定
ググっても出てこなかったので。 2つの楕円が接している（内接 or 外接）かどうか判定する方法についてです。ついでに衝突判定もできます。 衝突判定だけしたい方 以下で説明する方法でも判定自体はできますが、非常に非効率です。悪いことは言いません。GJK法などを使いましょう。凸同士なので簡単にできます。 どうしても接触を判定したい方 心して読み進めてください。 事の発端 まだそんなにバズってないけど宣伝していいらしいので． AI でも普通のプログラマーでもない優秀なプログラマーたる皆さんは，もちろん楕円が接するか判定する方法を知っていますよね？ 私は一昨日実装しました．各位の解法に興味があります．よろしくお願いいたします． — 青い楕円形のぜろ (@0_uda) October 4, 2022 もちろん楕円が接するか判定する方法を知っているので、書くことにしました。 楕円の表現方法 楕円とはい
四元数 - Wikipedia
数学における四元数（しげんすう、英: quaternion）とは、複素数を拡張した数体系であり、虚数単位 i, j, k を用いて a + bi + cj + dk と表せる数のことである。ここで、a, b, c, d は実数であり、虚数単位 i, j, k は以下の関係を満たす。 このとき 1, i, j, k は実数体上線型独立である。 四元数は純粋数学のみならず応用数学、特に3Dグラフィクスやコンピュータビジョンにおいて三次元での回転の計算（英語版）でも用いられる。これはオイラー角や回転行列あるいはそれらに代わる道具などとともに、必要に応じて利用される。 四元数についての最初の記述は、1843年にアイルランドの数学者ウィリアム・ローワン・ハミルトンによってなされ[1][2]、3次元空間の力学に応用された。 四元数の特徴は、積について非可換であることである。ハミルトンは、四元数を三次元
1 ：既にその名前は使われています：2008/12/03(水) 23:53:11 ID:5elzJsl2 わからない！わかりにくい！！ 2 ：既にその名前は使われています：2008/12/03(水) 23:55:02 ID:3bpXCcrS まぁゼビウスは無駄に悲惨だな 3 ：既にその名前は使われています：2008/12/03(水) 23:56:29 ID:SXLAhuM/ そりゃ単機で敵地に乗り込むんだから悲壮だぜ！ ネタバレ注意 10 ：既にその名前は使われています：2008/12/04(木) 00:03:34 ID:AwahlESe 悲惨かどうかはわからんが ぐわんげはガチ マイマスターピース 13 ：既にその名前は使われています：2008/12/04(木) 00:07:30 ID:iLnHRqD/ とりあえず世界崩壊してるよな 16 ：既にその名前は使われています：2008/12/
イカレ仲間である友人、物理学者の田崎晴明さんがぼくの始めたばかりのこのブログ をご自身のHP( これ) で紹介してくださったので、 なんかあっという間にアクセス数が100倍くらいになった。 今回は、その田崎推奨記念ということで。 田崎さんとは、ネット内のとある場所で、いろいろな議論をさせて いただいていて、話題は多岐にわたるけど、大好きなアイドル談義は 今回はおいといて、彼との数々の議論の中から確率論の話題を取り上げようと思う。 これは、お互いに忙しくて現状ペンディングになっているものだ。 それは、「もうそろそろいいかげん、確率論の新しい時代に入ろうよ」 とぼくが提案したことから始まった議論である。 現在の確率論の定番は、コルモゴロフの公理化したもので、 次のような公理から成るものだ。 (1) 空事象には数値0を割り当て、全事象には数値1を割り当て、 一般の事象には0以上1以下の数値を割り
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
関数解析 - 星の本棚
関数解析 関数解析の基本事項、及びいくつかの応用に関して記載したマイノートです。今後も随時追加予定です。 目次 [Contents] 概要 位相空間 ハウスドルフ空間 線形空間（ベクトル空間） 張る（生成する） 線形独立（一次独立）と線形従属（一次従属） 線形独立（一次独立）と線形従属（一次従属）の幾何学的イメージ 基底ベクトル ベクトルの次元 【補足（外部リンク）】固有値 [eigenvalue]、固有ベクトル [eigenvector]) 【補足（外部リンク）】行列の対角化 [diagonalization] 【補足（外部リンク）】対角化可能な条件 【補足（外部リンク）】なぜ対角化するのか？ 【補足（外部リンク）】直交行列 [orthogonal matrix] と実対称行列 [symmetric matrix] 【補足（外部リンク）】エルミート行列 [Hermitian matrix
数学基礎用語集（和英編）
数学基礎用語集（和英編） 注） 当分の間、大略意味内容の順とします。 各種用語集 数学一般・論理 科学 science 算術 arithmetic 幾何学 geometry 代数 algebra 微積分 calculus 解析学 analysis 確率論 probability theory 統計学 statistics 方法 method 分析 analysis 論理 logic 理論 theory 定義 definition 命題 proposition 仮説 hypothesis 公理 axiom 要請 postulate 定理 theorem 証明 proof 仮定 assumption 結論 conclusion 証明終わり Q.E.D. (quod erat demonstrundum) 補題 lemma 系 corollary 反例 counter-example 背理法 r
潜在意味解析 - Wikipedia
潜在意味解析（せんざいいみかいせき、英: Latent Semantic Analysis、略称: LSA）は、ベクトル空間モデルを利用した自然言語処理の技法の1つで、文書群とそこに含まれる用語群について、それらに関連した概念の集合を生成することで、その関係を分析する技術である。潜在的意味解析とも。 1988年、アメリカ合衆国でLSAの特許が取得されている[1]。情報検索の分野では、潜在的意味索引または潜在意味インデックス（英: Latent Semantic Indexing, LSI）とも呼ばれている。 出現行列[編集] LSA では、各文書における用語の出現を表した文書-単語マトリクスが使われる。これは各行が各単語に対応し、各列が各文書に対応した疎行列である。この行列の各成分の重み付けには tf-idf (term frequency–inverse document frequen
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
畳み込みニューラルネットワークすごさを従来の機械学習のアルゴリズムと比較する - Qiita
非モテとインセルの違いについて: 極東ブログ
カプセルネットワークはニューラルネットワークを超えるか。 - Qiita
Amazon Machine Learningによる機械学習を理解する | DevelopersIO
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
Gradient Boosting と XGBoost
深層学習のモデル圧縮・高速化に関する論文80本ノック - そうだね
最近傍探索2011 - Preferred Networks Research & Development
SYNODOS JOURNAL : 「一般意志2.0」実装の鍵はデータベース、ではない？ 飯田泰之
測度論の「お気持ち」を最短で理解する - Qiita
線形代数の用語と意味まとめ（主に自分用） - About connecting the dots.
XGBoost論文を丁寧に解説する(1) - Qiita
本物と見違えるような画像補間を実現するパスフレームワーク手法 - A Successful Failure
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
今年読んだNLP系論文で面白かった5つ - 株式会社ホクソエムのブログ
高次元ベクトルデータ検索技術「NGT」のpythonライブラリ公開のお知らせ
BERTの推論速度を最大10倍にしてデプロイした話とそのTips - JX通信社エンジニアブログ
双曲空間でのMachine Learningの最近の進展 - ABEJA Tech Blog
Metric Learning 入門 - copypasteの日記
類似文字列検索ライブラリResemblaを公開しました - LINE ENGINEERING
MLTL: Machine Learning Templete Library
ｼｭｰﾃｨﾝｸﾞｹﾞｰﾑの無駄に悲惨な設定やｽﾄｰﾘｰ : イフカルト - ライブドアブログ
もういいかげん、確率論の新しい時代に入ろう - hiroyukikojima’s blog
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –