はてなブックマーク

0. はじめに この記事では「ソート」を「微分」する方法と、ソートの一般化について説明します。ソートの一般化を考えることで、quantile関数の「微分」も計算できるようになります。 また、実際にソートの微分と一般化を利用して、least quantile regressionという機械学習のタスクの実験を行います。 最近Googleが発表し注目されている次の論文の内容の紹介になります。 Differentiable Ranks and Sorting using Optimal Transport 輸送問題を微分する記事と似たようなテクニックを用いるので一部説明がかぶります。 ソートの微分？ 我々がソートを利用するとき、次のような2つの関数、ソート関数$S(x)$とランク関数$R(x)$の形で利用することが多いと思います。 x=(x_1,\dots ,x_n) \in R^n \\ S(

0. はじめに この記事では最新の自然言語処理のフレームワークであるAllenNLPの使い方について紹介します。日本語のデータを使用して、簡単なattentionつき文書分類モデルを作成することを通して、AllenNLPの強力な機能を説明できればと思います。 本記事で使用する、AllenNLPを使用して日本語の文書分類モデルを作成するサンプルはここにあります。 また、本記事を執筆するに際して下記の記事がとても参考になりました。 公式チュートリアル An In-Depth Tutorial to AllenNLP (From Basics to ELMo and BERT) Training a Sentiment Analyzer using AllenNLP (in less than 100 lines of Python code) 1. AllenNLPとは AllenNLPはPy

はじめに Deep Learning モデルの予測理由を可視化する手法がたくさん研究されています。 今回はその中でも最もシンプルな（しかし何故かあまり知られていない）self attentionを用いた文書分類モデルを実装したので実験結果を紹介します。 この手法では、RNNモデルが文書中のどの単語に注目して分類を行ったか可視化することが可能になります。 2019/04追記 本記事で紹介したモデルをAllenNLPを使用して書き直した記事を公開しました。 attentionの復習 attentionとは（正確な定義ではないですが）予測モデルに入力データのどの部分に注目するか知らせる機構のことです。 attention技術は機械翻訳への応用が特に有名です。 例えば、日英翻訳モデルを考えます。翻訳モデルは”これはペンです”という文字列を入力として"This is a pen"という英文を出力しま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2019/04追記 本記事とほぼ同じ内容をtorchtextと同様なNLPフレームワークであるAllenNLPで書いた記事を公開しました。 0. はじめに Deep Learning系の技術が流行っていますが、画像認識などの技術に比べて、機械翻訳や文書分類などの自然言語処理系の技術はとっつきにくいと考えられているようです。その原因の大部分を前処理のめんどくささが占めています。どのDeep LearningフレームワークにもLSTMなどのテキストを扱うモデルのチュートリアルがあるのですが、現状 簡単すぎるtoyモデルを題材としている bu

はじめに word2vecで有名になったように、単語のベクトル空間への埋め込みは様々な分野で広く使われています。 しかし、多くの手法で埋め込んだ先のベクトルの各要素の意味付けは特に意識されていません。 例えば、「日本」を300次元のベクトル空間み、173番目の要素の値が大きくなっていたとします。しかし173番目の軸が何を意味するか分からないので、そこから「日本」という単語に対する何の洞察も得ることが出来ません。 ということで今回は Rotated Word Vector Representations and their Interpretability という論文を紹介します。 単語ベクトルを回転させて、単語ベクトルの各要素に解釈しやすい意味を持たせるという手法です。 日本語の単語ベクトルを使用して簡単な実験を行い、ベクトルの要素の意味がどれほど分かりやすくなるか観察してみました。 手法

はじめに 最近、決定木とNeural Networkを融合した研究をちょくちょく見かけます。 その多くが、2つの手法を融合することで、決定木のわかりやすさとNeural Networkの表現力の高さを両立させることを目指しています。 今回はその中でも最近発表された、End-to-end Learning of Deterministic Decision Trees という論文の手法を実装したので紹介してみたいと思います。 アルゴリズムの実装および実験で使用したコードは僕のgithubに上げてあります。 決定木の確率モデル 以下、分類問題を想定します。この論文では決定木の各ノードの分岐関数にNeural Networkを用います。 各Neural Networkはそのノードにたどり着いたデータを入力とし、決定木を右に進むか、左に進むかという確率値を出力します。各リーフにはそのリーフに辿りつ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 株式会社NTTデータ数理システムのitok_msiです。 みなさんご存知のように、GANを用いた画像変換が結果のセンセーショナルさもあいまって、注目を浴びています。 写真を絵画調にする、馬をシマウマに変換する、航空写真から地図を作成する、など様々な応用例が開発されています。 そこで、今回はその中でも比較的新しい手法であるcycleGAN [1]を使って「画像内の犬をポーズと毛並が似た猫に変換するモデル」を作成してみようと思います。 実は、犬を猫に変換するというタスクは、上に上げたような「馬をシマウマに変換する」「航空写真から地