If you are working in Nvidia Jetson nano to build your deep learning TTS projects or any projects that are required Librosa library, You should have faced the issue while pip installing the librosa in Jetson nano or aarch AMD64 architecture devices. Even, I have faced the same issue and here are the steps that I followed to successfully installed in Nvidia Jetson nano device or any aarch AMD64 arc

Jetson nanoでTacotron2を動かしてみます。Tacotron2の詳細は記事をご覧ください。 なお本記事は2019年11月末時点のものです。ツールのバージョンアップ等により、この手順で動かなくなることもありうるので、あらかじめご容赦ください。 github.com 先に結果を報告します。 Jetson NanoでTacotron2＋WaveGlowが動きました。 実行にかかる時間は約3分ちょいでした（そのうちモデル読み込み時間が約2分）。nvpmodeはmax(10W 4コア)、クロックも最大設定です（gpu 921.6MHz）。 NVIDIA実装の英語のままです。 メモリはぎりぎりで、Tacotron2、WaveGlowの片方でほぼ一杯。Nanoは4GBのメモリがありますが、常時約1.6GBはシステムが占有しており、残りだと精一杯のようです。今回、Docker Contai

技術ブログ 2019.06.13 機械学習のfastTextをCentOS7環境のPython3を使って20万件の文章分類を実施してみる（mecabを利用） 今回は自然言語解析をfastTextを使って実施してみます。 fastTextはfacebookが公開している自然言語処理用のライブラリで、単語のベクトル化と文章分類を実施します。 ソースコードはこちらになります。 https://github.com/facebookresearch/fastText fastTextの利用方法は二つあり、「単語表現学習（Word representation learning）」と「文章分類（Text classification）」です。 単語表現学習（Word representation learning）では、単語をひたすら学習させて、似ている単語などを抽出します。 この単語に近いものや、

EMNLP 2019より以下の論文を紹介。 Small and Practical BERT Models for Sequence Labeling この論文では、系列ラベリングタスクに対するBERTの高速化と多言語転移性能の検証を行っている。BERTが良い性能を出すことはわかっているが、モデルのサイズが大きく、予測に時間がかかるという欠点がある。そこで、BERTから3層を選択し、パラメータ数を減らすことで高速化をしている。これにより、通常のBERTと比べて約27倍高速化した。また、モデルに対して蒸留を行っている。結果として、パラメータ数を減らす前のBERTに匹敵する性能を記録。特に低リソースな言語に対して有効であることを示している。 モデルを小さくするために３つの層を選んでパラメータを減らしている。公開されているBERTではエンコーダは12層から構成されている。以下の表に示すように、そ

SIGIR 2019より以下の論文を紹介。NLP2019でも発表されており、わかりやすいスライド付き。 FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance 【論文】行政対話システムにおける検索エンジンTSUBAKIとBERTを併用したFAQ 検索の高度化 【スライド】行政対話システムにおける検索エンジンTSUBAKIとBERTを併用したFAQ 検索の高度化 この論文では、行政サイトにあるFAQの検索を検索エンジンとBERTを組み合わせて検索性能を向上させる手法を提案している。今までの課題として、通常の検索エンジンを使った場合、クエリとQAの間に表現のズレがあると上手く検索できない点を挙げている。たとえば、以下の画像の場合、ユーザのクエリに対して単純な記号マッチで検索すると「チ

下記の日本OR学会の論文を参考に、Embeddingについて整理しました。 Word Embeddingモデル再訪 オペレーション・リサーチ学会 2017年11月号 20190621追記 こちらの記事もご覧ください。 ishitonton.hatenablog.com 目次 Embeddingとは何か Embeddingの各種アルゴリズム One-hot表現 共起関係の利用 LSI（Latent Semantic Indexing） Word2vec Glove fastText Character-based Embedding Word Embedding モデルのアンサンブル 日本語環境下でのEmbedding ファインチューニング Embeddingとは何か 自然言語処理におけるEmbedding（埋め込み）とは、「文や単語、文字など自然言語の構成要素に対して、何らかの空間における

D. M. です。昨今はテキスト解析が非常にやりやすい時代になりました。チーム内でも活発に検証・活用されており、私も流れに乗って Word2Vec や Doc2Vec を触りだしましたが、参考になる日本語の記事多いですね。よくあるのはニュース記事・青空文庫・ Wikipedia の解析ですが、各社の独自の文字列データ、しかも結構なサイズのデータを食わせて関連語を出す記事などもあったりして、実利用可能かどうかは関係無しに楽しそうです。 やりたいこと 類語判定について、ウェブ上では既に相当いろんな種類の記事を上げられていて凄いなあと思いつつ、結構簡単に見えたので私も何か検証しようと思いました。ただ同じことをやってもあまり面白みが無いですし小規模でも始められるようなことを考えて、ひとまず自分の Twitter のつぶやきを食わせて類語を見てみることにしました。今日はそんな初歩的な試みの紹介です。

ACL 2017より以下の論文を紹介。 Cross-lingual Name Tagging and Linking for 282 Languages 先日、以下の記事の中で、サブワードを使って固有表現認識を行う際にどのサブワードの分散表現を使うのが良いのか検証した論文を紹介した。今日紹介する論文はその論文の中で引用していた論文。 hironsan.hatenablog.com この論文では、Wikipediaから282言語の固有表現認識用のデータセットを自動作成する手法を提案している。固有表現認識のデータセットを人手で作るのには非常に時間がかかる。そのため、Wikipediaのリンク情報を利用して自動的にデータセットを作成する研究が行われてきた。それらの研究では単言語を対象にしていることが多いが、この研究では多言語を対象にデータセットを作成している。実験は作成したデータセットを使ってW

ACL 2019より以下の論文を紹介。 Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation この論文では、2つの系列ラベリングタスク（固有表現認識と品詞タグ付け）に対して、3つのサブワードの分散表現（FastText、BPEmb、BERT）のどれが有効なのかを調査している。最近の自然言語処理タスクでは事前学習済みの分散表現が使われる。特に2018年以降はELMoやBERTなどの文脈を考慮した分散表現が使われるようになってきている。しかし、どの分散表現を使うのが良いのか包括的に調査した研究はなく、実務者が分散表現の選択を行うのを難しくしている。そういうわけで、265言語に対して調査を行った。 調査の結果、以下の示唆を得られた。 大規模データ

固有表現認識は自然言語処理の基礎技術であり、様々なタスクの要素技術として使われます。たとえば、情報抽出や対話システム、質問応答といった応用システムの中で固有表現認識は使われることがあります。また、関係認識やEntity Linkingといった基礎技術で使われることもあります。 従来の固有表現認識では、言語に特有な特徴や外部知識に依存した手法が使われていました。これらの手法では、特徴を人間が定義することで、高性能な認識を実現していました。ただ、言語依存の特徴を使うため、モデルを新しい言語に対して適用する際のコストが高くなる問題があります。 本記事では、ディープラーニングを使って言語的な特徴や外部知識に依存しない固有表現認識器を作成します。本文は以下の内容で構成されています。 実装するモデルの説明 モデルの実装 モデルの学習 全体のコードは以下のGitHubリポジトリにあります。スターしていた

最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https

Facebookが開発したfastTextを利用して自然言語(Wikipediaの日本語全記事)の機械学習モデルを生成するまでの手順を解説。また生成した学習モデルを使って類語抽出や単語ベクトルの足し算引き算等の演算テストを行う方法までコード付きで紹介します。 Pythonこの記事は約 分で読めます。（文字） fastTextで日本語を機械学習させる手順Facebook発表の『fastText』利用して日本語の機械学習モデルを生成する手順を解説していきます。 Wikipediaの全記事のダンプデータ取得学習本の文章にはWikipediaを利用します。下記URLから、最新のWikipedia全記事ダンプデータをダウンロードしましょう。取得データはXML形式の圧縮ファイルになっています。 Index of /jawiki/latest/任意のディレクトリに保存してください。 Wikipediaの

前置きというか概要 今年のEMNLP2017で提案されていたSCDV(Sparse Composite Document Vectors)について、日本語のコーパス(livedoor ニュースコーパス)で検証しました。 20171114追記 fasttextベースのSCDVによるテキスト分類精度を追記しました。 SCDVのモチベーション (https://dheeraj7596.github.io/SDV/) いい感じのランディングページまで用意していてすげえなって思いました。論文は当然のようにarxivで公開されています。大正義。 https://arxiv.org/pdf/1612.06778.pdf HTMLで読みたい方はこちら。https://www.arxiv-vanity.com/papers/1612.06778/ これを読んでいる皆様に、「どうにかして文章のベクトルが欲しい

概要 自然言語処理で文書をベクトル化する手法として、fastText と Doc2vec のどちらが良いのかと思い、試してみることにしました、という趣旨の記事です。 ソースコード 今回の実験のために実装したコードはこちらに上げてあります。 https://github.com/kazuki-hayakawa/fasttext_vs_doc2vec また、記事本文中ではライブラリのimport文などは省略している箇所もありますので、それらに関しては上記ソースコードをご覧ください。 ディレクトリ構成 以下のようなディレクトリ構成です。２つのモデルを作成して、最終的に classifier.py で文書の分類を実行します。 fasttext_vs_doc2vec ├ dataset │ ├ news_text (ニュース記事本文格納ディレクトリ) │ └ make_dataset.py ├ li

自然言語処理の分野で昔から研究され、実際に使われている技術として固有表現認識があります。固有表現認識は、テキスト中で固有表現が出現する位置を特定し、人名や地名などのラベルを付与するタスクです。情報抽出や質問応答、対話システムなどへの幅広い応用が可能なため、今でも盛んに研究され、使われている技術です。本記事では、日本語の固有表現認識をFlairと呼ばれるPythonパッケージを使って実現する方法について紹介します。 準備 本記事では Flair を使って固有表現認識のモデルを学習させます。Flairは最先端の自然言語処理のモデルを簡単に使い始められる形で提供してくれているパッケージです。その中で提供されている機能として、固有表現認識や品詞タグ付け、文書分類のモデルを学習するための機能があります。使い始めるために、以下のようにしてFlairをインストールしておく必要があります。 $ pip i

固有表現認識（NER: Named Entity Recognition）とは、テキストに出現する人名や地名などの固有名詞や、日付や時間などの数値表現を認識する技術です。NERはエンティティリンキングや関係抽出、イベント抽出、共参照解決といった自然言語処理タスクの要素技術として使われるため、常にある程度の研究が行われている分野となっています。 最近よく使われる手法としては、テキストを単語の系列に分解し、それをRNNとCRFを接続したネットワークに入力する手法があります。そういった手法は数多く存在するため個別には紹介しませんが、以前に以下の記事でそのうちの一つの手法について実装しています。 hironsan.hatenablog.com 単語分割を前提とした手法は、単語の切れ目が明示されている言語以外では扱いにくいという問題点があります。たとえば、英語であるなら単語の切れ目は空白で区切られて

固有表現認識で認識した固有表現を黒塗りすることで、匿名化っぽいことができると考えられます。というのも、機密文書で黒塗りされている部分は機密に関係している人名や組織名などが多いと考えられるからです。上文の固有表現部分を黒塗りすると以下のようになります。 今回は固有表現を認識するためにディープラーニングを用いたモデルを構築します。具体的にはLampleらが提案したモデルを構築します。このモデルでは、単語とその単語を構成する文字を入力することで、固有表現の認識を行います。言語固有の特徴を定義する必要性もなく、ディープな固有表現認識のベースラインとしてよく使われているモデルです。 Lampleらのモデルは主に文字用BiLSTM、単語用BiLSTM、およびCRFを用いて構築されています。まず単語を構成する文字をBiLSTMに入力して、文字から単語表現を獲得します。それを単語分散表現と連結して、単語用

fastTextとは何なのか 自然言語処理の学習を高速化するツール これまで５日かかっていたタスクがたったの１０秒で終了 fastTextで取り組める３つのこと fastTextで出来る３つの全体像 Facebookはニュースフィードから釣り見出しを排除するためにfastTextをつくった？ リクルートテクノロジーズでは、レコメンドに応用 サイバーエージェントが実用化したAWAでのアーティストレコメンド Yahoo!はレシートメールの文章から製品をオススメする ◯2Vecを考えれば推薦に応用できる fastTextを安全に使うために必要な理論 単語をベクトル表現化するWord2Vec ベクトル表現を構築するアーキテクチャ CBoW Skip-gram fastTextを使ってみよう fastTextをインストールする 単語のベクトル表現を構築しよう Tweetデータの収集 単語のベクトル表

word2vec, fasttextの差と実践的な使い方 目次 Fasttextとword2vecの差を調査する 実際にあそんでみよう Fasttext, word2vecで行っているディープラーニングでの応用例 具体的な応用例として、単語のバズ検知を設計して、正しく動くことを確認したので、紹介する Appendix (発表用の資料も掲載いたします,小さくて見づらいので、直リンはこちら) 原理の表面的な説明 Skip gramではある特定の単語の前後の単語の出現確率を測定することでベクトル化する 図1. ある目的の単語から、周辺の単語の確率を計算してベクトル化する Word2vecとfasttextではこれを実装したもの ただし、fasttextにはsubwordという仕組みが入っている 図2. softmaxで共起確率を計算する あそんでみよう 2017年2～3月のTwitterのデータ

１．FastText:テキストデータの特徴量抽出の実装(1/2)まとめ ・FastTextは2016年にFacebookによって最初に発表された素のWord2Vecモデルを拡張および改善したもの ・各単語をBag of Character n-gram(サブワードモデル)とみなしてベクトル化する ・計算量は多くなるがサブワードモデルのおかげで珍しい単語が出現しても対応できる可能性が高い ２．FastTextとは？ 以下、www.kdnuggets.comより「Implementing Deep Learning Methods and Feature Engineering for Text Data: FastText」の意訳です。元記事の投稿は2018年5月、Dipanjan Sarkarさんによる投稿です。まだ一年もたっていませんが、BERTやELMOの出現により過去のテクニックにな

８月中旬、facebookが公開したfastTextの仕組みを軽くまとめる。 fastTextができること 自然言語処理の範囲は広く、ものによってできるものは異なる。fastTextは、word2vecのような単語をベクトルにしたり、文章をクラス分けする（予め決まったクラスに分類する（複数クラスに入ることは可能））ことができる。ベクトル化するモデルはCBOWとskip-gramが使われている。クラス分けを行うときは、学習データに、それぞれの文章がどのクラスにあるかという教師データが必要となる。 fastTextを試す githubに公開されているので、 でコンパイル（新しめのc++コンパイラが必要）。使い方の詳細はREADME.mdを参考にしてください。 サンプルとして複数のスクリプトが用意されている。しかし、巨大なデータがダウンロードされてしまうので、するなら、時間や十分なネットワーク環

Jetson Nano SDカードのイメージファイル Jetson Nanoで使えるSDカードのイメージを自分が知っている範囲でまとめます。 Jetson Nano Developer Kit(JetPack) 最新のJetPackはNVIDIAのJetPack SDKのページからダウンロードできます。 公式のJetPackのアーカイブページは以下です。過去のアーカイブは、現在は公式なものはありません。 JetPack Archive JetPack 4.3以降はOpenCVのバージョンが3から4に上がっているので注意して下さい。私が書いている記事は、注記がない限り、基本的にJetPack 4.2.2以前のバージョンを想定しています。 最新のJetPack4.4を使用する場合は、以下記事を参考にしてください。 Jetson NanoにJetPack 4.4を入れてTensorFlow・物体

Jetson Nano TIPSまとめのページが大きくなってきたので、ディープラーニング関連の項目を切り出してまとめました。 TensorFlowのセットアップ方法 公式の方法は以下です。 Jetson NanoへのTensorFlowセットアップ方法（公式） ただし、少し煩雑なのと現時点（2019/05/12）でいくつか問題点があるため、問題点を回避しつつ自動でセットアップするスクリプトを作成しました。以下コマンドで（比較的）楽々セットアップできます。 $ git clone https://github.com/karaage0703/jetson-nano-tools $ cd jetson-nano-tools $ ./install-tensorflow.sh

from mlxtend.plotting import plot_decision_regions from xgboost import XGBClassifier iris = load_iris() X, y = iris.data[:, [0, 2]], iris.target clf = XGBClassifier().fit(X, y) plot_decision_regions(X, y, clf=clf,res=0.02, legend=2) from mlxtend.plotting import plot_learning_curves from sklearn.datasets import fetch_20newsgroups from sklearn.naive_bayes import MultinomialNB from sklearn.feature_ex

Optuna Tutorial with Pytorch 先日PFNからハイパーパラメータチューニングを自動でやってくれるというフレームワークが公開されました。 optuna.org PFN内でもOpen Images Challenge 2018の際にはこれを用いてパラメータチューニングをしていたとか。 これは使うっきゃない！！ ということで、PytorchでMNISTを通してoptunaのtutorialをやります！ 最近流行りのgoogle colaborator上で試してみました。 ちなみに2019年2月からgoogle colabでpytorchがデフォルトインストールされたようです。 環境 google colabrator (2019/3) optuna: 0.9.0 pytorch: 1.0.1.post2 1. Optunaのインストール インストール方法は公式を参考に。

初投稿となります． はじめに DeepLearningの重要な要素の一つとしてハイパーパラメータがあります． 重みといった勾配法などのアルゴリズムによって最適化を行うものがパラメータであることに対し，人の手によって最適化を行うものがハイパーパラメータとなります．ハイパーパラメータは，最適化手法やその学習率，ニューロンの数やその層数，活性化関数，ドロップアウト率など様々なものが挙げられ，これを手動で調整するとなると試行錯誤を繰り返さなければなりません． そこで登場するのが「Optuna」です． 今回は，PyTorchによるMNISTの画像認識を通して，このOptunaの使い方の説明をしたいと思います． また，Optunaについて調査した際，PyToch上で畳み込み層数のチューニングを行なったという記事が見当たらなかったため，せっかくなので「畳み込み層数」をはじめとするハイパーパラメータのチュ