多言語Universal Sentence Encoderを使う - Qiita
はじめに この記事では、Tensorflow Hubに公開されている 多言語Universal Sentence Encoder を試してみます。 Universal Sentence Encoderとは Transformerを自然言語処理の様々なデータセットを使ってマルチタスク学習させて得られた文表現ベクトルのエンコーダーです。今回使うのは多言語バージョンで、英語、フランス語、ドイツ語、スペイン語、イタリア語、中国語、韓国語、日本語のタスクで学習されたものです。 文の類似度の可視化 いくつかの文章を入力して文表現ベクトルを作成し、互いに内積を取ることで各入力文がどれくらい近いかを測ります。結果はヒートマップで可視化します。 スクリプト Googleが公開しているColabを参考にしたコードです。実行した時にmatplotlibとseabornの文字化けが発生する場合があります。そのとき
Predecessorを高速に解くデータ構造: Y-Fast Trie - Qiita
整数は0と1からなる文字列だよ派です（計算機モデルとしてWord-RAMを仮定）． この記事は文字列アルゴリズム Advent Calendar 2017 17日目の記事です． vEB木と並んで高速にpredecessorを解くデータ構造y-fast trie1を紹介します. 文字列のキーワード索引などでよく利用されるトライ構造(Trie)で整数集合を管理する面白いデータ構造です． Predecessor Dictionary Problem 全体集合$U = \{ 0, \ldots, u-1 \}$の部分集合$S \subseteq U$に対して，以下のクエリをサポートするデータ構造をpredecessor dictionaryといいます． $\mathit{Predecessor(x)}$: $x$以下の$S$の要素で一番大きいものを返す． $\mathit{Successor(x)
Seq2Seq まとめ - higepon blog
以前作った Seq2Seq を利用した chatbot はゆるやかに改良中なのだが、進捗はあまり良くない。学習の待ち時間は長く暇だし、コード自体も拡張性が低い。そういうわけで最新の Tensorflow のバージョンで書き直そうと思って作業を始めた。しかし深掘りしていくと Seq2Seq の詳細を分かっていなかったことが発覚したのでここにまとめる。間違いを見つけたらコメントか @higepon まで。 Seq2Seq のすべてを解説するのではなく、Tensoflow/nmt/README.md のチュートリアルをベースにする。読んだだけでは、理解できなかった部分を補っていく形で進める。 必要とされる前提知識 DNN の基礎。構造、training、 loss とかそういう話。back prop は別に理解できなくても可。 RNN の基礎。RNN が時系列の扱いに向いているとか。RNN の構
文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)
前置きというか概要 今年のEMNLP2017で提案されていたSCDV(Sparse Composite Document Vectors)について、日本語のコーパス(livedoor ニュースコーパス)で検証しました。 20171114追記 fasttextベースのSCDVによるテキスト分類精度を追記しました。 SCDVのモチベーション (https://dheeraj7596.github.io/SDV/) いい感じのランディングページまで用意していてすげえなって思いました。論文は当然のようにarxivで公開されています。大正義。 https://arxiv.org/pdf/1612.06778.pdf HTMLで読みたい方はこちら。https://www.arxiv-vanity.com/papers/1612.06778/ これを読んでいる皆様に、「どうにかして文章のベクトルが欲しい
Google、音声認識システム訓練用データセットをオープンソースで提供
Googleが、クラウドソーシングで集めた6万5000件の短い英単語の音声録音のデータセット「Speech Commands Dataset」をオープンソースで公開した。Mozillaも年内の1万時間分のデータ公開を目指している。 米Googleは8月24日（現地時間）、音声認識機能搭載アプリ開発向けの基本的な音声命令のデータセット「Speech Commands Dataset」をオープンソースで公開したと発表した。公式ブログ内のリンクをクリックすると圧縮ファイルをダウンロードできる。 Speech Commands Datasetは、同社の機械学習ライブラリ「TensorFlow」を手掛けるチームと、人工知能（AI）向けハードウェアキット提供プロジェクト「AIY（Artificial Intelligence Yourself） Projects」チームが共同で開発したもの。 データは
Deep Learning for NLP Best Practices
Deep Learning for NLP Best Practices Neural networks are widely used in NLP, but many details such as task or domain-specific considerations are left to the practitioner. This post collects best practices that are relevant for most tasks in NLP. This post gives an overview of best practices relevant for most tasks in natural language processing. Update July 26, 2017: For additional context, the Ha
（調査） 自然言語文（和文や英文） の 構文解析・依存解析・照応解析、固有表現抽出 を ディープラーニング で 行う 手法 - Qiita
Deep Learning で 行う 自然言語文 の 文構造解析 構文解析器（Parser） を 使わず に、深層ニューラルネットワークを 用いて、英文や和文の文章 を、木構造の構文解析グラフ に 変換する 手法 複数の文 に またがる 文章 で、後続の文に出現する指示代名詞 が、前のどの文 の どの名詞 を 指すのか を 解析する 照応解析 を 深層ニューラルネットワーク で 行う 手法 が、提案されています。 これら、構文解析 や 依存解析、照応解析 を 深層ニューラルネットワークモデル で 行う研究 は、あまり、主題的に取り上げられていない 印象 を 受けます。 そこで本記事では、これらの論文を取り上げて、深層ニューラルネットワークモデルのトポロジー構造 と パフォーマンスの検証結果 を 紹介していきます。 さらに、固有表現抽出 を 深層NN で 行う 手法 や、文章で記述されている
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
Take control of your content with ReadablePro
Our Readability Scoring, Error Detection, and Style Checking Help You Take Control Of Your Content Readable gives you best-in-class text analysis and actionable insights to bring your audience closer. Sign Up Today or Try Readable Free Step 1: Import Readable can analyse anything - a Word document or PDF, a web page, or an entire website. You can even send us text through our API. Step 2: Analyse
Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita
少し時間が経ってしまいましたが、Sentencepiceというニューラル言語処理向けのトークナイザ・脱トークナイザを公開しました。MeCabやKyTeaといった単語分割ソフトウエアとは趣旨や目的が異なるソフトウェアですので、少し丁寧にSentencepieceの背景、応用、実験結果等をお話したいと思います。 サブワード ニューラル言語処理の中心となる要素技術にLSTM (RNN)があります。テキスト(トークン列)を低次元のベクトルに符号化したり、ベクトルからテキストを復号化したり、その応用範囲は多岐にわたります。ニューラル機械翻訳 (NMT) は、LSTMによる符号化・復号化を組み合わせて翻訳を行います。 ↓↓↓↓↓↓↓ あなたの記事の内容 NMTのアーキテクチャは従来法と大きく異なりますが、入出力はこれまでと同様、なにかしらのトークン列です。どのような列でもよいのですが、慣習的に単語列が
ポエム判別器 - Qiita
Qiita初投稿です。よろしくお願いします。 Qiitaは主に読む方で使わせていただいているんですが、統計ヤクザとか見たことがあるので、正直コメント貰っても返すの怖いし（twitterで受けつけます）、Qiitaはいいかなって思っていました。 しかし、今回はQiitaそのものを評価の対象とするので、Qiitaに投稿したいと思います。 Qiitaでは、主観や感情が入り乱れる投稿は嫌われる傾向があり、負のイメージを持ってポエムと言われることがあります。 それを機械学習で分類していれければいいね、ということで、やってきます。 手法選択 考えられるメソッド Bag of Wordsなどでlogistic-regression Bag of wordsなどでsvm Bag of wordsなどでxgboost doc2vec, fasttextなどのエンベッディングでテキスト分類 Reccurent
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 - にほんごのれんしゅう
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語
fastTextの学習済みモデルを公開しました - Qiita
fastTextの学習済みモデルを公開しました。 以下から学習済みモデルをダウンロードすることができます: Download Word Vectors Download Word Vectors(NEologd) 埋め込みベクトルの情報は以下のリポジトリにまとめているので、こちらもよろしく。 awesome-embedding-models Motivation 以下の記事では icoxfog417 が GitHub で公開していたリンクを貼りました。 いますぐ使える単語埋め込みベクトルのリスト ただ、公開されていたベクトルをダウンロードするのにGit LFSが必要であったり場所がわかりにくいといった問題がありました。そのため、今回は簡単にダウンロードできるように学習・公開しました。 How to make fastTextの使い方は以下の記事を参考にしました。fastTextの理論と使い
快適度推定に基づく用例ベース対話システム
In dialogue systems, dialogue modeling is one of the most important factors contributing to user satisfaction. Especially in example-based dialogue modeling (EBDM), effective methods for dialog example databases and selecting response utterances from examples improve dialogue quality. Conventional EBDM-based systems use example database consisting of pair of user query and system response. However
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tensorflow/nmt: TensorFlow Neural Machine Translation Tutorial
プレスリリース | ニューラル機械翻訳で音声翻訳アプリVoiceTraが更なる高精度化を実現 | NICT-情報通信研究機構
自然言語におけるCNNの攻勢：QRNNにせまる
Amazon.co.jp: 深層学習による自然言語処理 (機械学習プロフェッショナルシリーズ): 坪井祐太, 海野裕也, 鈴木潤: 本
258億語の日本語コーパスをウェブで公開～国立国語研究所 言語研究や自然言語処理技術開発での基礎資料
