研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近は、社内の業務サポートを目的として、レシピを機械学習モデルで分類して Redshift に書き込む日次バッチを開発・デプロイしたりしてました。 ここ数ヶ月で読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Focal Loss for Dense Object Detection Exponential expressivity in deep neural networks through transient chaos 本記事では、BERT というモデルをクックパッドのレ

株式会社Laboro.AIは4月17日、アルゴリズムBERTを独自に事前学習させた「Laboro.AI日本語版BERTモデル」をオープンソースとして公開した。 Laboro.AI日本語版BERTモデルには、約4300のWebサイトから260万以上のWebページにおけるテキスト情報を学習させている。オープンソースではあるものの、非商用目的として公開している。そのため、商用利用を希望の際は、Laboro.AIに問い合わせが必要だ。 ＞＞ Laboro.AIエンジニアコラム ＞＞ プレスリリース 260万以上のWebページのテキストを学習させている昨今のAIにおける自然言語処理において注目を集めているのが「BERT」だ。BERTはGoogleが2018年に発表した自然言語処理アルゴリズムで、文章における文脈を理解できるなど、従来のものと比較しても大きなブレイクスルーを巻き起こしたと言われている。

はじめに 自然言語処理タスクでBERTをfinetuningして使うことが当たり前になってきました。Kaggleなどのコンペや精度要件がきつい案件を行う場合に少しでも精度を向上させたいというシーンが増えてくると考えられます。そこで、精度向上手法をまとめます。タスクとしては分類タスクを想定しています。 文字数調整 学習済みのBERTに入力可能な単語数は最大512個です。そのため、512単語以上のテキストを使用する場合は特別な工夫が必要となります。ここの処理方法の変更が精度向上に寄与することが多いので要チェックです。 例として次のテキストから6単語取得することを考えます（句点も1単語とします） 吾輩 / は / 猫 / で / ある / 。 / 名前 / は / まだ / ない / 。 1. Head-Tail 吾輩 / は / 猫 / で / ある / 。 / 名前 / は / まだ / な

教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語

はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです。 文の分類(評判分析・トピック分類・質問タイプ分類) Convolutional Neural Networks for Sentence Classification(2014/08) 評判分析や質問タイプの分類などの文分類を行うCNNを提案している論文。 具体的には文を単語ベクトルの列として表し、それに対してCNNを用いて特徴抽出・分類を行っている。論文では事前学習済みの単語ベクトル(Goo

STAIR Lab, Chiba Institute of Technology•37.6K views

社内の機械学習勉強会で最近話題になった機械学習関連のエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。GNMTで使われているEncoder-Decoderやattentionのような仕組みを直近で使う予定は特にはないですが、機械学習を使うエンジニアとして知っておいて損はないし、技術的に何が変わったことにより何ができるようになって、何はまだできないのかを知ろう、というのが目的です。技術的な項目は興味ない人も多そうなので、最後に持っていきました。 Google Neural Machine Translation(GNMT)の最近の進化について できるようになったこと 定量的な評価 まだまだ難しいこと 技術的な詳細 Encoder-decoder Attention based encod

黒橋・河原研究室より，新しい日本語形態素解析システムJUMAN++ ver.1.00がリリースされました(2016.9.23)． これは森田一さんらのEMNLP2016の論文の実装です． 配布されているパッケージには，その新しい解析システムだけでなく，新しい形態素解析辞書も含まれています． 以前のJUMAN 7.0に含まれている形態素解析辞書は2012年公開なので，実に4年分の差分が詰まっているわけです． 格フレーム構築の研究の関係で， この形態素解析辞書の動詞まわりの整備を京大在職中に行ったので， どのような変更があるのかを，メモとして少し記します． （なお，このメモにある情報は全て公知の情報に依るものです） JUMAN++の概要 まず，辞書について記す前に，簡単にJUMAN++の概要を述べましょう． JUMAN++という名前から受ける印象は，JUMANを少し改良したものという印象を受け

こんばんは。プログラマーのhakatashiです。2ヶ月ぶりですね。普段はpixivコミックやpixivノベルの開発を手伝っていますが、今回もそれとは全く関係ない話をします。 pixiv×機械学習 「機械学習」「深層学習」といった単語がプログラマーの間でも広く囁かれるようになって既に幾年月経とうとしています。ここpixivの開発陣においても、人口に膾炙する機械学習の輝かしい成果に関する話題は尽きることがなく、常に最新のトピックに目を光らせています。 そんな取り組みの一環として、今回は弊社が運営するpixivの小説機能の投稿データで機械学習を行ってみたので、簡単に紹介したいと思います。 ※この記事における「pixiv小説」とは「pixivの小説投稿機能およびそれによってpixivに投稿された小説」を指し、「pixivノベル」とは異なります。 word2vecとは 自然言語処理における機械学習

fastTextとは何なのか 自然言語処理の学習を高速化するツール これまで５日かかっていたタスクがたったの１０秒で終了 fastTextで取り組める３つのこと fastTextで出来る３つの全体像 Facebookはニュースフィードから釣り見出しを排除するためにfastTextをつくった？ リクルートテクノロジーズでは、レコメンドに応用 サイバーエージェントが実用化したAWAでのアーティストレコメンド Yahoo!はレシートメールの文章から製品をオススメする ◯2Vecを考えれば推薦に応用できる fastTextを安全に使うために必要な理論 単語をベクトル表現化するWord2Vec ベクトル表現を構築するアーキテクチャ CBoW Skip-gram fastTextを使ってみよう fastTextをインストールする 単語のベクトル表現を構築しよう Tweetデータの収集 単語のベクトル表

Derive insights from unstructured text using Google machine learning. New customers get $300 in free credits to spend on Natural Language. All customers get 5,000 units for analyzing unstructured text free per month, not charged against your credits.

Googleはクラウド自然言語APIのβ版を7月20日にリリースし、最先端研究の小さな世界を抜け出してデータサイエンティストとソフトウェアエンジニアの毎日の業務に使用できるよう、自然言語処理(NLP)を活用する動きに加わった。GoogleのNLP APIは以下の3つの核となるNLP機能をユーザに提供する。 感情分析言語の調子を解釈する。例えば積極的もしくは消極的。 表現抽出人々や組織のような言語内の異なる表現を認識する。 文法解析言語内の言葉の部分の認識。例えば、ある文章xは3つの名詞を有する、など。 これらのツールはGoogleの深層学習・機械学習アルゴリズムを活用することで他の自作でデータサイエンスを行う努力からは一線を画している。 NLPソフトウェアのプログラムは人間の発話やテキストを理解するために構築され、GoogleやIBMのようなテックジャイアントによる開発者フレンドリなAPI

2016/6/22にNLP-DLで話した際のスライドを一部編集したものです。 English ver. http://www.slideshare.net/hytae/recent-progress-in-rnn-and-nlp-63762080

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Welcome, folks, to Week in Review (WiR), TechCrunch’s regular newsletter that highlights notable tech industry happenings over the past few days. Life moves pretty fast, as a young Matthew Brode