日本語対話コーパス一覧
日本語対話コーパス一覧 これは日本語を対象とした、対話システムの構築に利用できる言語資源のリストです。 本リストは、理化学研究所 吉野 幸一郎さん発案のもと、C4A研究所 中野 幹生さん、東北大学 赤間 怜奈さん、大阪大学 駒谷 和範さん、JAIST 吉川 禎洋さん、リクルート 林部 祐太さん、京都大学 児玉 貴志さん、愛知工業大学 徳久 良子さんにご協力をいただき、水上 雅博が作成いたしました（所属はリスト作成または更新時のものです）。 もしこのリストに載っていないものや、リストのまちがいに気づかれた場合、新たにコーパスをリリースした際には是非、issueやメールで教えてください。 対話コーパス 主に人同士または人とシステム間（2名以上の場合を含む）で、対話（模擬対話等を含む）を行ったコーパスです。 名前 データ量 形式 研究利用 商用利用 概要
世界中の特許1億件以上を学習したAIが、数秒で類似特許を発見。AI特許調査プラットフォーム「Amplified」明細書作成も同時にできる新バージョン6月22日（月）公開
世界中の特許1億件以上を学習したAIが、数秒で類似特許を発見。AI特許調査プラットフォーム「Amplified」明細書作成も同時にできる新バージョン6月22日（月）公開- インターフェースを大幅刷新。より速く、より直感的な調査ツールに進化 - 最先端のAI技術を開発したamplified ai, inc.（本社：米国サンフランシスコ、CEO：サムエル デイビス）は、AI特許調査プラットフォーム「Amplified」の新バージョンを6月22日（月）に正式リリースすることを発表いたします。最新版では、高精度AIによる検索式不要の調査に加え「発明の文章化と調査を同時に」というコンセプトのもとインターフェースを大幅刷新、明細書作成ツールとしての側面を強化しています。 特許調査プラットフォーム「Amplified」とは 世界中の特許1億件以上をディープラーニングで学習したAIが、入力される文章に対し
大規模日本語ビジネスニュースコーパスを学習したXLNet（MeCab+Sentencepiece利用）モデルの紹介 - Qiita
はじめに 以前、日本語のBERT事前学習済モデルとELMo学習モデルの紹介記事を投稿しましたストックマークの森長です。 モデル公開の記事を多くの皆様に読んでいただき、ありがとうございます。 昨今の自然言語処理界？では、事前学習モデルであるBERTの登場を皮切りに、XLNet、RoBERTa、ALBERTと多数のモデルが提案され、SOTAを競いあい、大いに盛り上がっています！ ですが、最先端のモデルは英語や中国語で事前学習されたモデルが多く、日本語で試すにはハードルがかなり高いと感じています。 そこで、今回はBERT、ELMoに続いて、XLNetの日本語事前学習済モデルを公開いたします。 XLNetとは XLNetとは、自己符号化ベースであるBERTの以下懸念点を解消するために作られた、自己回帰ベースのモデルです。 BERTの[MASK]トークンは、fine-tuningの時に使用しないため
Masato Hagiwara (萩原正人) on Twitter: "拙著『実世界自然言語処理』の事前予約が可能になりました https://t.co/8uv92mu5dX 「実際に動く自然言語処理システムを作りながら概念をトップダウン式に学ぶ」という指針で執筆していた自然言語処理の入門書。現在、最… https://t.co/WaMirMYe4c"
拙著『実世界自然言語処理』の事前予約が可能になりました https://t.co/8uv92mu5dX 「実際に動く自然言語処理システムを作りながら概念をトップダウン式に学ぶ」という指針で執筆していた自然言語処理の入門書。現在、最… https://t.co/WaMirMYe4c
自然言語処理の研究に悩む その３ - Reproc.pnz
前置き 最近やっていたことが一段落したので、博論に向けて考えをまとめたいと思います。ここ半年で取り組んでいた論文は投稿中・準備中という感じで今年はまだ結果が出ていないのですが、テーマ的にだんだん思想バトル感が出てきており、あまりすんなり論文が通る・業績が増えるような雰囲気ではなくなっています（言い訳です）。もう少し目線を下げたほうがよいかもしれないです。 あらすじ ここに至るまでの細かい話は前回や前々回の記事をご覧いただければと思うのですが、以下に簡単にまとめます。おそらく本質的には大きな変化があるわけではないので読み飛ばしていただいてもたぶん大丈夫です。 自然言語処理におけるひとつの目標として「言語を理解するシステムを作る」ことが挙げられると自分は考えています。そうしたシステムの振る舞いをテキスト上で評価するタスクのひとつに「機械読解（machine reading comprehens
2019年現在の文・文書生成に関してのまとめ - LAPRAS AI LAB
LAPRAS の森元です。AI LAB でのはじめての投稿になります。私は、修士課程・博士課程を通して自然言語処理学の研究をしてきました。特に推論や因果関係に興味があり、主に含意関係認識の研究を行ってきています。先月4月よりリサーチャーとして LAPRAS に入社しました。 本記事は、2019年4月現在の文自動生成に関してのサーベイを行った結果をまとめたものです。 はじめに LAPRAS の提供している LAPRAS SCOUT では、スカウトメール作成支援システムを導入しています。現在は、候補者情報とテンプレートを用いたスカウトメール作成支援システムを導入していますが、よりメール作成のコスト削減を目指すために、文の自動生成を用いることができないかと考えました。そこで、文の自動生成に関する研究がどのような現状であり、その技術が我々のプロダクトに使えるものであるのかという視点で調査を行いまし
【python】nltkで英語のStemmingとLemmatization - 静かなる名辞
Stemming（ステミング）は単語の語幹を取り出したいとき、Lemmatization（レンマ化、敢えてカタカナ表記するとレンマタイゼーション）はカテゴリごとにグルーピングしたりしたいときに使う。 公式ドキュメントはここ。 nltk.stem package — NLTK 3.4 documentation 目次 Stemming 概要 Porterを使う Lancasterを使ってみる Lemmatizing 結論 スポンサーリンク Stemming 概要 nltkでStemmingに使えるクラスはたくさんある（ように見える）。nltk.stemに実装されているものだけでも、 ARLSTem Arabic Stemmer*1 アラビア語用 ISRI Arabic Stemmer*2 アラビア語用 Lancaster Stemmer*3 英語用。古い（1990年） Porter Stem
Masato Hagiwara (萩原正人) on Twitter: "新たな最適化法を提案し、BERT-Largeの訓練時間を3日から76分に大幅に短縮した論文。詳細な概要と第一著者 You Yang 氏のちょっと信じられないような経歴がここから読める。… https://t.co/MHNASmcfvF"
新たな最適化法を提案し、BERT-Largeの訓練時間を3日から76分に大幅に短縮した論文。詳細な概要と第一著者 You Yang 氏のちょっと信じられないような経歴がここから読める。… https://t.co/MHNASmcfvF
岡三マンは何人で構成されているか自然言語処理で解析してみた - 北野坂備忘録
Twitterで有名な「岡三マン(@okasanman)」は複数人執筆説があります。 twitter.com そこで、本稿では統計解析環境「R」を用いて岡三マンが何人で執筆されているのか分析してみました。 今回は 2018/03/08 から 2018/03/18 までの 796tweet を分析対象とします。 分析にはRのライブラリ「RMeCab」を用いました。 この中の docMatrix()関数を用いるのですが、デフォルトでは名詞、動詞、形容詞のみを抽出するようになっています。 しかしながらtweetは短いので同じ名詞が出てくる可能性は極めて低く、あまり役に立ちません。 そこで今回は、本人判別でよく用いられる「助詞」「助動詞」と、句読点にも着目して「記号」を抽出することにしました。 library(RMeCab) res <- docMatrix("okasand", pos = c(
自然言語処理が学べる大学は日本で20校くらい - 武蔵野日記
世間的には休日だが、最近の大学は文科省の通達で授業回数をちゃんと確保するように言われており、授業時間数を確保するためにお仕事。休日があっても無視して授業をする大学と、休日は休むが学期末に授業の曜日を無視した数合わせの期間がある大学の2種類あるようだが、首都大は前者なのである。 今日の授業はB3の情報理論の授業で、出席も取らないし小テストもしないので、出ても出なくてもいいよ、と伝えてあったにも関わらず、用意した50部の資料が全部なくなる。全員出てきているということのようである。（あとで調べたら履修登録者は57人いたのだが、7人はどうしているんだ？） 「資料が配られるだけだと記憶に残らない、穴埋めにしてほしい」という声があったので今回は穴埋めにしてみたのだが、穴埋め資料を作るのもけっこう面倒くさい。スライドは PowerPoint で作ってあるのだが、印刷したらアニメーションも全部印刷されてし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
山本 和英（言語商会 広報部） on Twitter: "YANS松本先生のスライド。特に後半に大切なことが書かれていると思うので、自然言語処理の研究をされている方は読むことをおすすめします。 https://t.co/O2LQSb30c8"
文脈を指定して単語の曖昧性解消をする - Qiita
えるエル on Twitter: "BERTを用いてWikipediaを参照して質問に回答してくれるサイト https://t.co/eX4bz9yMLd https://t.co/qSm2gbHOS9"
Stanford NLP Group on Twitter: "Out now: our new Python #NLProc package. StanfordNLP provides native, neural (PyTorch) tokenization, POS tagging an… https://t.co/D31JpqWdxj"
https://github.com/shivamms/books/tree/master/nlp
Return a Vector of Each Word Found Before the End of a Sentence | R-bloggers
Ryobot | りょぼっとさんのツイート: "おひさ卍〜っ！ 最近自然言語処理でも pre-training とか transfer learning 流行っとるやん？ 今日はうちが7つのNLPタスクでSOTAを達成した学習手法を紹介してくでっ！！！！！ paper: https://t.co/NEOxOpv56g… https://t.co/Yoe6lVwE3Z"
Daisuke Okanohara on Twitter: "機械翻訳では注意機構付きのseq2seqやTransformerが使われていたが、2D CNNを使う手法を提案。翻訳元/後の各単語が各行/列に対応した2次元特徴マップをCNN（densenet）で変換する。翻訳後の前の単語だけに依… https://t.co/EXSXMooB0h"
Ryobot on Twitter: "なにこれー！Pervasive Attention？！ Encoder-Decoderを使わずDecoderオンリーで機械翻訳できるってマ？ しかもSOTAなん？ええええええ？！ paper:… https://t.co/x82es0ViuG"
エラー