はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Pathwaysの恐るべき威力、ベールを脱いだグーグルの万能AIが目指す究極形とは
米Google（グーグル）が数年にわたって開発を進めてきた万能AI（人工知能）、「Pathways」の実力が明らかになった。Pathwaysは1つの機械学習モデルが最大数百万種類のタスクに対応できるという「万能」もしくは「汎用」のAIだ。従来のAIが1モデル1タスクの専用品であるにもかかわらず、タスクを処理する性能は汎用であるPathwaysが上回った。驚くべき威力だ。 グーグルは2022年4月4日（米国時間）、自然言語処理に関する複数種類のタスクを処理できる「Pathways Language Model（PaLM）」を発表した。自然言語による質問応答や文章生成などができる言語モデルと呼ばれるAIをPathwaysによって実装した。言語モデルは近年、BERTやGPT-3などがめざましい成果をあげたことで注目されている。 1モデル1タスクの専用品である従来の言語モデルで別のタスクを処理させ
実践 自然言語処理
自然言語処理（Natural Language Processing：NLP）の本格的な実践書。過去10年間で起きたブレークスルーにより、NLPは小売、医療、金融、法律など、さまざまな分野での利用が増えてきました。急速に利用が拡大する中で、産業界でNLPを使ったシステムを構築するのに必要な知識を学べる講座や書籍は不足していました。本書を読むことで、NLPの要素技術やSNS、Eコマース、医療、金融といった具体的なビジネスへの適用方法に加えて、NLPシステムを開発するためのベストプラクティスを詳しく学べます。 賞賛の声 序文 訳者まえがき まえがき 第I部 基礎 1章 自然言語処理入門 1.1 実世界での自然言語処理 1.1.1 NLPのタスク 1.2 言語とは何か 1.2.1 言語の構成要素 1.2.2 自然言語処理の難しさ 1.3 機械学習、ディープラーニング、そして自然言語処理の概要 1
英語ネイティブとの発音の違いを深層学習で可視化 ソニーCSLが開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ソニーコンピュータサイエンス研究所（ソニーCSL）京都研究室の研究チームが開発した「A Language Acquisition Support System that Presents Differences and Distances from Model Speech」は、非母国語の学習において、学習者の発話とネイティブスピーカーの発話の差異を深層学習を用い分析し、視覚的に提示するシステムだ。学習者はこの差異を埋めようと繰り返し発話することで、ネイティブに近い発話を習得できるようになると期待できる。 （a）練習したい英語の文章と、ネイティブスピーカーの音声が与えられる。（b）学習者の
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
なぜわざわざ学習コストを払ってまでRustを採用するのか？ Webエンジニア目線でRustを考察
なぜわざわざ学習コストを払ってまでRustを採用するのか？ Webエンジニア目線でRustを考察：WebエンジニアからみたRust（1） Web開発者としての興味、関心に基づきRustを端的に紹介し、その強みや弱みについて理解を深める本連載。第1回では、Rustを採用するモチベーションとは何かを整理、考察します。 Rustへの関心の高まり 近年、プログラミング言語「Rust」に関する重要なニュースを多く見るようになりました。例えば以下のような記事です。 Androidの開発へ「Rust」を導入、なぜなのか Microsoft、「Rust for Windows v0.9」を公開 実装言語を「Go」から「Rust」に変更、ゲーマー向けチャットアプリ「Discord」の課題とは これらの記事が指し示すことは、いわゆる「GAFAM」（Google、Amazon.com、Facebook、Appl
Rustによる機械学習概覧を技術書典11に寄稿するまでの軌跡 - Stimulator
- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。 執筆チームからの熱いコメントは以下。 販売ページは以下。 techbookfest.org 本ブログは、エムスリーテックブック3を企画して立ち上げてから、自分で同人誌を書くまでのお気持ちを綴った、所謂ポエムである。 - はじめに - - Rustによる機械学習への想い - - エムスリーテックブック3の立ち上げ - - おわりに - - Rustによる機械学習への想い - ポエムといえば自分語り、自分語りといえばポエム。まず思い出に浸ろう。 私が機械学習を初めて実装したのは高専の頃。あの時はC/C++とJava、C#なんかを使って、何とかアルゴリズムを理解して実験していた。VisualStudioの起動に悠
Python自然言語処理テクニック集【基礎編】
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
Python向け自然言語処理ライブラリ「spaCy 3.0.0」がリリース
「spaCy 3.0.0」では、新機能としてマルチタスク学習をサポートするトランスフォーマーベースのパイプラインや、18以上の言語用に再トレーニングされたモデルファミリーと5つのトランスフォーマーベースパイプラインを含む計58のトレーニング済みパイプラインが追加されている。 ほかにも、サポートされているすべての言語用に再トレーニングされたパイプラインとともに、マケドニア語とロシア語用の新しいコアパイプライン、新しいトレーニングワークフローと構成システム、PyTorch、TensorFlow、MXNetといった機械学習フレームワークを使用したカスタムモデル、前処理からモデル展開までのエンドツーエンドのマルチステップワークフローを管理するためのspaCyプロジェクトが実装された。 機能改善としては、データバージョン管理（DVC）、Streamlit、Weights＆Biases、Rayなどとの
GPT-2におけるテキスト生成
はじめにMachine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、OpenAIからGPT-3が発表され、生成系モデルが大きな注目を集めています。 そこで、本記事では、弊社で作成している生成系モデルの紹介をいたします。 自然言語処理におけるテキスト生成自然言語処理（NLP）は、人間の言語（自然言語）とコンピュータの相互理解、特に大量の自然言語データをコンピュータに処理および分析させるための研究分野です。 今回紹介するテキスト生成は、この自然言語処理の研究分野の一つです。 テキスト生成の応用例の一つは、スマートフォンのキーボードでの次の単語の予測です。このタスクはまさに言語モデルが行うことと同様です。言語モデルは、単語のリストを受け取り、次の単語を予測します。 図1の例では、言語モデルが「今日は」という単語を受け取り、次の単語で
Duolingo連続学習600日から学んだこと - Eat, Play, Nap and Code
はじめに こんにちは。 この記事はフィヨルドブートキャンプ Part 2 Advent Calendar 2020の16日目です。 きのうは卒業生のhirovodkaさんの記事でした。スクール選びから就職まで、ものすごく正直に書かれていて読み応えがあります！ hirovodka.hatenablog.jp わたしは10月からフィヨルドブートキャンプで勉強を始めた、とみやまと申します。 1993年3月生まれでRubyと同い年です。インターネット上ではeatplaynapもしくはeatplaynap329というアカウント名を使っています。 Duolingo連続学習日で記録達成したよ 先日12月13日、語学学習アプリDuolingoで、連続学習600日を迎えました。 (学習言語は英語→ドイツ語、英語→ノルウェー語です) 600日！ #Duolingo pic.twitter.com/QFszeJ
言語モデル：朝日新聞社メディア研究開発センター 人工知能研究の取り組み
概要 言語モデルとは、人間が話したり書いたりする「言葉」を、単語の出現確率でモデル化したものです。昨今ではニューラルネットワークによる言語モデル (ニューラル言語モデル) が広く使われています。言語モデルには、左から右に順々に単語を予測するCausal Language Model (CLM) と、文中の単語を一部隠して「穴埋めクイズ」を解くMasked Language Model (MLM) があります。大規模な言語データを用いて、CLMやMLMのような方式で学習することで、高品質な言語モデルの構築が可能になります。 最近では、MLMのBERTやCLMのGPT-3などがメディアに取り上げられることも多くなってきました。メディア研究開発センターでは、過去30年にわたって蓄積してきた記事データを用いて言語モデルの構築と、自動要約や文書分類などのタスクへの応用研究を行っています。 各言語モデ
自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 | BLOG - DeNA Engineering
はじめまして。9月初旬より約半月にわたり、AIエンジニアコースのインターンに参加させていただいた清水と申します。大学院は情報系の専攻で、最近は幾何学的な深層学習に関する研究に取り組んでいます。その過程で言語的なタスクを出口に用いることも多く、副次的に深層学習を利用した自然言語処理にも多少明るかったりします。 題目にあるTransformerとは、そうした分野にてここ数年にわかに注目を集めている仕組みの名です。自然言語処理の最先端研究ではまず流用されないことなどない、いわば伝家の宝刀レベルのモデルといってよいでしょう。 本記事ではこれを『逆転オセロニア』というゲームのデッキ編成に特化させ、現行手法よりも表現力に富んだ編成システムを実現した経緯についてお話しできればと思います。『日進月歩で強力になっていく機械学習手法の恩恵に与りたいけれど、所望の問題設定にドンピシャな手法なんてそうそうなくて思
Googleが開発した多言語の埋め込みモデル「LaBSE」を使って多言語のテキスト分類 - Ahogrammer
自然言語処理において、テキストをその意味を考慮しつつ固定長のベクトルに変換する埋め込みモデルは重要です。文の意味をよく表現したベクトルを作ることができれば、テキスト分類や情報検索、文類似度など、さまざまなタスクで役立ちます。本記事では、Googleが開発した多言語の埋め込みモデル「LaBSE」を使って、テキスト分類をする方法を紹介します。単なるテキスト分類では面白くないため、学習には英語のデータセットを使い、評価には日本語とフランス語のデータセットを使います。 記事では要点だけを紹介するので、コードについては以下のノートブックを参照してください。 Text Classification with LaBSE LaBSE LaBSEは、Googleが「Language-agnostic BERT Sentence Embedding」という論文で提案したモデルです。109の言語に対応しており
English Language Listening Lab Online
ELLLO has over 3,000 free listening lessons for all levels! Most lessons have audio or video, a transcript, vocab support and interactive quizzes.
AIが1000時間学習して執筆した『バットマン』脚本がヤバいので全訳してみました - フロントロウ ｜ グローカルなメディア
大人気ヒーロー、バットマン バットマンは、DCコミックスの人気キャラクター。これまで何度も実写映画化され、ベン・アフレックやクリスチャン・ベイル、ジョージ・クルーニー、マイケル・キートンなど、数々の大物俳優がその役を務めてきた。 ©︎WARNER BROS. 2021年には『トワイライト』シリーズのロバート・パティンソンをバットマン役として迎えた新作映画『ザ・バットマン』が公開予定。2020年8月23日に開催されるDCコミックス史上最大のバーチャルイベント、DCファンドームでその新情報が明かされる見込み。 表の顔は大富豪、裏の顔はゴッサムシティを守るヒーローとして多くのファンに愛され続けているバットマン。そんな彼の活躍をAIに学習させ、架空の新作映画の脚本を作ってみた男がいる。 バットマンの新作映画の脚本をAIに⁉︎ アメリカのコメディアン、キートン・パティは、これまでに公開された約100
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch の基礎 - Training
ログラスのサーバーサイド技術スタック
Node.jsやGo言語でアプリケーションサーバー必要でないのはなぜでしょうか？
日本語プログラミング言語「なでしこ」を手軽に学べる「学習用なでしこパッド」／WebブラウザーさえあればOK。お手本やエラー通知など、教育向けの工夫を施す
