こんにちは． DSOC 研究開発部の黒木裕鷹です． なんとハーフマラソンにエントリーしてしまいました．思いつきって怖いですね． やるからには良いタイムで走りたいと思い，2時間切りを目標に練習しています． とはいえインターネットの記事や Youtube でしか情報収集していないため，良いトレーニングができていないかもしれません． どなたか知見をお持ちの方がいらっしゃったら是非ご教授ください． 先日，LINE株式会社主催の2つの論文読み会で発表する機会をいただきました． 私が紹介した2本の論文はどちらもグラフデータの機械学習に関するもので，せっかくなので今回の記事ではその報告をしたいと思います． 勉強会の概要・感想 紹介した論文 Deep-walking backwards from embeddings back to graphs Attentive heterogeneous graph

こんにちは。LegalForce Research でエンジニアをしている赤部 (@vbkaisetsu) です。 今回は、弊チームが開発した新しい高速な単語分割器 Vaporetto（ヴァポレット）の技術解説を行います。Vaporetto はプログラミング言語 Rust で開発されています。想定する読者は、 自然言語処理のアルゴリズムに興味がある人 Rust によるプログラミングに興味がある人 です。 単語分割器 Vaporetto はオープンソースソフトウェアであり、ソースコードは以下のリポジトリで公開しています。 https://github.com/legalforce-research/vaporetto Vaporetto という名前は、イタリアのヴェネツィアで運行されている水上バスから取りました。 ヴェネツィアの様子。写真右端の黄色いラインの入った建物がヴァポレットの乗り場。

rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています

The selection of areas and methods is heavily influenced by my own interests; the selected topics are biased towards representation and transfer learning and towards natural language processing (NLP). I tried to cover the papers that I was aware of but likely missed many relevant ones—feel free to highlight them in the comments below. In all, I discuss the following highlights: Scaling up—and down

[2023/11/18] Knowledge-Augmented Language Model Verification @LLM x 検索論文読み会

APIの連携によって事業者は、AIの開発に必要な学習データや計算コストなどの初期投資をかけずに、自社サービスへのコメントの健全化に役立てることができるという。 今後もヤフーは誹謗中傷など悪質コメントに対する取り組みを進め、インターネット空間の健全化を目指すとしている。 関連記事 ヤフー、“ヤフコメ”のパトロールAIを外部提供へ　1日に2万件の誹謗中傷を削除可能 ヤフーが、「Yahoo!ニュース」コメント欄の健全化のため使用しているAIを、外部の事業者にも提供すると発表した。1日に平均約2万件の悪質な投稿を削除できる自然言語処理モデルを横展開し、投稿型サービスの健全化を図る。6月中をめどに、悪質なコメントへの対策強化に向けた検討会も開催する。 “繋がりすぎる”ネット時代の誹謗中傷問題、解決策はあるのか リアリティーショー番組でのSNS中傷を発端として、インターネット上の悪質な投稿に関する議論

製薬会社のビジネスは、薬を薬局、病院、一般消費者に販売して終わり、というわけにはいかない。薬の効能や用法・用量などの正しい情報を、一般消費者はもちろんのこと、医療関係者に伝えることが企業としての大切な使命でもある。薬に関する情報は、場合によっては生命にかかわるだけに、医療現場での誤用などを生まないよう、科学的な知見に基づいた正確な情報を発信し続けることが求められるのだ。だが、重要な業務であるがゆえに、担当者の仕事の中で大きなウエイトを占めてしまい、負担増につながってしまうケースもある。 そうした中、中外製薬（東京都中央区）は医薬品情報を正確かつ迅速に届けるべく、医療関係者向けの製品情報問い合わせチャットボット「MI chat」（エムアイチャット）の運用を2019年1月から始めた。 MI chatは、日本マイクロソフトのクラウドサービス「Microsoft Azure」に含まれるAIチャット

言語処理100本ノック 2020 (Rev 2) 言語処理100本ノックは，実用的でワクワクするような課題に取り組みながら，プログラミング，データ分析，研究のスキルを楽しく習得することを目指した問題集です． 詳細 ツイート

KerasのModelクラスを使用した際のロスの計算は、Paddingで追加した余計な値を勾配の計算から除外する処理は自動でやってくれるのですが、 historyに記録されるlossの平均値を求める際に、maskを部分的にしか考慮しておらず、padding数が多くなればなるほど、実際のロスより小さくなってしまうという現象が発生します。 この記事は、KerasのModelクラスでLossを利用する、 特にEmbedding層で、mask_zeroをTrueにした場合に、Paddingで追加した余計な値を、勾配の計算に使用しない、ロスの計算から完全に除外する方法についてのメモです。 検証用のコードはこちらです。 マスクを使用したロスの計算は、TensorFlowのチュートリアルを参考にしています。 目次 KerasのLossの種類と種類毎の処理の違い tf.keras.losses.Lossの

【CNS】人工知能（AI）が新型コロナウイルスによる肺炎との闘いで「新兵器」になりつつある。阿里巴巴（アリババ、Alibaba）は15日、アリババ系研究機関の「達摩院（DAMO）」が、クラウドサービスを主業務とする阿里雲（Alibaba Cloud）と共同で、新型肺炎に関する新しいAI診断技術を開発したことを明らかにした。 【写真】CT画像を分析する医療関係者 このAIは、新型肺炎の疑いがある患者のCT画像を20秒以内に判読できる。分析結果の正確度は96％に達し、診断効率を大幅に引き上げることが可能だ。16日より運営を開始した河南省（Henan）鄭州市（Zhengzhou）の「小湯山（Xiaotangshan）医院」では、このアルゴリズム補助による臨床診断を導入済みという。 新型肺炎の流行初期では、確定診断のサンプル数が少なく、医療機関では高水準の臨床診断データが不足していたため、核酸検査

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

6. 言語モデルは何に使うの？ • 例：基本タスク – 機械翻訳 • 翻訳した日本語は日本語らしいか。 – かな漢字変換 • 変換候補はよく使われる漢字（+送り仮名等）か。 • 例：変化球系タスク – 翻字（マイケル=Michael)検出（Li+ ACL 2004） – Twitter上のTopic tracking(Lin+ KDD 2011) – ユーザのオンラインコミュニティの退会予測 （Danescu-Niculescu-Mizil+ WWW 2013）

この記事は、自然言語処理 #2 Advent Calendar 2019の24日目の記事です。 Open-Domain Dialogueや非タスク指向対話、雑談対話と呼ばれる領域において、発話データのみを使用したEnd2Endな対話応答生成を試みる歴史はそこまで古くなく、[Ritter et al+ 11]や[Jafarpour+ 10]がまず名前をあげられるように、比較的最近始まった研究テーマとなります。 これらは、Twitterなどの登場により、ユーザー間で行われる、ほとんどドメインを限定しない、もしくは多様なドメインにまたがる、大量の対話データを、容易に収集できるようになったことにより、活発に研究されるようになってきました。 初期の研究である[Ritter+ 11]や[Jafarpour+ 10]では、統計的機械翻訳ベースや情報検索ベースの手法でEnd2Endな対話システムを構成して

この記事は、Qiita 自然言語処理アドベントカレンダーの2日目です。 1日目は jojonki さんによるゼロから作った形態素解析器Taiyakiで学ぶ形態素解析でした。 この記事では、End2Endな対話システムの評価指標、特に応答文生成の自動評価指標に注目して、どのような指標があるのか、どのような点が問題と考えられているのかに注目して、現在の動向やどのような課題があると考えられているかについて記載しています。 自然言語処理分野、特にその応用分野へのDeep Learningへの適用は、特にSeq2SeqとAttention機構によって進んできたと言っても過言ではありません、 対話システムでも、機械翻訳や文書要約といったその他の自然言語処理の応用分野と同じく、End2Endなモデルで対話システムを構築しようという試みが多く行われています。 Deep Learning応用の比較的初期の頃

日本電信電話株式会社（代表取締役社長：澤田 純、以下、NTT）は、NTTグループのAI関連技術corevo®（*1）の研究開発、および大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（所長：喜連川優、以下、NII）の人工知能プロジェクト「ロボットは東大に入れるか」（*2）（以下、東ロボ）の一環として、大学入試センター試験（以下、センター試験）の英語筆記科目に挑戦した結果、2019年センター試験の英語筆記本試験において、185点（偏差値64.1）の極めて高い成績を達成しました。NTTがこれまで継続的に取り組んできた、センター試験の英語科目の自動解答技術や、深層学習を用いた自然言語処理に関する知見を適用することで、最新の深層学習による機械読解技術を単純に適用した場合の成績に対し、30点以上（偏差値約7相当）の改善を実現しました。 研究の背景・意義 NTTのコミュニケーション科学基

本記事は、「Neural Approaches to Conversational AI*1」を元に、ニューラルネットワークを使用した対話システムについて解説する記事の二回目です。 前回の記事では、対話システムの概要とKnowledge Base質問応答システムについて説明しました。 ksksksks2.hatenadiary.jp 今回は、二つ目の質問応答システムである、機械読解質問応答システムについて説明します。 機械読解を利用した質問応答システムは、Watsonに代表されるような、大量の文書をもとにユーザーの質問に対して応答を返すシステムのことを指します。 まず、機械読解とは何か、それをどのようにニューラルネットにより実現するかについて説明します。 続いて、機械読解を組み込んだ質問応答システムをどのように実現するかについて、システムの例も見ながら説明していきます。 目次 機械読解をニ

対話システムは、QAチャットや音声アシスタントなど、様々なところで使用されており、 また、GoogleのDialogflowを始め多くの独自対話システムを構築できるプラットフォームが数年前から続々と登場してきています。 しかし、これらの公開されているシステムは、たくさんある対話システム構成の中でもタスク指向型（特にスロットフィリング型）の設計にのっとっているものが多いのが現状で、作りたいシステムをそのまま構成することが難しいケースが存在します。 この記事シリーズは、ニューラルネットワークを使用している対話システムについて、どのようなシステム設計がありうるのか、どのように機械学習でそのシステムを実現しようとしているのかを、「Neural Approaches to Conversational AI*1」を元に、元資料の引用だけでなく、中で説明されている論文についても、可能な限り概観できるよ