著者のVered Shwartz氏は、AI研究で有名なアレン研究所で自然言語処理を研究しています（同氏のプロフィールの詳細はこちら）。同氏がMediumに投稿した記事『ACL 2020のハイライト』では、国際的な自然言語処理学会であるACL（Association for Computational Linguistics：計算言語学協会）の2020年次大会で発表された注目すべき論文がまとめられています。 Shwartz氏は、ACL 2020で発表された注目すべき論文を6つの大項目に分けて36本紹介しています（大項目と紹介論文の詳細は以下の記事本文を参照）。こうした紹介論文のトレンドとして特筆すべきなのが、「巨大データセットからの脱却」「リーダーズボードの弊害」「倫理的な言語AIをめぐる議論」でしょう。トレンドを代表する論文を紹介したうえで、自然言語処理は近年目覚ましい進歩を遂げたにもかか

「GPT-3は我々の『書く』ということを変える力を秘めている」と考えた大学生が、実証用にGPT-3に記事を作らせたブログを開設したところ、2週間で2万6000人が訪れ、ソーシャルニュースサイト・Hacker Newsで一時的に1位になったそうです。これだけ多数の目に触れてなお、「GPT-3によるものではないか」と疑いをかけた人はわずかだったとのこと。 My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks - Excavations https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors 2020年7月に技術者のマヌエル・アラオス氏が、GPT-3に関するブログ記事を公開して大きな話題となりました。 「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブロ

2023/03/20 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル（バージョン2）と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021/12/14 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版（バージョン2）のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー

※ ハンズオンの進行状況によって多少前後する可能性があります 運営メンバーからのお願い ・セッション内容のSNS拡散はWelcomeです。但しNGの箇所については発表者に従ってください。 ・JAWS-UGイベントへの参加者は必ず以下のルール、マナーをご確認ください。 JAWS-UGに参加するルールとマナー 登壇者(50音順) 亀田治伸 (アマゾン ウェブ サービス ジャパン Sr. Developer Advocate) シカゴ出身。 認証系独立ASP→動画・音楽配信システム構築→決済代行事業者を経て現職。 JAWS-UG 千葉支部とは JAWS-UG 千葉支部は、千葉在住、千葉にゆかりにある方、千葉が好きという方のためのAWSユーザグループです。 千葉というロケーションは比較的東京にアクセスが近い影響で、千葉県内で開催される勉強会は多くありません。しかしながら、北東部、房総など東京へのア

自然言語処理等のフィルタリングのために、日本語エロ単語(不適切な単語)を軽く集めました。(200単語くらい)自然言語処理NLP 概要 (2020/08/18 22:53 追記.まだ少しですがSexualだけじゃなく、差別的/攻撃的表現も集め始めました) SNSしかり何でも良いのですが、Wikipediaとかニュースみたいな書き言葉ではなく、話し言葉ベースのデータベースを扱う場合、不適切な単語が混ざってくる可能性が非常に高くなります。 これらの単語が出力結果に混ざってしまったりすると、ちょっと発表しにくい…みたいなことは多々あると思います。 わたしもそうなったのですが、意外とこの手の不適切表現辞書みたいなのが見つからなかったので、軽く集めてみました。 現在は所謂エロ系の単語しかありませんが、MeCabなり何なりで分かち書きして、これらの単語が入ってるか入ってないか判定するだけでもかなりマシに