ヤフーにおける自然言語処理モデルBERTの利用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所で自然言語処理の研究開発をしている柴田です。 私は自然言語処理の研究と、最新の自然言語処理技術を社内のサービスに適用できるようにする開発の両方を行っています。今日は後者の話をします。 この記事ではBERTというモデルに焦点をあて、BERTの概要と、社内でのBERTの利用、最後に具体例として検索クエリのカテゴリ分類について紹介します。 ※この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 1. BERTとは 2018年にGoogleからBERT (Bidirectional Encoder Representations
形態素解析を行うだけのバッチをつくる - クックパッド開発者ブログ
研究開発部の原島です。今日は表題の渋いバッチをつくった話をします。 あっちでも形態素解析、こっちでも形態素解析 みなさん、形態素解析してますか？してますよね？クックパッドでもさまざまなプロジェクトで形態素解析をしています。 いや、むしろ、しすぎです。プロジェクト A でレシピを解析し、プロジェクト B でもレシピを解析し、プロジェクト C でもレシピを解析し、... といった具合です。ちなみに、形態素解析（の結果）が必要なプロジェクトとしてはレシピの分類やレコメンド、各種分散表現（e.g., word2vec）や BERT の学習などがあります。 もちろん、最終的に得たい解析結果が違うのであれば問題ありません。しかし、私が見たかぎり、ほとんどの場合は同じ（もしくは、同じにできそう）でした。であれば、 解析器をインストール（→ Dockerfile を試行錯誤） 解析対象を取得（→ SQL
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI Shift
こんにちは AIチームの戸田です 近年、自然言語処理タスクにおいて、BERTを始めとするTransformerをベースとした事前学習モデルを感情分類や質問応答などの下流のタスクでfine-tuningする手法が一般的になっています huggingfaceのTransformersなど、事前学習モデルを簡単に使うことのできるライブラリもありますが、Kaggleなどのコンペティションで上位に入るには素のモデルのままでは難しく、ヘッダや損失関数などの工夫などが必要です 本記事では私がKaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningのTipsを共有させていただきます 書きたい内容が多くなってしまったので、今回は学習の効率化について、次回精度改善について、と２回に分けて書かせていただきます 事前準備 学習データとして、先日終了したKaggleのコンペティション、C
Information Extraction(NLP)の勉強
Information Extraction 文書から関連する情報を抜き出す方法。 人 組織 場所 イベント IEを難しくさせているのは抜き出す対象のデータがテキストであり、構造化されていないこと。 もちろん構造化されていないこと自体は他のNLPのタスクでも共通することだが、一定のパターンがあれば正規表現のパターンで情報を抜き出したりできるが、基本的に処理対象となるテキストデータはフリーフォーマットで決まった形式を持たずに記述されていることがほとんどで、そうした手法が使えない。 IEを使ったアプリケーション ニュース等のタグ付け チャットボット 適切な回答を返すためにはユーザからの質問にどのような情報が含まれているか理解する必要がある ソーシャルメディアを利用したアプリケーション 具体的な例としてTwitterから渋滞の情報に関するツイートを抜き出して表示するアプリケーションなど フォーム
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spaCyを使った先進的な自然言語処理 · 無料のオンラインコース
