日本語話し言葉BERTを作成、公開します！ - Retrieva TECH BLOG
こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、国立国語研究所様との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。 概要 BERTの簡単な説明 話し言葉BERT作成方法 書き言葉BERTの文法を表現する部分のみをCSJで追加学習 書き言葉BERTに対して、話し言葉データを用いた分野適応 実験 文法を表現する部分のみを追加学習することの有効性の確認 話し言葉データを用いた分野適応を行うことの有効性の確認 日本語話し言葉BERTの公開 ご利用方法 まとめ 概要 近年、自然言語処理の分野ではBERT（Bidirectional Encoder Representations from Transformers）と呼ばれるモ
トピックモデルシリーズ 7 DTM （Dynamic Topic Model） の一種 - StatModeling Memorandum
最後はおまけでLDAに時系列を組み合わせた実装を試してみたので紹介します。 今まで「文書」と呼んできたものを「ユーザー」、「単語」と呼んできたものを「アクセスしたWebページ（≒アクション）」と考えます。ユーザーが1日目～31日目までV種類のWebページにアクセスしたデータがあるとします。そしてユーザーの興味のあるトピックの分布（トピック混合比）が時間によって変化すると考えます。ある人は興味が移りやすく、またある人は移りにくいでしょう。そんな状況をモデリングします。 この記事の表記は以下です。1人あたり1時刻あたり150アクションぐらいというデータです（記事の最後にデータを生成したRコードを載せてあります）。 グラフィカルモデルは以下になります。 トピックごとの単語分布に比べて個々人のトピック混合比の方が移り変わるスピードが速いと考えられますので、今回は単語分布はどのタイムポイントでも同じ
トピックモデルを用いてWeb小説のジャンル・流行を分析しよう - #kichi-memo
はじめに この記事は京大マイコンクラブ(KMC)の2012年度春合宿で発表したものを文章にまとめたものです．余談ですが，KMCはただいま絶賛新入部員募集中ですので，コンピュータ/プログラミング/DTM/イラスト制作に興味がある人は是非説明会でお越しください (宣伝)． トピックモデルを用いてWeb小説のジャンル・流行を分析しよう from Seiichi KONDO 概要 皆さんは「小説家になろう」という小説投稿サイトをご存知でしょうか？そこそこライトノベルを読まれる方なら，一度ぐらい名前を聞いたことがあるのではないかと思います．と言うのも2010年頃から，「小説家になろう」発祥の小説が様々なライトノベルレーベルから発売されるようになったからです．有名どころですと「ログ・ホライズン」や「魔法科高校の劣等生」が挙げられるでしょうか． こうなるとラノベ読みとしては注目せざるを得ません．というわ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NLP: Contextualized word embeddings from BERT
Deep Language Modeling for Question Answering using Keras | Code Kansas
COMS E6998-002: Probabilistic Modeling for Discrete Data
