最小記述長 - Wikipedia
最小記述長（さいしょうきじゅつちょう、英: minimum description length, MDL）は、情報理論に基づくモデル選択基準である。 モデル選択とは、データに照らして何らかの意味で最適なモデル族（確率分布の集合）を検討する過程を指す。 MDLは、1978年、Jorma Rissanen により導入された。MDLでは、データをモデルを用いて圧縮・送信する際の符号長の最小化を考える。これはノイズを含むデータから意味のある規則性を抽出することにあたる。 最小記述長原理に基づくモデル選択指標としてNormalized Maximum Likelihood (NML)と、その罰則項を漸近展開して得られるFisher Information Approximation (FIA)がある。 MDLは (AICと違い) 離散データを扱う情報理論に基盤を置いているので、連続値データに対し使
日本語話し言葉BERTを作成、公開します！ - Retrieva TECH BLOG
こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、国立国語研究所様との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。 概要 BERTの簡単な説明 話し言葉BERT作成方法 書き言葉BERTの文法を表現する部分のみをCSJで追加学習 書き言葉BERTに対して、話し言葉データを用いた分野適応 実験 文法を表現する部分のみを追加学習することの有効性の確認 話し言葉データを用いた分野適応を行うことの有効性の確認 日本語話し言葉BERTの公開 ご利用方法 まとめ 概要 近年、自然言語処理の分野ではBERT（Bidirectional Encoder Representations from Transformers）と呼ばれるモ
GitHub - EleutherAI/gpt-neo: An implementation of model parallel GPT-2 and GPT-3-style models using the mesh-tensorflow library.
*As of August, 2021 code is no longer maintained. It is preserved here in archival form for people who wish to continue to use it. 🎉 1T or bust my dudes 🎉 An implementation of model & data parallel GPT3-like models using the mesh-tensorflow library. If you're just here to play with our pre-trained models, we strongly recommend you try out the HuggingFace Transformer integration. Training and inf
AICとBIC？情報量基準とは？ – MIIDAS Science Blog
こんにちは。 前回、モデルを選択する基準のところで情報量基準という言葉をちょこっと出して、そのままスルーしました。しかし、データ分析においては重要なのでとりあえずその基礎くらいは知っておきましょう。ちなみにコードを書く際にパラメータ選択させられることもあります。 ではそもそも情報量基準とはなんなのか？ 機械学習におけるとりあえずの目標は学習です。言い換えれば目的関数のerrorを最小化することです。線形回帰などは最適解があり、数式を解けるので最適なパラメータが得られるのですが、前回も言ったようにskip functionのないニューラルネットワークを始め多くのモデルは最適解を得ることが容易ではないです。そこでランダムな値からパラメータを変動させていくのでした。この際、errorが減少するようにパラメータを更新する、つまり、勾配の逆方向に動かすのでした。 では、ここで出る問題は errorが
トピックモデルシリーズ 7 DTM （Dynamic Topic Model） の一種 - StatModeling Memorandum
最後はおまけでLDAに時系列を組み合わせた実装を試してみたので紹介します。 今まで「文書」と呼んできたものを「ユーザー」、「単語」と呼んできたものを「アクセスしたWebページ（≒アクション）」と考えます。ユーザーが1日目～31日目までV種類のWebページにアクセスしたデータがあるとします。そしてユーザーの興味のあるトピックの分布（トピック混合比）が時間によって変化すると考えます。ある人は興味が移りやすく、またある人は移りにくいでしょう。そんな状況をモデリングします。 この記事の表記は以下です。1人あたり1時刻あたり150アクションぐらいというデータです（記事の最後にデータを生成したRコードを載せてあります）。 グラフィカルモデルは以下になります。 トピックごとの単語分布に比べて個々人のトピック混合比の方が移り変わるスピードが速いと考えられますので、今回は単語分布はどのタイムポイントでも同じ
トピックモデルを用いてWeb小説のジャンル・流行を分析しよう - #kichi-memo
はじめに この記事は京大マイコンクラブ(KMC)の2012年度春合宿で発表したものを文章にまとめたものです．余談ですが，KMCはただいま絶賛新入部員募集中ですので，コンピュータ/プログラミング/DTM/イラスト制作に興味がある人は是非説明会でお越しください (宣伝)． トピックモデルを用いてWeb小説のジャンル・流行を分析しよう from Seiichi KONDO 概要 皆さんは「小説家になろう」という小説投稿サイトをご存知でしょうか？そこそこライトノベルを読まれる方なら，一度ぐらい名前を聞いたことがあるのではないかと思います．と言うのも2010年頃から，「小説家になろう」発祥の小説が様々なライトノベルレーベルから発売されるようになったからです．有名どころですと「ログ・ホライズン」や「魔法科高校の劣等生」が挙げられるでしょうか． こうなるとラノベ読みとしては注目せざるを得ません．というわ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Real-life examples of Markov Decision Processes
What is the difference between transfer learning and fine tuning?
NLP: Contextualized word embeddings from BERT
Deep Language Modeling for Question Answering using Keras | Code Kansas
COMS E6998-002: Probabilistic Modeling for Discrete Data