Pytorch：CNNで文字表現の抽出 - 機械学習・自然言語処理の勉強メモ
NLPにCNNを利用したモデルはすっかり当たり前になりました。 少し前に「CNNでテキスト分類」という記事を書きましたが、 その時はPytorchでCNNを扱うための基本的なコードだけに留まっていました。 kento1109.hatenablog.com 今回はNERなどで用いられる文字情報をCNNで表現する際のコーディングについて書こうと思います。 以下は単語を文字単位に分割してその分散表現を獲得する場合のイメージです。 End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRFより引用 今回はこれをPytorchで書いてみたいと思います。 Char Embedding 簡単のため、文字列は既にpadding済であることを前提とします。 vocab_size = 100 char_emb_size = 30 char_emb
艦これのセリフ分類をCNNでやる - にほんごのれんしゅう
（2017/2/24追記. いろいろ試したんですが、objective functionをcategorial cross entropyからpoissonに変更し, softmaxの出力をlogを取ることで、急峻なスパイクを抑えることができある程度改善しました ） 艦これのセリフ分類をCNNでやる 幾つかの基礎と、業務で使用できるかどうかの調査した結果、CNNでのテキスト分類が最近評判が良いことがわかった。 RNNが負けると言われていた分野は分類とか識別の部分で、テキストの生成や連続系ではまだ、RNNが有利であると思う。 ディープラーニング以前のアルゴリズムは変数の重要度に対しての解釈をする方法が、ある程度ノウハウが蓄積されており、変数の係数や、決定時の出現する変数の頻度でそれっぽく解釈はできたが、ディープラーニングは中身がうかがい知れない事が多い。しかし、性能は高いとされている[1]
TextCNN の pytorch 実装 (IMDb 感情分析) - 木曜不足
いきなりタイトルと話が違うが、DistilBERT で Sentiment Analysis を実装してみた。 transformersのBERTでfine-tuningして、IMDB映画レビューを評判分析するコードを動かしてみた。https://t.co/6V3OF0YQgb 基本はHuggingFaceの公式ドキュメントからリンクされているサンプルの通りだけど、evaluate_during_trainingなんて無いって怒られるのを直し、(続く)— shuyo (@shuyo) 2021年3月16日 これは accuracy=0.9344, f1 score=0.9347 くらいの性能を叩き出す（初期値などの具合で実行するたびに変わる。気になる人はシード指定して）。 きっとすごいんだけど、 これだけ見てるとどのくらいすごいかわからない。 そこでロジスティック回帰・ランダムフォレスト・
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
