SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
【7日目】TED: A Pretrained Unsupervised Summarization Model with Theme Modeling and Denoising - やむやむもやむなし
この記事はNLP/CV論文紹介 Advent Calendar 2020の7日目の記事です。 今日はTransformerモデルの事前学習などを駆使して教師なし抽象型要約を行う手法です。 0. 論文 [2001.00725] TED: A Pretrained Unsupervised Summarization Model with Theme Modeling and Denoising Ziyi Yang, Chenguang Zhu, Robert Gmyr, Michael Zeng, Xuedong Huang, Eric Darve 1. どんなもの？ Transformerモデルでの事前学習やTheme modeling/denoising AEなどを使った学習する教師なし抽象型要約モデル 2. 先行研究と比べてどこがすごい？ CNN/DMやNYTといった大規模要約タスクの
ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo
学習済みELMoをAllenNLPで読み込む -りたーんず！- - やむやむもやむなし
この記事は自然言語処理アドベントカレンダー 2019の15日目です。 きっかけ AllenNLPとELMoForManyLangs ELMoの変換 1.Char Embedding 2.Char Convolution 3.Highway Net 4.Projection 5.Bi-LSTM config.json AllenNLPでELMoを使った学習 まとめ 謝辞 参考文献 きっかけ [1] [2] [3] [4] ストックマークさんが本気を出したんだ。 俺も覚悟を決めなくてはならない。 ということで、ストックマークさんがあらためて出してくれた学習済み日本語ELMoを使って、こちらの記事ではできなかった学習済みELMoをAllenNLPで読み込むことを今度こそ成し遂げます。 後述するELMoForManyLangs -> AllenNLPのスクリプトはGithubで公開しています。 g
NLP前処理ツール「chariot」とPyTorchで日本語テキスト分類 - やむやむもやむなし
chakki-worksが発表した自然言語処理の前処理ツール「chariot」をさっそく動かしてみました。 公式サンプルは英語でのコードだったので、せっかくなので日本語のデータを使ってPyTorchの日本語分類モデルの学習を行ってみました。 chariotのgithubはこちら github.com 実験で使用したコードはGithubにもあげています。 github.com chariotとは chariotは自然言語処理の前処理のパイプラインを構築するためのツールです。 前処理を実行するPreprocessorに前処理をstackしていくことで、パイプラインを構築していきます。 公式の紹介記事では以下をポイントにあげています。 chariotでは、以下3点をできるようにしました。 - 前処理を宣言的に定義できる - 前処理が簡単に保存できる(パラメーターごと) - モデルの学習にたどり着
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
