はてなブックマーク

こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ

この記事はNLP/CV論文紹介 Advent Calendar 2020の9日目の記事です。 今日はFacebookが運用しているEmbeddingを活用した検索基盤に関する論文です。 0. 論文 [2006.11632] Embedding-based Retrieval in Facebook Search Jui-Ting Huang, Ashish Sharma, Shuying Sun, Li Xia, David Zhang, Philip Pronin, Janani Padmanabhan, Giuseppe Ottaviano, Linjun Yang 1. どんなもの？ Facenbookのembeddingを活用した検索基盤。QueryやDocumentのembeddingの作り方やboolean検索とembedding検索を組み合わせた検索などを紹介している。 2.

機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo

機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip

tl;dr docker-composeを叩くだけでさくっと認証付きのMLflowサーバーを立てられるようにしました こちらからどうぞ: ymym3412/mlflow-docker-compose みなさん機械学習の実験をしていますか？ 学習に使ったハイパーパラメーターやデータ、Train/Valデータのロス、、Testデータでの各種評価指標、これらを人手で管理しておくのは非常に大変です。 モデルの開発や比較実験に集中していると「あれ、この最高精度のモデルはどんな条件で実験したものだっけ...」となることもあり、再現性が失われてしまうことにもつながります。 この機械学習にまつわる課題を解決するひとつの枠組みが実験管理と呼ばれるもので、学習時に使用したハイパーパラメーターやTrain Loss、Test データでの評価結果などを記録して管理しておくものです。 代表的なものでいうとMLflo

この記事は自然言語処理アドベントカレンダー 2019の15日目です。 きっかけ AllenNLPとELMoForManyLangs ELMoの変換 1.Char Embedding 2.Char Convolution 3.Highway Net 4.Projection 5.Bi-LSTM config.json AllenNLPでELMoを使った学習 まとめ 謝辞 参考文献 きっかけ [1] [2] [3] [4] ストックマークさんが本気を出したんだ。 俺も覚悟を決めなくてはならない。 ということで、ストックマークさんがあらためて出してくれた学習済み日本語ELMoを使って、こちらの記事ではできなかった学習済みELMoをAllenNLPで読み込むことを今度こそ成し遂げます。 後述するELMoForManyLangs -> AllenNLPのスクリプトはGithubで公開しています。 g

機械学習モデルの解釈性は業務で使う上ではなぜそのような予測を行ったかの判断根拠の可視化として、また学習させたモデルをデバックする際にどんな入力に反応して誤予測を引き起こしてしまったか分析する上で非常に重要な要素です。 画像分野ではGrad-CAMと呼ばれる勾配を使った予測根拠の可視化手法が提案されており、今回はその手法を使ってNLP向けのCNNモデルの判断根拠を可視化していきます。 実験で使用したノートブックはGithub上で公開しています。 github.com 機械学習モデルの解釈性 機械学習モデルに対する解釈性は近年では特に重要なトピックです。例えば 業務の自動化を機械学習で行う場合に説明責任が生じる DNNのデバッグをして性能改善を行いたい といったときに機械学習モデルの解釈性は必要になります。 機械学習モデルの解釈性についてはステアラボ人工知能セミナーでの原聡先生の資料がとても分

「ACL2018を地球で一番読んだ人間」の実績を解除しました。プラチナトロフィーです。 随分時間がかかってしまいましたがNLPの国際学会「ACL2018」の全論文427本(Short/Long/Student Research Workshop/System Demonstrations)を読んで日本語でまとめました。 (2019ではなく2018です) github.com ACL全まとめを始めたきっかけ もともとACLの論文まとめを始めたのはACL2017の頃からでした。 会社に入ってから自然言語処理を勉強し始めたので、もっと広くNLPのことを理解したいなーと思っていた時期。 自然言語処理のトップカンファレンスなら、幅広い分野の最先端を知ることができるだろうと考えたのがまとめを始めたきっかけでした。 あと、英語論文を読んだ経験も圧倒的に乏しかったので英語の勉強も兼ねてという側面もあります

chakki-worksが発表した自然言語処理の前処理ツール「chariot」をさっそく動かしてみました。 公式サンプルは英語でのコードだったので、せっかくなので日本語のデータを使ってPyTorchの日本語分類モデルの学習を行ってみました。 chariotのgithubはこちら github.com 実験で使用したコードはGithubにもあげています。 github.com chariotとは chariotは自然言語処理の前処理のパイプラインを構築するためのツールです。 前処理を実行するPreprocessorに前処理をstackしていくことで、パイプラインを構築していきます。 公式の紹介記事では以下をポイントにあげています。 chariotでは、以下3点をできるようにしました。 - 前処理を宣言的に定義できる - 前処理が簡単に保存できる(パラメーターごと) - モデルの学習にたどり着