【自然言語処理】単語埋め込みからSelf-Attention、2値分類まで。 - ころがる狸
こんにちは、Dajiroです。前回の技術記事を書いてからだいぶ日が空きました。本ブログでは機械学習に関する幅広い技術を解説しようと目論んでいるので、まだ扱ったことのない自然言語処理のネタををじっくりコトコト仕込んでいました。本記事では 単語埋め込み 語順の組み込み Self-Attention に焦点を当てながら、2値分類の一連のワークフローの解説と（若干の）実装をご紹介します！実装はこちらの書籍を参考にしました。2値分類を行うためのTransformerのエンコーダ部分が紹介されています。 つくりながら学ぶ！PyTorchによる発展ディープラーニング 作者:小川 雄太郎発売日: 2019/07/29メディア: Kindle版 Transformerとは？ 仕組みの概要 全体の流れ 1. 文章のベクトル化 2. 語順情報を追加 3.アテンションの計算 二値分類と結果の解釈 所感 Trans
JupyterLabのおすすめ拡張機能9選 - Qiita
はじめに Jupyter notebookの進化形、Jupyter Lab。見た目が綺麗で使いやすいです。 今回は2021年6月現在で使用できる便利な拡張機能をご紹介します。 各拡張のインストール方法については、それぞれの拡張機能名のリンクからgithubに飛び、公式が案内している方法に従ってください。お使いのjupyterlabのバージョンによって必要な手順が変わる拡張もあります。 (余談:実際にこれらの拡張機能を使ってみて、個人的に特に便利だと思ったのは ・3.コード自動整形 ・4.Vim風キーバインド ・5.TensorBoard管理 の3つでした。時間がなければこの3つだけでも十分かも知れません。) ※JupyterLab,Node.jsが既にインストールされていることが前提です。 ※拡張機能によっては最新版のjupyterlabに対応していないものもあり、きちんと動作するかは自環
いますぐ使える単語埋め込みベクトルのリスト - Qiita
はじめに 単語埋め込みとは、単語を低次元(と言っても200次元程度はある)の実数ベクトルで表現する技術のことです。近い意味の単語を近いベクトルに対応させることができるとともに、ベクトルの足し引きで意味のある結果(例えば king - man + women = queen)が得られるのが特徴です。 単語埋め込みベクトルは品詞タグ付け、情報検索、質問応答などの様々な自然言語処理アプリケーションに使われる重要な技術です。とはいえ、実際に用意するのはなかなか骨の折れる作業です。大規模なデータをダウンロードし、前処理をかけ、長い時間をかけて学習させ、結果を見てパラメータチューニングを行う・・・。 そのため、単に使いたいだけなら学習済みのベクトルを使うのが楽です。というわけで、そんな単語埋め込みベクトルの中から今すぐ使えるものをピックアップしてみました。 埋め込みベクトルの情報は以下のリポジトリにま
日本語 Wikipedia エンティティベクトル
お知らせ (2018/09/24) 最新版の訓練済みベクトルと訓練用のスクリプトは GitHub で公開しています。 概要 「日本語 Wikipedia エンティティベクトル」は、日本語版 Wikipedia の本文全文から学習した、単語、および Wikipedia で記事となっているエンティティの分散表現ベクトルです。Wikipedia の記事本文の抽出には WikiExtractor を、単語分割には MeCab を、単語ベクトルの学習には word2vec をそれぞれ用いています。 ダウンロード 20170201.tar.bz2 (2017年2月1日版, 1.3GB, 解凍後 2.6GB) 20161101.tar.bz2 (2016年11月1日版, 1.3GB, 解凍後 2.6GB) バイナリファイル (entity_vector.model.bin) とテキストファイル (ent
A visual debugger for Jupyter
Most of the progress made in software projects comes from incrementalism. The ability to quickly see the outcome of an execution and iterate has been one of the main reasons for the success of Jupyter, especially in scientific exploratory workflows. Jupyter users like to experiment in the notebook, and to use the notebook as an interactive communication tool. However, for more classical software d
Jupyter Lab visual debugger （ビジュアルデバッガ）の始め方｜Shin Saito
はじめに自分のようなプログラミング初心者にとって，記述したコードがどんな役割を果たすのかを理解するって大変なんです．しかしデバッグして変数の中身を確認できるようになると理解がしやすいですね．あー，こんな処理してるんだってのがわかり易いです． pythonで機械学習や深層学習をやっていくとJupyter Labは必ず使用すると思います．pdbモジュールを使用してもデバッグできますが，慣れればいんですが最初は取っ付きにくかったです． そこでいろいろ調べていると，最近visual debuggerなるものがリリースされたようなので使ってみました． 詳細は以下Jupyterのブログにお譲りするとして https://blog.jupyter.org/a-visual-debugger-for-jupyter-914e61716559 とりあえず使ってみることにします． 必要なモジュール，エクステン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
