はてなブックマーク

こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇‍♂️）

こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動

こんにちは！たかぱい（@takapy0210）です。 本記事はKaggle Advent Calendar 2019の14日目の記事です。 昨日はkaggle masterのアライさんのKaggleコード遺産の記事でした！ とても参考になり、いくつか自分の遺産にも取り入れさせていただきました。 さて本日は、以前から何回かLTさせていただいていたオレオレパイプラインを公開しましたので、簡単にご紹介できればと思います。 はじめに パイプラインについて 実行方法 補足 config.yamlについて 15_show_all_features.pyについて 作成される画像ファイルについて 終わりに はじめに 元々、パイプラインが良い感じにできたら公開したいな〜と思っていたのですが、何回かLTする中で、ありがたいことに以下のようなお声をいただき、あっ、Kaggleのアドベントカレンダーで公開すれば丁

こんにちは。takapy（@takapy0210）です。 今日はDockerで機械学習の環境を作成したのでそれの備忘です。 はじめに できること Dockerって何 Dockerのインストール 環境構築方法 Dockerイメージのpull コンテナの起動 補足 mecab-ipadic-neologdの使用方法 Dockerfile 最後に はじめに 機械学習に限らず、PCを使って何かしら（プログラミングなど）を学びたいと思った時に、最初に躓きやすいのが環境構築です。 環境構築で1日潰れてしまった・・・というのはまだマシな方で、環境構築ができなくて勉強そのもの自体を諦めてしまったという話もよく耳にします。 本記事は機械学習を勉強し始めたい方に対して、環境構築の手間を最小限にとどめ、勉強に必要なエネルギーを必要な部分にぶちこめるようにすることを目的としています。 （Dockerについての詳細

前回に引き続き、後編です。 www.takapy.work 前編の簡単な復習 言語モデル 言語モデルにおけるフィードフォワード型ニューラルネットワーク（word2vec）の問題点 RNN BPTT(Backpropagation Through Time) BPTTの問題点 Truncated BPTT Truncated BPTTのミニバッチ学習 RNN言語モデルの全体図 LSTM（ゲート付きRNN）とは RNNLMの問題点 勾配爆発への対策 勾配消失への対策 LSTM（Long short-term memory）の概要 LSTMに備わっているゲートについて outputゲート(o) forgetゲート(f) 新しい記憶セル(g) inputゲート(i) なぜLSTMだと勾配消失が起きにくいのか LSTMの改善案 最後に 前編の簡単な復習 前編では、コンピュータに単語の意味を理解させる