はてなブックマーク

0. はじめに ツイッターでNLP関連に関して漁ってたらこんな投稿を発見した。 新しい言語モデル？でしかも日本語も対応？？これは使ってみるしかないでしょ！ ということで、今年最後のアドカレ用の記事投稿ネタとして採用してみました。 ★本記事の全コード部分をGoogle Colab(リンク)でも共有しました。ポチポチするだけなので、気軽に動かしてみてください。 動作環境 OS : Windows10 pro python： 3.9.6 transformers： 4.25.1　(>=4.22.0) ※バージョン古いとLukeForSequenceClassificationが使えない Pytorch： 1.12.1 (+cu116) jupyter notebook(Google Colaboratory) 1. LUKEに関して 1-1. LUKEって何？ 本記事は実装がメインですので、詳細

0. はじめに 今回はBERTの解釈としてtransformers-interpretを試したのでメモがてら記載しておく。 動作環境 OS : Windows10 pro python： 3.9.6 transformers： 4.23.1 Pytorch： 1.12.1 (+cu116) transformers-interpret： 0.9.5 GPU： RTX 2060 jupyter notebook(vscode) 1. transformers-interpretでBERTのマルチクラス分類を解釈する transformers-interpretとは、PyTorch用のモデル解釈ライブラリ 「Captum」を使用したTransformers専用のライブラリ。 SHAP等の解釈モデルと違い、Transformers専用にチューンされているので使いやすい 1-1. Captumとは

0. はじめに DeepLearningを使用した時系列/自然言語処理に関して調べたことをシェアしていく記事の第1弾です。第1回はRNN(Recurrent neural network)を扱います。 RNNの日本語記事はかなりありましたが、LSTMではなくRNNを使用した「sin波予測」以外のサンプルが少なかったり(というかほぼ無かった)Kerasを使用したRNN記事と比べて圧倒的にPyTorchで書かれた記事が少ないと感じたので、私なりに初心者でもわかるような直感的な表現を使いつつこの記事ではまとめていこうと思います。 RNNは今や古いので誰にも使われていませんが、いろんな分野の基礎になっているので理解しておくことは重要だと考えています。 例)テキスト解析、感情分析、文章翻訳、チャットボット、動画分析・・・etc なお、本記事では自然言語ではなく「時系列処理」に関してRNNを適応した例

0. はじめに 前回に引き続き連載ネタ第3弾です。 作成したGUIもPythonの環境構築している人しか使えません。技術者が何かしらのアプリを作成してもいざユーザーに使ってもらう際に、そのユーザーに難解な環境構築をさせるのもひと手間ですね。 そこで今回はPyrhon環境がないユーザーにexe化してアプリ提供する部分を書いていきます。 exe化もいくつかあります(Py2exeとかcx_freeze)が、今回はメジャーなPyInstallerを紹介します。 【第1回】Pythonで簡単に日本語OCR 【第2回】PythonでオリジナルGUIアプリを作成 　※前回記事 【第3回】Pythonで作成したアプリをexe化して配布する　←今回はこの記事 動作環境 OS : Windows10 pro Python : 3.8.3 // Miniconda 4.9.1 PyInstaller : 4.6

★追記 このライブラリはライセンスが色々面倒になったみたいですね。 代替として以下のTkEasyGUIなんていかがでしょうか？ ほぼ使い勝手そのままでライセンスもMITです https://github.com/kujirahand/tkeasygui-python/blob/main/README-ja.md 前回に引き続き連載ネタ第2弾です。 今回は前回の成果物を使ってPythonでGUIアプリを作成してみようと思います。 TkinterというPythonの標準GUIライブラリでもいいのですが、はっきり言ってPySimpleGUIの方がいいと感じたので、今回はPySimpleGUIを使用したGUI作成をやっていきます。 【第1回】Pythonで簡単に日本語OCR 　※前回記事 【第2回】PythonでオリジナルGUIアプリを作成　←今回はこの記事 【第3回】Pythonで作成したアプリ

0. はじめに 書けるネタを探しながらの投稿ですが、今回はOCRをやってみたので共有します。 なおせっかくなので連載ネタとして考えており、最終的にはGUIアプリをexe化して配布するところまで解説します 【第1回】Pythonで日本語OCR　←今回の記事 【第2回】PythonでオリジナルGUIアプリを作成 【第3回】Pythonで作成したアプリをexe化して配布する 動作環境 OS : Windows10 pro Python : 3.8.3 Tesseract : 5.0.0 pyocr : 0.8 jupyter notebook 1. Tesseractの導入 導入記事は無数にあり、今更ここに書いても冗長になってしまう為、わかりやすく書かれていた以下参考サイト(ひつじ工房様)の「tessreractインストール」の部分で入れていただければOKです。 ・選択肢に紛らわしい「javan

1.はじめに SIGNATEで「日本取引所グループ ファンダメンタルズ分析チャレンジ」というコンペが開催されています。私も参加していますが、その中で出てくる知識に関して基礎部分をまとめよう！という動機で書いた記事の第2弾です。 コンペのチュートリアルでは、「XGBoost」での予測結果に関しての根拠説明として本記事で紹介する「SHAP」を使用していますが、本記事では現在一番メジャーなLightGBMを使用してこのSHAPを紹介していきます。 動作環境 OS : Windows10 pro Python : 3.8.3 // Miniconda 4.9.1 LightGBM: 3.1.1 SHAP : 0.38.1 jupyter notebook 2.LightGBMでとりあえず学習して、特徴量重要度を図示する 今回は、回帰分析を例として行うことにする。 サンプルデータはscikit-le

★追記とお知らせ(2022/1/9追記) 本記事大変多くの方に見ていただけてますが、現在「株式投資メモ」から株価データが取得できなくなっていることがわかりました。よって流れだけ参考にしていただけると幸いです。 ※日本株のデータ取得に関して追加記事(↓)出しましたのでそちらもどうぞ 0.はじめに pythonを投資活用に使う目的で調べたまとめ記事の第3弾(最終回)です。 今までの総集編として、スクレイピングをしつつDBへ格納する一連の流れを書いていきます。 基本的に以下記事がすべてわかっている前提で記載していきます。（この記事もなるべくコメント多めにしてますが、より細かくは過去記事見てください） 前回までの記事 Pythonで簡単にデータベースを扱う(SQLite3) PythonでWebスクレイピング①(スクレイピング事前知識) PythonでWebスクレイピング②(実際に株サイトをスクレ

0.背景 個人的に投資を副業でやっていますが、自宅PCにてそろそろ分析を自動でやりたくなった。 まずはデータを格納する箱(データベース)を学んだので、そのド基礎の部分だけ記録として残しておく。 動作環境 OS : Windows10 pro Python : 3.8.3// Miniconda 4.9.1 sqlite3：2.6.0 (管理ツール：DB Browser for SQLite ※すぐに中身を見るときに便利) ※sqlite3 モジュールをインストールする必要はありません。Python(2.5以降)の標準ライブラリに含まれています。 1.データベース作成～操作 データベースをExcelで考えるととりあえずは理解しやすいと思ったので、今回は最初の部分に関してExcelに置き換えて説明する。 ①まずはデータベースを新規作成して、接続する Excelファイルを作成して、Excelを開