はてなブックマーク

まとめ Pythonから巨大なテキストファイルを並列に読み込み・処理・書き込みする方法を紹介 読み込み: テキストファイルをバイト列として見て、プロセスごとにファイルの読み込み区間を割り振る 処理: multiprocessingを用いた並列処理 書き込み: プロセスごとにtmpファイルへ並列に書き込み & catによる結合 はじめに 日本語形態素解析器であるMeCabを用いると、日本語のテキストに対する解析や処理が簡単に実行できます。 特に最近は、BERTをはじめとする深層学習モデルへの入力のための前処理として、MeCabなどを用いて文を単語単位に分割する「分かち書き」を行う機会が多くなっています。 MeCabはコマンドラインから実行することもできますし、Pythonなどからプログラム的に呼び出すことも可能です。 特にコマンドラインから実行する場合は、インストールさえ終わっていれば以下の

まとめ pyproject.tomlの[tool.poetry]のpackagesに以下のようにモジュールを追加しましょう。

ただ、これだと並列化できないので、サイズが大きいテキストを処理すると結構時間がかかる。 試しに日本語Wikipedia(3.1GiB)でtimeコマンドを使って計測してみると以下のようになった。 time mecab -Owakati ./wiki.txt -o ./wiki-out.txt ________________________________________________________ Executed in 571.49 secs fish external usr time 537.57 secs 982.00 micros 537.57 secs sys time 29.01 secs 432.00 micros 29.01 secs 10分弱かかるのは結構辛いので、高速化したい。 世の中にあるMeCabの高速化についての記事は、複数ファイルに対して並列処理を行うこ

BERTのtoken embeddings(入力部分にある単語id->単語埋め込みに変換する層)の埋め込み空間の可視化をやったので、手順をまとめた。 文脈化単語埋め込みの方(BERTの出力ベクトル)の可視化も似たような手順でできると思う。 今回は東北大の乾研の方が公開されている日本語BERT(cl-tohoku/bert-base-japanese-whole-word-masking)を利用した。 使用する技術は主に以下。 huggingface/transformers: 事前学習済みモデルの利用 holoviews: 可視化まとめツール t-SNE: 次元削減 poetry: パッケージマネージャ 環境構築 poetryでいい感じにやった。 以下のpyproject.tomlをコピペしてpoetry installすればよさそう。 [tool.poetry] name = "hoge