[B! Python] anfewphのブックマーク

続・MeCabの分かち書きを並列処理で高速化する

まとめ Pythonから巨大なテキストファイルを並列に読み込み・処理・書き込みする方法を紹介読み込み: テキストファイルをバイト列として見て、プロセスごとにファイルの読み込み区間を割り振る処理: multiprocessingを用いた並列処理書き込み: プロセスごとにtmpファイルへ並列に書き込み & catによる結合はじめに日本語形態素解析器であるMeCabを用いると、日本語のテキストに対する解析や処理が簡単に実行できます。特に最近は、BERTをはじめとする深層学習モデルへの入力のための前処理として、MeCabなどを用いて文を単語単位に分割する「分かち書き」を行う機会が多くなっています。 MeCabはコマンドラインから実行することもできますし、Pythonなどからプログラム的に呼び出すことも可能です。特にコマンドラインから実行する場合は、インストールさえ終わっていれば以下の

anfewph 2022/11/18

リンク

Python言語による実務で使える100+の最適化問題 | opt100

はじめに本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである．本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している．コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである．本を購入した人は，サポートページで公開していないプログラムを圧縮ファイルでダウンロードすることができる．ダウンロードしたファイルの解凍パスワードは<本に記述>である．作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ