はてなブックマーク

表題の通り、PyInstallerを使って出力したexeファイルがとにかく巨大に膨れ上がる現象に悩まされました。 これ、めちゃくちゃ起動遅くなるし、原因不明だし、ほんと参ってたんですが、解決しましたので、メモ書き。 さっと作って、さっと配布したいのに一々こんなところで悩みたくない方向けにその他のPyInstallerのトラブルもまとめてます。 PyInstaller出力のexeファイルの巨大化 これはマジでヤバいです。普通に作ったはずなのに出力したら300MBもあります。 –onefile を指定した場合の話なんですが、普通 –onefileしますよね。 どう考えても使っているモジュールの合計容量をはるかに超えてるので最初はサッパリ意味が分かりませんでした。 exeファイルが巨大化する原因 これはPyInstaller自体の仕様の問題です。 コマンドを出した環境のPathにあるモジュールは

スクレイピングなどで、最終的に文字列を取得したい場合は、soupオブジェクトに対して”.string”や”.text” で文字列を抽出することが出来ますが、両者の明確な挙動の違いを例を挙げて紹介します。 <div> <h2>文字列取得テスト</h2> <p>BeautifulSoupはスクレイピングに欠かせないPythonのライブラリです。<br/>複雑なHTMLソースも、手軽にパースできる事が<b>最大の魅力</b>です。</p> </div> 例えば上記のようなHTMLソースがあった場合を例に見ていきます。 from bs4 import BeautifulSoup as bs4 soup = bs4(html, 'lxml') ここまでが前提のソース。 soup.p.text の場合 “.text” の方は非常に単純で、そのタグ内に含まれるすべての文字列をつなぎ合わせて返却します。

ワードプレスが遅い！ 一言でワードプレスが遅いと言っても、たくさんの要因が考えられます。個別のサイトの何が遅いかという特定は、見てみないと何とも言えないところがあります。 ざっくり要因としてあげるとしたら、 重たいデータ 重たい処理 この二つのどちらかです。 ちょっと当たり前の事ドヤ顔で言ってみましたが、ワードプレスが重い！と言う方はどっちかが出来ていないワケです。 かなり長いんで、全部読むのがめんどくさい方は目次から特定の項目にスキップどうぞ。 表示の遅いサイトは何がヤバい？ 「そりゃ、遅いより早いほうがイイに決まってるけど、具体的に何がヤバいの？」 ってところは気になりますよね。 UXの低下 UXってのは、ユーザーエクスペリエンス。 要するに、体験の事です。 ちょっと古い記事ですが。 操作開始時間が1秒のサイトと3秒のサイトを比較しても、3秒のサイトは1秒のサイトに比べ、ページビューが

Torをスクレイピングで使いやすくするPythonのモジュール作ってみた TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 Torを使ったWebスクレイピング Webスクレイピングに、そのSocksプロキシを流用することで、簡単にIPアドレスを変更することが可能になります。 つまり自分のIPではないIPを使って色んなWEBサイトにBOTアクセスすることが可能になります。 Torを使ったスクレイピングはどういった場合に便利なのか？ WEBアクセスの自動化、スクレイピングやBOTアクセスというのは年々、制限が厳しくなっているサイトが増えています。 例えばブックオフオンラインというサイトで、20回ほど連続でF5ボタンを押してみてください。 ブックオフオンラインは割と昔か

Pythonを使ったWebスクレイピングの比較的メジャーなライブラリBeautifulSoupのメソッドを一挙紹介します。 このページを読めばBeautifulSoupのほとんどの動作、メソッドを確認することができます。 以下の目次は展開でき、逆引きリファレンスの形式になっていますので、調べたい操作がある方は、気になる箇所へすぐにジャンプできます。 BeautifulSoupとは 一言で言うと、HTMLをパースするPythonのライブラリです。 スクレイピングという処理は、HTMLの取得と解析の二段構成です。 僕はHTMLの取得にはrequestsというモジュールを使うことが多いです。 一応標準のライブラリでもあるにはあるんですが、Pythonのhttpアクセスのディファクトスタンダードはrequestsかなと個人的には思っています。