[B! *Python] kizimuna06のブックマーク

Beautiful Soup でのスクレイピング基礎まとめ [初学者向け] - Qiita

概要 pythonを使って何かやりたいと思っている今日このごろ、、、エロい健全な画像を自動収集したいなーと思って今流行りのスクレイピングをやってみました。 Beautiful Soupについて調べたので、基礎的なことをまとめておきます。作成者が初学者のため、完全初学者向けです。スクレイピングとは? まずはスクレイピングとは何かの確認。 wikipedia先生より。ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。 ~中略~ ウェブスクレイピングではウェブ上の非構造化データの変換、一般的にはHTMLフォーマットからデータベースやスプレッドシートに格納・分析可能な構造化データへの変換に、より焦点が当てられている。構造化データ/非構造化データとは、簡単にまとめると構造化データ CSVファイル, Excelファ

kizimuna06 2018/07/31

リンク

SeleniumからHeadless Chromeを使ってみた - Qiita

2018年5月6日: Headless ChromeがStableになった後の現状に合わせた新しい記事を書きました。こちらもご参照ください。先日PhantomJSのVitalyさんがメンテナーを引退するという話が話題になっていました。ヘッドレスなブラウザーを気軽に使う手段としてPhantomJSにはお世話になりました。今後はHeadless Chromeを使って欲しいとのことなので、試してみました。 Node.jsを使うサンプルは多く見つかりますが、諸事情でPythonを使いたかったので、ここではSelenium経由でHeadless Chromeを使います。 Headless Chromeとは Google Chrome 59から使えるようになる予定の、画面を表示せずに動作するモードです。自動テストやWebスクレイピングなどに役立ちます。 2017年4月28日現在、Mac版とLinux

kizimuna06 2018/07/31

*Python

リンク

【Python】requestsにおけるInsecureRequestWarningを非表示にする | 73spica's Blog

CTFで解いた問題をまとめようと昔のSolverを漁っていたら，hack.lu CTF 2016の時の某問題のSolverが動かなかった．サーバは動いているもののSSLの期限が切れたのかSSL接続のところでエラーがでているようだった(ちなみに問題はCRIMEを実装して攻撃する問題)．今回の場合相手は運営の問題サーバであるので，検証を無視してしまうことにする．無視したい場合はgetの引数にverify=Falseを指定する．

kizimuna06 2018/07/31

*Python

リンク

Pythonを書き始める前に見るべきTips - Qiita

Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。しかし、世の中にはまだPython3に

kizimuna06 2017/09/29

リンク

PythonでWebスクレイピングする時の知見をまとめておく - Stimulator

- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。追記 2018/03/05：大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

kizimuna06 2017/06/26

リンク

UnicodeEncodeError only when running as a cron job

Ask questions, find answers and collaborate at work with Stack Overflow for Teams. Explore Teams Collectives™ on Stack Overflow Find centralized, trusted content and collaborate around the techno logies you use most. Learn more about Collectives