【Pythonスクレイピング】requests.getでcookieが必要な年齢確認ページなどを回避する方法 - なろう分析記録
Pythonでスクレイピングをする時、年齢確認ページなどのクッキー認証がハードルになる時があります。 ここではPythonスクレイピングでもっとも一般的な「requests.get」を使って、単純なcookieの値をそのまま持たせることで、クッキー認証を回避する方法を紹介します。 年齢確認ボタン まず「cookie」を調べる chromeでの調べ方 chromeの場合、ブラウザのアドレスバーの左端に表示されている『』マークから調べる方法が簡単です。 chromeのcookieの調べ方cookieを調べる名前と値の調べ方 サイト内でクッキーを覗くと、だいたいそれらしき物が見つかります。 消して調べてみる 認証に使われているクッキーがどれであるかについては、そのクッキーを一度削除してページをリロードすれば分かります。 リロードした時に年齢確認ページに飛べば、それが年齢確認に使われていたクッキー
wgetでcookieを扱う方法 - dak ブログ
wget コマンドで cookie を保存するには --save-cookies オプションを使います。 $ wget --save-cookies=cookie.txt 'http://www.goo.ne.jp/' --save-cookies で指定されたファイルに cookie が保存されます。 $ cat cookie.txt # HTTP cookie file. # Generated by Wget on 2012-06-21 22:36:44. # Edit at your own risk. www.goo.ne.jp FALSE / FALSE 1371821801 gootopstay FA:1340285801&FR:0&FS:&FT:&UC:******************************** www.goo.ne.jp FALSE / FALSE
node.jsでhttp sessionを共有するsocket.ioのテストを書く - すぎゃーんメモ
node.js + socket.io はリアルタイムwebアプリを作るのにとても良い組み合わせだと思っています。 しかし、基本的にsocket.ioのconnectionはhttpのsessionと関連が無いので、例えばそのconnectionがログインしているユーザのものかその他のユーザのものか区別がつかない。以前はSessionWebSocketを使ってそれを判別するようにしていたのだけど、残念なことに残念なのでコレはもう使いたくない。。 そこでclientから最初にcookieを送信してもらって、そこからclientのsessionを識別する、という方法がある、と以前@masahirohさんに教えていただきました。 *1 session共有方法 クライアント側では下記のように接続時にcookieを送信するようにしておき、 var socket = new io.Socket();
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
