【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
おはようございます。 裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。 こないだ飲み会で同期とそんな話をしておりました。 本題 ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。 今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。 環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択する そのページのリクエストを見つける たぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択 今回の肝はこれで、ブラウザで送った
httpstatでcurlのレスポンスタイムをわかりやすく表示する - もた日記
httpstat インストール 使い方 環境変数 curlコマンドで実行する場合 httpstat github.com httpstatコマンドを使うと図のようにcurlのレスポンスタイムをわかりやすく表示できる。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install httpstatMacならbrewでインストールできる。 $ brew install httpstat今回試すのはPythonバージョンだが、Goバージョンもある。 GitHub - davecheney/httpstat: It's like curl -v, with colours. $ httpstat --help Usage: httpstat URL [CURL_OPTIONS] httpstat -h | --help httpstat --version Argu
プリキュアで学ぶワンライナーWebスクレイピング - Qiita
「確かに人事にはLinuxができる人が欲しいとは言ったが、まさか顔合わせでcurlとgrepでプリキュア全員の名前を端末で出力するような奴が来るとは思わなかった。」 — ぐれさん (@grethlen) 2014, 10月 21 クローラー／Webスクレイピング Advent Calendar 2015の7日目です。 IT企業を志望する就活生の方々は「FizzBuzzで100まで数えろ」とか「素数を表示しろ」とかいきなり言われても、得意な言語でならサクッと実装できるスキルは身につけておきたいですね。いつ面接で聞かれるかわかりません。 そして当然のごとく「プリキュア全員表示しろ」と言われても対応できるようにしておくべきでしょう。文字列処理、Webスクレイピングの基本が身についているかどうかがこの問い一つでわかります。面接で既に出題された方も少なくないのでは？ そこで、いくつかのアプローチでW
curlで HEAD レスポンスを見るメモ - すがブロ
いつも忘れるので -I で見れる。そんで-Lも付けておくと、リダイレクトを追跡してくれるので、どんな風に動いているかわかりやすいですね。 % curl -LI http://yahoo.co.jp/ HTTP/1.1 301 Moved Permanently Date: Mon, 26 Mar 2012 09:37:04 GMT Location: http://www.yahoo.co.jp/ Vary: Accept-Encoding Connection: close Content-Type: text/html; charset=utf-8 Cache-Control: private HTTP/1.1 200 OK Date: Mon, 26 Mar 2012 09:37:04 GMT P3P: policyref="http://privacy.yahoo.co.jp/w3
自分のサーバのGlobalIPが知りたい - Qiita
Simple cURL API! $ curl ifconfig.io 192.0.2.100 $ curl ifconfig.io/ip 192.0.2.100 $ curl ifconfig.io/host www.example.com. $ curl ifconfig.io/country_code JP $ curl ifconfig.io/ua Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:38.0) Gecko/20100101 Firefox/38.0 $ curl ifconfig.io/port 37038 $ curl ifconfig.io/lang en-US,en;q=0.5 $ curl ifconfig.io/encoding gzip $ curl ifconfig.io/mime text/html,ap
curlでボトルネック調査をする - 256bitの殺人メニュー
ますだっくすさんが curlのエントリ書いてたのでおいらも1つだけ追記しませう。 Webサイトのボトルネック調査 あるサイトでアクセスが遅いなぁ、って話になったときにまず当たりをつけるために遅い部分を調べたい。 って時のcurlの使い方。 実際の手順 基本的には、前述のますだっく（@masudak）さんの、「その3. レスポンスの出力を加工する」であるのですが、詳細な項目を設定することで問題の切り分けにも使用できます。 出力フォーマット用のファイル。 cat <<'EOF' >/tmp/curl_env.txt url_effective\t\t: %{url_effective}\n http_code\t\t: %{http_code}\n http_connect\t\t: %{http_connect}\n time_total\t\t: %{time_total}\n time_
1GBレンタルサーバー・プロバイダー Amusement BiG-NET | www.big.or.jp/~crane/cocoa/0800_internet/curl/index.html
こちらは独自ドメインからレンタルサーバー、フレッツ接続専用会員までトータルサポートのプロバイダー、BiG-NETです。 いつも弊社ユーザーのページにアクセスをして頂きましてありがとうございます。 http://www.big.or.jp/~crane/cocoa/0800_internet/curl/index.html 404 Not Found (ファイルが見つかりません) 申し訳ございませんが、お客様がアクセス要求されました上記ページは、現在アクセスが出来ません。 弊社では、なぜアクセスできないのかと言う第三者からのお問い合わせにはお答えすることが出来ません。 もしこのページの関係者をご存知でしたら、連絡を取ってみることをお薦め致します。 何卒ご容赦下さい。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
curl は何をしているか #システムコール編 - Qiita