【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
おはようございます。 裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。 こないだ飲み会で同期とそんな話をしておりました。 本題 ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。 今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。 環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択する そのページのリクエストを見つける たぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択 今回の肝はこれで、ブラウザで送った
curlとWgetの比較 | POSTD
curlとWgetの主な違いについて著者（Daniel Stenberg）の私見を述べています。自分の子どもとも言える curl をひいきしていますが、 Wget にも携わっているので、思い入れがないわけではありません。 この記事に関するご感想やご意見をお寄せください。 問題点や改善点があると思われる場合は、 Issueやpull-requestを発行 してください。 共通点 FTPやHTTP、HTTPSからコンテンツをダウンロードできるコマンドラインツールです。 HTTP POSTリクエストを送信できます。 HTTPクッキーをサポートしています。 スクリプトの中で使用したりできるよう、ユーザインタラクションがなくても動作するようにデザインされています。 完全なオープンソースで、無料のソフトウェアです。 開発プロジェクトとして90年代に立ち上げられました。 metalink をサポートして
pythonと遺伝的アルゴリズムで作るFX自動売買システム その1 - Qiita
作ったモノ 次の機能を実装してみました 1. 最新の為替レートを取得し続けるプログラム 2. AIを稼働させ自動売買するプログラム 3. 最新のデータを元に新しいAIを遺伝的アルゴリズムで生成するプログラム 4. AIのパフォーマンスを測定して引退と取引通貨単位を管理するプログラム 背景 OANDAが提供している取引用APIが、かなり良い感じだったので実現できました。 特に1通貨単位(1ドル単位)で売買できるため、AI100個動かし取引を重ねても損失は1日数十円に収まります。試験時に売買システムがバグで暴走しても安心です。このAPIが無ければ個人では実現出来なかったので、良い時代になったなーと思います。 http://developer.oanda.com/rest-live/development-guide/ 遺伝的アルゴリズムの特徴 最適化問題の準最適解を短時間で解ける。 最適化問題
WebAPIリクエスト仕様書としてcurlコマンドのご提案 - Qiita
WebAPIの仕様を記述する方法はいくつかあると思う。 普通に日本語で記述する JSON Hyper-Schema、WADL、RAML、Swaggerなどを使う 仕様書の代わりにプログラムを書く HTTPメッセージそのものを記述しておく でも、文法にばらつきがあったり、読みにくかったり、ツールのセットアップが面倒だったり、どれもイマイチな所があって、手軽な方法が欲しいと思っていた。 何気なくcurlコマンドのオプションを調べていたら、「もうこれでAPIドキュメント扱いにしちゃえばいいんじゃね？」と思えてきたのでメモしておく。 curlコマンドのおさらい curlコマンドはlibcurlの付属コマンドで、最近のUnix系OSなら大抵最初から入っていると思う。コマンドの詳細はmanを読んでいただければ。 cURL - How To Use （マニュアルページ日本語訳） curlコマンドのオプシ
無料でSSL使える時代きてた！CloudFlare最高！！！（？） - uzullaがブログ
しょうもない日記 YAPC行脚、福岡編 - uzullaがブログ とかかいた後になんとなくツイッターをみていたら、あるツイートをみまして。 packagist.jpをcloudflare対応したら、自動的にHTTPS対応できたでござる。すごい。一円も払ってないのに https://t.co/moCiiSwb44— Hiraku (@Hiraku) 2015年2月24日 それでCloudFlare(http://cloudflare.com/)がタダでSSL証明書を用意してくれるようになっていたのを知りました。 Cloudflare Free SSL/TLS | Get SSL Certificates | Cloudflare タダ！なんと甘美な響き！ オチ SNIでかまわないなら、CloudFlareをつかえばValidなSSLがタダで利用できる。 SNIとは？ NameBaseのVir
コマンド１発で、ターミナル上の全操作を録画してブログに埋め込める「asciinema」
ターミナル上で行っている「コマンド操作」のすべてを、簡単なコマンドを入力するだけでバックグラウンドで録画してくれる「asciinema」を紹介！ ターミナルだけで完結できる点や、動作が非常に軽快なのが魅力的だったのでサクッと概要を解説しておきます。 使い方！まず、以下のコマンドから本体のソースをインストールします。 $ curl -sL https://asciinema.org/install | sh あとは、録画コマンドを入力すれば、すぐに記録が始まります。 $ asciinema rec ~ Asciicast recording started. ~ Hit Ctrl-D or type "exit" to finish. 作業が終わったら、録画終了コマンドを入力すればOK！ $ exit ~ Asciicast recording finished. ~ Press <Ente
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
