WebDriver について調べる機会があったので簡単にまとめました。 この記事では curl を使って、WebDriver によるブラウザ操作をしてみます。 WebDriver と Selenium の歴史 Selenium は現在最も広く使われている、Web ブラウザの自動化・テストフレームワークです。 多くの言語をサポートしており、Java や C#などの言語から、Web ページを開いたり要素の検証ができます。 そのため Web サービスの End-to-end (E2E) テストの自動化で主に利用されています。 Selenium 1 (Selenium RC) と呼ばれていた時代は、ブラウザを操作するために Selenium Core という JavaScript をブラウザ上でロードしてました。 しかしブラウザのセキュリティ強化により、Selenium Core の JavaSc
I love to cook with curl. Here are some useful curl recipes I often use. Make a POST Request (TLDR: Use -X POST argument) Add POST Data to a Request (TLDR: Use -d var=val argument) Construct a Query String (TLDR: Use -G argument) Add HTTP Headers (TLDR: Use -H 'Header: Value' argument) Change the User Agent (TLDR: Use -A 'User Agent' argument) Set Cookies (TLDR: Use -b name=value argument) Add a R
Recently I’ve been interested in how people learn things. I was reading Kathy Sierra’s great book Badass: Making Users Awesome. It talks about the idea of deliberate practice. The idea is that you find a small micro-skill that can be learned in maybe 3 sessions of 45 minutes, and focus on learning that micro-skill. So, as an exercise, I was trying to think of a computer skill that I thought could
For a long time I've been thinking about what the future of the web looks like when we go past what we know as the traditional web browser. I called this The Headless Web and I wanted to answer was "What if everything was powered by 'The Web', but you never saw a browser?". Specifically I believe that if you have access to a full browser, but no visible to "chrome" then there is a huge opportunity
Modern cars have fancy infotainment setups, big screens and all sorts of computers with networked functionality built-in. Part of that fanciness is increasingly often a curl install. curl is a part of the standard GenIVI and Tizen offers for cars and is used in lots of other independent software installs too. This usually affects my every day very little. Sure I’m thrilled over hundreds of million
1996年にcurlプロジェクトの先駆けとなるhttpgetを始めたとき、私は初めてURLパーサを書きました。当時はまだ、ユニバーサルアドレスは URL : Uniform Resource Locators と呼ばれていました。その仕様は1994年にIETFによって発行されたものでした。この”URL”という用語からインスピレーションを得てツールとプロジェクトに命名したのが curl でした。 URLという用語は後に事実上、 URI : Uniform Resource Identifiers (2005年発行)に変わりましたが、「オンラインでリソースを指定する文字列のための構文と、そのリソースを得るためのプロトコル」という、基本的な点は変わりませんでした。curlでは、この構文仕様RFC 3986の定義に従う”URL”を許容するとうたっていますが、それは厳密には正しくありません。その理由
curlとWgetの主な違いについて著者(Daniel Stenberg)の私見を述べています。自分の子どもとも言える curl をひいきしていますが、 Wget にも携わっているので、思い入れがないわけではありません。 この記事に関するご感想やご意見をお寄せください。 問題点や改善点があると思われる場合は、 Issueやpull-requestを発行 してください。 共通点 FTPやHTTP、HTTPSからコンテンツをダウンロードできるコマンドラインツールです。 HTTP POSTリクエストを送信できます。 HTTPクッキーをサポートしています。 スクリプトの中で使用したりできるよう、ユーザインタラクションがなくても動作するようにデザインされています。 完全なオープンソースで、無料のソフトウェアです。 開発プロジェクトとして90年代に立ち上げられました。 metalink をサポートして
■ botの状況 たまに抜ける原因が2つあることがわかった。 IFTTTのDate&Timeは毎時15分という設定してるが、これがたまに発火しないときがある。 それとtenki.jp側が15分だとまだ更新してないときがある。 後者はちょっと時間を置いてretryすればいけそうだが、たまに発火しないのはこまるなあ。 なんか別にそんなサービスがあるといいんだが。 ■ curlの--libcurlオプション man curlしてたら面白いオプションを見つけた。 --libcurl <file> Append this option to any ordinary curl command line, and you will get a libcurl-using C source code written to the file that does the equivalent of what
This page is a Japanese translation of the manual page of the command line tool 'curl'. (more about this page) curl.1 man ページ 名前 curl - transfer a URL curl - URL 転送 書式 curl [options] [URL...] 説明 curl is a tool to transfer data from or to a server, using one of the supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE). The command is designed to work without use
WebAPIの仕様を記述する方法はいくつかあると思う。 普通に日本語で記述する JSON Hyper-Schema、WADL、RAML、Swaggerなどを使う 仕様書の代わりにプログラムを書く HTTPメッセージそのものを記述しておく でも、文法にばらつきがあったり、読みにくかったり、ツールのセットアップが面倒だったり、どれもイマイチな所があって、手軽な方法が欲しいと思っていた。 何気なくcurlコマンドのオプションを調べていたら、「もうこれでAPIドキュメント扱いにしちゃえばいいんじゃね?」と思えてきたのでメモしておく。 curlコマンドのおさらい curlコマンドはlibcurlの付属コマンドで、最近のUnix系OSなら大抵最初から入っていると思う。コマンドの詳細はmanを読んでいただければ。 cURL - How To Use (マニュアルページ日本語訳) curlコマンドのオプシ
UNIXの代表的なダウンローダにwgetとcurlがあります。 たいていの場合どんなOSでも、どちらかのソフトがインストールされているのではないかと思います。 しかし、この2つのダウンローダの機能は、一見似ているようにも見えますが、実はそれぞれに特徴が見られるので、今日はそれについて解説してみます。 wgetの特徴 wgetのスペルは「片手でもコマンドできる」ということもあって、多くの人から気に入られています。 そんなwgetの特徴として、最も際立っているのが、クローラとして動作可能という点です。 オプションで-rを付加してやることで再帰的に動作し、-lでその深さを指定することができます。 また、-Aや-Rを利用すれば、ダウンロードする拡張子のホワイトリストとブラックリストを指定することも可能です。 つまり、特定のサイト内に散らばって存在するファイルを、拡張子によって指定ダウンロードできる
You have likely heard of “The Golden Rule”, which is usually described as: treat other people the way that you want to be treated. The New Testament version comes from Matthew 7:12 ( emphasis mine ): 12 Therefore all things whatsoever ye would that men should do to you, do ye even so to them: for this is the law and the prophets. While talking with others about the current political situation I th
HTTP のレスポンスヘッダーには Content-Disposition というフィールドがあり、クライアントにファイル保存時のファイル名を指定できる。 curl と wget で、このフィールドを参照してファイル保存する方法をメモ。 via http://superuser.com/questions/301044/how-to-wget-a-file-with-correct-name-when-redirected 実験するダウンロード用 URL 深い理由はないけれども、 次の vim スクリプトをダウンロードしたい。 $ curl -I "http://www.vim.org/scripts/download_script.php?src_id=19574" HTTP/1.1 200 OK Server: Apache/2.2.15 (CentOS) Vary: Host Con
■ 大晦日元日素数 #シェル芸 実は20141231も20150101も素数ではない。 % factor 20141231 20150101 20141231: 11 1831021 20150101: 43 97 4831 一目ではわからないあたりが巧妙な釣りだ。しかしどっちかは素数かと思ったよ。 じゃあ本当の大晦日元日素数はいつか、ごりごりと今世紀を全部探してみる。 % for i in {2001..2100};do echo ${i}1231 $[i+1]0101 | factor | xargs | awk 'NF==4{print $2, $4}'; done 20201231 20210101 20291231 20300101 意外に少ない。2020年になったら思い出そう。 ■ 文字の長さ順に並べる 例のQ6は % printf "%s\n" {a,}{b,}{c,}{d,
このページ は URL 転送のための汎用コマンドラインツール curl の 2016-05-30 現在( curl 7.40.0 〜 7.49.1 )の マニュアル (用例を交えた使い方)の日本語訳です(更新: 2016-06-30 )。 この翻訳の正確性は保証されません( その他の情報 )。 文中の【】は訳注を表します。 各章の見出しをクリックするとその章の原文が表示されます。 このページには外部リソースは利用されていないので、ページのみ( HTML ソースのみ)をローカルに保存しても閲覧には支障ありません。 このページに記された機能のうち,一部のものは、 curl のバージョン,あるいは curl のビルド時に利用されたライブラリに依存しています。 機能が利用できるバージョン/ビルドについての情報は マニュアルページ ( 和訳 )に。 Manual -- curl usage expl
ちょっとAPIを調査したいと思った時に、スクリプトを書くのも面倒なのでcurlとjqとかを利用してみたら、便利だったのでメモ。今回はTrelloをちょっといじってみた。 Redirecter ひとまずcurlでjsonを出す これは普通にcurlするだけ。 curl 'https://api.trello.com/1/boards/4d5ea62fd76aa1136000000c/cards'これでは見づらい。 curlで出たjsonをpretty化する jqに通すだけでpretty化と更に色付けされる。 curl 'https://api.trello.com/1/boards/4d5ea62fd76aa1136000000c/cards' | jq '.' curlで出たjsonの一部だけ表示する jqはjsonをいろいろ絞り込み出来る。 例えばリストの5件目まで表示。 curl 'h
1200くらいのURLのリストを渡され、そのURLのファイルをダウンロードする必要があった。今更ダウンローダーをダウンロードしてきて、インストールして、使って、アンインストールするのも面倒だったので、xargsからcURLをつなげてやった。 $ xargs -n 1 -P 4 curl -OL < urllist.txt xargsは、-n 1で標準入力を一行ずつの処理でき、-P 4で指定したコマンドを4つ並行に走らせることができる。cURLでは-Oを使ってURLから保存するファイル名を取り、-Lでリダイレクトを辿るようにする。これで4つ並行にファイルをダウンロードできた。 xargsはもちろん、cURL程になっても使い方を覚えてなくても--helpでなんとなくわかる。こういう--helpやGoogleで使い方や利用例がわかるCLIツールは、ほとんど何も覚える必要がない(どういう目的のツー
HTTP サーバに名前ベースのバーチャルホスト設定がされていて、設定されているホスト名でアクセスしたい場合は Host ヘッダーを渡せばOK IP アドレス 10.0.1.2 に http://www.example.com のホストでアクセスするときには以下のようにする。 curl $ curl --header "Host: www.example.com" http://10.0.1.2/ wget $ wget --header="Host: www.example.com" http://10.0.1.2/ telnet $ telnet 10.0.1.2 GET / HTTP/1.1 Host: www.example.com <Return> <Return> リクエストURLのホストをゴニョゴニョする処理が入っている場合、上の手順ではまずい。 そのため hosts ファイル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く