Hurl - Run and Test HTTP Requests
What’s Hurl? Hurl is a command line tool that runs HTTP requests defined in a simple plain text format. It can chain requests, capture values and evaluate queries on headers and body response. Hurl is very versatile: it can be used for both fetching data and testing HTTP sessions. Hurl makes it easy to work with HTML content, REST / SOAP / GraphQL APIs, or any other XML / JSON based APIs. # Get ho
作業メモ: さくらのクラウド上のVMにVzLinuxをインストール - febc技術メモ
VzLinux 8 !? Twitterを眺めてたらこんなツイートを見かけました。 CentOSの代替に、第三の選択肢が登場しました。Red Hat Enterprise Linuxベースの「VzLinux」です。スイスに拠点をおくVirtuozzo International社が開発し、20年前から有償で提供していたものを、コミュニティエディションとして無償で公開したようです。https://t.co/JCuzDiuJwy pic.twitter.com/5Lv1VDIp5q— 日経Linux | ラズパイマガジン (@nikkei_Linux) 2021年6月1日 OpenVzのあのVirtuozzoですね！古くからコンテナ型仮想化を触ってきた方は懐かしいと感じる方もいらっしゃるかと思います。 (ずっと現役だったみたいなのですが私個人としてはVirtuozzo/OpenVzにはここ数年
Bash HTTP monitoring dashboard - Raymii.org
Bash HTTP monitoring dashboard Published: 27-12-2020 | Last update: 11-01-2021 | Author: Remy van Elst | Text only version of this article ❗ This post is over two years old. It may no longer be up to date. Opinions may have changed. This is a shell script that creates a webpage with the status of HTTP(s) sites. Parallel checking, thus very fast, only dependencies are curl and bash (version 4 or ab
nginxdemos/nginx-hello イメージを使うと簡単に「コンテナ ID」を確認できる - kakakakakku blog
コンテナを複数起動して，ロードバランサーなどを使って「期待通りに振り分けできているよ！」という挙動をデモで見せたいときがある．実際に最近あった．例えば nginx:alpine イメージを使うと，全て同じ index.html から Welcome to nginx! とレスポンスを返すため「振り分け確認」ができない．自分で Dockerfile を書いて nginx.conf をゴニョゴニョしたイメージを作ることもできるけど，そこまで頑張るモチベーションもなく，すぐに使えそうなイメージを探していた． NGINX-Demos GitHub に NGINX が管理をしている NGINX-Demos という名前のリポジトリがあり，そこに nginx-hello-nonroot というサンプルが公開されていた．イメージとしては，大きく以下の2種類のタグがある． nginxdemos/nginx-
SSH接続をWebブラウザの純粋なHTTP上で実現する - nwtgck / Ryo Ota
HTTPといえばHTML/CSS/JavaScriptや画像などの小さめの限りがあるデータを手に入れるためによく使われている印象がある。REST APIのようなHTTPを使ったAPIでも限りのあるデータがリクエストとレスポンスになる印象が強い。
GitHub Actions の Composite Run Steps で ecspresso / lambroll をインストールする action を作った - 酒日記 はてな支店
要約 GitHub Actions に Amazon ECS デプロイツール ecspresso と AWS Lambda デプロイツール lambroll を簡単にインストール action を用意しました。 steps で以下の指定をするだけです。(Linux 環境専用です) - uses: kayac/ecspresso@v0 - uses: fujiwara/lambroll@v0 もうちょっと詳しく これまで GitHub Actions の action は基本的に Node で書く必要があったのですが、やりたいことはバイナリをダウンロードして展開してコピーするだけなのになんで Node を書かないといけないのか……(Linux以外の環境を考えると仕方ないとはいえ)、と面倒くささが先に立って、これまで action を作らないままでした。 が、先日 Composite Run
On-demand Golang binaries
Go Binaries is an open-source server allowing non-Go users to quickly install tools written in Golang, without installing the Go compiler or a package manager — all you need is curl. Let's take a look at how it works, and how to use it! Freeing up time for the authors of OSSThe authors of Go programs typically pre-compile and upload dozens of binaries for each release, after which the users must f
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」 - kakakakakku blog
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」を使うと，簡易的な「Shadow Proxy」を構築することができる．例えば，本番環境のリクエストの一部を開発環境に流せるようになる．この「ngx_http_mirror_module」は nginx 1.13.4 で実装された機能で，2017年8月リリースなので，最近のバージョンだとデフォルトで使えるようになっている．今回は「リクエストの複製」を試すため，Docker Compose を使って検証環境を構築した． nginx.org 検証環境 今回 Docker Compose を使って，nginx と Sinatra を起動する検証環境を構築した．コンテナは計3種類で，以下の構成図にまとめた．基本は Frontend と Backend でリクエストを処理し，今回は Mirror にもリクエス
【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
おはようございます。 裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。 こないだ飲み会で同期とそんな話をしておりました。 本題 ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。 今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。 環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択する そのページのリクエストを見つける たぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択 今回の肝はこれで、ブラウザで送った
transfer.sh - コマンド一つでファイルアップロード&共有 MOONGIFT
手元にあるファイルをすばやく別な人に渡したいと思ったことはないでしょうか。macOS同士であればAirDropが使えますが、異なるOSの場合はそうはいきません。USBドライブを使ったり、メールしたりするのも面倒です。 そこで使ってみたいのがtransfer.shです。コマンド一つでファイルを共有できるソフトウェアです。 transfer.shの使い方 .bashrcや.bash_profileに次のように記述します。 transfer() { curl --progress-bar --upload-file $1 https://transfer.sh/$(basename $1) | tee /dev/null; } alias transfer=transfer これでtransferコマンドができました。使い方は以下のようになります。 $ transfer stack.yaml #
メモリ使用量がfreeとpsで一致しないときに確認すること、若しくはメモリリークしないcurlの使い方 | 株式会社サイタスマネジメント テックブログ
メモリ使用量がfreeとpsで一致しないときに確認すること、若しくはメモリリークしないcurlの使い方 この記事の要点 Elasticsearch を運用するためにツールを用いて curl を定期実行したところ、監視サーバのメモリ使用量が上昇し続けた ps と free の結果が合わないと思ったら、Slab キャッシュがメモリを消費していた /proc/meminfo の Slab: 行で確認できる curl は使い方によっては実行のたびに Slab キャッシュを肥大させる HTTPS スキームのとき、かつ環境変数 NSS_SDB_USE_CACHE に yes がセットされていないとき パフォーマンスグラフを取得しておくと日頃の傾向を知ることが出来る 保守するときやスペックサイズを設計するときなどの材料にも使える ことの発端から暫定対応まで システム管理者である筆者の元に届いた、一通のア
nc, cURL, Chrome, openssl s_client, RDP で SOCKS プロキシーを使う（＆ socatのご紹介） | DevelopersIO
SOCKS 4 プロキシを経由しないとアクセス出来ない Web 環境（のSSL証明書）をテストする必要があったので、各試験用コマンドで SOCKS4 プロキシーを使う方法を調べました。また、その過程で socat というツールも見つかったのでご紹介します。 前提 以下、下記の前提で話を進めます。 プロキシーサーバのホスト名は proxy.example1.jp プロトコルは SOCKS4、ポートは 1080/TCP 試験対象（接続したい Web 環境）の URL は https://target.example9.jp/ クライアント側の作業環境は macOS High Sierra になりますが、CLIコマンドなどは Linux でも使用可能かと思います。 nc (netcat) 443/TCP が LISTEN しているか、そもそも作業環境・プロキシーサーバからアクセス出来るか（SG
HTTPS通信の疎通確認に覚えておきたい３つのコマンド - Qiita
$ curl -s -v --sslv3 https://example.com 1> /dev/null * Rebuilt URL to: https://example.com/ * Trying 93.184.216.34... * Connected to example.com (93.184.216.34) port 443 (#0) * SSL peer handshake failed, the server most likely requires a client certificate to connect * Closing connection 0 おっと、SSLハンドシェイクで通信に失敗したようですね。SSL3.0はPOODLE脆弱性問題があります。ちゃんとexample.comでは無効にしているようですね。以下のようにTLS1.2ではきちんとできました。Di
相手のサーバにHTTP(S)で接続できるかどうかを確認するときにリトライしながらやりたいんですけどって時 - その手の平は尻もつかめるさ
例えばCIでテストのためのストレージのコンテナを上げる際，そのストレージが上がりきるまで待たなければテストには使えないわけですが「上がりきるまで何秒待てばよいのか」というのは一概に決められるものではありません． そうした際，実際にストレージに対してHTTP(S)のリクエストを投げてみて，繋がったら「上がりきった」とみなして処理を次に進めるというようなことがよく書かれます．そういった要件を満たす為には接続に失敗したらリトライをしつつ一定回数試行するという処理を書かなくてはなりません． つまりはそういう話です． wgetの場合 retry-connrefused tries waitretry を利用すると出来る． retry-connrefused が無いと connection refusedに対応できずにリトライが不可能となるので，今回のような要件を満足するためには付ける必要があります．
PythonモジュールRequestsのHTTPステータスコードについて | DevelopersIO
はじめに LambdaでURL監視をする際に使用したPython(Requests)について調べたことをご紹介したいと思います。 RequestsでHTTPステータスコードを取得する 成功の場合 >>> import requests >>> r = requests.get('http://httpbin.org/get') >>> r.status_code 200 簡易的にTrue,False判定する場合 >>> r.status_code 200 >>> r.status_code == requests.codes.ok True >>> r = requests.get('http://httpbin.org/status/404') >>> r.status_code 404 >>> r.status_code == requests.codes.ok False 4XX、5
私のURLはあなたのURLとは違う : curl作者の語る、URLの仕様にまつわる苦言 | POSTD
1996年にcurlプロジェクトの先駆けとなるhttpgetを始めたとき、私は初めてURLパーサを書きました。当時はまだ、ユニバーサルアドレスは URL : Uniform Resource Locators と呼ばれていました。その仕様は1994年にIETFによって発行されたものでした。この”URL”という用語からインスピレーションを得てツールとプロジェクトに命名したのが curl でした。 URLという用語は後に事実上、 URI : Uniform Resource Identifiers (2005年発行)に変わりましたが、「オンラインでリソースを指定する文字列のための構文と、そのリソースを得るためのプロトコル」という、基本的な点は変わりませんでした。curlでは、この構文仕様RFC 3986の定義に従う”URL”を許容するとうたっていますが、それは厳密には正しくありません。その理由
グローバルIPをcurlで確認 - Qiita
$ curl -v httpbin.org/ip * Trying 23.23.223.197... * Connected to httpbin.org (23.23.223.197) port 80 (#0) > GET /ip HTTP/1.1 > Host: httpbin.org > User-Agent: curl/7.43.0 > Accept: */* > < HTTP/1.1 200 OK < Connection: keep-alive < Server: gunicorn/19.7.1 < Date: Fri, 21 Apr 2017 05:38:49 GMT < Content-Type: application/json < Access-Control-Allow-Origin: * < Access-Control-Allow-Credentials: tru
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
curl は何をしているか #システムコール編 - Qiita
jid/README.md at master · simeji/jid
急いでダウンロードしたい時はwgetやcurlじゃなくてaxelを使おう - Qiita
