ngx_mruby v2のHTTPクライアントをv1よりも最大90倍高速にした - 人間とウェブの未来
写真のような感じでRubyKaigi2018で登壇し、RubyKaigiを経て、ようやくngx_mrubyのv2をリリースしました。基本的にv1と互換性がありますので、今後はv2を開発していくことになります。 github.com ngx_mruby v2の目玉機能としては、Rubyスクリプトからノンブロッキングのsleepとhttp[s]クライアントを使えるようになったことです。実装的には、nginxのsub requestという機能をうまく使って、ノンブロッキングのhttp[s]クライアントを汎用的なsub_requestメソッドとして実現しています。 では、本エントリではそのノンブロッキングhttpクライアントがどの程度高速処理可能になったかを実験してみましょう。また最後には、RubyKaigi2018の感想も述べます。 実験 proxyサーバのblockingとnon-blocki
今なぜHTTPS化なのか？インターネットの信頼性のために、技術者が知っておきたいTLSの歴史と技術背景
【変更履歴 2018年2月15日】当初の記事タイトルは「いまなぜHTTPS化なのか？ 技術者が知っておきたいSEOよりずっと大切なこと ― TLSの歴史と技術背景」でしたが、現行のものに変更しました。現在GoogleではWebサイトのHTTPS対応と検索結果の関係を強調しておらず、本記事の趣旨の一つにも本来は独立した問題であるSEOとHTTPS化を関連付けるという根強い誤解を解くことがありますが、当初のタイトルではかえってSEOとHTTPSを関連付けて読まれるおそれがあり、また同様の指摘もいただいたことから変更いたしました。 HTTPとHTTPSは、共にTCP通信上で動作します。したがって、いずれもTCPハンドシェイクで通信を開始します。 HTTP通信の場合には、このTCPハンドシェイク直後に、HTTPリクエストとレスポンスのやり取りが始まります。このHTTPのやり取りは平文通信であり、途
UEFIのHTTP BOOTを試してみる - /home/tnishinaga/TechMEMO
UEFI 2.5からネットワークブートの方法として"HTTP BOOT"が増えました。 今回はこのHTTP BOOTは従来の方式に比べ何が嬉しいのか、この機能を使ってUEFIのアプリを起動するにはどのようにすればよいかを書いていこうと思います。 忙しい人のまとめ ネットワークブートがHTTP経由でできます DHCPの設定変更なしでもOKです 対応バージョンはUEFI 2.5以上です HTTP BOOT とは HTTP BOOTはUEFI 2.5で追加されたネットワークブートのためのUEFIの機能です。 この機能を使うと、HTTP（またはHTTPS)サーバーからファイルを取得し、UEFIアプリやOSを起動することができるようになります。 HTTP BOOT と PXEブートの違い よく知られたネットワークブートの方法としてPXEブートがあります。これとHTTP BOOTはどのような点が異なる
Amazon DynamoDB のデータを API Gateway と Angular( D3.js ) でサーバーレス可視化する | DevelopersIO
とある投票システムを仮想したデータです。特定の投票者IDに関するデータを、日別で見たいとしましょう。 data.ts export interface Vote { voteDate: string; value: number; } export const Votes: Vote[] = [ {voteDate: '2017-11-10T12:00:12+09:00', value: 345.11 }, {voteDate: '2017-11-11T22:00:12+09:00', value: 102.34 }, {voteDate: '2017-11-12T09:12:45+09:00', value: 345.11 }, {voteDate: '2017-11-13T09:12:45+09:00', value: 312.12 }, {voteDate: '2017-11-14T
マンションのLAN内のゲートウェイが中間者攻撃してくるお話 - Qiita
来歴 私は去年、とある賃貸マンションへ入居した。 インターネットは無料で利用可能、壁の端子にLANケーブルを挿すだけ。 ただ、この物件のインターネット回線がおかしい。1日に1回くらい、Webサイトを閲覧しようとしたときに、マンションの管理会社のホームページへリダイレクトされる現象が起きる。 イメージとしてはこんな感じ。 東京の天気が表示されるべきなのに、入居者用Webページのログイン画面へリダイレクトされる。 腹が立ったので今年の5月くらいに現象を調べ、原因がわかったことで満足していたが、重い腰を上げて結果を以下の記事にして公開する。改めてGoogle先生に聞いたら、同じことで悩んでいる人がいた。 自動リダイレクトの回避方法について。 http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10165027165 なお、後述の図には
エックスサーバーを選ばない理由がない。HTTP/2とnginx対応でさらに最強に – 2ミニッツ
エックスサーバーとはエックスサーバーとは、安定性、スピード、無料SSLや使いやすい管理コンソール機能などに定評のあるレンタルサーバーです。 WordPressでブログをはじめるならエックスサーバーを使えば間違いないと言い切れるくらいおすすめされています。 ぼくも10日間の無料お試し期間にその便利さにほれてから、ずっとエックスサーバーを利用しています。（当時のことを下記記事に書いています） HTTP/2とnginx対応…何がどう変わるの？そんなエックスサーバーが先日、HTTP/2とnginxに対応しました。 結局どうなるの？ を一言でいうとサイトの表示スピードが爆速になります。 HTTP/2化でページ表示速度が倍速にHTTP/2とは、これまで使われてきたHTTP/1.1という通信規格をバージョンアップしたものです。 HTTP/1.1とHTTP/2でどの程度ページ表示速度に差が出るかは、以下の
Amazon Dash ButtonをただのIoTボタンとして使う - Qiita
2016年12月5日より、Amazon Dash Buttonで利用できるようになりました。これは、ボタンを押すだけでAmazonから一部の商品(天然水, ひげそりなど)が購入できるようになるという端末です。 今回はこのAmazon Dash Button(※ 以降ボタンと呼びます)を、押したらHTTPリクエストが飛ぶボタンとして利用し、おうちハックなどで利用できるようにしていきます。 とりあえずボタンを押したらSlackにWehbook飛ばすくらいまでやりました。 ボタンの仕組み ボタンは電源がオフされているので、以下のような順序で動きます。 電源ON 同時に設定されたWi-Fiネットワークに接続 IP重複検知のためにARPプローブ送信 IPが重複していたらIP再設定?(自信ない) Amazonへ購入処理の実行(HTTP???) 参考 : How I Hacked Amazon’s $5
Real World HTTPはスゴ本:Geekなぺーじ
Real World HTTPの献本ありがとうございます。Webトラフィックを運ぶプロトコルとして利用されているHTTPの解説書として、HTTP 1.0、HTTP 1.1、HTTP 2.0のプロトコルだけではなく、ブラウザやサーバが何を行っているのかを含めて解説しています。 Real World HTTPの凄いところは、過去の経緯をふまえつつ、HTTPという軸で実際に使われている部分とそうでない部分を明確にしつつ解説されている点です。 しかも、範囲は非常に広いです。HTTPと関連する話として、たとえば、TLS、WebRTC、RSS、RDF、OGP、JSON、GeoLocation、RESTful APIなども解説されていますし、勘違いが発生しやすいno-cacheやno-storeなどに関しても解説されています。 すべての項目に関して詳細に解説されているわけではないものの、それぞれかなりし
GraphQLはWeb APIの次のフロンティアか？ | POSTD
RESTの規約。URLはリソースであり、CRUDはHTTP動詞にマップされる。 RESTの規約に1つ問題があるとすれば、規約が十分でないということでしょう。上記で”通常”、”多くの場合”、”時に”という表現を使ったのは、これらのやり方は仕様で推奨されているものの守られるとは限らないためです。実世界では、大抵のAPIはRESTishがせいぜいです。例えばStripeでは、リソース更新に PUT ではなく PATCH を使うべきですが、歴史的理由でそうはなっておらず、おそらく現時点では変更に値しないでしょう。いずれにしても開発者はドキュメントを読む必要があり、その時、 POST メソッドのユビキタスな使い方があることに気づくのです。 RESTには他の問題もあります。必要なものだけでなく全てが返ってくるため、リソースのペイロードが非常に大きくなることがあるのです。そして多くの場合、クライアントが
メルカリで個人情報流出したけど、うちは大丈夫？に答えるためのポスト
昨日（2017/6/22）、メルカリWeb版にて個人情報流出が起こりました。 ⇨CDN切り替え作業における、Web版メルカリの個人情報流出の原因につきまして 本投稿では、非インフラエンジニア向けに、『メルカリで起こった問題は、自社のサービスでは果たして起こらないか？』を確認する考え方について書きたいと思います。 ▼つよいインフラエンジニアの方へ もし記載内容に誤りがあれば、ご指摘をいただきたいです。よろしくお願いします。 （ https://twitter.com/katsuhisa__ ） ▼そこそこインターネット詳しいぜ！という方へ 分かりきっている内容に関しては、がんがん読み飛ばしてください。 今回の問題を三行で 個人情報が含まれるページが、 CDNプロバイダ切り替え時に、 予想外にキャッシュされてしまった 問題の構造 今回の問題は、2つの視点で分けて考えると理解しやすいです。 キャ
AWS CLIを利用してS3上のファイルをgrepする | DevelopersIO
先日Hadoop Streamingを利用してS3上のファイル群にgrepコマンドを実行する方法を紹介しました。 grepコマンドをHadoop Streaming上で実行する とはいえ、ファイル数が少ない場合や時間が掛かってもいいからEMRを利用せずにローカルPC上でgrepコマンドを実行したいこともありますよね。ということで、今回用意したのがAWS CLIを利用してS3上のファイル群をローカルPC上でgrepするbashスクリプトです。 動作確認環境 今回の動作確認を行った環境です。 Mac OS X 10.12.5 GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin16) aws-cli/1.11.60 Python/2.7.10 Darwin/16.6.0 botocore/1.5.23 s3grep s3grepという
RESTアンチパターン
多くの人々にとって、RESTは単純にあるアプリケーションの機能を公開するためにHTTPを使用することを意味します。基本的で最も重要なオペレーション (厳密に言えば、「動詞」や「メソッド」がより良い表現です)は、HTTPのGETです。GETはURIによって特定されるリソース表現が必要です。しかし、多くの場合、それがすべてではないとしても、既存のHTTPライブラリやサーバープログラミングAPIは、リソースの識別子としてではなくパラメータをエンコードするための便利な手段として見ることがとても多いです。結果、以下のようなURLとなります。: http://example.com/some-api?method=deleteCustomer&id=1234 実際、URLを作る人は、与えられたシステムの「RESTful具合」について何も言いません。しかし、私たちは特定の場合においてGETが「安全」では
LV41 on Twitter: "こういう切替スイッチ、苦手なんですよ‥‥。できれば左のほうに統一してほしい https://t.co/dBlWhVj4Cv"
こういう切替スイッチ、苦手なんですよ‥‥。できれば左のほうに統一してほしい https://t.co/dBlWhVj4Cv
curl コマンド 使い方メモ - Qiita
はじめに 「最近、curlが楽しい」 というわけで、最近、curlでPOSTしたりDELETEしたりcookieからSessionを読み込んだりと触れ合う機会が多かったので、その時知ったものを備忘録も兼ねてまとめました。 なるべく実行コマンドとその結果の出力をセットで書くようにしています。 curlコマンドは便利 curlは便利です。 APIと触れ合っていると、 手軽に HTTPリクエストしたくなる色んなシーンに出会います。 「あれ？ サーバー死んでる？」 「思ってたレスポンスと違うな、何が返されているんだ？」 「認証必須にしたんだけど、うっかり抜け道ないよね？」 「さくっとPOSTしてテスト用にデータ準備したいんだけど...」 ...etc こういった、とりあえず生で、くらいのテンションでHTTPリクエストしたいなら、curlは有力な選択肢の一つと思います。 もちろん、本格的な確認やデー
[新機能]AWS Elastic BeanstalkがGoをサポートしました！ | DevelopersIO
はじめに AWS Elastic BeanstalkがGoをサポートしたことが発表されました！ Elastic Beanstalk Update – Support for Java and Go AWS Elastic Beanstalk Supports Go Applications これまではDocker、Java、.NET、Node.js、PHP、Python、Rubyがサポートされていましたが、新たにGoが加わったことになります。Elastic BeanstalkでのGoアプリケーションの実行では、Javaと同様にProcfileを使って複数のプロセスを実行することができます。コンパイルしたバイナリをサクっとアップロードすれば動くGolangは、Elastic Beanstalkと相性が良いと思います。 ということで、とりあえず実際にやってみました！ やってみた 以下のような、
![[新機能]AWS Elastic BeanstalkがGoをサポートしました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7425cca287d58da0d33c34c67df2b5f84b005551/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FElastic_Beanstalk.png)
ラムダこりゃ（Amazon Lambda チュートリアル 5）〜 Lambda と Python と Datadog で簡易 HTTP モニターを作る 〜 - ようへいの日々精進XP
Lambda の Scheduled Handler と Python の組み合わせが地味に楽しいかっぱです。 tl;dr ラムダこりゃシリーズ 5 回目になるので、何か役に立ちそうなことをしてみたいということで Lambda + Python + Datadog で簡易 HTTP モニターを作ってみた。 どんなものか？ 構成と処理の流れ ザックリ Lambda + Scheduled Handler でサーバー要らず 監視対象の URL は S3 のバケットに置く レスポンスコードをチェックして 200 以外が返ってきたら Datadog の Event に通知 レスポンスタイムも計測、値は Datadog にて可視化 レスポンスタイムのしきい値を超えたら Datadog の Event に通知 発生した Event に応じて通知を設定（手動で Slack に飛ばす等） おソース git
Shibu's Diary: 「Real World HTTP」が出版されます！
昨年から書いていたReal World HTTPがAmazonのページに表示されるようになりました。最初にコミットしたのは昨年の8/1ですが、たぶん、その数ヶ月前から書き始めていたと思うので、ほぼ丸一年です。途中でASCII.jpのシステムプログラミングの連載が始まったり、Software DesignにSphinxについて寄稿したり、もう１つ別の翻訳の企画があったり、三女が7/4に生まれたり、なかなかハードな一年間でした。 なお、表紙は皆さんが知っているものとはちょっと違うのですが、系統的に一番近いのがハシビロコウさんらしく、和名もそれしかないそうです。狙っていたわけではなく、そもそも出版時期にはアニメも終わってしまっているし、話題の動物は辞めたほうが良さそう、という話をしていたのですが、偶然これが選ばれました。 本の内容の紹介 裏表紙の紹介はこんな感じです。 本書はHTTPに関する技術
Pythonで作成したライブラリを、PyPIに公開/アップロードする - Qiita
便利なツールを作成したら、ぜひみんなにも使ってもらいたいものです。PythonではPyPIというパッケージを登録するサイトがあり、ここに登録することでpip installなどでインストールすることができるようになります。 本文書では、その手順を紹介したいと思います。 注意: 古い方法について ・・・と思ってGoogleで検索すると、現在では推奨されない古い方法がたくさん引っかかります。以下は古い方法の代表例なので、注意をしてください。 setup.pyでdistutilsを使っている 現在はsetuptoolsを使うのが推奨です .pypircにdistutilsの記載がある 現在は必要ありません python setup.py registerやpython setup.py sdist uploadを使っている これらは平文のHTTP/認証されていないHTTPSの通信を利用するため、
Amazon Kinesis Firehoseを使ってRedshiftにデータを送ってみた #reinvent | DevelopersIO
はじめに Amazon Kinesis FirehoseとはリアルタイムストリーミングデータをKinesis経由でS3やRedshiftに保存できるサービスです。 以前、こちらの記事でFirehoseを使ってログをS3に送ってみました。 [新機能]Amazon Kinesis FirehoseでS3にデータを送ってみた #reinvent 今回はRedshiftに送ってみます。 概要 ストリーミングデータは下記のフローでRedshiftに格納されます。 図からわかる通り、データは一旦S3に保存され、そのあとRedshiftにロードされます。 S3にデータを保存するのも、Redshiftへのロードを実行するのもFirehoseサービスです。 したがって、Firehoseには下記の権限が必要です。 S3へのデータ保存権限(IAM Role Policy) Redshiftへのアクセス(Reds
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
API Gatewayの「Lambda プロキシ統合の使用」オプション - Qiita
