Cloud Functions is a lightweight compute solution for developers to create single-purpose, stand-alone functions that respond to Cloud events without the need to manage a server or runtime environment. Learn more

Advanced nginx in mercari - How to handle over 1,200,000 HTTPS Reqs/Min 「nginx実践入門」出版記念！執筆者らが語る nginx Tech Talks Read less

This document provides an overview and examples of using ngx_mruby, which allows embedding the mruby scripting language in the nginx web server. It introduces ngx_mruby and how it works, provides instructions for building and installing ngx_mruby, and gives several code examples for common tasks like content handling, logging, redirection, and authorization using ngx_mruby. Key features covered in

このポストは、Why I Left Gulp and Grunt for npm Scriptsを筆者の許諾を得て意訳したものです。間違いがありましたら、ご指摘いただけると幸いです。 （以下、訳） 私はGulpとGruntが不要な抽象化レイヤーだと気づきました。npmのscriptsはとても強力で、そっちの方が便利だったりします。 例を挙げましょう 私はかつてはGulpが大好きでした。しかし結局のところ、100行ものgulpfileと大量のgulpプラグインを扱うハメになりました。Gulp上でWebpackやBrowsersync、Mochaなどを統合するのは本当にたいへんでした。なぜでしょうか？それは、プラグインによってはドキュメントが不十分だったり、APIの一部しか公開されていなかったためです。 これらを解決しようと思えばできました。しかしなんと それらのツールを直接使用すると不具合が

quipper-cto-2.md 前回、現在のQuipperの状況みたいのを書いたが、今回は、普段CTOとして、どういうことを意識して開発チームを作っているか、どういう開発チームになって欲しいと思っているか、というのを書いてみたいと思う。 この辺り、自分自身の経験からくる「好み」とか「美学」みたいなものが強めな部分でもあるので、表に出すのはなかなか勇気がいるが、co-founder/CTOである自分のそういうところが、開発チームのカルチャーに当然影響しているし、一緒に働くことになる人ととはカルチャーのマッチがとても大事だと思っているので出してみる。 まず、以前、社内でなんとなく書いた文章があるのでそのまま出してみる。これは開発者の採用活動に当たり、どんな人が欲しいと思っているか率直に書いたものである。 以下、「開発者」と書いてある部分は、Web開発者/iOS開発者/Android開発者/デ

Webサーバのベンチマークをとるのが趣味になりつつあるmatsumotoryです。 Webサーバのベンチマークについては、abからはじまりwrk等を使っていたのですが、最近ではほぼh2loadを使っています。 h2loadはnghttp2というHTTP/2ライブラリのアプリケーションに含まれているツールですが、 HTTP/2（SPDYも）とHTTP/1.xに両対応している ベンチマーク側の同時スレッド数を増やせる TLS及びSNIもサポートしている 最小、最大、平均、標準偏差あたりもちゃんとでる ので、色々プロトコルを変えつつ同じベンチマークツールで、値の目安を出すにはとても重宝しています。 Nghttp2: HTTP/2 C Library - nghttp2.org 実行結果のサンプルは例えば以下、 $ h2load -c 100 -n 10000 https://localhost:

After a year of work, we are extremely proud to announce that Ansible 2.0 ("Over the Hills and Far Away") has been released and is now generally available. This is by far one of the most ambitious Ansible releases to date, and it reflects an enormous amount of work by the community, which continues to amaze me. Approximately 300 users have contributed code to what has been known as “v2” for some t

日立製作所は2016年1月12日、統合システム運用管理の新版「JP1 Version 11」を1月13日に販売開始すると発表した。3年ぶりとなるメジャーバージョンアップは、「ビジネス要求に追随するためのスピードアップ」に注力。JP1を初めてSaaS（ソフトウエア・アズ・ア・サービス）で提供し、サーバー調達といった準備なしに運用管理を始められるようにした。仮想化環境やクラウドでの活用に向けて、商品体系を刷新。新製品「JP1/Operations Analytics」は、障害時の迅速な原因究明を支援する。 SaaSの第一弾として、IT資産・配布管理「JP1/IT Desktop Management 2 as a Service」と高速大容量ファイル転送「JP1/Data Highway as a Service」を提供開始。ITプラットフォーム事業本部 ITマネジメントソリューション開発部の

Part 1 Task の依存関係の解決 Part 2 Workflow の冪等性 Part 3 Task 間でのデータのやり取り Part 4 Task の並列実行 まえおき この連載記事で作成する Workflow Engine は、Luigi の設計思想に大きく影響を受けています。なので、 @k24d さんの Luigi によるワークフロー管理 を先に読んでおくと、理解が深まると思います。 前回は Task の依存関係の解決方法を実装しましたが、Part 2の今回は Workflow の冪等性について実装していきます。 Workflow を実行、制御する上で、冪等性（何回実行しても結果が同じであること）は大変重要です。なぜ重要かというと、現実問題として Workflow は途中で失敗する可能性があり、いかに確実に簡単にリトライ処理ができるかが、業務システムを運用の手間に直結するからで

Part 1 Task の依存関係の解決 Part 2 Workflow の冪等性 Part 3 Task 間でのデータのやり取り Part 4 Task の並列実行 Workflow Engine って何？ Workflow Engine と言っても多機能なものから、シンプルなものまで様々なものがあります。そこで、主旨がぶれないように、この記事での Workflow Engine は、以下の要件を満たすソフトウェアとします。 Workflow Engine とは、依存関係のある複数の Task を、意図した順番通りに実行するもの この記事では、この要件を満たす Workflow Engine を Ruby でつくる方法について解説します。 依存関係を記述する 依存関係を解決するコードを書く前に、依存関係を記述する方法をまず決めましょう。 依存関係を記述するには、luigi のように Ta

Varyヘッダは前段のキャッシュサーバに対して、指定したヘッダの内容ごとにキャッシュを分ける必要があることを伝えるためのものです。例えばサーバがVary: Accept-Encodingをレスポンスヘッダに付加しておくと、キャッシュサーバはAccept-Encodingヘッダの内容に応じたキャッシュを保持します。 こうすることでクライアントのAccept-Encodingヘッダの内容に応じたキャッシュデータをキャッシュサーバは返すことができるというわけです。 nginxにおけるgzip圧縮とVaryヘッダ さて、本題です。上記のような事情からかApacheのmod_deflateやh2oなんかはコンテンツのgzip圧縮を有効にすると、自動的にVary: Accept-Encodingをレスポンスヘッダに付加します。一方我らがnginxは設定ファイルにgzip_vary on;と書かないとV

Rails 5.0ベータ版が登場。Microservices対応の「API mode」、WebSocket用のフレームワーク「Action Cable」など Ruby on Railsの次期バージョンとなる「Rails 5.0」のベータ版「Rails 5.0.0.beta1」の公開が発表されました。 Rails 5は、今年2015年4月にアトランタで行われた「RailsConf 2015 Atlanta」で、今年リリース予定だと開発者であるDHH（David Heinemeier Hansson）氏が明らかにしていたバージョンです。 このときDHH氏はRails 5を旅行者のバックパックに例え、個人の開発者のために必要なものが一通り揃っていることを追求しつつ、最近のMicroservicesへの要求にも応えられるように、APIを中心にしてそれ以外の機能を省略してスリムダウンできる「API

Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた

こんにちは。村☆☆☆ハンターの @sugitak です。freee ではインフラ的なことをしていて、個人では一年に一度くらいbundlerの記事書いています。あとCONBUとか参加してます。 freeeでは日々様々な革命が行われていますが、革命にはパンがつきものです。パン、すなわち無線です。革命家にパンが必要なように、エンジニアが自由に働くためには無線が必須なのです。有線ではいかんのです。 ということで、今回はfreee Engineers Advent Calendar 2015 5日目の記事では、スタートアップのオフィス無線を良くするにあたって大事な 5 つのポイントについて説明したいと思います。 アクセスポイント(AP)の収容端末数を気にしよう さて、まずは「収容端末数」について説明します。 10人以下のオフィスでは、ヨ○バシで売っている buffal○ や I○DATA など、普段

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

［速報］マイクロソフト、無償のコードエディタ「Visual Studio Code」をオープンソースで公開。Microsoft Connect(); 2015 マイクロソフトは11月18日（日本時間18日深夜）に開催したオンラインイベント「Microsoft Connect (); 2015」において、無償のコードエディタ「Visual Studio Code」をオープンソースで公開しました。 Visual Studio Codeは、4月のイベント「Build 2015」で発表された、コードを書くことに特化したエディタ。Gitによるソースコード管理、IntelliSense、コードリファレンス、デバッガなどの機能を搭載しています。 Windowsだけでなく、MacOS、Linuxにも対応します。 今回のイベントでは、このVisual Studio Codeがベータ版に到達したという発表と同

Recently my colleague (by Percona) Yves Trudeau and colleague (by industry) Marco Tusa published their materials on Amazon Aurora. Indeed, Amazon Aurora is a hot topic these days, and we have a stream of customer inquiries regarding this technology. I’ve decided to form my own opinion, and nothing is better than a personal, hands-on experience, which I am going to share. The materials I will refer

Site Reliability Engineering Team（通称SRE）の@cubicdaiyaです。最近チーム名が変わりました。 今回はConsulを利用して複数台のnginxサーバのTLSセッションチケットを自動更新する仕組みについて紹介します。 TLSセッションチケットは簡単に言うとTLSのセッション情報を暗号化してクライアント側に保存することで HTTPS通信時に行われるTLSハンドシェイクの手順を省略してネットワークレイテンシを削減するための仕組みです。(詳細については一番下の参考情報を御覧ください) 似たような仕組みとしてTLSセッションキャッシュがありますが、こちらはセッション情報をサーバ側に保存します。 HTTPS通信ではTCPのハンドシェイクに加えてTLSのハンドシェイクが必要になるのでHTTP通信よりもネットワークのレイテンシが大きくなりますが、 これらの仕組み

はじめに この記事は Building Data Pipelines with Python and Luigi の和訳です。 元記事がよくできていたので、自分の理解も兼ねて、拙いながらも訳してみました。 誤り等ありましたらぜひコメントでご指摘おねがいいたします。 データサイエンティストにとって、日々の業務はエンジニアリングというよりも研究開発の色が濃いことがしばしばある。にもかかわらず、プロトタイプから製品までのプロセスには、素早く泥臭い決定が次善の策1であり、けっこうな数のリエンジニアリングの努力が必要となる。これはいつも革新を遅らせ、一般的に言えば、プロジェクト全体を遅らせる。 この記事はデータパイプライン構築の経験について議論する：データの抽出、洗浄、結合、前処理などデータ駆動製品のためのデータを準備するのに必要となる一般的なすべてのステップである。特に焦点を当てるのはデータの配管

Today, I will introduce a system that we call Shadow Proxy, which is released recently in our development environment. What’s Shadow Proxy? Shadow Proxy makes an HTTP request, which is copied from a request to production, to staging applications. It means that it is possible to apply requests to staging that are the same quality of production. The main purpose of this system is to check beforehand