3ヶ月以上ずっと趣味で社内ISUCONの問題を作っていました。ブログを書きました。是非読んではてブしてください。 inside.pixiv.net github.com 以前も書きましたが、今年のISUCON6では出題に関わる予定です。 catatsuy.hateblo.jp なのでこれから本番に向けてまた頑張る必要があるので非常に厳しい感じです。 参加者は自分の選択した言語実装以外のことを考える必要は無いですが、問題作成側はベンチマーカーを作りきらないといけないし、複数の言語の実装も作らないといけないし、ポータルサイトやら環境やら様々なものを構築する必要があるし、全部を結合してちゃんと動かさないといけません。 今回の社内ISUCONは自分が1ヶ月程度をかけて、問題とベンチマーカーのプロトタイプを作成して、その後に全員で足りない部分を作ったり、ブラッシュアップをしたりし続けたという感じで何

コンピュータやそれを取り巻く技術が発展した今もなお、我々の住む世界は様々な障壁に満ち溢れています。それはWebサービスを始めとしたシステムに関しても同じこと。突然のアクセス集中や多くのシステムが連鎖した障害などに適切に対処してくれる、システムに携わるすべてのエンジニアが安心して眠れる環境はできないのでし…

https://ezukatechnight.doorkeeper.jp/events/44585 E-zuka tehc night #ezuka_tech_night

17:55 Keynote 分散ワークフローエンジン『Digdag』の実装 ワークフローエンジンは、依存関係のある複数のタスクを実行するツールです。古典的なMakefileを始め、Python製のLuigi、商用のJP1/AJS3など、様々な実装があります。Digdagは、現在活発に開発が進んでいる新しいワークフローエンジンです。このセッションでは、ツリー構造を持つワークフローの状態遷移を効率的に実行する手法、ワークフローの実行状態の永続化と分散実行、タスクスケジューラ、Dockerによるサンドボックス化など、その実装手法を紹介しながらワークフローエンジンの構成技術について解説します。 必要となる知識 SQLの基本的な知識と、Rubyのリフレクション、オプティマイザなどの知識があると、より楽しめると思います。 古橋 貞之 Treasure Data, Inc. Founder & Soft

しばらく更新を怠っていました。今もまだ余り時間が取れないのですが、Doukaku.orgの問題を少し見る余裕が出てきました。平行して、いくつかHaskell関係の論文を読んでいたのですが、そのうちの一つ、Functional Programming with Overloading and Higher-Order Polymorphism (http://web.cecs.pdx.edu/~mpj/pubs/springschool.html) を読んでいて発見したことをかきます。 Haskellでも使われている型宣言文法であるHindley/Milner type system (以降HM)はそのおおもとのアイディアはなんと１９６９年に考案されていたようです…Fortran（1960年代）やLisp（1965年）に比べれば後にはなりますが、C（1972年）よりも前からあるものなんですね

フットボールの試合において、「1人の選手がボールに触れる時間の平均は53.4±8.1秒」だ。スポーツ科学者のCarling, C. (2010) がフランス1部リーグのチームを調査したこの研究は、「ボールに触れていない時間」の本当の重要性を照らし出すものでもある。90分のうち、選手達は1分程度ボールに触っている。残りの89分間、「ピッチでサッカー選手が何をしているか」は意外と知られていない。ボールを持たずに過ごす89分間こそ、組織的な戦術理解度を必要とする鍵だ。そして、その89分を「充実させられる」選手こそが現代サッカーにおいて最も求められている。 「89分」の組織的な守備の重要性。 「美しい攻撃サッカー」が持て囃される昨今、人々はボールを持つ選手に集中する傾向にある。試合において観客はボールを追い、ボールを中心にデータが集められる。シュートやパス、タックル、インターセプト。数字として集め

Slack 上でリアクションを操作ボタンとして利用して倉庫番を遊べる、 hubot-slack-soukoban を作りました。 その昔、 Hubot-slack で絵文字でアニメーションする8パズルゲームができるbotを作った という記事を書きました。 この記事では、Slackの編集をbotに叩かせまくり、Slack上で動くパズルゲームを作ったことを紹介しました。 しかしこのパズルゲームには謎のコマンド列をタイプしてbotとやり取りしなければ遊べないという弱点がありました。 そこで今回、Slackのリアクション機能で配置されるボタンを操作ボタンとして利用することで、よりプレイヤーが直感的に遊べるゲームをSlack上に実現しました。 soukoban という文字列に反応してbotがランダムに選ばれた倉庫番のマップと、操作するためのリアクションボタンを表示します。 操作法は上記画像のままです

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ

ISUCON6の出題者の1人の@catatsuyです。 GW直前の4/28、本年度入社の新卒エンジニア全員と社内のエンジニアほぼ全員が参加するイベントとして社内ISUCONを開催しました。 同じく出題者の1人である@edvakfの記事でも書いたように、今年のISUCON6では株式会社はてなさんと弊社で共同出題する予定です。 inside.pixiv.net 今回は弊社のISUCON6出題チームの4人で開催した社内ISUCONの様子を紹介します。 社内ISUCON 時間は12:30から19:00まで行いました。営業日に会社のエンジニアのほとんどが参加するイベントなので、午後を割り当てる形にするぐらいが良いのではないでしょうか。今回は新卒研修の一環としての側面があったので、新卒エンジニアにはISUCON事前ハンズオンとしてこのような内容の講義を行いました。 初期実装 初期実装の言語は『Ruby

最近はAWS WAFを触っています。こういう防御ツールは、やはり攻撃をどれぐらい防いでくれるか気になります。AWS WAFの場合、SQLインジェクション系の脆弱性を探ってくれるsqlmapをかけたところ、攻撃をブロックしてくれたという記事があります。 記事を読んだり自分でちょっと試したりして、ちゃんとSQLインジェクション攻撃を防いでくれるんだーと思っていました。が、つい先日WAFをバイパスしてSQLインジェクション攻撃をするテクニックがあることを知りました。例えばOWASPのこのページには、そういうテクニックがいくつか紹介されています。 こうなると気になるのは、AWS WAFに対してWAFバイパスのテクニックを使うとどうなるかです。というわけで、実際に試してみました。 単純にSQLインジェクションしてみる まずは、AWS WAFがないときにSQLインジェクションができること、また、AWS