ISUCON4 運営しました！の話 - 941::blog
予選からご参加いただいた皆さん、ありがとうございました！おかげさまで参加者も増えまして、今年も運営やらせていただきました。毎回どんな運営やったかを書いているようなので今回も書いておきたい。 エンジニアがやりたいというので 技術コンテスト #isucon の運営をしてみた - 941::blog #isucon2 の運営担当をしたので準備とか企画とかの話 - 941::blog ISUCON3 予選の企画と運営をしました - 941::blog エンジニアが熱狂した 第三回 #isucon 運営の話 - 941::blog 読み返すと長い。今回は短めで。 ISUCON4 概要 LINE 主催・賞金提供 クックパッドさま 出題 テコラスさま 本選サーバ提供 AWSさま 予選サーバサポート オンライン予選は参加総数 185組、507名 本選出場は 31組、88名でした。 準備から本選までの話は出
Karma - Spectacular Test Runner for Javascript
On the AngularJS team, we rely on testing and we always seek better tools to make our life easier. That's why we created Karma - a test runner that fits all our needs. Introductory ScreencastThe spectacular quick start to Testacular. JS Everywhere 2012 ParisWatch Vojta Jína presenting Testacular at JS.everywhere. The main goal for Karma is to bring a productive testing environment to developers. T
Pingdomで外形監視 - 俺たちのブログ
3号です。3番目に書くので3号になってしまいました。外形監視についてゆるく書きます。 私の会社では外形監視にPingdom - Website Monitoringを利用しています。Pingdomは世界中の拠点から対象のエンドポイント(http(s), smtp, DNSなど)の死活監視をしてくれるサービスで、比較的簡単な設定でエンドポイントの監視が実現できます。SaaS/PaaS/IaaSをうまく活用するのが最近のトレンドであることもあり、Slackなど他サービスとのインテグレーションにも優れています。 主に以下のようなものを監視しています。 HTTP(S)：自社サービスのエンドポイント HTTP(S)：他社の連携先のAPIエンドポイント HTTP(S)：社内システムのエンドポイント SMTP：AWS SES Name Resolve：AWS Route 53 自社のサービスはもちろん、
APIドキュメントからモックサーバを立ち上げるWeb::API::Mockを書いた - akihitoのログ置き場
APIドキュメント(API Blueprint)からモックサーバを立ち上げるWeb::API::Mockを書きました https://github.com/takihito/Web-API-Mock 使い方: https://github.com/takihito/Web-API-Mock/wiki/Usage Plackで作った事もあり以前紹介したapi-mockよりも、ちょっと便利になっています APIドキュメントからモックサーバを立ち上げたい - akihitoのログ置き場 モックサーバ立ち上げ時にplackupのオプションが使える 複数個のAPIドキュメントに対応 未実装のAPIリストを渡す事でステータス:501を返す モックサーバからアプリケーションサーバへURL毎にスイッチする 3番目の仕組みを利用することで、nginxを使ってモックサーバからサーバアプリケーションに差し替える
#4 デプロイツール・モックAPIの人柱募集のお知らせ - KAYAC engineers' blog
ご無沙汰しております。@takihito (大先輩) です。 今月で40歳になろうという、今年のアドベントカレンダーでは最年長でしょうか。 今年つくったアプリケーションを紹介しつつ、人柱になってくれる勇気ある若者を募集しようという試みを持った4日目のエントリーになります 突然goがきたので... 突然のgo宣言が社内MLに流れたのですが、 目的なく言語を学習するタイプではないので 並列処理 クロスコンパイル がデプロイツールつくるのに良さそうだなぁと思い Archer::Plugin::Rsync をgoで再現してみることにしました Archer::Plugin::Rsyncとは何か 簡単に説明しておくとYAMLで記述した設定ファイルを元に複数サーバにソースコード等をばらまくデプロイツールです。古いモジュールですが弊社では、今も現役で使われています。 機能的にには十分なのですが、Perlモ
Linuxで扱う乱数に関する話 – @knok blog
これはLinux Advent Calendar4日目の記事です。 Unix系OSには、カーネルに乱数生成器を持つ実装が多くあります。乱数は暗号分野でも利用され、非常に重要な位置を占めています。Linuxにおける乱数に関する話題を取りあげてみます。 エントロピープール 一般的に、特別なハードウェアを持たない限り、真の乱数を計算機が生成することは困難です。Linuxでは、質の良い乱数を生成するためにエントロピープールと呼ばれる領域を持っています。エントロピープールには、キーボードの入力タイミングやストレージ、ネットワークなどで発生するハードウェア割り込みなどをもとにした推測の困難な情報(環境ノイズ)が蓄積されます。乱数の生成時には、このエントロピープールの内容を消費、加工します。 エントロピープールにどの程度情報がたまっているかを調べるには、/proc/sys/kernel/random/e
OpenStack Swiftによる画像ストレージの運用 | GREE Engineering
こんにちは。インフラストラクチャ本部の竹辺です。このエントリはGREE Advent Calendar 2014 4日目の記事です。 GREEのSNSでは、ユーザのみなさまが投稿した画像を保存するためのストレージを運用しています。2年ほど前から、この画像のストレージにOpenStack Swift(以下Swift)を使い始めました。その後、既存のストレージからのデータ移行やユーザのみなさまからの投稿などにより、現在では9億ファイルを超える画像が格納されています。 日本最大のメッセージングサービスでは一日の130億件のメッセージがやりとりされているという時代に9億などというとププッと笑われてしまうかもしれませんが、Swiftに大量の画像ファイルを格納するにはいくつかの性能上の問題を解決する必要があり、9億ファイルを格納するのもそれほど簡単ではありませんでした。この記事では、弊社の画像ストレー
Facebookのデータセンタネットワーク - eagle_raptorの日記
これはhttp://www.adventar.org/calendars/440の２日目の記事です． はじめに 本エントリでは，最近のデータセンタNWのトポロジについて，データセンタNWの最先端を走っているfacebookの事例をベースに，論文/blog等交えて簡単に紹介したいと思います． 一般的なデータセンタNW まず，現在のDC向けネットワークトポロジの基本となるFat-Treeについて。 Fat-Treeは，一般的なツリーでボトルネックとなる上位階層のリンク帯域を太く/多重化したツリー構成を持つNWトポロジです。 各段のスイッチの上流/下流が同じ帯域幅を提供するように構成することで、Fat-Treeに接続するノードが全体全の通信を一斉に行う最悪のケースにおいても、リンク帯域の食い合いを発生させることなく、ノード間通信の帯域を保証することが出来ます。 このように構成されたネットワークの
HP、ついにx86ベースの大型サーバ「Superdome X」と、無停止型サーバ「NonStop X」発表
HP、ついにx86ベースの大型サーバ「Superdome X」と、無停止型サーバ「NonStop X」発表 米ヒューレット・パッカード（HP）は、Xeonプロセッサをベースにしたミッションクリティカル業務向けのサーバを2種類、発表しました。 1つは基幹業務向けに高い信頼性と性能を実現する大型サーバ「HP Integrity Superdome X」、もう1つはフォールトトレラントな業務向けの無停止型サーバ「HP Integrity NonStop X」です。 これまで同社のハイエンドサーバであるSuperdomeとNonStopの製品ラインには、基幹業務システムのために設計されたItaniumプロセッサが採用されていました。しかし現在Itaniumプロセッサを採用するサーバベンダはわずか数社だけで、シェアが小さくなったItaniumは今後の性能や機能向上の見通しを不安視されていました。その
HTTPパーサにおけるSSE4.2最適化の威力と注意点 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、サイボウズ・ラボの光成です。 PicoHTTPParserは@kazuhoさんたちが開発している高速なHTTPパーサです。 同じ作者によるHTTPサーバH2Oにも使われています。 11月4日の開発ブログによると、その時点でNode.jsなどに使われているhttp-parserの10倍程度の速度を誇るそうです（現在はhttp-parserも速度向上しその差は縮まりました。それでも4倍以上の差があるようです）。 該当ブログにはその高速化のためのノウハウが書かれていて大変興味深いです。ただIntel系CPUに搭載されているSIMD命令は用いられていませんでした。今回、@kazuhoさんと一緒に文字列処理専用のSSE4.2を用いることで1.7～1.9倍の高速化を達成しました（Improving Parser Performance using SSE Instructions (in
暗号の世界最速実装を目指す ── 光成滋生 | Cybozu Inside Out
サイボウズに在籍する技術者を紹介するインタビューシリーズ。 光成滋生（Shigeo Mitsunari） 2007年７月、サイボウズ・ラボ株式会社に入社。 「キーの数が多い」という理由で日本語配列キーボードを愛用。「：」キーにバックスペースを割り当て、「変換」や「無変換」キーをAltやCtrlのような（他のキーと組み合わせて押すことで機能する）Modifierキーとして活用するなど、徹底的にカスタマイズしている。 プログラマには、1つのプロジェクトだけに長く携わり続ける人もいるが、異なる複数の技術やソフトウェアを世に問い、マルチな才能を遺憾なく発揮する人も少なくない。たとえばPerlのオリジナル作者として著名なLarry Wallは、今では「パッチを当てる」という普通の表現にもなっているpatchコマンドを作ったことでも知られている。また、Linuxカーネルを最初に作り始めたLinus T
Simple HTTP-proxy in Go language
Just a simple example of Go code for HTTP reverse proxy. With usage of Go standard library the code is really short: package main import ( "flag" "net/http" "net/http/httputil" "net/url" "time" "log" ) func main() { var src, dst string flag.Parse() args := flag.Args() if len(args) >= 1 { dst = args[0] } else { dst = "127.0.0.1:8080" } if len(args) == 2 { src = args[1] } else { src = ":80" } u, e :
Docker監視環境 - Part2: Riemannの構築
Docker監視環境 - Part1 cAdvisor, collectd, Riemann, InfluxDB, Grafanaで決めたアーキテクチャのPoCをしていきます。最初にRiemannを構築します。RiemannはClojureらしい分散システムの監視ツールです。似たようなストリーム処理のフレームワークにLaminaやStormがあります。Stormのようなクラスタでビッグデータを処理するほどでもなく、Do-it-yourself CloudWatch-style alarms using Riemannにあるような用途が主です。system metricsとapplication metricsの収集 ブラウザで可視化とクエリ実行 閾値を監視してnotificationやtriggerを実行 clostackを使ってCloudStackでオートスケールなんておもしろうそうです
Dockerイメージのフォーマット - 世界線航跡蔵
問: Dockerイメージはどういうフォーマットなのか 答: 特定のフォーマットはないが転送時はtar 以前の記事 では、Dockerはアプリケーション動作環境のファイルステムをまとめて差分転送できると書いた。 ではこのディスクイメージはどういうフォーマットなのだろう。 実装こそ違うが実態としては仮想マシン環境に似ているという点を鑑みると、qcowとか何かその類いのファイルフォーマットなのかもしれないという想像も成り立つ。 しかし実際には特定のフォーマットというものはない。 Dockerホスト環境では、ディスクイメージは動作に適した形で保存されている。このため保存形式はdocker daemonの -storage-driver オプションによって異なる。 つまり --storage-driver=aufs で走っているならローカルファイルシステムのサブディレクトリ内に展開されているし、
Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog
こんにちは。Songmuです。 この記事ははてなエンジニアアドベントカレンダーの3日目です。 昨日、Hatena Engineer Seminar #3を開催いたしました。何より参加率が高かったことに感激したのですが、その分少し窮屈な思いをさせてしまったかもしれないのは申し訳なかったです。多数のご参加本当にありがとうございました。 セミナーではMackerel overviewという話をさせてもらったのですが、そこでお話したMackerelで採用している技術について説明します。 Mackerelとは？ 今年の9月17日にリリースしたはてな謹製のサーバー管理・監視ツールです。 数多くのサーバーを運用しているはてなは、これまでサーバー管理ツールを内製してきたのですが、そのノウハウを活かし、サービス用に新たに一から作ったサービスになります。 また、はてなの既存サービスとは性質が異なるため、技術選
Redditの歩き方
「Redditで読んだ」というと超バカにされることが多い。情報ソースとして全く信用ならないと。しかし「Reddit」とひとくくりにはできないのである。なかには「学術誌など信用おけるソースを明記していないコメントは削除する」という厳しいコミュニティもReddit内には存在するし。そこで、今日はRedditについて解説したいと思います。最後の方に具体的なReddit攻略法を書いたので、それだけ知りたい人はRedditの楽しみ方という見出しのところまでとばしてください。 Redditとは まず、Redditとはなんぞや。去年ヨミウリオンラインに書いたコラムから引用すると Redditは、日本最大の電子掲示板サイトである「2ちゃんねる」に似た位置づけのサイトです。 Redditは、Read it（過去形で「それ読んだ」）、またはRead / Editを連想させる名称で、Y Combinatorの出
Hosting Python WSGI applications using Docker.
As I mentioned in my previous blog post I see a lot of promise for Docker. The key thing that I personally see as being able to gain from Docker, as a provider of a hosting solution for Python WSGI applications, is that I can get back some control over the hosting experience that developers will have. Right now things can quickly become a bit of a mess, because the experience that developers have
Docker入門、VM上でLinuxコンテナ立ち上げ〜基本操作まで
インフラCIの環境を、Docker, Chef, Serverspec, Jenkins を使って整えたいな〜と考え、遅ればせながら Docker に入門しました。 Docker – Build, Ship, and Run Any App, Anywhere 実現したいのは、まさに以下のエントリーのような自動化。Chef cookbook のレシピが、いつでも確実に正しく構成できることを CI したいのが一番の目的です。 Docker + Chef + serverspec + Jenkins でインフラCIの環境を構築してみた – hidemium’s blog Docker 入門に際して、次の記事等を参考にしました。 いまさら聞けないDocker入門（1）：アプリ開発者もインフラ管理者も知っておきたいDockerの基礎知識 – ＠IT Docker 初心者は phusion/base
CoreOS 上の Docker コンテナのサービス情報を registrator を使って SkyDNS2 に自動登録する - Qiita
CoreOS 上の Docker コンテナのサービス情報を registrator を使って SkyDNS2 に自動登録するDockeretcdCoreOSsystemdSkyDNS 概要 registrator というサービス検出・登録・削除専用コンテナを使って、CoreOS 上に起動する Docker サービス（rails や redis, elasticsearch などポートを外部にさらすもの）を skydns2 へ自動登録するという話 registrator の基本については CoreOS 上の Docker コンテナのサービス情報を registrator を使って etcd へ自動登録する skydns の基本については CoreOS クラスタ上で SkyDNS2 を使ってサービスディスカバリする を参照 registrator で Docker サービス を skydns2
Dockerが注目されている理由を探る
Dockerとは Dockerとは、Docker社が開発しているオープンソースのコンテナ型仮想化ソフトウェアである。Linux上でLXC（Linux Container）の技術を活用し、コンテナ型の仮想環境を作成するものだ。 Dockerの主な特徴は、以下の通りである。 コンテナはカーネル部分をベースのOSと一部共有するため、リソース使用量が非常に少ない Docker社が用意しているリポジトリ（DockerHub）に、構築済みのコンテナイメージがあるので、構築作業が不要 コンテナの作成からプロダクトのインストール・設定するまでの手順を、“Dockerfile”というテキストファイルに定義できる（インフラのコード化）。このDockerfileを用いることで、Dockerが導入されている環境であればどこであっても、準備した環境を稼働させられるため携帯性が高くなる。 これらの特徴からDocker
過去、現在、未来、全宇宙に存在する全てのクソクエリーを、生まれる前に自分の手でカジュアルに消し去ること(仮)
過去、現在、未来、全宇宙に存在する全てのクソクエリーを、生まれる前に自分の手でカジュアルに消し去ること(仮) この記事は MySQL Casual Advent Calendar 2014 の3日目の記事です。 クソクエリーについての名言 がつい先週生まれたばかりですが、みなさま如何お過ごしでしょうか。そういえば今年は Kuso-query As A Code みたいな話もさせてもらいました。 過去、現在、未来、全宇宙に存在する全てのクソクエリーを、生まれる前に自分の手でカジュアルに消し去るため(仮)に、MySQL 5.7.5-labsのQuery Rewrite Plugin の記事では触れるだけだったオレオレrewriteプラグインを書いてみました。君のクエリにレボ☆リューション! (仮) どういう動作をさせるかというと、 mysql57> SELECT 1; +---+ | 1 |
CPU使用率の監視が正しく働いていなかった問題を修正しました・ほか - Mackerel お知らせ #mackerelio
CPU使用率の監視の問題を修正しました 2014年9月9日から本日2014年12月2日まで、バージョン0.7以降のmackerel-agentをインストールした状態において、CPU使用率の監視が正常に行われない問題がありました。原因は、mackerel-agentのアップデート時に送信するメトリックを整理した際、メトリック監視の判定ロジックが追従できていなかったアプリケーションのバグによるもので、現在は修正済みです。 監視ルールより「CPU %」を監視対象のメトリックとして指定していた場合に、mackerel-agent バージョン0.7 以降をインストールしたホストに対してはこの監視が行われていませんでした。なお、その他のメトリック監視に関しては正常に稼働していました。 また、この機能の修正の際に誤ったアラートが発生したおそれがあります。ご迷惑をおかけし申し訳ございません。 今後はこのよ
Foreign Data Wrapper for Oracle: Project Home Page
One database to rule them all, One database to find them, One database to bring them all, And in a wrapper bind them. oracle_fdw is a PostgreSQL extension that provides a Foreign Data Wrapper for easy and efficient access to Oracle databases. Features: Uses the standard compliant SQL/MED environment of PostgreSQL 9.3 and above Supports translation of Oracle data types to similar PostgreSQL data ty
既存のアプリのiPhone 6と6 Plus対応 - クックパッド開発者ブログ
はじめまして、11月頭にクックパッドに入社したモバイルファースト室のヴァンサン(@vincentisambart)です。 既存のiOSアプリのiPhone 6と6 Plus対応について書きたいと思います。 既存のiOSアプリはiPhone 6対応済みだと明確にOSに示さないと、iPhone 6でも6 PlusでもiPhone 5の画面を拡大したものが表示されます。アプリから見える画面のサイズはiPhone 5と同じ320x568です。 iPhone 6対応がされていると示すには、方法が2つあります： 静的起動画面：iPhone 6とiPhone 6 Plusの画面サイズに合わせた静的な起動画面用の画像をアプリに入れます。 動的起動画面：起動画面をXIBファイルという形でアプリに入れます。 iOS 7以下は動的起動画面を対応していません。iOS 7以下対応のアプリが動的起動画面を使っても問題
最近書いたChefのCookbook(all-in-one_haproxy, redis)を公開します - 元RX-7乗りの適当な日々
公開します、というかGitHubに置いていただけですがー。 all-in-one_haproxy 2台セットでのHA構成を想定したHAProxyサーバを作るためのChef Cookbookです。2台セット冗長化済のHAProxyサーバをさくっと作るために書きました。 https://github.com/namikawa/all-in-one_haproxy 基本的には、2台で以下機能が連携しあう形で稼動します。 rsync + lsyncdの稼働 (各種設定ファイルの同期) keepalivedの稼働 (HAクラスタ構成の実現) HAProxyの稼働 (LB/ReverseProxyソフトウェア・SSL対応) iptables/ip6tablesの稼働 (接続元の限定) Quaggaの稼働 (エッジルータ等との動的経路広報の実現) snmpdの稼働 (各種メトリクスの取得) swap領域
Simplifying the EC2 Reserved Instance Model | Amazon Web Services
AWS News Blog Simplifying the EC2 Reserved Instance Model EC2‘s Reserved Instance model provides you with two benefits: capacity assurance and a lower effective hourly rate in exchange for an upfront payment. After combining customer feedback with an analysis of purchasing patterns that goes back to when we first launched Reserved Instances in 2009, we have decided to simplify the model and are in
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RDBにおけるバリデーションをリレーショナルモデルから考える
Cloud Luminaries: Jerome Petazzoni on PaaS and DevOps | ActiveState
GitHub - gravityblast/fresh: Build and (re)start go web apps after saving/creating/deleting source files.
GitHub - sethgrid/multibar: Display multiple progress bars in Go (golang).
GitHub - rakyll/gom: A visual interface to work with runtime profiling data for Go
Domain name services and DNS hosting - DNSimple
DNSimple Status