秒間5万リクエストを処理する リアルタイム広告システム / BS3-3 新しい潮流：ビッグデータのリアルタイム応用：ユーザ事例 #QConTokyo
秒間5万リクエストを処理する リアルタイム広告システム / BS3-3 新しい潮流：ビッグデータのリアルタイム応用：ユーザ事例 #QCo…
秒間5万リクエストを処理する リアルタイム広告システム / BS3-3 新しい潮流：ビッグデータのリアルタイム応用：ユーザ事例 #QConTokyo
Performance tuning a quick intoduction
The document provides an introduction to performance tuning. It discusses tracing SQL execution to analyze performance issues. Tracing can be done at different levels, and the tkprof utility helps analyze trace files by providing formatted output. Understanding execution plans is also an important part of performance tuning, as it shows the steps and cost of executing a SQL statement.Read less
consul & consul-alerts を使った監視システム (hbstyle-2015-01-08)
consul & consul-alerts を使った監視システム (ハートビーツ 社内勉強会 hbstyle 2015-01-08)Read less
Asakusa Framework スモールジョブ実行エンジン & Windows対応
2015/1/8 Asakusa Framework 勉強会 2015冬 の資料です。Read less
OpenStack and Ansible Handson
Voici le journal de bord d’une vétérante. Vendredi : je me suis levée, j'ai regardé l'heure il était 8h je me suis dit "il est tôt mais c'est pas grave, j'ai la patate." J'ai pris mes affaires, j'ai mis mon t-shirt rouge (TSR), j'étais en reard. J'ai couru. Je suis arrivée à la fac. J'ai monté les escalier, j'ai pris des welcom pack, jeles ai descendus, je suis remontée, j'ai pris d'autres welcom
MySQLのレプリケーション — masasuzu docs 1.0 documentation
概要¶ DBの複製を別のサーバに作ることとその仕組みをレプリケーションと言います。データの複製元をマスター、複製先をスレーブと呼びます。 1台のマスターに対して複数台のスレーブを設定することが可能です。 マスターとスレーブのデータはリアルタイムでコピーされますが、基本的に非同期であるため、スレーブのデータが最新であることは保証されません。 スレーブを使用する際、遅延が置きうることをあらかじめ考慮しておく必要があります。 目的¶ データのコピー 負荷分散 バックアップ ただし、レプリケーション自体はバックアップでは無い。 可用性の向上 複数台のスレーブとスレーブDBに対するフェイルオーバーシステムがあれば、SPOFの解消となる。 MySQLのアップグレードのテスト スレーブの中の1台だけ、新バージョンを混ぜて負荷の差異を確認する。 レプリケーションの仕組み¶ 単純化するとレプリケーションは以
Amazon S3の利用料節約を考えてみる
ことの始まり 最近になって、自宅サーバ最高だぜ！から、２４時間部屋の中でなるファンの爆音が辛い歳になってきて、さてさて、パブリッククラウドを使うようになった自分ではありますが、AWSってほんとなんでも揃っているデパートですごいなと実感してきました。一昔前は、かなり否定派だったのですが、いざつかってみると、こんなに簡単にいろいろできちゃうものなのか？と本当に感動・・ といいつつ、実際、私はまともに利用していないのですが、知り合いの会社さんから、「こんなんなってます・・」という相談を持ちかけられて、見せてもらったところ、結構びっくりしました。 それは、利用料金・・ うげぇ・・・。企業から見ればそうでもない額なのかもしれないけど、私から見れば、一日でお給料がすっ飛びそうなお値段・・ そんでもってこれを限りなくコストをゼロな構成することができるか、ほぼ趣味で考えてみました。 S3の料金体系 調べよ
serfについて調べたこと・試したことのまとめ - Qiita
自分のブログに書いたことを順番にまとめる． serfの基本的な動作を試してみた url: http://blog.hifumi.info/2014/07/23/try-serf-clustering/ serfのことが何も分からなかったので，アレコレと試した作業記録のようなものを雑多に書いている． provisionをほんのちょっとだけ工夫して，vagrant up --provisionでひと通りの道具が揃うようにした． $script = <<SCRIPT [ -f /usr/local/src/serf.zip ] || wget -q https://dl.bintray.com/mitchellh/serf/0.6.3_linux_amd64.zip -O /usr/local/src/serf.zip [ -f /usr/local/bin/serf ] || unzip /u
SparkContextメモ(Hishidama's Apache Spark SparkContext Memo)
概要 SparkContextの生成 SparkConf [/2014-09-15] マスターURL [2014-09-03] SparkContextのメソッド [/2014-09-15] HDFSのローカリティー [2014-09-04] 共有変数 [2014-08-21] 概要 org.apache.spark.SparkContextは、Sparkで操作を行うための主たる入り口。 最初にdriverでSparkContextのインスタンスを作り、そこからRDDを生成することになる。 ちなみに、SparkContextインスタンスの変数名は、Sparkシェルだとsc、Spark Examplesだとsparkになっている。 SparkContextをインポートする際は、org.apache.sparkパッケージに他に色々なクラスがあるので、丸ごとインポートするのが良い。 また、Spa
test-kitchen test （test-kitchenハンズオン資料）vagrantもec2もazureもdockerもchefもpuppetもansibleも継続的インテグレーション！ - Qiita
test-kitchen test （test-kitchenハンズオン資料）vagrantもec2もazureもdockerもchefもpuppetもansibleも継続的インテグレーション！GitAWSchefDockertest-kitchen chefでImmutable Infrastructureって本当に出来るの？人のcookbooks使うと動かないしさ、gitで管理してても使えるかわからないんだけど… …それ、test-kitchenでやってみたら？ みたいな話。 （本当はjenkinsで回したいけどまだやってない） 社内LT用資料です。 前提 anyenv やら rbenvやらを使ってrubyをインストールしておく このリポジトリをgit clone する人、かつ、chef-dkを使っていない人（この資料はchef-dkを使用していない場合のコマンドで書いています） ch
Test KitchenではじめるChef入門 - Qiita
目的 Test KitchenをつかってChefへ入門します。 Chefを使うとサーバの設定を自動化することができます。 Test KitchenはChefで利用するクックブックの統合テストを行うことができます。 Chefに入門する環境として初めからTest Kitchenを使うのが良いと感じたのでこの文書を作成しました。 関連: LT駆動開発10でTest KitchenではじめるChef入門という話をした。 - そんなこと覚えてない 環境構築 Chef DKのインストール Chef DKはChefのクックブック開発する上で便利なものがまとめられています。 DKはDevelopment Kitの略です。 今回利用するTest KitchenはChef DKに含まれています。 Chef DKは https://downloads.chef.io/chef-dk/ よりダウンロードできます。
Go言語で非同期処理の結果を受け取る - Qiita
Go言語にはgoroutineというものがあり、複数のタスクを並行(Concurrent)に実行したい場合に役立ちます。 またGo言語では、ライブラリなどのAPIは基本的に同期版を提供し、非同期で処理したい場合は呼び出し側がgoroutineで非同期化するのが一般的です。 そこで、goroutineを使って関数を呼び出し、その結果を得るための実装方法について、自分なりに考えてみたので、ここにまとめておきます。 戻り値がない 戻り値がなく、処理が終わっていればよい場合: // boolでもよいが空struct done := make(chan struct{}, 0) go func() { // 何か処理をする close(done) }() // chanがcloseされるまでブロックする <-done 値の受け渡しがない場合はシンプルです。 Tips: 空structについて 値の受
Go言語入門(ファイル・ディレクトリ操作) - Qiita
元々自社の技術ブログ( http://tech.oga-ria.com/tag/go/ )で書いていましたが、 Qiitaのほうが読んでもらえる可能性が高いので今後はこちらでも書こうと思います。 最近、Goの勉強を始めています。 とりあえずちょっと便利なコマンドラインユーティリティーが書けるレベルを目指しているので、 そういったユーティリティーを書くときに必要なスニペット的なものをまとめていこうと思います。 Goのバージョン：1.1.2 まずはファイル・ディレレクトリ周りの操作方法から。 ディレクトリの作成 package main import ( "fmt" "os" ) func main() { if err := os.Mkdir("hoge", 0777); err != nil { fmt.Println(err) } }
Go + Travis CI + Coveralls でCI環境を作る - Qiita
language: go go: - tip before_install: - go get github.com/axw/gocov/gocov - go get github.com/mattn/goveralls - if ! go get code.google.com/p/go.tools/cmd/cover; then go get golang.org/x/tools/cmd/cover; fi script: - $HOME/gopath/bin/goveralls -repotoken とーくん -repotoken にはCoverallsで取得できるトークンを設定する。 Tokenを暗号化してセキュアにする ここからがハマりどころだった。 -repotoken にトークン渡せば良いのだが、YAMLファイルにトークンベタ書きは良くない。 Coverallsには Note
AWS サービスクォータ - AWS 全般のリファレンス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS サービスクォータ AWS アカウントには、各 AWS サービスについて、以前は制限と呼ばれていたデフォルトのクォータがあります。特に明記されていない限り、クォータは地域固有です。一部のクォータの引き上げをリクエストできますが、すべてのクォータを増やすことはできません。 サービスクォータを表示するには サービスクォータは、次のオプションを使用して表示できます。 ドキュメントから: ドキュメントのサービスエンドポイントとクォータページを開き、サービス名を検索し、リンクをクリックしてそのサービスのページに移動します。ページを切り替えずにドキュメント内のすべての AWS サービスのサービスクォータを表示するには、PDF サービスエンドポイントとクォータページで情報を
AWS Black Belt Techシリーズ Amazon Elastic Transcoder
AWS Black Belt Techシリーズ Amazon Elastic Transcoder 1. Amazon Elastic Transcoder AWS Black Belt Tech Webinar 2015 (旧マイスターシリーズ) アマゾン データ サービス ジャパン株式会社 星野 豊 2. 自己紹介 • 星野 豊 (ほしの ゆたか) – @con_mame – facebook.com/conmame – ソリューションアーキテクト • 経歴 – 全てオンプレ環境のインフラエンジニア – 全AWS環境のインフラエンジニア • 担当 – Webサービス / game / Video・Live Streamingなどのメディア系のお客 様 3. Agenda • Amazon Elastic transcoderとは？ • トランスコード機能のご紹介
LT駆動開発10でTest KitchenではじめるChef入門という話をした。OSH2015のステマかもしれない。 | そんなこと覚えてない
2015 1月10日 12:00 LT駆動開発10でTest KitchenではじめるChef入門という話をした。OSH2015のステマかもしれない。 LT駆動開発10で「Test KitchenではじめるChef入門」という話をした。 ちなみにこの記事はオープンセミナー2015@広島のステマ記事でもある。 また、「Test KitchenではじめるChef入門」はQiitaに投稿した記事である。 Chefはちょいちょい使っていて、使いこなせてはいません。 Cookbookを作成するときの環境で、Vagrantfileでやるのがよいのか、knife-zeroを使うのがいいのかいろいろ悩んでいた。 やっぱりテストコードを書きたいし、ますはTest Kitchenをいじっておこうと至るのは自然な道だと思う。 Test Kitchenをいじっていると、そのままの環境でCookbookを書くのが良
HTMLを効率よく書く！Emmetの書き方・使い方まとめ
コードエディターにはHTML・CSSを効率良く編集する方法でも書いたように、コードの自動補完などの機能が備わっています。これらの機能を使うことで効率良くコードを記述することができるのですが、ここではさらに効率アップできるEmmetを使ってみます。 Emmetを使うとHTMLタグを記述する際に必要な< >などを省略したり、長いHTMK構造をたった数行で書くことができるようになります。慣れるとこれ以外で書くのがめんどくさくなるというデメリットがありますが、とにかく効率良く記述できるのでまだ使ってない人は是非使ってみて下さい。 EmmetにはHTMLとCSSがありますが、ここではHTMLの記述方法を紹介します。 CSS編はこちら -> CSSを効率良く書く！Emmetの書き方・使い方まとめ Emmetのインストール方法 コードエディターにEmmetをインストールする Emmetはコードエディター
fake2db - 各種データベースに対応したダミーデータジェネレータ MOONGIFT
システム開発を行っているときにダミーのデータが欲しくなることは多々あります。そんな時に本番データをコピーして使うのは大きな問題につながる可能性があるので決してしてはいけません。電話番号やメールアドレスなどを置き換える作業が逆に手間になる場合もあります。 そこで使ってみたいのがダミーデータのジェネレータです。今回はPython製のfake2dbを紹介します。 fake2dbの使い方 fake2dbはSQLite、PostgreSQL、MySQLそしてMongoDBに対応しています。インストールはpipでできます。 pip install fake2db インストールしたらfake2dbコマンドでデータベースに直接データを流し込めます。 fake2db --rows 200 --db sqlite # SQLiteの場合 fake2db --rows 1500 --db postgresql
モニターリングサービスのDatadogを使ってDockerをモニターリング&管理 - Etizolam
「今日は、dockercon14がサンフランシスコで開催されているな〜」と思っていたら、Datadog blogからもDocker関連の面白い記事が掲載されました。 Datadog agent 4.3.1をDockerホストOS上で起動し、他のアプリと同じようにIntegration用のYAMLファイルを設定することでDcoker内の各コンテナの状態をモニターリングできるということです。 Datadogの@alqが「もちろん翻訳してもいいよ〜! (Yes! Of course.)」言ってくれているので、次に日本語で同記事を転載します。 その前に次のシリーズを読んでおくと、Datadogはどうやってメトリックスを集めようしているのかが理解できると思います。 第3回 Linuxカーネルのコンテナ機能［2］ ─cgroupとは？（その1） 第2回 コンテナの仕組みとLinuxカーネルのコンテナ機
Datadogの本当の魅力とは - Qiita
AWS re:Invent 2014でDatadogの展示スタッフとしてブースに立ち、NYCオフィスで開発を担当しているエンジニアさん達のデモ内容を3日間見ていると、自分が持っていたDatadogの利用イメージが幼稚であったことをつくづく実感しました。この感覚が薄れる前に、学んだことを書き残しておくことにします。 Datadogは、OPSの視界を確保する! 一般的にDatadogは、綺麗なグラフが書けるモニタリングSaaSだと思っている人が多いと思います。しかし、実際はそれだけではないです。(実際にグラフ描写だけで考えると圧倒的に綺麗なのは間違いないけど…。）むしろDatadogというサービスは、いま自分たちが運用しているシステム全体の状況をtagを使って多次元に解析できるフレームワークと考えたほうが良いと思います。したがって、Datadogのサービスから価値を引き出すには、tagを使いこ
State of the Art in Microservices by Adrian Cockcroft - Qiita
概要 2014 年の 12 月アムステルダムで行われた DockerCon のキーノートのひとつ "State of the Art in Microservices" についてのまとめとメモ。 開発スピードをあげるための組織再編 コンテナ化されたマイクロサービスアーキテクチャ Docker が普及したあとの開発スタイル といった内容が盛り込まれている。元のスライドとビデオはこちら スライド ビデオ 内容は Adrian が話していることに加え自分が調べたり学んだ内容を補足やメモとして追加しているので間違った理解をしているなと思ったらぜひ編集リクエストください :) キーノートをまとめることについては Adrian 本人に許可をもらえました！ @adrianco クラウドアーキテクトとして 6 年間 Netflix に勤めていた 現在は Battery Ventures という工業の会社の
第3回 CLIのパワーアップとEC2を起動する | gihyo.jp
前回S3にhtmlをアップロードしてブラウザから表示するところまで、できた。その後、いろいろ試していくうちに、CSSやJSも同じように置くことで、静的なサイトであればすべてS3だけで運用できることがわかった。もし、静的なページのためにサーバを借りているならS3で済んでしまうんじゃないかと思った。 でも、やっぱりサーバ構築がしたい。正直ミドルウェアをインストールしている時が自分にとって最高に気持ちのいい時間だし、「俺ってインフラエンジニアやってるな」って気になれる。 今日はサーバを起動して、なんかミドルウェアなんかを入れていい感じに動かしてみる、なんてことをやってみようと思う。 CLIをパワーアップ 補完をきかす 前回S3を使ってみた時に思ったことだけど、いちいちコマンドを調べるのが面倒くさくて仕方ない。chmodだってあると思ったのになかったし、こういう無駄な作業が嫌いだ。 気持ちよくコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
初心者向けWebinar AWS上でのネットワーク構築
Dockerに入門してみた - Qiita
http://stepxstep.org/blog/2014/08/22/first_serf/
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
GitHub - fcambus/nginx-resources: A collection of resources covering Nginx, Nginx + Lua, OpenResty and Tengine
GitHub - atupal/dockerfile.flask-uwsgi-nginx: Dockerfile and configuration files to build a working Flask container with uwsgi and nginx
https://qiita.com/kenokabe/items/3e4a10f20f88cb4ec0e4