Snapchatを支える技術：768台のRedisをGoogleクラウドで構築 #gcpja - Qiita
GoogleのSVP、Urs Hoelzleが「いま世界でもっとも人気のあるスマートフォンアプリ」と評し、Facebookによる3000億円の買収提案をスルーしたとされるSnapchat。その共同設立者でCTOのBobby Murphyが、3/25に開催されたGoogle Cloud Platform Liveに登場し、“Snapchatを支える技術”としてのGoogle Cloud Platform (GCP)の使い所や開発体制をかなり具体的に説明していたので、補足と解説を交えながらざっと意訳してみた。 SnapchatのCTO, Bobby Murphyと、GoogleのSVP, Urs Hoelzle From Google Cloud Platform Live SnapchatがGoogle App Engineを選んだ理由 "それまでいくつかの小さなプロジェクトでGoogle
Immutable Infrastructureはアプリケーションのアーキテクチャを変えていく、伊藤直也氏（前編）
Immutable Infrastructureはアプリケーションのアーキテクチャを変えていく、伊藤直也氏（前編） 仮想化やクラウドを基盤とした新しいインフラの考え方である「Immutable Infrastructure」が注目されています。3月25日、このImmutable Infrastructureをテーマに渋谷のDeNAオフィス大会議室で開催された勉強会「Immutable Infrastructure Conference #1」は、150人の定員に400人以上が申し込む人気ぶりでした。 これまでのImmutable Infrastructureに関する議論はおもにデプロイなど運用とインフラ周りの話題が中心でしたが、最初のセッションで登壇した伊藤直也氏は、Immutable Infrastructureが結果的にアプリケーションアーキテクチャにも大きな影響を与えるため、アプリケ
Docker でデータのポータビリティをあげ永続化しよう - Qiita
こんにちは、Docker 0.91 が出ましたね。 CoreOS でのデータの置き場所をどうすべきか考えていた時に、CoreOS-devで出ていた話です。 なので知っている人は知ってるかも知れません。 全てにおいて使えるパターンではないのですが、運用形態のひとつとして紹介します。 （もちろん、Dockerはどんどん進化しているのでこのパターンは陳腐化する可能性もあります） データの永続化の問題 Docker で悩ましいのはデータの永続化をどうするか？というとこでしょうか. 例：mysql のコンテナを立ち上げる -v オプションをつけて mysql のデータを永続化していますね。 さてこれはこれでよいのですが、Docker の旨みを活かせていませんね。 Docker の特徴はコンテナであり、コンテナにするとポータビリティがあげられるわけです。 上記の方法だと Volume でホストにべった
SerfでDockerコンテナのクラスタを形成する
SerfでDockerコンテナのクラスタを形成する “Serf虎の巻”書いたし，Serf使っていろいろやってみるかということで，Dockerコンテナのクラスタ形成をやってみた．SerfとDockerの組み合わせについては，すでに[shiba_yu36]()さんが試みている（“serfとDockerでクラスタを組んでみる”）ので，もう少し踏み込んでクラスタへのjoinの仕方を模索してみた． tcnksm/sample-docker-serf やってみたのは，Dockerコンテナのみでのクラスタの形成． 準備 Vagrant上で実行する．Vagrantfileは以下． $script1 = <<SCRIPT echo Installing depedencies... sudo apt-get install -y unzip echo Fetching Serf... cd /tmp/ wg
CoreOS 入門 - Qiita
CoreOS は Alex Polvi が設立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。 Polvi 氏といえば Rackspace に 買収された CloudKick を立ち上げ、その後も Rackspace 働いていたクラウドの専門家とも言えるだろう。 その Polvi 氏以外にも Googler や Linux 関連の人材、アドバイザーに Linux の stable branch のメンテナ を迎えるなど、Linux に関する知識がかなり豊富なメンバーが集まっている。 その彼らが作っているのが CoreOS である。 CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築その もののプロセス自体も効率よく合理的に行えるよう設計されている。 また運用、管理（セ
CoreOS + Vagrant に etcd を使ってクラスタを構築する - Qiita
目的 fleet を触るため、ローカルでテスト環境を構築します。 デモ用は Vagrant 環境が無難なので、Vagrant で CoreOS のクラスタ構築をします。 注意 Docker の話は出てきません etcd を使うために Golang 1.2 環境が必要です ローカルに etcd を立てる必要があります。 ゴール CoreOS を Vagrant で複数台起動しクラスタを構築し fleetctl list-machines で確認する 前提環境 Mac OS X 10.7.x Vagnrat 1.5.1 VirtualBox 4.3.10 Golang 1.2.1 etcd をセットアップ discovery 用の etcd をローカルに構築します --addr で指定している IP アドレスは virtualbox のゲートウェイの IP アドレスです。 うまく行かない場合は
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
fluentdのちょっとしたチューニングの代理の報告 - Guutaraの日記
はじめに 色々、テストをしてみてる結果をまとめてみた。 検証は、自分がやっている訳ではないので、検証結果からのまとめ。 あと、公開出来ない部分もあったるするので、若干、整理しきれてないけど その辺は、また、修正出来るかな。 以下の感じで繋がっている。 td-agent --> td-agent out_webhdfs ---> HDFS ZeroMQ_pub ---> Subscriberここまでのチューニングで、上記の２つのPluginが、ボトルネックになるという事がわかった。 ZeroMQ_pubは、Aggregatorに仕込んであり、情報が見たい時に、自由に件数などを見れる様にしているらしい。 ということで、以下、チューニング。 チューニング zmq_pubについて zmq_pubは単一スレッドで動いている。その場合、fluentdがflushできるのは1秒間に1チャンクのみ。 従っ
Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO
Norikraとは Norikraとはリアルタイム集計プロダクトです。イベントストリームに対してSQLライクな言語で処理を書くことが出来ます。 例えば、ApacheのアクセスログをNorikraに流し込み、1分あたりのアクセス数やレスポンスタイムの最大値をリアルタイムに集計することが出来ます。 Norikraの利用例は作者であるtagomorisさんのブログで紹介があります。 今回は、Norikraを使ってDoS攻撃をブロックする仕組みを作ってみました。 DoS攻撃ブロックの仕組み アクセス元はApacheのアクセスログから取得し、ログの受け渡しにはFluentdを利用しました。 ブロックの手順は以下のようになります。 アクセスログをFluentdのin_tailプラグインで取得。 Fluentdのout_norikraプラグインで、アクセスログをNorikraに流し込み。 Norikra
flunetd、forward先がダメだった時にforward元である程度ログを担保したい · さよならインターネット
April 1, 2014 fluentdのbufferとforwardについて調べたのでメモ。 fluentd v0.10.45 追記( 04/02 00:27) @kenjiskywalker flushしようとしてできなかったbufferにもlimitまで溜まるから、1kbのbufferが128個で限界にはならないような気がしますが — fujiwara (@fujiwara) April 1, 2014 @fujiwara 今手元で試したんですけどflush_interval関係なさそうですね。普通にflush_interval 1s buffer_chunk_limit 10とか指定してもそれ以上のbuffer保持してました — kenjiskywalker (@kenjiskywalker) April 1, 2014 @tagomoris @fujiwara なるほど〜！ —
次世代監視ツール Sensu リファレンス - Qiita
バージョン 0.9 くらいのときの公式ドキュメントのざっくり訳＋個人のメモ 情報が古い＋理解が間違ってるとこあるかもなので注意して欲しいけど、需要がありそうなので出してみる Overview Sensu は監視ツールの一つ。Sensu はよく "monitoring router" と記述される。もっと平たく言うと、Sensu は多くのノードに対して "check" スクリプトを実行し、1 つまたは複数の Sensu サーバーにて "handler" スクリプトを実行する。 例えば、Apache の死活チェックをするとしよう。チェックスクリプトにより死活だけでなくメトリクスも収集する。そしてそのアウトプットは 1 つまたは複数の Handlers にルーティングされる。Handlers はチェック結果によって何をするのか定義するものだ。Handlers は今のところ E メール、IRC、T
Vagrant 環境で serverspec のサンプルテストが実行されるまでの流れをメモ - Qiita
Vagrant インストールから、仮想マシンの起動〜停止まで のつづき serverspec ってなあに? あるサーバの環境をテストするためのフレームワーク rspec 準拠の実装が可能 内部的には、コマンドを叩いているだけなので、chef 等の特定のプロビジョニングツールに依存していない プロビジョニングツールと組み合わせることで、TDDライクにサーバ環境の構築が可能 CentOS6.5 の box を 取得 # 作業している回線が細かったので最小構成のやつを取得 $ wget https://github.com/2creatives/vagrant-centos/releases/download/v6.5.3/centos65-x86_64-20140116.box $ vagrant box add centos6.5 centos65-x86_64-20140116.box =
CentOS6 で libvirt で LXC を使ってみる - ngyukiの日記
少し前に CentOS6 で LXC を使ってみたので、次は libvirt を絡めて LXC を使ってみます。 CentOS6 で LXC を使ってみる - ngの日記 なお、今回もほとんど参考サイトの写経です。 参考にしたサイト http://wiki.centos.org/HowTos/LXC-on-CentOS6 前提 CentOS 6.5 を Base パッケージグループのみでセットアップ 前回は CentOS 6.4 だったのですがつい先日 6.5 がリリースされたので 6.5 を使います IPv6 は有効にしています なぜか有効にしないと ssh で X11 転送ができなかったからです この記事では X11 転送は出てきません SELinux は無効にしています SELinux とかよくわからないです libvirt のインストールと設定 libvirt をインストールします
15 Quick Docker Tips | CenturyLink Labs
Helping Developers do Ops EasierBrian Morearty recently gave a lightning talk at Twitter HQ about Docker. You should really check out his slides, they are fun and have a lot of character. He also runs a hands-on training course for Docker. But as a reference chart, here are the 15 tips he suggests: Getting the id of the last-run container You could do this: $ ID=$(docker run ubuntu echo hello worl
電王戦は，21世紀を生きる人類を映し出す鏡なのかも――将棋棋士・谷川浩司氏がゲストの「ゲーマーはもっと経営者を目指すべき！」第16回
電王戦は，21世紀を生きる人類を映し出す鏡なのかも――将棋棋士・谷川浩司氏がゲストの「ゲーマーはもっと経営者を目指すべき！」第16回 副編集長：TAITAI 123→ 連載第16回めとなる，ドワンゴ・川上量生氏との対談企画「ゲーマーはもっと経営者を目指すべき！」。今回は，永世名人の資格を持ち，あの羽生善治名人とも数々の名勝負を繰り広げてきた将棋棋士・谷川浩司氏をゲストに迎え，その将棋人生や将棋観，「将棋電王戦」などについて語ってもらいました。 5歳の頃から将棋をはじめ，中学2年生でプロデビュー。その後も，史上最年少名人として歴史に名を残すなど，数々の記録を打ち立ててきた谷川氏。将棋を「ゲーム」として捉えるなら，文字通りの「日本を代表するプロゲーマー」とでも言うべき存在でしょう。 そんな谷川氏とはどんな人物で，どんなことを考えながらプロ棋士としての人生を歩んできたのか。あるいは，谷川氏自身が
Serf 虎の巻
Serf 虎の巻 サービスディスカバリーとオーケストレーション用のツールであるSerfについてまとめた．基本的には公式のHPのGetting Startの抄訳．Vagrantで試験環境を立てて実際に触りつつSerfを使い始められるようにした． 目次 Serfとは Gossip protocolとは 試験環境の準備 クラスタの形成 クラスタからの離脱 イベントハンドラ カスタムイベント カスタムクエリ コマンド一覧 参考 Serfとは Serfはサービスディスカバリーやオーケストレーション，障害検出のためのツール．Vagrantの開発者であるMitchell Hashimoto氏により開発が進められている．SerfはImmutable Infrastructureの文脈で登場してきたツールであり，Immutableなシステムアーキテクチャー，デプロイを実現する上で必須のツールである． Imm
WebScaleSQLとは何か(まとめと想像)
WebScaleSQLが公開されました。 これはFacebook, Google, LinkedInそしてTwitterのMySQLエンジニアが、大規模環境で使用する際に必要な変更点をまとめて、違う名前をつけてリリースしたものです。 MySQLとの違い FAQにまとまってるものと、GitHubのcommitsを見ればなんとなくわかります。 変更点それぞれについて全部のテストを自動で走らせるようなフレームワークを追加 ストレステストと自動化された性能テストを追加 テストを整理して、安全な変更が余計なテストを壊さないようにした NUMA interleave、innodb バッファプールフラッシュの最適化、いくつかのクエリに対する最適化など性能改善 super_read_onlyと、1秒以下の精度でタイムアウトを指定するといった、web scaleで必要な変更 super_read_only
広告業界と無関係な僕がさっぱり理解できないアドテク用語を調べた。
厳密には無関係ということはないのですが、僕は直接的に広告に関連のある事業をやっているわけではありません。しかし、最近アドテクの世界が面白くて、基本的なことから勉強しています。 インターネット広告はテクノロジーのかたまり インターネットはテクノロジーの世界です。そして、この世界でとても大きなお金を生んでいるのが広告です。 今をときめくGoogleもFacebookも広告で収益を上げている企業です。日本でも同様にインターネット広告の市場規模はとても巨大で、1兆円程度とのことです。 必然的に、広告という世界には、インターネットの業界のテクノロジーが結集します。だから、技術的にも、とてもおもしろいです。 広告はどこからやってくるのか？ 広告とは、これのことですよね。 そもそもは、これがどうして表示されるのか、というを調べていました。調べてみると、裏側にはとんでもない世界が広がっていました。 純広告
InnoDBのプライマリキーとセカンダリキー | Yakst
InnoDBのテーブルから、プライマリキーを取得するクエリを書いたのに、なぜかセカンダリインデックスが使われることがある。この仕組みを、InnoDBのインデックスの格納方法から解説する。 今日、EXPLAINの結果を色々と試してみている時に、興味深い問題にぶち当たったので、ドキュメントには載っていないこの現象をここで共有しておこう。 とても単純なInnoDBのテーブルを考えるところから始めよう。2つのINT型のカラムを持ち、最初のカラムがプライマリキーで、2番目のカラムに普通のインデックスが張ってある。 CREATE TABLE `t1` ( `id1` int(10) unsigned NOT NULL, `id2` int(10) unsigned DEFAULT NULL, PRIMARY KEY (`id1`), KEY `id2` (`id2`) ) ENGINE=InnoDB;
Colorkrew Blog
※ 古い記事ですのでご注意ください。 こんにちは。小宮です。 まだ使いたい人がいるかわかりませんが検証してみましたので載せておきます。 長い記事になりますのでお時間のあるときにどうぞ。 mysqlfailoverを–forceつけず–daemon=startで起動させる 以前検証したときは –forceつけないと動かなかったのと デーモンで起動させるオプションは存在しなかった というわけでそこを再度たしかめてみます。 ・構成： 192.168.1.133 komiya-test-mysql01 my1 192.168.1.155 komiya-test-mysql02 my2 192.168.1.150 komiya-test-mysql03 my3 192.168.1.241 komiya-test-mysql04 my4 manager 192.168.1.222 vip ・インストー
WebScaleSQL | "We're Gonna Need A Bigger Database"
What is WebScaleSQL? WebScaleSQL is a collaboration among engineers from several companies that face similar challenges in running MySQL at scale, and seek greater performance from a database technology tailored for their needs. Our goal in launching WebScaleSQL is to enable the scale-oriented members of the MySQL community to work more closely together in order to prioritize the aspects that are
サーバー設定ツール「Chef」をより便利に使うためのテクニック | OSDN Magazine
サーバー管理ツール「Chef（シェフ）」は、ファイルに記述した設定内容に応じて自動的にユーザーの作成やパッケージのインストール、設定ファイルの編集などを行うツールだ。今回はChefの応用編として、Chefサーバーなしに複数台のサーバー管理を行う「knife-solo」というツールと、設定のためのデータなどを一元管理できる「Data Bag」という仕組みを紹介する。 knife-soloを使った複数台サーバー管理 Chefは「Cookbook（クックブック）」や「Recipe（レシピ）」と呼ばれる設定ファイルに従って、ユーザーの作成やソフトウェアのインストール、ネットワークやファイアウォール、データベースなどの設定など、さまざまな設定作業を自動で実行するツールだ。利用するメリットとしてサーバーの設定を一元的に管理できる、実行する設定内容をチェックしやすくミスを防ぎやすいなどがあり、近年注目を
三人のスピーチ全文。思ったこと。 - 尻上がり
SMAP, TV 「何で終わるんですか」 国民が思ってることを代表して聞いてくれたのが、国民の末っ子であり続けた慎吾ちゃんだった。 何か結局興奮して寝れなかったので、書いてみる。 SMAP三人のスピーチ書き起こしと、思ったこと。 草なぎ剛タモリさんお疲れ様でした32年間。 え〜、そうですね、本当にタモリさんには沢山お世話になりまして、言いたいこと沢山あるんですけど。 あの〜、日本にはすごい面白い人がたくさんいるなぁと、また改めて思いまして。 すごいコメディアンが沢山いるなと！ あの〜、もう、お笑い怪獣だらけだな！と、今日思いまして。 あの〜、本当に僕らまぁSMAPとして、アイドルとしてですね、こういうお笑いの一線で活躍されている方と、こう18年、20年と一緒にこう、仕事できたっていうのは本当に今日、奇跡だなと思いました。 で、当時は本当にそんな方々なので、前に出て行くこともできなくて、本当
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
