Hadoopクラスタ間でデータを移動するdistcpについては実はHadoop2系で新しくなっており*1、いろいろ機能が増えている。 たとえば以下のようなコマンドが実行できる。 hadoop distcp -i -m 20 -pb -bandwidth 2 webhdfs://cluster.old.local/path/of/data/dir hdfs://cluster.new.local/path/of/data/dirこのコマンドラインには、従来のdistcpでは不可能だったふたつの変更が含まれている。 bandwidth 前は指定できなかったが、今は mapper あたりが使う帯域をMB/sec単位で指定できる。べんり。 webhdfs:// 前はバージョンの異なるHadoopクラスタ間でdistcpする場合、新しいクラスタでdistcpを実行し、古いクラスタ(source側)の

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 今回発表になった Amazon RDS for Aurora。最大の特徴はストレージが従来のRDS(Multi-AZ)における「完全同期なミラーディスク型のレプリケーション」方式でなく、「Quorumベースの非同期レプリケーション」方式が採用された点です。 Quorumの概念 Quorum自体の概念の説明はWikiなどを参照してください。ノード間で投票を行い、定足数が揃った処理を実行／破棄するという考え方です。 Quorum - Wikipedia 同期型のミラーディスク型から非同期のQuorum型へ Aurora以外のRDSのMulti-AZ配備は、マスターノードのディスクへの書き込みをブロックレベルでスタンバイ側に適用する完全同期なフィジカルレプリケーションを行っています。これにはいくつかの課題が考えら

ZenClerkが月間10億PVを支えるまでの
 過程で経験したアンチパターンを紹介

自転車通勤始めました。@kyo_agoです。この記事はE2EテストAdventCalendar -26日目です。 今日はGithub上でTravisCI、SauceLabs、Protractorを使って簡単に始められる継続的E2Eテストの方法を紹介したいと思います。 ゴールはGithubにPRする毎にTravisCIがProtractorを使ってSauceLabs上で検証した結果を教えてくれるところです。 登場するユーザ名（kyo-ago）、リポジトリ名（Protractor-SauceLabs-TravisCI-sample）は実際のものに置き換えて読んでください。 SauceLabsの登録まず最初にSauceLabsのアカウントを作成します。 この時点ではGithubのリポジトリも何らかの設定ファイルも必要ありません。 「Getting Started」を押してください。 ダイアログが

はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる

CDNが単一障害点にならないようにするために ヌーラボでは 2010 年 Cacoo の商用サービスの開始に合わせて AWS における運用を開始しました。当時、運用環境として AWS を採択する決め手の一つになったのが CloudFront でした。その後も着々とエッジロケーションは増え、独自ドメインのサポートなど魅力的な機能も提供され、今ではヌーラボの全サービスの静的ファイルの配信で利用している、無くてはならないサービスとなっています。 その魅力の反面、CloudFront の障害は、アプリケーションそのものに問題がなくても、以下のような表示が崩れた画面が表示されて、ユーザが全くサービスを使えなくなるという、その影響が非常に大きいものです。また障害の原因が DNS やネットワークの経路における問題といった、私たちが直接解決しにくい領域にあることもしばしばです。 ただ、どんな事情であれ、障

業務で携わっている案件なのですが、アクセス数の急増が見込まれるイベントがありまして。準備期間も少なく、バックエンド側でできることがほぼないという状況でサイトを落とさないようにがんばる！というお仕事でした。レガシーソースてんこ盛り。CSSプリプロセッサとか何それ状態。 そこで実施した対策のまとめです。サーバー・アプリケーション・サイトの構成によって、効果の大小はありますが、比較的効果があったと思われるものをつらつらと。 リクエストの削減とファイルサイズの最適化 まず一番最初に考えなければいけないのがリクエスト数です。すごいおおざっぱに言うと、WEBサーバー（ApacheとかNginxとか）への負荷は、PV数×リクエスト数です。PVがそんなに無くてもそのページのリクエストがめちゃくちゃ多いとそれだけでかなりの負荷になります。リクエストを半分にできれば2倍の人数がさばけるってことに、すげーおおざ

Help us understand the problem. What are the problem?

このブログ記事は2014年5月21日に行った私の講演の内容に基づいています。 ここ数年、GNU/LinuxのディストリビューションはSysV initを避ける傾向にあり、代わりに多種多様な新しいinitシステムへと移行が進んでいます。SysV initに満足しているユーザにとっては、これは予想外の流れでしょう。問題なく使えるのに、なぜ多くのディストリビューションはSysV initに背を向けているのでしょうか。 この記事ではSysV initの問題点と、それに対してsystemdがどんな解決法を提供しているのか説明してみようと思います。 私は特にsystemdの大ファンだというわけではなく、ただ広く使われているツールだという認識以上の思い入れは無いことだけお断りしておきます。 initシステムの役割とは何か？ コンピュータが起動する時には、ビルトインされたファームウェア（コンピュータの場合

先日書いたOpenCVでアニメ顔検出をやってみた - kivantium活動日記の続編です。アニメ顔を検出するところまではうまくいったので、今度はキャラの分類をやってみようと思います。環境はUbuntu 14.10です。 ひと目で、尋常でない検出器だと見抜いたよ まずは分類に使う学習用データを用意します。投稿から半年以上経つのにまだランキング上位に残っている驚異の動画ご注文はうさぎですか？ 第1羽「ひと目で、尋常でないもふもふだと見抜いたよ」 アニメ/動画 - ニコニコ動画を使います。 動画のダウンロード Ubuntuならaptで入れられるnicovideo-dlというツールを使います。 sudo apt-get install nicovideo-dl nicovideo-dl www.nicovideo.jp/watch/1397552685その後avidemuxでOP部分だけの動画を

OpenStack を NetApp Unified Driver と NFS Copy Offload を使って拡張する Vol.002

2020-04-10 iOS 13から追加されたフルページのスクリーンショットの機能と対応方法の紹介 iOS こんにちは！ ZOZOTOWN部の遠藤です。 iOS 13がリリースされて半年が経ちましたね。iOS 13といえばダークモード機能が注目を浴びましたが、それ以外にもたくさんの新しい機能が追加されました。 本記事では新しく追加されたフルページのスクリーンショットに… iOS 13から追加されたフルページのスクリーンショットの機能と対応方法の紹介 2020-03-13 技術書典 応援祭にて「ZOZO TECH BOOK VOL.1」頒布中 #技術書典 お知らせ こんにちは、ZOZOテクノロジーズ CTO室の池田（@ikenyal）です。 ZOZOテクノロジーズでは、現在開催中の技術書典 応援祭にて、有志で制作した技術同人誌【ZOZO TECH BOOK VOL.1】の頒布を開始しました

$ curl -LO downloads.drone.io/master/drone.deb $ sudo dpkg -i drone.deb OAuth application への登録 GitHub の OAuth application に登録します Homepage URL: drone インストールしたホストを指定します 例: http://example.com/ Authorization callback URL: Homepage URL /api/auth/github.com を指定します 例: http://example.com/api/auth/github.com 設定 設定ファイルは /etc/drone/drone.toml です GitHub の OAuth application に登録した際に表示された Client ID を client`に、Cl

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 以下のAWSの発表のとおり、SSDベースのAmazon EBSの最大容量およびIOPSが近々強化される予定だそうです。 Amazon Web Services ブログ: 【AWS発表】さらに大容量で高速なElastic Block Store(EBS)ボリューム 変更点 従来からの変更点は以下のとおり GP2 (General Purpose SSD) GP2 (General Purpose SSD) 最大IOPS：3,000 IOPS→10,000 IOPS スループット：非公開→160MB/s PIOPS (Provisioned IOPS SSD) 最大容量：1TB→16TB 最大IOPS：4,000 IOPS→20,000 IOPS スループット：非公開→320MB/s また、この明確なスループッ

まず，言葉の定義から。 ・有効範囲 (scope) その識別子が利用可能である，領域の範囲。 関数有効範囲 (function scope)，ファイル有効範囲 (file scope)，ブロック有効範囲 (block scope)，関数原型有効範囲 (function prototype scope) の4種類がある ISO/IEC 9899:1999 (以下 IS) 6.2.1 Scopes of identifiers JIS X 3010:2003 (以下，JIS) 6.2.1 識別子の有効範囲 ・記憶域期間 (storage duration) そのオブジェクトの生存期間の範囲。 静的記憶域期間 (static storage duration)，自動記憶域期間 (automatic storage duration)，割付け記憶域期間 (allocated storage dur

業務で携わっている案件なのですが、アクセス数の急増が見込まれるイベントがありまして。準備期間も少なく、バックエンド側でできることがほぼないという状況でサイトを落とさないようにがんばる！というお仕事でした。レガシーソースてんこ盛り。CSSプリプロセッサとか何それ状態。 そこで実施した対策のまとめです。サーバー・アプリケーション・サイトの構成によって、効果の大小はありますが、比較的効果があったと思われるものをつらつらと。 リクエストの削減とファイルサイズの最適化 まず一番最初に考えなければいけないのがリクエスト数です。すごいおおざっぱに言うと、WEBサーバー（ApacheとかNginxとか）への負荷は、PV数×リクエスト数です。PVがそんなに無くてもそのページのリクエストがめちゃくちゃ多いとそれだけでかなりの負荷になります。リクエストを半分にできれば2倍の人数がさばけるってことに、すげーおおざ

docker_memo.md Dockerに関するメモ Dockerと付き合っていく上で考えるべきことのメモ The Twelve-Factor App を熟読 http://12factor.net/ http://twelve-factor-ja.herokuapp.com/ (ja) Dockerは要するにこのTwelve-Factor Appを実現するためのインターフェースなので、 選択に悩んだらここに戻ってくると良い。 コードベース (Codebase) バージョン管理されている1つのコードベースと複数のデプロイ 依存関係 (Dependencies) 依存関係を明示的に宣言し分離する 設定 (Config) 設定を環境変数に格納する バックエンドサービス (Backing Services) バックエンドサービスをアタッチされたリソースとして扱う ビルド、リリース、実行 (Bu

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

This article ends the Docker series. Ecosystem Docker in itself, but also components and concepts popularized by it, are at the heart of a multitude of projects which try to build on it. Just as Docker put a friendly face around LXC, people and companies around the world try to use it to put friendly faces around other connected areas. For instance a consortium comprising of the technology behemot

Today the OpenShift development team announced a new public Origin repo containing initial commits for our third generation OpenShift platform. This integrates work we’ve been doing over the past year plus in OpenShift Origin and related projects like Docker, Kubernetes, Geard and Project Atomic – all of which will become integral components of the new OpenShift. This Origin community effort will

このブログ記事は2014年5月21日に行った私の講演の内容に基づいています。 ここ数年、GNU/LinuxのディストリビューションはSysV initを避ける傾向にあり、代わりに多種多様な新しいinitシステムへと移行が進んでいます。SysV initに満足しているユーザにとっては、これは予想外の流れでしょう。問題なく使えるのに、なぜ多くのディストリビューションはSysV initに背を向けているのでしょうか。 この記事ではSysV initの問題点と、それに対してsystemdがどんな解決法を提供しているのか説明してみようと思います。 私は特にsystemdの大ファンだというわけではなく、ただ広く使われているツールだという認識以上の思い入れは無いことだけお断りしておきます。 initシステムの役割とは何か？ コンピュータが起動する時には、ビルトインされたファームウェア（コンピュータの場合

日本時間 2014/11/27 の AM9時〜AM11時頃まで、全世界的に Amazon CloudFront に障害がありました。 CDNとして CloudFront を利用しつつ、障害時にはフェイルオーバーする方法をまとめました。 S3 CloudFrontのOriginがS3でない場合は、この項の設定は関係ありません。 CloudFrontのOriginとしてS3を使う場合、以下のようにします。 file.example.jp のような、使いたいドメイン名で S3バケット を作る Static Website Hosting を有効にしておく ドメイン名のバケットで Static Website Hosting が有効になっていないと、後述の Route53 の Alias Target に設定できません。 Health Check Route53 の Health Checks を