クラウドに基幹を移行して5年超経過 - 急がば回れ、選ぶなら近道
もう5年か、まだ5年というべきかちょっと判断に迷う。大抵の業務系のシステムがクラウドを始めるのは現実的には今年来年以降になるので、今の自分達の状況は多分、今後の業務系システムをクラウド移行したユーザの近未来になると思う。ので、予想的にまとめておく。本格的にクラウドを利用した業務アプリケーションの5年がどうなるかの一つの指針になるかと。 以降は別に統計データでもなんでもなく5年間を眺めてみて自分の印象。 ・障害：大規模は５年で2-3回程度。一度は業務に影響が出て客先にお詫びに行った。AWSだったけど、サポートからは「もう回復してるのでチケットクローズね」みたいな話だったと記憶している。その後は大体四半期に一回程度のN/W障害。障害は普通に起きているし、オンプレと比べてどうか、という比較では細かい障害件数は減った気はしていない。ただし、「ドカンと来るでかい障害」は確実に減った。 ・データ増加対
Steve Yegge の Google とプラットフォームに関するぶっちゃけ話を訳した（前編）
Google エンジニアの Steve Yegge 氏、Google+ への懸念を漏らす http://japan.internet.com/busnews/20111013/8.html で記事になってたけど、原文とちょっと要旨が変わっちゃってサービスへの警鐘みたいになってしまってたので、全文訳してみた。くそ長い。お暇な方どうぞ。 （2011/10/19 08:14）ありがたい誤訳の指摘をいただいたので3カ所修正。 Stevey の Google プラットフォームぶっちゃけ話 僕は6年半ばかり Amazon にいて、今はそれと同じくらい Google にいる。この二つの会社について強く感じることは（しかもその印象は日々強まるのだけれど）、 Amazon は全てにおいて間違っていて、 Google は全てにおいて正しいということだ。そう、やりすぎな一般化だけど、驚くほど正確だと思う。いやも
大量レコードをINSERTするときに1回ずつコミットするのと最後にコミットするのとバルクインサート、どれが一番速いか | mah365
あらましと考察 テストデータを大量に作っては作りなおすときに、最初ふっつーにcreate!でデータを作ってた 重すぎて泣きそうになった Twitterで「毎回コミットしているからでは？」という助言をいただく そういうわけで毎回コミットするのとトランザクションで最後にコミットするのと、ついでにバルクインサートするの、どれが一番速いか試してみた いずれにしてもバルクインサートが圧倒的に速いが、あえて毎回コミットかトランザクションかで比較すると、100レコードか1000レコードぐらいのオーダーでは若干トランザクションが速い（誤差の範囲な気もするけど・・・）。ただし10000レコードのオーダーになると逆転する。 SQLiteはコミットの度にファイルに書き込む仕様のため、常にトランザクションが優位になると思ったら、そうでもなかった（参考：SQLiteデータベースのチューニング）。このあたりの挙動の理
AWSのSLAの考え方 あなたのサービスを守ってくれない！？
Amazon EC2 サービスレベルアグリーメントを引用すると、サービスコミットの基準となる月間使用可能時間の割合については 「月間使用可能時間の割合」は、1月の間に、Amazon EC2またはAmazon EBS（適用される場合）が「地域（Region）使用不能」の状態になった時間（単位は分）の割合を100％から減じて計算される。 とあります。 「地域（Region）使用不能」とはあまりなじみのない言葉ですが、 「地域（Region）使用不能」とは、同一地域（Region）内で、サービス利用者がインスタンスを実行している複数のAvailability Zoneが、サービス利用者にとって「使用不能」となることをいう。 「使用不能」とは、Amazon EC2については、サービス利用者の実行する全てのインスタンスの外部との接続性がない状態をいう。（以下略） との説明があります。 1ヵ月で20分
MinOps homepage
AWS Lambda is the future, it's the new normal. Great! Awesome. Can you do anything useful with it? We took that as a challenge. Could we, using AWS Lambda, create a multi-user, dynamic web application without using EC2 or resorting to hacks? I mean no instances, no ELBs, not even a security group. And especially no hard-coded AWS credentials. We did, and it's called Lambda Chat. Live demo http://l
NZでの試用期間満了！ 上流エンジニアは死にました。｜NZ MoyaSystem
僕は今年2016年の2月9日から、ニュージーランドの企業にてプログラマとして勤務し始めました。 ところが、90日間は試用期間というのがこちらのルール。 その間は「こいつ使えねーな」と思われたらサッサと首切り、なんてこともありますので、半ばビクビクしながら過ごしておりました、笑 内定に浮かれてこんなエントリも書いてしまった手前、クビになったりしたらちょっと恥ずかしすぎますしね。 そしてこの度、無事90日間の試用期間を終え、晴れて正式採用の運びとなりました！ 上司との面談とかアナウンスとかあるのかと思ってたんですが、先輩社員に聞いてみるとどうも何も無いみたいです、笑 いやあ、なんとか乗り切ることができてホッとしています。 入社当初は果たして自分のスキルがこの会社で通用するのか不安で仕方ありませんでしたが、次第に仕事にも慣れ、プロダクトの構造も理解できるようになり、何より英語も最初に比べてかなり
Building alerts on BBC iPlayer audio and video consumption
The Analytics team based within the Online Technology Group are working on solutions to bring insights into BBC iPlayer Audio and Video (A/V) distribution and consumption. This helps to drive decisions and react quickly to service level problems as they occur. Software Engineer Daniel Harper shares insights into one of those solutions, based around making BBC iPlayer as stable as possible. This bl
クラウド時代はDNS Pinningが落とし穴になる | 水無月ばけらのえび日記
公開: 2011年9月3日19時50分頃 モバツイ (www.movatwi.jp)の作者えふしんさんと、Twitterでこんなやりとりをしました。 OperaってDNSのTTL考慮してない？！多くのブラウザは安全性のために短すぎるTTLを無視したりしますが (DNS Pinning)、それとはまた違う話でしょうか?AWSのElastic Load Balancingで、動的にロードバランサーのサーバが増えたり減ったりするようで、夜明けのOperaがよく全然違うサービスに繋がってしまうことがあるんですよね。少なくともクッキーは送っちゃってますよね...あー、なるほど。それはまずいですね。これは盲点でした……。 OperaやIEなどは、DNSのTTLが短く設定されていても無視してキャッシュし続ける事があります。これはDNSの負荷を減らすというだけはでなく、セキュリティ上の意味もあり、「DNS
Java DNS Cache Reference Guide
Development of complex distributed Java EE systems quite often involves integration with multiple downstream systems. Such system business service(s) can be exposed via HTTP or other protocols, Internet facing or secured within its own private network zone. The most common approach is to centralize the platform access via a front door DNS (Domain Name System) name. When supporting a Java EE produc
並列分散処理の常識をHadoopファミリから学ぶ
並列分散処理の常識をHadoopファミリから学ぶ：ビッグデータ処理の常識をJavaで身につける（2）（3/3 ページ） 3つの課題に応える「Hadoopファミリ」 関連プロジェクトは、Hadoopが抱える以下の3つの課題に応えたものです。 【課題1】「並列分散処理をもっと簡単に書きたい」 MapReduceをJavaで書く処理はある種のひらめきが必要ともいわれます。特に、SQLで書かれていた処理をMapReduceで書き替える場合、思考の切り替えが必要で苦労することも多いようです。たとえ慣れていても、Hadoopで簡単なデータ加工したい、そのためだけに多くのクラス定義をするのは面倒です。 この難易度を下げるハイレベル言語として「Hive」「Pig」が存在します。どちらの言語もSQLやストアドプロシジャのようなコードを書いて、MapReduceを動かせます。対話型のシェルユーティリティもあり
名詞の王国 - あどけない話
「君のプログラミング言語で、これ、できる？」で紹介されていた「Execution in the Kingdom of Nouns」を訳してみました。英語よりも、つたない日本語訳の方がよい方は、どうぞ。 おかしな訳があれば、教えて下さい。適宜、訂正します。 「C の関数はファーストクラスじゃないよ」などの突っ込みは、原文の著者へどうぞ。 名詞の王国での実行 彼らには気分ってものがある。ものによるが...特に動詞がそうだ。誇り高いことったらない...形容詞相手ならなんとでもできるが、動詞はどうしようもない...じゃが、このわしにかかれば皆思いのまま！ -- ハンプティ・ダンプティ 世界のみなさん、こんにちは！今日は、邪悪な王 Java の物語と国中の動詞を滅ぼした彼の冒険について語ろう。 警告：この物語は幸福な結末を迎えない。心臓の弱い人や批判家向けではない。もし、あなたが怒りっぽい性格である
マイクロサービスに関する資料のまとめ
アジャイル開発チーム向けのコーチングや、技術顧問、Scrum Alliance認定スクラムマスター研修などのトレーニングを提供しています。お気軽にご相談ください（初回相談無料） 世の中マイクロサービス・マイクロサービスうるさいのでちょっとこれ読んでおけという資料をまとめておきます。 はっきり言ってマイクロサービス化しようとすると、組織構造の話、エンジニアの責務の話など技術的な課題以外の領域にもいろんなチャレンジがあるので、普通のプロジェクトでも苦労する組織が取り組むとか、設計だけして開発を委託しているけどDB一極化がやばいので取り組むとかは止めておいた方がよいと思います。 概念Twelve Factor Appマイクロサービスの話ではないが、モダンなアプリケーションを作りたければ開発チーム全員に叩き込んでおくべき内容MicroservicesMartin Fowlerによるマイクロサービス
Amazon EC2を(なるべく)使わずにシステムを構築してみる | DevelopersIO
こんにちは、せーのです。AWSは現在40以上のサービスがあり、なかなか把握しきれないことも多いかと思います。そこで今日は現在のサービスを組み合わせたシステム構築の一例をご紹介致します。 最もコストがかかるのはEC2 そもそもオンプレではなくクラウドサービスを選ぶ理由は安価で簡単にサーバーやストレージを調達でき、障害対策や電源管理等をAWS側が行ってくれるから、という方も多いかと思います。 ではAWSの各サービスでコストを抑える秘訣はなんなのでしょう。それは「EC2を使わないこと」です。例えばDBとしてmySqlを使いたいとします。時間あたりの単価を考えるとEC2の中にmySqlをインストールするよりもRDSでmySqlを立てたほうがお得です。また障害が起きてダウンした際にEC2は自分でフェールオーバー等の対策を打つ必要がありますが、RDSはmulti-AZの設定をしておくだけで後はAWSが
Page Not Found - dumbonet systems｜ダンボネット・システムズ株式会社
ページのURLが変更になりました。 以下からページを探して下さい。 Looks like the page you we’re looking for doesn’t exists.
Raspberry PiとNode.jsで作る独立稼働モバイルサーバ
Raspberry Piを購入したきっかけ 筆者がRaspberry Piを購入したのは、3,500円程度でLinuxが動くという理由からでした。よく使用するArduino Uno※1が3,000円くらいでマイコンレベルなのに比べると、性能的にはるかに安かったのです。しかし、買った時点では特に何に使おうかは考えていませんでした。とりあえず起動して、安いのにXウィンドウ動いてスゴイな、という印象でした。ところがふとしたことから、次に取り上げるNode.jsが動くらしいという情報を得て、本格的にいじり始めました。 まずはNode.jsをRaspberry Piにインストールして、チャットアプリを作成するところまでを説明していこうと思います。後半ではRaspberry PiでNode.jsを使ったプロトタイピングの例を紹介します。 ※1 Arduino Uno: プロトタイピングデバイスとも呼ば
AWS と Bees with Machine Guns で静的コンテンツの負荷テストを実施する
みなさま、こんにちは。 あわよくば生涯プログラマであり続けたいと願っているエンジニアの吉田でございます。 普段はマネジメントの業務をメインとしている立場ですから、エンジニアっぽい記事を投稿すると役員からお叱りを受ける可能性もございますが、たまには技術的な記事を書きたい気分のときもございますので、そういったリスクは特に気にせず久しぶりに技術的なブログを投稿してみたいと思います。 ちょうど今回の記事のタイトルには「マシンガン」という単語が含まれていますから、もし、お叱りを受けたとしても景気よくマシンガンをぶっ放す勢いで「リスクをとらない方がリスクなんだ！きっとそうなんだ！愛なんだ！」などと血迷った感のあるリスクテイク論をドヤ顔で言い放ちつつも、一方で、謙虚な低姿勢も確実に維持しつつ弁解に臨みたい次第でございます。 さて、ここから本題となります。 最近のインフラ構築はAWS等のクラウド環境を利用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elastic Load Balancer: An Elasticity Gotcha — Shlomo Swidler
The Allison Kennedy is coming soon
作った人に聞いてみた、マイナンバーとの上手なつきあいかた
安くジャンパワイヤを買う、40本で160円 | ものづくりエクスペリメント