Amazon、大容量データを直接AWSに運べる取っ手付き50TバイトHDD「Snowball」発表
米Amazonは10月7日（現地時間）、ラスベガスで開催の年次イベント「AWS re:Invent 2015」において、大容量データをAWSのデータセンターに物理的に転送するための新サービス「Amazon Snowball」を発表した。 10Gbイーサネットでの接続が可能な50TバイトのHDDを内蔵する専用のポータブル記憶装置にデータを保存してAWSのデータセンターに送ることで、インターネットを経由せずにデータを転送できる。 AWSは、物理HDDでのデータ転送サービスを2009年から「AWS Import/Export」として北米の一部の地域で提供しており、専用記憶装置を使うSnowballはそのオプションになる。 Snowballの記憶装置（レンタル）は防水で6Gの衝撃に耐え、重さは約23キロ。持ち運べるように取っ手がついている。転送データは暗号化される。
クラウドのリージョンを丸ごと落とす過酷な試験を実現する「Chaos Kong」、Netflixが発表。「カオスエンジニアリング」の指針も表明
クラウドのリージョンを丸ごと落とす過酷な試験を実現する「Chaos Kong」、Netflixが発表。「カオスエンジニアリング」の指針も表明 動画配信サービスのNetflixが、Amazonクラウド上のサーバをランダムに落とすことでシステムの堅牢性をチェックするという画期的な考え方のツール「Chaos Monkey」を発表したのは2012年でした。 サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 Netflixは普段からChaos Monekeyでシステムをテストし続けていたおかげで、昨年10月にAmazon EC2の全インスタンスの約10％がリブートされるという大規模メンテナンスも難なく乗り切ることができたと報告しています。 そしてこのChaos Monkeyの成功に基づき、さらに過酷な状況をシミュレ
RDSでロックなしのALTER TABLE(pt-online-schema-change使用) - Qiita
データ件数が大量に(レコード数100万以上とか)ある場合、ALTER TABLE時にテーブルの書き込みロックが無視できないレベル(時間)で発生します。 テーブルの書き込みロックについて MySQL5.5以前: ALTER TABLE時に発生 MySQL5.6以降: ALTER TABLEでカラムのデータ型変更、全文検索用インデックスの追加、プライマリキーの削除、文字コードの変換/指定 を行った時に発生 参考: http://takatoshiono.hatenablog.com/entry/2015/03/11/013316 pt-online-schema-changeを使用することで、テーブルロックなしでのALTER TABLEができます。 pt-online-schema-changeのインストール方法(Mac homebrew) $ brew install percona-too
chefを捨ててシェルスクリプトにした | Ore no homepage
一部のサブシステムの構築で、プロビジョニングツールを捨ててみた。じゃあどうするのかというとシェルスクリプトでやる。今回はこのやりかたが一番楽できるような気がしたので試している。 具体的にはPackerからシェルスクリプトとServerspecを実行してAMIを煮込む。おいしくできあがったらそいつから構築。もしミドルウェアより下の層のコンフィグ類に変更があったらまた煮込む。構築する。新しい方に切り替える。つまり”捨てるインフラ”にする。 プラットフォームはAWS。 (追記)ちなみにchefなどのプロビジョニングツールがめんどくさいからシェルスクリプトにしたというよりは、捨てる前提のサーバだからシェルスクリプトでの構築も選択肢として出てきたということです。ただ自分個人の嗜好としてchefはもう飽きたというのも事実です。なお、オンプレだと同じサーバで継続してプロビジョニングすることになるのでch
Java が支える 人気ニュースアプリ NewsPicks の裏側
JJUG CCC 2015 Spring の発表資料です。
AWS で不正アクセスされて凄い額の請求が来ていた件 - yoya's diary
情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり
ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
20150329 Developers.IO 2015 C-1 クラスメソッドのAWSドッグフーディング
20150329 Developers.IO 2015 C-1 クラスメソッドのAWSドッグフーディング1 of 105
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
[新サービス] WorkMail が発表されました！ | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先ほどWorkMailがというメールと予定表のサービスが公開されたという情報をキャッチしたためご紹介します。 WorkMail？ いわゆるWebメールサービスです。以下のような特徴があります。 マネージドサービス AWSらしい個別の管理が不要なマネージドサービスになっています。バックアップやアップグレード、パッチ適用を自動で行われます。 エンタープライズグレードのセキュリティ 暗号鍵管理サービスであるKMSをして暗号化されています。またデータの保存箇所はリージョンを選択可能です。 Outlookとの互換性 Microsoft Outlookと互換性があり、既存のOutlookでWorkMailを使用可能です。 どこでもアクセス可能 iOS、Android、Kindle Fire、Windows Phone(！)の各デバイスで使用可能です
![[新サービス] WorkMail が発表されました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d22525e8d47855df534beb0235a4134f0a80238d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F12%2Fawseyecatch.png)
「夜はサーバの電源を落として帰ろう」 東急ハンズによる、6つの聖域なきシステム改革
東急ハンズにて情報システムと通販事業の責任者を務める長谷川秀樹氏が、AWS Cloud Roadshow 福岡 powered by Intel に登壇。AWSを導入した企業の部門責任者として、クラウド化が組織にもたらしたメリットについて語りました。 従量制のAWSだからこそ出来ること 長谷川秀樹氏：あとはハンズの、こういうふうにやってきたいなというところをパラパラッと紹介していきたいと思います。ちょっと業界的な話になってきちゃうんですけども、今オムニチャネルっていう話があって、ECと店舗をガッチャンコするというところをやっていこうと。 あと、これは業界全部に関わることかなと思います。夜間バッチの廃止。これは僕も口酸っぱく言っているところです。今新しくオンプレから移すときも、夜間バッチを絶対なくすということでやってます。 「お店が仮に夜の10時に閉まったら、10時半頃にみんな帰る時にお店の
「クラウド化は、コスト削減のためとちゃいます」 東急ハンズ・長谷川秀樹氏がAWSイベントで語る
東急ハンズにて情報システムと通販事業の責任者を務める長谷川秀樹氏が、AWS Cloud Roadshow 福岡 powered by Intel に登壇。大手小売企業が仮想サーバを導入するにあたって注意した点、また新しく気がついた点を具体的に列挙。後発組へもAWSの採用を勧めました。 東急グループにおける情シスの責任者が登壇 長谷川秀樹氏：東急ハンズ、長谷川でございます。よろしくお願いします。「一体何者やねん？」っちゅうところなんですけども、東急ハンズで情シス（情報システム）と通販事業の責任者をやっています。ハンズラボという会社で、これSI（システムインテグレーション）の会社なんですけど、そこで代表やらさせてもらっています。 あとは東急不動産ホールディングスのほうで、マーケティングIT戦略部長みたいなのもやらさせてもらっています。今日はどっちかと言うと、ユーザー企業の情シス部長みたいな感じ
新しいAWS SDK for PHPのラッパー「AWS Resource APIs for PHP」を触ってみた | DevelopersIO
こんにちは、せーのです。弊社ではJavaやRubyの使い手が多いのですが、私は個人的にPHPが好きだったりします。そんな全国3000万人のペチパーに向けてAWSから新しいSDKラッパーがリリースされたのでご紹介致します。 AWS Resource APIs for PHPってなんだ AWSには各サービスを色々な言語のコード上で扱えるように各言語毎にSDKが用意されています。PHPにも当然AWS SDK for PHPというSDKが用意されています。 ですが基本的にこのAWS SDK for PHPはAWSサービスに対して1対1で操作するような作り方をしています。識別情報（image-id等）で個別指定するので余り汎用的な感じはしないんですよね。 このAWS Resource APIs for PHPはAWS SDK for PHPとパッケージは分かれているもののAWS SDK for PH
［速報］Docker社CEO、Docker時代に向けた進化のロードマップを表明。AWS re:Invent 2014
［速報］Docker社CEO、Docker時代に向けた進化のロードマップを表明。AWS re:Invent 2014 Amazon Web Servicesは、同社の年次イベント「AWS re:Invent」を米ラスベガスで開催しています。 2日目の基調講演でDockerをサポートするAmazon EC2 Container Serviceが発表された後に、壇上にはDocker CEOのBen Golub氏が登壇。Golub氏はDocker社が考えるDocker時代に向けたロードマップの中身を聴衆に示しました。Golub氏の話をダイジェストで紹介します。 5つのステップからなるDocker時代のロードマップ Docker CEO Ben Golub氏。 AWSはDocker対応サービスをリリースしただけでなく、Dockerのエコシステムにも参加してくれている。つまり、Docke APIに対
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nervous-systems/hildebrand: Asynchronous DynamoDB client for Clojure & Clojurescript/Node
Ansible + Packer + CloudFormationでらくらく構築・運用
AWS SDK for PHP のパフォーマンスを改善するたった３つのこと - Qiita
［速報］Dockerをサポートした「Amazon EC2 Container Service」発表。AWS re:Invent 2014
Pallet