NetflixのgithubリポジトリはWeb技術の百貨店だった - DiaryException
検索しているとなにかとNetflixのgithubリポジトリがヒットするので、全部（2015/07/18現在分）調査してみた。 github APIで https://github.com/Netflix のリストを全部取得して、名前・概要・URL・最終更新日時 (なんの更新だ?) を抽出。 AWS用のプロダクトが多かったのでまずそれらと、その他という分類にした。その他はほとんどがJavaライブラリ・システムだが、一部WebアプリケーションやPythonライブラリがある。 日本語での説明はReadmeやWikiを見て書いているが、理解が正しくないかもしれない。 AWS用 aws-autoscaling Tools and Documentation about using Auto Scaling URL: https://github.com/Netflix/aws-autoscalin
AWS で不正アクセスされて凄い額の請求が来ていた件 - yoya's diary
情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり
第9回クラウド女子会 教えて！先生♡ 私のAWSがこんなに難しいわけがない – に参加してきた #jawsug #cloudschool #cloudgirl | DevelopersIO
第9回クラウド女子会 教えて！先生♡ 私のAWSがこんなに難しいわけがない - JAWS-UGクラウド女子会 | Doorkeeper 2014/06/28 第9回クラウド女子会 教えて！先生♡ 私のAWSがこんなに難しいわけがない #jawsug #cloudschool #cloudgirl - Togetterまとめ わたくし、4年程前から個人ブログで勉強会参加記録をつけ続けており、弊社会社ブログのものと併せてかれこれトータル200回程勉強会に参加しておりますが、何気に『女子会』なるものには参加した事がありませんでした。まぁ男子(？)なので当然その参加資格は無い訳なのですが、最近では女子会イベントでも男子枠があったりするものもあるようです。 今回のJAWS-UG クラウド女子会 第9回もそんな『男子参加枠』が『参加女性のエスコート付きであれば可』という条件で設けられておりました。今回
ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (前編) | 株式会社ヌーラボ(Nulab inc.)
このエントリは前後編に分かれています。前編は主に運用フローやそこでの工夫点、後編は実際の運用から得た知見や今後の課題といった内容です。 ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (前編) ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (後編) 最近はインフラ運用・DevOPS関連のトピックとして目にしないことはないくらい、「イミュータブルインフラストラクチャー」について様々な議論がなされています。私たちも昨年、継続的デリバリという文脈で、@IT の連載にてその基本的な考え方について紹介させていただきました。 さて、今年の二月にローンチをしたばかりのヌーラボのシングルサインオンサービス「ヌーラボアカウント」では、イミュータブルインフラストラクチャの一歩手前として、特定の変更を加える場合のみ、ごっそり環境ごと入れ替えるというやり方にてその運用をスタートしました。
AWS Solutions Architect ブログ
AWSソリューションアーキテクトの蒋(@uprush)です。 初期コストがなく、導入しやすいペタバイト級のデータウェアハウスAmazon Redshiftは、非常に多くの皆様に利用頂いています。そのなかでも特に多いのは、Redshiftに保存されているビッグデータをBIや可視化ツールを使った解析です。 データ解析ツールとしてRが有名です。Rは統計分析や可視化するためのオープンソースソフトウェアで、データマイニングや分析などの分野で広く使われています。 RはJDBCを利用してデータベースにアクセスすることができます。また、Redshiftは標準的なSQLが利用可能で、PostgresSQLのJDBC・ODBCドライバをそのまま使用することができるため、この２つを組み合わせるとRからRedshiftにもアクセスできます。 RedshiftとRを利用して、インタラクティブ、かつ高度なビッグデータ
経営者にも分かるAmazon Web Services (AWS)の利点
IT企業の経営者といっても全員が技術者であるわけではありません。 そうした方々はAmazon Web Services (AWS)の利点があまり深く理解できず、とりあえず安いからと適当なVPS, ホスティングや他社のクラウドを選んでしまうことが多いようです。 しかし、よほど予算に強い制約がある場合や、特殊な要件を除けば、現在ではAWSがファーストチョイスであることに疑問の余地はありません。現時点でAWS以外のクラウドやホスティングを選択する理由はないでしょう。 AWSは、他社とは異次元の圧倒的な高性能クラウドなのです！ なぜAWSを選ぶべきなのでしょうか。その理由は３つあります: 1. メンテ費用が下がる 2. 高い信頼性が容易に実現できる 3. 多機能によるエンジニアリングコストの削減 まずメンテ費用が下がるということですが、OS陳腐化に伴うシステム移行費用(数年間で数百万円以上）を無く
#jawsdays の #最強のAWS で「ぜんぶ AWS でやらないワケ」という話をしてきた · takus's blog
@hirose31 さん経由で @con_mame さんからお話をいただき、 JAWSDAYS 2014 の「これで最強AWSに」というセッションで話をしてきました。 内容としては、オンプレも AWS も運用してる立場から両者を比較してみてどうなのといった感じのお話です。 2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS にツイートまとめがあるので、資料と一緒にご覧いただければと思います。 こんな話も出ていましたが、 AWS は必ずしも銀の弾丸ってわけではなく、どこの会社も悩ましい部分を抱えながら運用しているわけで、 @sgwr_dts さんの Roadworker のようにユーザ側でイケてる仕組みにするようなアプローチもありますが、このような機会を利用して AWS の中の人に直接フィードバックできたという意味で
[追記] AWSのS3をWindowsで使う | popowa
AWSのS3をWindowsで使う+時々WindowsでS3をエクスプローラーみたいに使いたいというご要望を頂く事があり、どんなアプリがあるのだろうかと思って調べてみました（手元にあるのはSurface。。。） また見つけたら追記します。 popowa: AWSのS3をWindowsで使う - 2014年版 アプリ S3 Browser 個人で使う場合は無償版 商用、企業で使う場合は有償版。大体30ドル〜50ドル程度 メモ：S3 BrowserポータブルというUSBにアプリを入れて使える製品も売っている アプリを開いてファイルを操作するイメージ 2014年もまだ健在 [CloudBerry Explorer] 色々なクラウドストレージに対応した製品を出している 無償版あり 有償版では、暗号化、圧縮、5TBまでのファイルコピー、HTTPヘッダーの事前設定が可能。IAMもサポートしている アプ
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
re:InventでのParseのDevOps話がとても良かったのでまとめておく - すずけんメモ
今、AWS re:Inventにきていて、今日parse.comのセッションを聴く時間があったので簡単にまとめておく。とてもざっくり書くと、要点は parseは1-3段階のDevOpsの進化を経てきた 最初はRoRでデプロイするにも全てのサーバでcapistorano走らせなければ行けなかった。結果として90分から150分くらいデプロイに時間が掛かる。 現在はAutoScalingGroupとChefがシームレスに連携していて、5-10分でシステムをフルビルドできるようになった。 ということ。 セッションの概要は以下のとおり。 MBL307 - How Parse Built a Mobile Backend as a Service on AWS Parse is a BaaS for mobile developers that is built entirely on AWS. Wi
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
EC2の料金を取得出来るJSON一覧 | popowa
オンデマンド Linux https://aws.amazon.com/jp/ec2/pricing/json/linux-od.json Windows https://aws.amazon.com/jp/ec2/pricing/json/mswin-od.json RedHat https://aws.amazon.com/jp/ec2/pricing/json/rhel-od.json SUSE https://aws.amazon.com/jp/ec2/pricing/json/sles-od.json WindowsおよびSQL Standard https://aws.amazon.com/jp/ec2/pricing/json/mswinSQL-od.json WindowsおよびSQL Web https://aws.amazon.com/jp/ec2/pricing/js
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（後編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（後編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 （本記事は「基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）」の続きです） 和製クラウドでトラブルが続き、やむなくAWSへ移行 インフラについて。やはり和製クラウドベンダのインフラは値段が高い。いろいろ話をして安くならないかと相談したけれど、無理でした。理由は簡単です。デ
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
Amazon S3で始める写真管理 ー スタート編 - サーバーワークスエンジニアブログ
はじめに：ご挨拶 はじめまして！2013年4月から中途入社いたしました @mana_cat こと平です。エンジニアブログの記事についても定期的にアップしていく予定ですので、どうぞよろしくお願いします。 まずは簡単に自己紹介させて頂きます。1才の子どもを育てながらママエンジニアをしています。1年半ほど、子育てのためにお仕事を休業していました。仕事と子育てを両立しつつも、エンジニアとして世の中に貢献していきたい想いがあり、転職を決意し現在に至ります。 また、対外活動として、勉強会コミュニティ「Linux女子部」を主宰したり、LPI-Japan主催の「LPIC勉強会」でチューターのお手伝いをしたりしています。 趣味は写真。休日は家族でのんびりお散歩しながら写真を撮っています。出身はくまもんの国、熊本。夫の出身は北海道なので、北国独自のカルチャーに刺激を受けながら楽しい夫婦生活を送っています。(最
オバマ大統領選でも使われたAWS管理コンソールのNetflix Asgardとは？ | DevelopersIO
Netflix Netflixはアメリカのオンライン映画配信サービス会社です。オンデマンドで映像を配信する仕組みを持っていて、現在約2700万人の顧客がいます。アメリカのダウンロードトラフィックの30%近くがNetflixではないかと言われるぐらいに大規模なサービスです。そして、AWSを使っています。昨年のAWSカンファレンス(re:Invent)でCEOが登壇していましたね。直前に発表されたAmazon S3の値引きをとても喜んでいたのが印象的でした。で、このNetflixは、世界最大のAWS事例ではないかと思うのですが、彼らが社内で作った運用・テストツールをオープンソースで公開しています。今回はこのNetflix OSSをご紹介しようと思います。 Netflix OSS Netflix OSSには、彼らが実際に運用・テストで使っているツールをオープンソースで公開したものです。AWSの管
AWS上で使えるストレージ十番勝負
7. Copyright © 2012 Amazon Web Services AWSの様々なサービス 7 お客様のアプリケーション 認証 AWS IAM モニタリング Amazon CloudWatch Web管理画面 Management Console デプロイと自動化 AWS Elastic Beanstalk AWS CloudFromation IDEプラグイン Eclipse Visual Studio ライブラリ & SDKs Java, PHP, .NET, Python, Ruby Development & Administration コンテンツ配信 Amazon CloudFront メッセージ Amazon SNS Amazon SQS 分散処理 Elastic MapReduce メール配信 Amazon SES キャッシング Amazon Elasticac
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Kinesisのドキュメントの抄訳 | popowa
いいから黙って全部私に投資しろ!! - #サバソニ 003 LT枠
Netflixのコードのデプロイ方法。
