Yasuhiro Araki, Ph.DSenior Manager, Solutions Architect at Amazon Web Services
![セキュリティを意識したAWS使用法](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f48b174d65091678b6ebffd17a3030ac0bcf7a3/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F0902-security-110902064050-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Key HBase community members advise people not to host their HBase cluster on EC2. And they have good reasons for advising so. But in this post I am going to explain why we decided to host our HBase cluster on EC2 and why we continue to host it on EC2. When we began experimenting with HBase in July of 2009, HBase was fairly new and we were experimenting with Hadoop and HBase to learn how these tech
今回はシャノンでAmazonEC2を使う機会がありましたので、そのお得な使い方を紹介したいと思います。 「サーバの仮想化」今では当たり前になってきました。1台のサーバで複数台動かす事で、一人一開発環境を実現したり、アプリケーションをバージョン毎に保管できたりと至れり尽くせりです。 シャノンでも100台以上のサーバを仮想化して使っています。仮想化することで、開発環境を5分で用意できるようになりましたし、サービスを提供している、いわゆる本番環境のサーバ増設も1時間以内でできるようになりました。 アプリケーションサーバ、キャッシュサーバ、データベースサーバ、ロードバランササーバ、メールサーバ、開発環境、テスト環境用サーバ等々と数十種類のサーバイメージを管理しています。 本当に便利な時代になりました。 ■ シャノンではOpenVZを使っています シャノンではOpenVZという仮想化ソフトを使ってい
Amazon EC2 はVMを好きなタイミングで好きなだけ使うことができるので、複数のサーバを使う分散システムの検証環境として非常に使いやすい*1。費用を計算してみても、自宅でクラスタを動かすことを考えれば、十分安く上がりそうである。 しかし、VMを起動するたびに環境を設定したり、新しいテストを実行するたびにファイルを配ったりするのは面倒なので、ファイルを共有したくなる。 通信の遅延がかなり大きいので、EC2上でssh越しにファイルを編集するのも少々つらい。 そこで、手元のホストとホームディレクトリを共有する。さらに、一度転送したデータはキャッシュさせる。 共有ホームディレクトリ環境の管理方法と組み合わせれば、便利に使えるに違いない。 戦略 ファイル共有には NFSv4 over ssh を使う。NFSv4はポート番号を1つしか使わない(portmapperも要らない)ので、ssh越しで使
皆様 はじめまして、川崎と申します。 EC2ネットワークの制限についてご質問させてください。 自社(日本)からEC2インスタンスに対して負荷試験を行っており 10000リクエスト(100人同時アクセス x 100リクエスト)の負荷試験を 実施しているのですが、3000リクエストを超えたあたりから インスタンスへリクエストが到達しなくなってしまいました。 EC2側でネットワークの制限されてたりするのでしょうか。 負荷試験は、「Apache Bench」 というツールを使用しました。 よろしくお願いいたします。 _______________________________________________ JAWS-users mailing list [hidden email] http://jaws-ug.jp/mailman/listinfo/jaws-users
Amazonクラウド専用にチューンアップされたLinuxディストリビューション、しかもアップデートも自動的にAmazonクラウドから提供される。Amazonクラウドが提供開始を発表した「Amazon Linux AMI」は、Amazonクラウドが自身のクラウド専用に作成したディストリビューションといえます。 AmazonクラウドにチューンアップされたLinux Amazon Linux AMI (Beta)の解説によると、Amazon Linux AMIは以下の特徴を備えています。 AWSとの統合 最初からAmazon EC2で起動し正しく動作するように設定されており、AWS API Toolsも含まれている。 セキュアな構成 キーペアによってリモート経由のアクセスを制限し、脆弱性のもととなりやすい不必要なソフトウェアを最初から含んでいないため、よりセキュアな構成になっている。 パッケージ
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
荒木です. 今日すこし変わったことに出くわしたのでいい方法を知っているかたがいたら 教えてください. us-east-1bでとあるインスタンス(EBS使用)を立ち上げていたのですが, 日本時間の深夜からネットワークに反応しなくなりました. Webコンソールでみるとrunningになっているのですが,反応はありません. ec2-get-consoleは出来ますが,意味ある情報はありません. 1.rebootを送っても変化なし. 2.モニタを有効にしても,どうやっても有効にならない. 3.stopを送るとstopping..になるもののいつまでも停止せず. ec2-describe-instancesするとstoppingのままだがいつまでたっても停止せず. 4.仕方がないのでterminateしようにもWebからはTerminateできないのでec2-teminate-instaceを送る.
いつも忘れてしまうのでメモ。 ec2-api-tools(Amazon EC2のコマンドラインツール)を利用する場合、インスタンス(仮想サーバ)起動/停止など、各コマンドをそのまま(デフォルトのまま)実行すると、"us-east-1"のRegion(ロケーション)が対象となります。 よって、"us-west-1"や"ap-southeast-1"のRegionを使いたい場合は、各コマンドで個別に"--region"オプションを付けて実行してもよいのですが、面倒くさいというか忘れてしまうので、今回は"us-west-1"だけの作業をする!といった場合は、あらかじめ環境変数に食わせてしまうと、毎回Regionの指定をしなくてすむので便利です。 設定方法 で、本題。以下のように、"EC2_URL"という環境変数名で設定すればOK。 $ export EC2_URL=https://ec2.us-
自分で設定したカスタムのAMIを作っておけば、hadoop-ec2スクリプトで簡単に計算ノードを追加できます。 まずはClouderaのAMIをベースにしてHadoop環境を構築してカスタムのAMIとして保存しようと思います。 Clouderaが提供しているAMIの一覧からfedoraの64bitを選びました。 cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4a 以下はインスタンスを1台起動してrootでログインしての作業です。 ________ __ /\ _____\ /\ /\ \ \ \ \____/ /\ \ ____ __ __ _\_\ \ ____ __ ____ _____ \ \ \ \ \ \ / __ \ /\ \/\ \ / ___ \ / __ \ /\
初期投資を抑えつつサーバインフラを手軽に拡大/縮小できる、いわゆるクラウドサービスが人気みたいです。Amazon EC2 みたいなやつ。聞くところによると、ソーシャルアプリなどは、アクセス規模とかユーザの増加傾向が見積りにくいようで、そういうところで利用が進んでいるらしいです。 ところで、そういったサービスは、何もサービスを受け付ける側を作るのに使うだけでなく、(負荷試験やパフォーマンスチューニングのための)Web アクセス負荷を大量に発生させるインフラとしても使えるんでないかなあと思っていたら、やっぱりそういうモノがありました。JMeter in the Cloud という AMI (Amazon Machine Image) です。 JMeter In The Cloud – A cloud based load testing environment 元々 JMeter では、複数の
先日のデブサミ2010でも話した(デブサミ2010の資料"クラウドサービスAmazon EC2を活用した「SKIPaaS」構築事例"を公開します+α)のですが、Amazon EC2のサーバからメールを送信すると、一部分の宛先(メールサーバ)では、迷惑メール(SPAM)扱いされ、突き返されちゃう事があります。 それをどう解決したかという話。 Twitterを見ていて、まだきちんとした情報がまとまっていない気がしたので、経験談をまとめてみます。 課題 Amazon EC2のサーバがスパムメール送信に利用されるケースが増えているようで、Amazon EC2で利用されているIPアドレスのレンジ(ネットワーク)が、スパムメールのブラックリストにまるっと載ってしまっているため、メールサーバによっては、門前払いによる受信拒否となるケースがあります。 参考: Amazon EC2を悪用したセキュリティ攻撃
If you want to run Cloudera's Distribution for Hadoop (CDH) on Amazon's Elastic MapReduce (EMR), please visit our beta access request page. Running Hadoop on EC2 is easy. We've taken Cloudera's Distribution for Hadoop, and packaged it up in an easy-to-use AMI and associated launch scripts.Once you download and install the client scripts and enter your EC2 account info, bringing up a Hadoop cluster
The recent introduction of Boot From EBS for EC2 opens up a lot of new possibilities. But there are some bootstrapping issues to deal with. There aren't many EBS-backed AMI's available yet and, given the rather complex process involved in porting them, it may take a while for them to show up. This article will walk through the process of converting a popular S3-based AMI to an EBS-backed AMI.
2009/11/30 「クラウドがなければ、さあこれから年賀状シーズンが始まるという今になっても、要件定義すら終わってなかったかもしれません」。こう笑顔で語るのはベンチャー企業「リプレックス」(Ripplex)の代表取締役、直野典彦氏だ。 同社は2009年10月29日、Webサイト上から手軽に紙の年賀状を送れるサービス、「ウェブポ」を、日本郵便と連携してスタートした。前例のないサービスであるため、フタを開けてみないと最終的な利用者数や年賀状の数はまったく予想できないというが、数百万、あるいはそれをはるかに上回る利用もあり得るという大規模なサービスだ。年賀状の印字イメージをPDFとして生成する重たい処理もある。 このシステムの大部分を、リプレックスではAmazonのクラウドサービス(AWS:Amazon Web Services)上に構築したという。チームメンバーは9人、開発に要した期間はわ
日頃、私はビジネスで「Amazon EC2/S3」を活用させていただいています。 最初は手探りでやっていた、Amazon EC2を基盤としたシステム/サービスの構築/運用も、1年以上の実運用(SKIPaaS、他)を経て、今では多くのノウハウがたまり、わかってきたこともたくさんあります。 そんなこんなで、Amazon EC2/S3や、その他Amazon Web Servicesの具体的な操作方法を中心とした情報については、以下のエントリでまとめている次第です。 Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - 元RX-7乗りの適当な日々 しかし、上記のエントリで紹介している多くは、チュートリアルや操作方法についてであって、実際に構築や運用を行う上での設計のポイントや実運用時のフローや注意点については紹介しきれていません。 そこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く