AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Amazon ElastiCache (Redis)のMulti-AZを構成する | DevelopersIO
2014/10/28更新 : プライマリノードの切り替えについて追記しました。 ども、大瀧です。 本日、AWSのキャッシュサーバー as a ServiceのElastiCache(Redis)にMulti-AZ機能がリリースされました。早速試してみたので、レポートしてます！ Multi-AZ機能とは Multi-AZ機能とは、Amazon RDSで提供されている、AWSのデータセンターであるアベイラビリティゾーン(AZ)レベルの障害に対応する可用性機能です。 ElastiCache(Redis)では、従来から複数AZへのキャッシュノードの配置とノード間レプリケーションがサポートされていましたが、プライマリーノードのフェイルオーバーが手動でした。キャッシュノードの障害検知とプライマリーノードの自動フェイルオーバーが今回のアップデートで追加されたと考えると良いでしょう。 RDSのMulti-
これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ DevelopersIO
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
オンプレミスから AWS に移行して変えた 3 つのこと
7 月に開催された「JAWS-UG 三都物語 2014」でも発表したとおり、自分が関わっているプロダクトをオンプレミスから AWS に移行しました。 JAWS-UG 三都物語 2014 に登壇しました 移行して 2 ヶ月ほど経ちましたが、目立った障害もなく安定した運用を続けています。スライドでも少し触れていますが、これまでのやり方を大きく変えるキッカケにもなりました。 今回は「オンプレミスから AWS に移行して変えた 3 つのこと」と題して、社外に公開できる範囲でご紹介します。 稼働中のサーバに変更は加えない いわゆる Immutable Infrastructure の考え方を取り入れました。最初は流行りに乗りたかったという気持ちが大きかったのですが、今では昔のやり方にはもう戻れません。 オンプレミスでは本番稼働中のサーバにログインして何か変更するということが当たり前に行われていました
AWSを利用した動画変換から動画配信まで - Qiita
動画関連の知識がなく苦労したのでメモ。 ffmpegでの動画変換も試したのですが、変換の時間とサーバのリソースを食うため、 小規模サービスでは向かないと判断し、ElasticTranscoderを利用することとしました。 今回の構成としては、COOKPADに近いものとなっています。 http://techlife.cookpad.com/entry/2014/06/17/160905 動画配信方法 PC,スマートフォン(iOS, Android)向けに配信する方法を調査し、最終的にmp4とHLSで配信する事としました。 大半のデバイスはこの2種類を用意すればカバーできます。 mp4 : PC, Android2系への配信(flash) HLS : iOS, Android4系への配信 HTML5での動画再生用のライブラリがいくつかあるので、 そちらを使えば両形式の配信に対応できます。 今回
これからAWSを始める人は一読すべき「AWS運用チェックリスト」を読んでみた | DevelopersIO
はじめに こんにちは植木和樹です。AWSでは各種ホワイトペーパーなどの資料を多数公開しています。 AWS アーキテクチャーセンター | アマゾン ウェブ サービス（AWS 日本語） 今回は上記ページからダウンロードできる「AWS 運用チェックリスト（PDFファイル）」を読んでみました。運用チェックリストという名前ではありますが、AWSを利用する方は一度目を通しておくのをお勧めする内容でした。 チェックリストは大きく3つ「ベーシック」「エンタープライズ」「セキュリティ監査」に分かれています。このうちベーシックは15項目程とコンパクトにまとまっていて、簡易チェックリストとしてお手頃です。 残念ながらまだ日本語訳がされていないようですので、今回ベーシック部分だけをザックリ読んで簡単なコメントを書いてみました。 ベーシック運用チェックリスト 原文は「我々は〜〜〜を設定しています（理解しています）」
AWSの費用見積でおさえておくべきポイント | DevelopersIO
はじめに AWSの費用見積をする際におさえておいたほうがよいポイントについて説明します。 従量課金制である AWSのほとんどのリソースは1時間毎、もしくは利用量毎の課金です。 従量課金制の一番よいところは、ずっと使い続けなくてよいというところです(あたりまえですが)。 急なイベントの時にだけリソース増強 (弊社のこの事例はまさにそれです) 検証環境は必要な時に本番環境から作成 という使い方をすることで費用削減が可能です。 実際の必要リソースがわからない部分については、リソース大目の環境を作って検証して、結果的に不必要であればその時点でインスタンスを小さく/大きくする等で対応できます。 最初の見積がずれていても、ずっとそのコストを払わなくてもよい点、頭の片隅のおいておいてください。 また、AWSならではの従量課金の項目もあります。 EBS(ネットワークストレージ)のI/O ネットワークの通信
【AWS】VPC環境構築ノウハウ社内資料 2014年4月版 | DevelopersIO
よく訓練されたApple信者、都元です。 以前、【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみるという記事を書きましたが、そこから半年経ち、状況も変わって来ましたのでアップデートを行いたいと思います。 以前のエントリーを読んだ方は、忙しい場合は下記の「2013年10月版からのアップデート」だけを読むといいかもしません。 VPCを利用する理由 AWSは、あらゆる規模のプロジェクトに対応するインフラを提供しています。前述のサーバ数千台規模のプロジェクトしかり、1台構成しかり。大規模プロジェクトであれば当然、オンプレミスと同様にネットワークインフラについての設計を綿密に行う必要がありますが、では、中小規模のプロジェクトにおいてはネットワークの設計をする必要はないのでしょうか。 AWSでは、VPCという「ネットワーク環境」を構築するサービスを提供しています。しかもVPCの利用
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
vagrant-aws + vagrant-configspecでEC2をプロビジョニングする | DevelopersIO
はじめに 先日のJAWS DAYS 2014での宮下 剛輔氏のセッション「Immutable Infrastructure時代の構成管理ツール基盤SpecInfra」を拝聴して、「おお、このSpecInfra、勉強してみたい！」と思ったのですが。 まずはその前に試しては壊し試しては壊し出来る、Immutableな環境を作ろう....とアレコレ調べていた結果、まずは「手もとのMac OS Xからvagrant-awsとvagrant-configspecを使ってさくっとEC2をプロビジョニングしてみよう」という結論に至ったので、やってみました！ 各種インストール Vagrant 公式サイトのDownloadページから最新のパッケージファイルをダウンロードして実行します。 現在最新のVagrantのバージョンは1.5.1です。 $ vagrant -v Vagrant 1.5.1 config
microインスタンスはlimitかけると大きくパフォーマンスが向上する（※再追記あり） - アルパカDiary Pro
※2014/07/02 T2インスタンスタイプとの比較 を追記しました。 ※2014/03/13 他インスタンスタイプとの比較／m3.mediumの検証 を追記しました。 こちらの記事の二番煎じです。 cgroupで、お手軽CPU使用率制限 なるほど。 リソースにLimitかけるとstealを防げるためパフォーマンスも上がるというわけですね。 どのくらい変わるのか実験してみました。 cgroup前準備 sudo yum install libcgroup sudo chkconfig cgconfig on sudo service cgconfig start cgroup設定 上記参考URLとほぼ同じ設定です。 実行時はcpu.cfs_quota_usを変動させて比較してみました。 sudo vi /etc/cgconfig.conf # 以下を追加 group limittest {
Amazon EC2(Linux)のswap領域ベストプラクティス | DevelopersIO
ども、大瀧です。 Linuxのメモリ管理で欠かせないのがswapですよね。EC2のディスク管理には独特な仕様があるのでその辺りを踏まえつつ、EC2(Linux)でどのようにswap領域を用意するのが良いのかまとめてみたいと思います。 理屈をこねながらの解説になるので、先に本エントリーの結論を。 公式AMIにはswap領域が含まれない m1.small、c1.mediumには900MBのスワップ領域がおまけでついてくる(Amazon Linux AMIであれば、Cloud-initによって自動マウントされる) swap領域には、インスタンスストア(別名Ephemeral Disk)を使うべし では、それぞれ見ていきます。 公式Linux AMIの初期構成にはswapパーティションが無い Amazonから提供される公式のLinux AMIのブートディスクには、swapパーティションが含まれてい
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
「AWS with KDDI」の提供開始について
No.2014-011 KDDI株式会社 2014年1月20日 KDDIは、グローバルで高い競争力を持つAmazon Web Services, Inc.が提供するクラウドコンピューティングサービス「アマゾン ウェブ サービス (以下、AWS)」の「AWS Partner Network (APN) コンサルティングパートナー」に加入し、「AWS」を活用したクラウドサービス「AWS with KDDI」を2014年2月28日より、法人のお客さま向けに提供を開始します。 「AWS with KDDI」は、システム構築における要件のヒアリングから設計、構築、運用保守までをワンストップで提供するサービスです。 本サービスでは、インターネットを経由しないで「AWS」に接続が可能なAWS Direct ConnectとKDDIのイントラネットサービス「KDDI Wide Area Virtual S
AWSの請求管理をちゃんとやる話 - Librabuch
本エントリは、次のAdvent Calendarのために書かれたものです。 AWS Advent Calendar 2013 (12月21日) 取り扱う内容 2013年はAWS界隈盛り上がりましたね！ALBERTでも、パートナー認定を受けたり、導入事例に掲載頂いたりと中々縁深い1年になったのではないかと思っています。 さて、今回は技術的な話とは少し離れて、Amazon Web Serviceの請求関連のお話をします。 参考資料 AWSマイスターシリーズ AWS Billingについて ※ 82スライドある資料です AWS請求管理の問題 AWSの料金体系の素晴らしいところと言えば、時間課金で、柔軟で、それらがコントローラブルな点にあります。気ままに使ってもそれなりに高いコストパフォーマンスを出してもらえますが、きちんと設計をすれば（例えばリザーブドインスタンス）さらに高いコストパフォーマンス
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
vagrant-awsの環境別オプション指定方法
全国1000万人のVagrantユーザーのみなさんこんにちは。今回はVagrantからAmazon EC2を操作する際に利用するvagrant-awsプラグインについて詳細を見ていきましょう。 インストールもうこれは書くまでないのですが、以下のようにインストールしてください。vagrant plugin install vagrant-aws Amazon EC2のネットワークについて知っておこう今回の肝はここです。Amazon EC2のインスタンスを立ち上げる際に選択可能な環境は3つあります。EC2-Classic環境内に構築するデフォルトVPCの環境内に構築する自分でVPCを定義し、その中に構築するそれぞれによってvagrant-awsで指定すべきオプションの内容が変わってきます。したがって自分がどの環境内にEC2のインスタンスを構築するのかをまず明らかにしてください。それぞれの違いは
Amazon EC2 で M1,C1 インスタンスを使ってる人は今すぐ C3 を使い始めよう - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 Amazon EC2 を利用するとき、スタンダードな利用にはとりあえず M1、ちょっとしたCPUバウンドな処理が多い場合には C1 を使っちゃいますよね。そんなアナタはものすごく損をしている可能性が高いです。 先々週の AWS re:Invent で発表になった新しい Amazon EC2 インスタンスタイプ である「C3」の値段を見ると、実はとてもおトクであることが分かります。 注意 2013/11/24 の各タイプについて、Linuxを東京（2013.11.26訂正：リージョンの記載を間違えてました）米国東海岸リージョンでオンデマンドで利用する場合の値段を基準としてます。 データの永続化に使うディスクは別途EBSをアタッチして利用することを想定してます。あまりインスタンスストレージにこだわらない場合の前
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshiftによるビッグデータ分析環境の構築手順
Amazon Redshiftによるリアルタイム分析サービスの構築
