4. 1. Redshift (Data Warehouse) は通常の RDB (MySQL, Oracleなど)と違う! »データの持ち方がカラム毎に独立 »1行取ってくるのも数秒かかる »その代わり大規模データの join / group by / sort が異常に早い • Hadoop/Hiveはこの辺りがかなり苦手(つ まり遅い・難しい)
Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る シリコンバレーで起業し、順調にビッグデータビジネスを展開している日本人ベンチャー企業といえば、Hadoop Conference Japan 2013 Winterでも話題となったTreasure Dataがその筆頭に挙げられます。 ですが、Treasure Dataとほぼ同じ時期に西海岸でビジネスをローンチし、現在、国内外の投資家たちから高い注目をあつめるビッグデータベンチャー、それも日本人技術者が創業者である企業が実はもう1社存在します。それが藤川幸一氏率いるHapyrusです。今回、来日中の藤川氏に直接、Hapyrusが現在最も注力するAmazon Redshiftに関するビジネスを中心にお話を伺いました。 藤川幸一氏 Redshiftへのデータアップロードを事業の中核に ──H
AmazonクラウドがBeanstalkでNode.js提供開始。Node.jsは正式版1.0まであと一歩へ AWS Elastic Beanstalkで、Node.jsのサポート開始が発表されました。 Elastic Beanstalkは、Amazonクラウド上でJavaやPHPなどの実行環境を提供するAmazonクラウド純正のツール。これまでJava、PHP、Ruby、Pythonと.NETがサポートされていましたが、Node.jsがそこに新しく加わりました。 利用者は、目的の実行環境を選択するだけですぐに利用を開始できます。 Node.js 0.10リリース。次の0.12の次が1.0の予定 そのNode.jsは月曜日3月11日に安定版がバージョン0.10に達しました。 Node.js 0.10では「Streams2」と呼ばれる新しいストリーム処理用のAPIが採用され、これまでのAPI
2012年12月24日、クリスマスイブの夜にオンライン映画をNetflixで楽しもうとしていた北米の人たちをがっかりさせる出来事が起きました。Amazonクラウドに障害が発生し、その影響でNetflixのWebサイトや動画の再生がトラブルに見舞われたのです。 Summary of the December 24, 2012 Amazon ELB Service Event in the US-East Region 障害が発生したのは、Amazonクラウドの米東部リージョン。発生の経緯と原因をAmazonクラウドが詳細に報告しています。 メンテナンス時のミスでデータを消去 クリスマスイブの障害は、ロードバランサーという比較的上位のサービスで起きたオペレーションミスが原因でした。ポイントを追っていきましょう。 The service disruption began at 12:24 PM
はじめに こんにちは、ピクトリンク事業部開発部サーバサイド開発課のkitajimaです。弊社サービスピクトリンクは、システム再構築の一環として
データの耐久性などはまったく同じで、Glacierはアクセスに時間がかかるぶん、費用がS3の約10分の1となっているわけです。Glecierだと1Tバイトのデータが1ヵ月約1000円程度で保管できる計算です。 このような特徴を持っているGlacierを、Amazonはこれまでテープでバックアップをしていたようなペタバイトクラスの大容量データを数年にわたる長期で保存する、といった用途を想定していると言います。 Glacierサービスの利用方法 具体的な利用方法ですが、まずは他のAWSのサービスと同様、Amazonにユーザ登録、ログインして「マネジメントコンソール」を立ち上げます。どのリージョンのGlacierサービスを利用するかを選択後、Vault(ボルト)を作成します。ここにデータをアップロードする単位のアーカイブを格納できます。このVaultに対してアクセス権限と、Amazon Simp
Amazon S3 Glacier ストレージクラスは、データアーカイブ専用に設計されており、クラウドで最高のパフォーマンス、最高の検索の柔軟性、最低のコストのアーカイブストレージを提供します。すべての S3 Glacier ストレージクラスは、事実上無制限のスケーラビリティを提供し、データの耐久性が 99.999999999% (11 ナイン) を実現できるように設計されています。S3 Glacier ストレージクラスは、アーカイブデータへの最速のアクセスとクラウド内の最低コストのアーカイブストレージのためのオプションをもたらします。 さまざまなアクセスパターンやストレージ期間に最適化された 3 種類のアーカイブストレージクラスから選択できます。医療画像、ニュースメディアアセット、ゲノミクスデータなど、すぐにアクセスする必要のあるアーカイブデータであれば、ミリ秒レベルの取得時間で最低コス
AWS Week in Review – New Open-Source Updates for Snapchange, Cedar, and Jupyter Community Contributions – May 15, 2023 A new week has begun. Last week, there was a lot of news related to AWS. I have compiled a few announcements you need to know. Let’s get started right away! Last Week’s Launches Let’s take a look at some launches from the last week that I want to remind you of: New Amazon EC2 […]
【AWS発表】 Glacier – 1GBあたり月額約1円で利用可能なアーカイブストレージが登場 - Amazon Web Services ブログ というわけでS3以来の衝撃だったので早速使ってみました。がしかし未だダウンロードは時間まちで試せていません。まずは概要のレポートです。 Amazon Glacierとはなんぞや 一言で言うと、いつでも手軽には取り出せない代わりに、安く長く安全に大量にデータを保存してくれるサービスです。1GBあたり月額1円と、Amazon S3の十分の一の価格で、MacBookAirのSSD256GBをフルバックアップしても、月額256円しかかからないのです。 Dropbox的につかえるの? 使えません。アップロードしたデータを取り出すには、申し込みリクエストを送信してから、3、4時間待つ必要があります。 つまり利用用途としてはお気に入り動画を何年も安全にバッ
Elastic BeanstalkこれまでJava、PHP、.NETをサポートしてきており、今年の8月にはPythonのサポートが加わっていました。 2011年1月にElastic Beanstalkが初めて発表されたとき、最初にサポートされた言語はJavaでしたが、Ruby 対応を進めていることが当時のプレスリリースに明記されていました。それがようやく実現したことになります。 Elastic Beanstalkは無料で利用できるサービスで、必要な費用は使用したAmazon EC2などのインフラ利用料のみ。アプリケーションの実行環境を簡単に提供してくれるだけでなくオートスケーリング機能などの運用環境まで提供してくれます。 仮想プライベートクラウドでElastic Beanstalkを実現 今回の発表に合わせて、Elastic Beanstalkの環境をVirtual Private Clo
Amazonクラウドで国内金融機関の安全基準は満たせる。SCSK、ISID、NRIの3社が調査結果を公開 しかしSCSK、電通国際情報サービス(ISID)、野村総合研究所(NRI)の3社は、金融庁の外郭団体である金融情報システムセンター(FISC)が策定したセキュリティに関する自主基準「金融機関等コンピュータシステムの安全対策基準」について、Amazonクラウドで対応するためのガイドライン「金融機関向け『Amazon Web Services』対応セキュリティリファレンス」(以下、セキュリティリファレンス)を公開しました。 セキュリティリファレンスは、全部で295305項目あるFISCの安全対策基準の項目それぞれについて、クラウド事業者であるAmazonクラウドの対応とSI事業者や利用者での対応を調査してまとめたもの。「ATM(自動現金預け払い機)のような、クラウドとは関係ないものは対象外
先週6月14日に発生したAmazon Web Servicesの米国東部リージョンでのシステム障害は、HerokuやPinterestなど大手のサービスにも影響を与えたようです。その障害報告が、Service Health Dashboardで公開されています(現在はRSS内の記述として読めます)。 障害は米国東部リージョンでの特定のアベイラビリティゾーンで発生したもの。報告によると、プライマリの電源ケーブルのトラブルをきっかけにバックアップとしての発電機へ移行したものの、そこでもまたトラブルが発生し、二重、三重の防護策が次々に倒れていったことが示されています。 Amazonクラウドの多重の防護策の一端が分かると共に、これだけバックアップ策が用意されていても、わずかなトラブルによって防護策が倒れることの教訓を得ることができます。 一方で、障害は特定のアベイラビリティゾーン内だったため、マル
こんにちはこんにちは!! たまにIPアドレスがたくさん必要な時ってありますよね。 ぼくも先日そういう機会があって、ちょっと困りました。 で、「AmazonさんならIPいっぱいもってるのでは?」ってことで、 ちまたで話題のクラウドサービス Amazon Web Servise を試してみました! あ、もちろんタイトルは煽りぎみで実際にはIPアドレスは有限なんですが>< 正直、クラウドとかサーバーとかよくわかってなかったんですが、 とりあえず試してみたら意外と簡単にできたので、忘れないようにメモしておきます! そうそう、Amazonのクラウドって高そうなイメージがあるけど、いまだと制限つきで無料らしいので、お得ですね! もし無料枠こえても、無茶な使い方をしない限りはそれほど高くない。と思います。たぶん。 制限を見る限り、とりあえず一ヶ月がっつり試すだけならタダです! 必要なもの: ・クレジット
こんにちは。Forkwell の中の人、大岡(おおか)です。 本日は、お恥ずかしながら Forkwell リリース初日の失態について、詳細をお話しようと思います。 当初からのユーザーの方はご存知かもしれませんが、先週4月3日(火)に Forkwell がリリースされた際、殺到するアクセスの負荷に耐え切れず、深夜までサーバダウンを繰り返しました。なぜそんなことになったのか。 端的に言えば、ロクに負荷テストを行ってなかったからというのが真相という間抜けなオチなのですが。 初めての慣れないディレクター業務で連日サービスリリースのことで頭が一杯になっていた大岡は、負荷テストのことがすっぽり頭から抜けていました。 私も過去、Apache Bench や JMeter で負荷テストを行った経験はもちろん何度もあったのですが、今回はウソのようにきれいさっぱり忘れてしまっていました。 ディレクター業務に加
AmazonクラウドがPaaS機能で.NETとSQL Serverを標準サポート。Windows Serverアプリがそのままクラウドへ展開可能に Amazon Web Servicesは、Amazonクラウド上でPaaSの機能を提供する「AWS Elastic Beanstalk」で.NET環境をサポートし、データベースの自動フェイルオーバーや自動バックアップなど可用性を提供するサービスのAmazon RDSでSQL Severのサポートを開始したと発表しました。 開発者はSQL Serverを利用した.NETアプリケーションをそのままAmazonクラウド上に展開し、Beanstalkによるアプリケーションのデプロイ、オートスケール、ロードバランスの機能を利用でき、Amazon RDSでSQL Serverの自動フェイルオーバー、自動パッチ、自動バックアップ機能などを利用することができる
設定ファイルと格闘せずにDNSを運用管理 始めてみよう、Amazon Route 53 並河 祐貴 株式会社サイバーエージェント 2011/6/23 Amazon Web Services(AWS)の「Amazon Route 53」は、API経由でDNSの運用管理を可能にするサービスです。Firefoxのアドオン「R53 Fox」を使って、その導入、設定を行う方法を紹介します(編集部) Webサイト運用に欠かせないDNS 今日、一般に公開されているWebサイトでは、IPアドレスを直接公開するケースはほとんどありません。多くのケースでは、ドメイン名(「google.co.jp」や「yahoo.co.jp」など)を公開し、ユーザーはそのドメイン名を基にブラウザでURLを入力したり、検索したりしてアクセスすることとなります。 そのためWebサイトの運用に当たり、ドメイン名とIPアドレスをひも付
Amazon Route 53 信頼性が高く、費用対効果に優れた方法でエンドユーザーをインターネットアプリケーションにルーティングする
お名前.comの01.dnsv.jp 02.dnsv.jpとサヨウナラしてRoute 53を使います nameserver(ネームサーバー)変更の手順を書いておきます 1.AWSのアカウントを作成する(あるなら2に) 2.amazon route 53を申し込む 3.Cloudworksのアカウントを作成する 4.CloudworksでAWSを利用するために必要な情報を入力する 5.Cloudworksでroute 53の設定をする 6.onamae.comのnameserverを変更する ※Route 53なのはDNSがPort:53を使うからです ※現在βがとれて正式サービスイン後、Cloudworksを使わなくてもaws管理画面のみで設定できます 1.AWSのアカウントを作成する(あるなら2に) どこかのサイトを参考に申し込んでください。日本語対応してるので簡単です。支払いはカードの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く