米Netflix、Amazonクラウド上でのHadoopの運用管理サービス「Genie」を公開 | OSDN Magazine
米Netflixは6月21日、Amazon Web Service（AWS）クラウド上に構築された「Apache Hadoop」を管理するソフトウェア「Genie」をオープンソースで公開した。Hadoopや「Apache Hive」、「Apache Pig」のジョブを実行したりHadoopリソースの管理を行うためのRESTful APIを提供するもので、動的なリソース管理が可能になるという。 Netflixはビデオストリーミングサービスなどを提供する企業。同社はサービスの運用に「Amazon S3」などAWSのクラウドサービスを多用、クラウド上に多数のHadoopを構築しており、それらを管理するために自社で開発したツールをオープンソースで公開している。今回公開されたGenieは「HadoopベースのPaaS」との位置付けで、Netflixがすでに公開している「Karyon」（ブートストラッ
AWS News Blog
AWS Week in Review – New Open-Source Updates for Snapchange, Cedar, and Jupyter Community Contributions – May 15, 2023 A new week has begun. Last week, there was a lot of news related to AWS. I have compiled a few announcements you need to know. Let’s get started right away! Last Week’s Launches Let’s take a look at some launches from the last week that I want to remind you of: New Amazon EC2 […]
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
CloudStackのインストールからサーバ起動まで
CloudStackのインストールからサーバ起動まで：CloudStackによるプライベートクラウド構築術（3）（1/3 ページ） CloudStackは、オープンソースベースのIaaSクラウド構築・運用ソフトウェア。使いやすく、機能が充実していることなどから、大規模なデータセンター事業者や組織での導入が相次いでいる。本連載では、このソフトウェアをプライベートクラウド構築に活用する方法を紹介する 今回はいよいよ実際にCloudStackをインストールし、小規模なプライベートクラウドを構築する手順について説明します。 また、実際にCloudStackのWebインターフェイスに触れ、インスタンスの作成からWebサーバの立ち上げまでを行います。 前提条件 物理マシンは Management Server、Storage Server、Computing Nodeの3台を準備しておきます。 Man
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
この完成度に震えが止まらない！Node.js史上最高のIDE、Cloud9をインストールしよう。
Cloud9は、クラウド上で様々な操作ができます。無料でエディタ、デバッグ、バージョン管理etc、、、作ったらボタンひとつで公開までできてしまいます。有料にすれば、チーム開発環境、プライベート開発環境も構築できます。 Cloud9 IDEは、ソースコードで公開されています。せっかくですからこの高機能で美しいCloud9 IDEをローカル環境に構築してみましょう。 システム環境 Mac OS X Lion インストール手順 gitからダウンロードします。 $ git clone git://github.com/ajaxorg/cloud9.git Cloning into cloud9... remote: Counting objects: 30583, done. remote: Compressing objects: 100% (10271/10271), done. remote
「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog
電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」＠幕張メッセ国際会議場 で招待講演をしてきました。 「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、１日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗
20110927-hbstudy.pdf - 「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装
「さくらのクラウド」を例に見る ネットワーク仮想化の設計と実装 さくらインターネット研究所 大久保修一 <ohkubo@sakura.ad.jp> Agenda • クラウドとは？IaaSとは？ • さくらのクラウドの目指すところ • ネットワークの設計と実装 • 将来の構想 • 仮想アプライアンス • まとめ 自己紹介 • 2003年4月 さくらインターネット入社 – 以後、ネットワークの運用に携わる • 2009年7月 さくらインターネット研究所 – 発足と同時に異動 – クラウド、IPv4アドレス枯渇について研究活動 • 2011年3月 クラウドサービスの開発に従事 – 主にネットワーク部分を担当 ところで、、 • 昨日(9/27)、PublickeyさんからPR記事を公開 いただきました。 • PR：「さくらのクラウド」のアーキテクチャは、意 外なほどシンプルだった • http:
Amazonクラウドの大規模障害、そのときに内部で何が起きていたのか？ 日本語での要約
4月21日から23日のあいだ、Foursquare、Quora、Herokuなど多くのサービスに影響を与えたAmazonクラウドの大規模障害。このとき実際にどのような障害が発生していて、どう対応したのか、詳しい日本語での資料がAmazonから公開されています。 この資料は非常に詳細に記されているため、短時間で内容を把握できるものではありません。そこで本記事では資料からポイントを引用し、要約してみました。 以下からの記事はあくまで独自に内容を要約したものです。正確な情報は原文をご覧ください。 今回発生した障害とは何だったのか？ 今回発生した障害を手短にまとめると、米国東 (US East) リージョンにおける一部のアベイラビリティゾーンにおいて、Amazon Elastic Block Store (EBS) で読み込み、書き込み操作が行えなくなる、という現象でした。 そして障害の影響は一部
さあ、AWSをはじめよう！ for PHPer
春ということで、Amazon Web Services（AWS）をはじめてみませんか。 AWS盛り上がっていますね。2011年3月に東京リージョンができたことで、そろそろ触ってみようかなというPHPユーザの方も多いかと思います。 そんなあなたへ、AWSをはじめる際に役立つ情報をご紹介です。 1. AWSアカウントを新規作成して、EC2の利用申し込みを行う まずAWSのアカウントを作成して、EC2の利用申し込みを行います。 手順については、AWSエバンジェリストの @KenTamagawa さんが書かれた以下の資料が参考になります。このとおりに進めていけば、おおよそ問題無いと思います。 進める中で自分が詰まった点は以下。 郵便番号、電話番号にはハイフンを 郵便番号、電話番号はハイフンが必要なので入力するようにして下さい。 書式は日本国内のもの、郵便番号8ケタ（ハイフン入り）、電話番号は12〜
資料を公開いたしました！（クックパッドの裏側見せます in 京都） - クックパッド開発者ブログ
こんにちは、クックパッドのすみです。去る4/16,17に京都で「クックパッドの裏側見せますvol.2＆vol.3」を開催いたしました。 当日お越しくださった皆さま、Ustreamをご覧くださった皆さま、誠にありがとうございました！ お話させて頂いたエンジニアのうち2名の資料を公開いたしますので、是非ご覧くださいませ。 ・勝間亮/アグレッシブなクラウドの使い方 [slideshare id=3827098&doc=engineer-event-100417-kyoto-100423034302-phpapp02] ・濱崎健吾/クックパッドに入って十数日働いた雑感 [slideshare id=3849703&doc=100413urapad-100425122155-phpapp01]
Amazon EC2のサーバからメール送信をするまでにやるべきこと (スパムメール扱いを回避する！) - 元RX-7乗りの適当な日々
先日のデブサミ2010でも話した(デブサミ2010の資料"クラウドサービスAmazon EC2を活用した「SKIPaaS」構築事例"を公開します＋α)のですが、Amazon EC2のサーバからメールを送信すると、一部分の宛先(メールサーバ)では、迷惑メール(SPAM)扱いされ、突き返されちゃう事があります。 それをどう解決したかという話。 Twitterを見ていて、まだきちんとした情報がまとまっていない気がしたので、経験談をまとめてみます。 課題 Amazon EC2のサーバがスパムメール送信に利用されるケースが増えているようで、Amazon EC2で利用されているIPアドレスのレンジ(ネットワーク)が、スパムメールのブラックリストにまるっと載ってしまっているため、メールサーバによっては、門前払いによる受信拒否となるケースがあります。 参考： Amazon EC2を悪用したセキュリティ攻撃
PHPから各種クラウドにアクセスするためのライブラリ「Simple Cloud API」:phpspot開発日誌
Simple Cloud API PHPから各種クラウドにアクセスするためのライブラリ「Simple Cloud API」というものが公開されています。 クラウドといっても色々ですが、現在はストレージ用のAmazon S3や、Windows Azure Blob Storage、Nirvanixに対応しているそうです。 今後の対応予定については以下のようになってるようです。 普通のオープンソースではなく、ZendがSponsoredになっているところも注目で今後の発展が期待されます。 これは、Zend Framework のコンポーネント Zend_Cloud としても公開される予定があるとのことです。 いつクラウドを使う機会があるかわかりませんので覚えておいてもよいかもしれませんね。
scale out の技術 (in UNIX magazine, April 2009)
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
SQL Azureの概要とSQL Azure Databaseを使ったアプリケーション開発
はじめに 今回は、Windows Azure Platformにおいて、クラウド上のデータベース機能を提供する「SQL Azure」について扱います。そして、SQL Azureの中核となるSQL Azure Databaseを使ってサンプルアプリケーションを作成してみます。 対象読者 Windows Azureに興味がある方 SQL Azureに興味がある方 SQL Azure Databaseを使用してアプリケーションを開発したい方 必要な環境 シリーズ第1回、第2回を参考にして、Windows Azureの開発環境のインストール、そしてクラウド環境に配置するために必要なAzure Services Developer Portalのアカウント作成とトークン取得を行ってください。 さらに、サンプルでは最初にSQL Serverにアクセスするアプリケーションを作成しますので、SQL Ser
Amazon Web Servicesのサービス一覧 - 元RX-7乗りの適当な日々
Amazon EC2やAmazon S3をはじめとした、Amazon Web Servicesは、あのインターネット上で"大型店舗"を展開するAmazonが、Amazon自身のサービスを運営するために構築し、長年にわたって多くの負荷に耐え、簡単にシステムがダウンしないよう改良してきた堅牢なコンピューティングプラットフォームです。 それらが今では、インターネットにアクセスできる一般ユーザにも、Amazonの保有するITインフラリソースが、簡単かつ非常に低価格から利用できるようにサービスとして公開されています。 # Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - 元RX-7乗りの適当な日々 これらの中でも、正式版(SLA有)として公開されているAmazon EC2やAmazon S3が有名な存在ですが、Amazon Web S
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
银娱优越会·(中国)网站登陆