AWS上でのデータレイク構築の概要を紹介している『Building a Data Lake on AWS』を読んでみた ｜ DevelopersIO
先日、『データレイク』で情報を調べてみたら『Building a Data Lake on AWS』というeBookの資料(PDF)がある事を知りました。比較的ボリューム短めで読み易かったので、当エントリではその読んでみた内容をご紹介してみたいと思います。 Data Lake on AWS 『データレイク』とは何か 今日、組織では様々なソースからなる複数種別のデータを管理する業務が行われています。大規模なデータボリューム、様々なデータの種類に直面し、組織はタイムリーに洞察力を組織内に提供する為に、従来のデータ管理システム以上の敏捷性と柔軟性を備えるデータストレージと分析ソリューションを必要としています。 "データレイク"は、最近注目されるようになってきた新しい方法です。これら課題の多くに対応するデータを格納し、分析する事が出来ます。データレイクを構築する事で、組織は構造化されたもの、非構造
AWSとVMwareの提携から見えてくるもの。最強のハイブリッド環境を手に入れたAmazonと、クラウドでの逆転を狙うVMware
Amazon Web ServicesとVMwareの提携による「VMware Cloud on AWS」の発表は、意外性のある大型発表でした。この提携が両社にとってどんな意味をもつのか、考えてみました。 最強のハイブリッド環境を手に入れたAWS Amazon Web Services（以下AWS）は、クラウド市場において競合他社を圧倒的にリードする巨人です。そのAWSに弱点があるとすれば、ハイブリッドクラウドのソリューションに乏しいという点でしょう。 AWSを猛追するマイクロソフトはハイブリッドクラウドのソリューションが充実していることもあり、この弱点をどう補うのかが、AWSにとって最大の課題だったといえます。 その意味で、オンプレミスにおける仮想化のリーダーともいえるVMwareと提携し、その仮想化基盤とシームレスなAmazonクラウドとの接続を実現したことは、同社にとって最強のハイブ
NTT東、AWSへの閉域接続をスタート
NTT東日本は8月31日、「フレッツ光」回線からAmazon Web Services（AWS）に閉域接続できる「クラウドゲートウェイ アプリパッケージ」サービスを9月1日に開始すると発表した。 クラウドゲートウェイ アプリパッケージは、AWSへの閉域接続とアプリケーションサーバ機能の利用をパッケージにしたもの。AWSへの閉域接続には回線認証を利用する。ユーザー環境でネットワーク機器の設置や運用、保守などは不要。このサービスではIPv6を使用するが、AWS接続時にIPv4に変換して対応する。 利用には、「フレッツ 光ネクスト」「フレッツ 光ライト」などの契約が必要。ユーザーは申し込むだけで新サービスを利用できる。AWSで利用可能なアプリケーションサーバの基本メニューは、Active DirectoryとWebの2種類。月額利用料は4万5000円からで、月間100Gバイト分の通信料が含まれる
Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか | DevelopersIO
こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
AWS運用に耐えうるIT部門は作れる？情シス支部の議論をのぞく
6月16日、JAWS-UG情シス支部は目黒にあるアマゾン ウェブ サービス ジャパンのオフィスで第3回となる議論会を開催した。エンタープライズ企業の情シス担当者が集まったディープな議論にみなさんをお招きする。 AWSの運用に情シスは実現できるのか？ JAWS-UGの情シス支部は名前の通りユーザー企業の情シスが集うJAWS-UGの専門支部。セッションやLTメインの支部とはやや形態が異なり、情シス担当者や社内SE、コンサルティング、システム子会社のSEなどがそれそれお題を持ち込み、社内でのAWS導入をいかに促進させるかを議論するという形式で進むのが情シス支部の特徴となっている。 今回のお題は、とあるエンタープライズ企業の情シス子会社（以下、A社）の担当者から持ち込まれた「AWSの運用に耐えうる情シス体制の作り方」だ。 親会社のシステム開発をメインにしているA社だが、ご多分に漏れず、社内はアプリ
いよいよ週末！非AWSエンジニアに教えるJAWS DAYSの楽しみ方
クラウドの祭典「JAWS DAYS 2016」の開催がいよいよ今週末の12日（土）に迫った！事前告知記事はすでにアップしているが、ここでは最後の一押しとして、特に初参加の人向けにイベントの魅力について書いておきたい。そして、当日のオオタニの出し物の宣伝も少しさせてもらう。 JAWS DAYSはAWSエンジニアのためだけのイベントじゃない JAWS DAYSはAWSのユーザーグループであるJAWS-UG（Japan AWS-User Group）が1年に1回行なうクラウドのイベントだ。ベルサール新宿グランド1階の広大なイベントスペースを貸し切り、朝10時の基調講演から夕方のLT大会まで数多くのセッションが行なわれる。今年の登録者数はすでに1400名を突破し、大きな盛り上がりを見せるのは間違いない。 3回目の参加になるオオタニから言わせてもらうと、JAWS DAYSがAWSエンジニアのみ対象と
米NetflixがAWSへの移行を完了。7年かかった理由を説明
米NetflixがAWSへの移行を完了。7年かかった理由を説明：サービスアップタイムは99.99％に近づく 米Netflixは2016年2月11日（米国時間）付けのブログポストで、同社の動画ストリーミングサービス関連システムのAmazon Web Services（AWS）への移行を、1月初めに完了したことを明らかにした。 米Netflixは2016年2月11日（米国時間）付けのブログポストで、同社の動画ストリーミングサービス関連システムのAmazon Web Services（AWS）への移行を、1月初めに完了したことを明らかにした。 ブログポストは、AWSへの移行が2008年に始まったと説明している。自社データセンターで運用していたリレーショナルデータベースの障害により、顧客へのDVDの発送が3日間にわたりストップしてしまったことがきっかけだった。それ以降、Netflixは同社の動画ス
GoogleがAWS Lambda対抗「Google Cloud Functions」を公開。Node.jsによるイベントベースのJavaScript環境。サーバレスアーキテクチャ普及へはずみ
Amazonクラウド上での、イベントドリブンかつ非同期なJavaScriptの実行環境として「AWS Lambda」が発表されたのは、2014年11月に行われたイベント「AWS re:Invent 2014」においてでした。 AWS Lambdaはマネージドサービスとして提供されるため、利用者はサーバのスケーラビリティや運用管理などを気にする必要がなく、何らかのトリガーに基づく処理をクラウドで容易に実行するシステムを構築できるようになりました。 AWS Labmdaの登場は、「サーバレスアーキテクチャ」と呼ばれる、サーバの保有や運用を考える必要のない新しいクラウド活用のトレンドを生み出そうとしています。 Google Cloud Functionsの登場 そのAWS Lambdaに対抗するような新機能がGoogle Cloud Platfromに追加されたことが明らかになりました。「Goo
AWS上で動作するアプリケーションをいかにローカルで開発するか？ - たけぞう瀕死ブログ
AWSでは様々な便利なサービスが提供されています。中にはRDSやElasticCacheのように既存のミドルウェアに対するマネージドサービスを提供するものもあり、これらについては既存のミドルウェアを使って開発することができますが、AWS固有のサービスについてはアプリケーションを動作させるには実際にサービスに接続する必要があり、開発環境が制限されてしまいます。 もちろんソフトウェア側で抽象化しておき、DIなどの手法を用いてモックに差し替えるという方法も考えられますが、特にストレージとして利用するサービスなどの場合はインタラクションが必要になるのでモックでは再現しづらいですし、やはり実際に動作するサービスに接続して開発やテストを行うほうが効率的です。 そこで、AWSのサービスを擬似的にローカルで再現することのできるプロダクトを集めてみました。 S3 node.jsで動作するs3-proxyが使
AWSを運用してわかったこと2015
AWSを運用してわかったこと2015 1. AWSを運用して みてわかったこと 2015 2015/12/04 D-learning #4 2. 自己紹介 ▌ 森屋 忠大 ▌ 某サーバホスティング会社の運用部署 ▌ 趣味は料理と筋トレ ▌ 家に帰ってもAmazonを利用しています(プライムビデオ) 3. 宣伝 前置き (株)ディーネット という会社で というサービスを提供しています 4. この度お話するのは 本サービスにて起こった 紛れもない 事実の 5. この度お話するのは 本サービスにて起こった 紛れもない 事実の 記録である 6. 本日の恐怖夜話 怪 その１ 『突然死』 怪 その２ 『不可避』 怪 その３ 『氾濫』 怪 その４ 『原罪』 7. 怪 その１ 突然死 8. 怪 その１ 『突然死』 何の前触れもなく(普通)、PING監視で応答無し サーバ内のログやリソースを調査するも、問題
Amazonクラウドの最新価格表をJSONやCSVで取得できる「AWS Price List API」がリリース
クラウドはサーバインスタンスの起動から終了までをすべてAPIで操作できるだけでなく、ストレージもネットワークも、データベースやキューなど、さまざまなコンピュータリソースやアプリケーションをAPIで操作できるようにしてきました。 そしてAmazonクラウドが新しく発表した「AWS Price List API」は、Amazonクラウドで提供されているサービスの価格を取得できるサービスです。このAPIを使うことで、JSONもしくはCSVのフォーマットでサービス一覧とそれに関連した価格情報を取得できます。 APIの利用は簡単で、次のURLにアクセスすることでデータが取得できます。 https://pricing.us-east-1.amazonaws.com/offers/v1.0/aws/{offer_code}/ current/index.{format} offer_codeはAmazo
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
AWS vs. Azure – Services Overview - To Be Pioneers
AWS vs. Azure – Services Overview by Son Nguyen · November 10, 2014 In 2014, the 2 leaders in the Cloud IaaS segment are AWS and Microsoft Azure. Figure 1 – Cloud IaaS Magic Quadrant (Gartner 2014) Microsoft Azure started out as a PaaS originally and then move into IaaS. In 2013, Microsoft Azure had vision but was poor in execution (as per Gartner), but Azure has been catching up fast to become No
AWS vs. Azure – Lambda vs. WebJobs - To Be Pioneers
AWS vs. Azure – Lambda vs. WebJobs by Son Nguyen · November 15, 2014 Back to one year ago, I started using Microsoft Azure to build my first cloud-first web application. My own application covered: Collecting and storing content from my favorite bloggers, YouTube channels and RSS subscribers. Auto performing searching and tagging information with predefined condition frequently. Supporting to add
AWS re:invent 〜 米YAMAHAのデータセンター廃止と業務システムのAWS移行 - サーバーワークスエンジニアブログ
こんにちは、羽柴です。昨日食べた肉は最高でした。 でもそろそろ寿司が食べたいです。好きな寿司屋は銚子丸です。 気を取り直してセッションレポート第二弾です。Yamaha Corporation: Migrating Business Applications to AWSをレポートします。 米YAMAHA社のAWS移行事例です。 まずはビジネス上の課題から ハードウェアやインフラの運用において多くの時間とコストがかかっている 新しいビジネスを行うにあたり十分なリソースがない これらの課題を解決するためにいくつかの成功基準を策定しました。 成功基準 ITコストの低減 スピーディな開発環境 新しいビジネスの創出に注力できる その選択肢として、システムのアウトソース、ホスト型インフラ、クラウドを検討した結果、最もインフラ環境の柔軟なクラウドを選択したとのこと。 その結果 クラウドインフラとして A
AWSよりGoogle Compute Engineを選びたくなる10の理由
Google Compute Engineについて興味深いブログがあったので、勉強を兼ねて和訳してみました。 原文はこちらです。 以下、超訳。 昨年（訳注2012年のこと）、GCEとしてGoogleがIaaSの提供を発表した時に、amazonは心配するべきかどうか聞いてみた。18ヶ月後、Google Compute Engineは一般公開され、信頼性、価格、革新性において間違いなくAWSの競合になったと見受けられる。混雑したIaaS市場には多くの新規参入があり、そのいくつかはマイクロソフト、HPとIBMのような十分に確立された企業·ベンダーである。しかし、大多数のそうしたサービス群は限定的な機能しか持たない。彼らはAWSに対抗することは諦め、Amazon EC2の2008年相当のものに見えた。しかし、GCEはそのアプローチからして異なる。Amazon EC2の類似機能に焦点を置くのではなく
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
AWS News Blog
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Updated 2 May 2024: I removed the reference to Route53 Alias that was incorrectly referred as a chain Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAMEor DNAMEchain). Let’s walk through this in nontechnical terms for those unfamiliar wi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CreateUser - AWS Identity and Access Management