BigQueryの課金、節約しませんか
13. 課金の対象 ストレージ - $0.020 per GB / month クエリ - $5 per TB processed (scanned) ストリーミングインサート - $0.01 per 100,000 rows until July 20, 2015. After July 20, 2015, $0.01 per 200 MB, with individual rows calculated using a 1 KB minimum size. 注目すべきはストレージ 14. 簡単な例 1TBのテーブルを毎日ロード、それぞれを一ヶ月間保持 日々のデータを毎日5回スキャンして集計 ストレージ : 1TB * 30 (tables) = $0.020 * 1000 * 30 = $600 クエリ: 1TB * 5 (Queries) * 30 (days) = $750
押さえておきたいvSphereの基本-可用性編 vSphere DRS
「押さえておきたいvSphere の基本」の可用性編として、2回に分けてvSphereのリソースコントロールの機能と可用性を高める機能のご紹介をしたいと思います。 1回目の今回は、vSphere上でゲストOSを運用する際、特定のESXiホストの負荷が高くなった場合、柔軟なリソースコントロールと稼働ホストの分散により、ゲストOSへの稼働に影響を最小限に抑える機能をご紹介します。 利用ケースとして、複数のESXiホストが稼働している状況で、各ホストのリソースを効率よく活用することにより、ゲストOS間のパフォーマンス劣化を防止することやより高い統合率での仮想環境の運用が可能になります。 その他、サーバリソースを追加した場合、新たに追加されたサーバのリソースの効率的な利用などもあります。 仮想マシンが増えてきた場合、それらの仮想マシンの負荷を想定して、どのサーバー上で稼働させればパフォーマンス最適
AWSが管理コンソールを日本語化、導入ハードルを下げる
Amazon Web Services（AWS）は4月21日、同社サービスの管理画面「AWS マネージメントコンソール（AWS Management Console）」の日本語対応を開始したと発表した。「Amazon EC2」や「Amazon S3」など、よく利用されているサービスから順次対応を進める。 AWSでは今回、マネージメントコンソールにおいて、新たに日本語と中国語（簡体字）による表示に対応した。対応開始したのは次の各サービスで、今後も順次対応を進めていく予定。 ・Amazon EC2 ・Amazon RDS ・Amazon S3 ・Amazon VPC ・AWS Identity and Access Management (IAM) ・Amazon SQS ・Amazon EMR ・Amazon DynamoDB ・Amazon CloudWatch 利用ブラウザの言語設定が日
ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
This document provides an overview of Elastic Load Balancing (ELB) on AWS. It discusses the different types of ELBs (Application Load Balancer, Network Load Balancer, Classic Load Balancer), their key features and how they can be used to build scalable and highly available systems by distributing traffic across multiple Availability Zones and targets like EC2 instances or ECS containers. It also c
Performance Tuning Linux Instances on EC2
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
GCEのライブマイグレーションのすごさをまとめてみた #gcpja - Qiita
Google Cloud Platform (GCP)の英語ブログに、Google Compute Engine (GCE)のライブマイグレーション機能について解説記事がポストされた。個人的にもいくつかの大規模な案件でこの機能の能力に触れて、GoogleまじGoogleだなと思わされたし、GCPチームで実際に作った人たちと会うととても誇らしげに説明してくれる。熱いのだ。そこで、上記ブログ記事＋個人の経験をもとに簡単にまとめてみたい。 なお、以下の内容は個人の感想です！ Heartbleedバグの時もVM再起動なし GCEでは2013年12月より、ライブマイグレーションを利用したTransparent Maintenance（自動メンテナンス）という運用を開始している。これはつまり、VMを動かしたまま同一ゾーン内の別のサーバーへ移動することで、ハードウェアやホストOSのメンテナンスを勝手にや
Comparing Message Queue Architectures on AWS | FORTER
Notes: https://www.cloudamqp.com provides a hosted RabbitMQ service cluster and is not covered here. However, the Highly Available RabbitMQ cluster is included. CloudAMQP do not document what network partitioning mitigations they have configured for RabbitMQ cluster. https://redislabs.com provides a hosted Redis service and is not covered here. It uses custom replication and sharding proxies, but
A Comprehensive Guide to Building a Scalable Web App on Amazon Web Services - Part 1
A Comprehensive Guide to Building a Scalable Web App on Amazon Web Services - Part 1 Josh Padnick Josh Padnick helps software teams scale with Amazon Web Services & DevOps. He has launched major apps on AWS serving 100,000+ users, hosted 150+ websites on AWS, and worked with AWS for 5+ years. It seems like everyone today wants to build the next great scalable web app. And, at least according to Ga
Dockerコンテナ接続パターン (2014年冬)
本記事はDocker Advent Calendar 2014の1日目の記事です． Dockerによるコンテナ化はリソース隔離として素晴らしい技術である．しかし，通常は1つのコンテナに全ての機能を詰め込むようなことはしない．マイクロサービス的にコンテナごとに役割を分け，それらを接続し，協調させ，全体として1つのサービスを作り上げるのが通常の使い方になっている． コンテナ同士の接続と言っても，シングルホスト内ではどうするのか，マルチホストになったときにどうするのかなど様々なパターンが考えられる．Dockerが注目された2014年だけでも，とても多くの手法や考え方が登場している． 僕の観測範囲で全てを追いきれているかは分からないが，現状見られるDockerコンテナの接続パターンを実例と共にまとめておく． なお今回利用するコードは全て以下のレポジトリをcloneして自分で試せるようになっている．
クラウド専業CIerがAWS監視運用でZabbixを使う理由 - サーバーワークスエンジニアブログ
CloudWatchがあればZabbixとできること大して変わらないし 「CloudWatchでだいたいの要件は満たせそうですね。」 とおっしゃる方もいらっしゃるようですが私たちServerworksが、そして私伊藤がなぜZabbixをおすすめするのか今回はそのことについてお話ししたいと思います。 統合監視ができる CloudWatchはあくまでもAWSの中の事象だけを見ます。 しかし実際のシステム運用ではAWSだけでなく他のクラウドシステムやオンプレミス、 クラウドとの接続ポイントとなるネットワーク機器など、監視すべき部分はAWSの中だけではありません。 そういった場合すべてを統合的に見られる監視ツールが必要となります。 またAWSの中だけであったとしてCloudWatchではアカウント毎に表示されることになります。 たとえば経費分割のために1つの会社で事業部毎に別々のAWSアカウントを
AWS CodeDeployで簡単デプロイ（CLI編）
全国100万人のデプロイ・プロビジョニング自動化マニアのみなさんこんにちは！ AWSから新たにDeploy用のサービスAWS CodeDeployがリリースされたので早速試してみました。 これを使うと複数のサーバに同時にアプリケーションをリリースするのが簡単にできます。もうCapistranoとかでごちゃごちゃやる必要はない感じです!! 詳細を知りたい方は公式サイトのドキュメントを見てみるとよいです。 ただ、GUIでやるのも面白く無いので、awscliを使ってやっていきましょう!! EC2インスタンスの準備まず、us-west-2でEC2インスタンスを何台か起動しましょう。これがデプロイ先のサーバになります。 デプロイ先サーバの識別にはEC2インスタンスのタグを利用しますので、同時にデプロイする対象には、同じタグを設定します(EC2のタグのFilterと同じ挙動です)。ここでは起動したイン
OpenStack上の仮想マシンインスタンスの可用性について - めもめも
OpenStackで、仮想マシンインスタンスが稼働するCompute Nodeが障害停止した際に、仮想マシンインスタンスを復旧する方法／考え方について整理しておきます。（ハイパーバイザーはLinux KVMの前提です。） 仮想ディスクの構成について まず、前提として、仮想ディスクの構成を理解しておきましょう。ゲストOSが導入された起動ディスクについては、仮想マシンインスタンスを起動する際に、「エフェメラルディスク」、もしくは、「ブロックボリューム」のどちらかが選択可能です。 エフェメラルディスクは、Compute Nodeのローカルディスクに仮想ディスクイメージが配置されるため、Compute Nodeが障害停止するとアクセス不能になります。他のCompute Nodeで再利用することはできません。 ブロックボリュームは、Cinderが提供するディスク領域で、一般的には、外部のストレージ装
AWS Casual Talks#3に参加した - まめ畑
AWS Casula Tlaks#3に参加してきました。AWS Casual Talks #3 on Zusaar 2回目までは主催していたのですが、今回から主催をCookpadの星君に移して初めての開催でしたが、過去を超えてくる濃い・本気の内容ですごく良かったです。色々忙しい中ありがとうございます！ 簡単にまとめると メインセッション @yoshiori Elastic Transcoder でウキウキ動画配信 クックパッド料理動画 を作った話。オンプレ環境で大容量・高トラフィックな配信環境を作った時の話しとAWSで作った際の話。オンプレ環境で実現する場合はクリアしなければいけない課題をAWSのサービスでどうクリアしたかという話でした。Elastic Transcoderの実用事例を聞けた貴重な機会でした。 @myfinder 僕らの AWS 移行記 オンプレ環境からAWSに完全移行した
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS ロボ in JAWSDAYS
JAWS DAYS 2015-ド・エンタープライズな情シスとクラウドと私 @applebear_ayu #jawsdays #jawsug
ぜんぶ AWS でやらないワケ
AWS Black Belt Techシリーズ AWS Direct Connect
Aerospike demonstrates RAM-like performance with Local SSDs
https://virtualtech.jp/howtosetuppydev/