はてなブックマーク

最終更新 2021-07-09 Google Cloud Platform 最強のサービスと言っても過言ではないデータウェアハウスエンジン BigQuery。AWS や Azure を使っていても、データ分析だけは BigQuery で、という話はよく聞きます。このページでは BigQuery に関するよくある質問をまとめました。 2020/06/12 BigQueryの権限 についての解説を追加。2020/05/17 更新。2020年4月に beta リリースされた マテリアライズド・ビューの説明 を追加。2020/05/16 更新。BI Engine において、BigQuery ビュー・Data Studio カスタムクエリも高速化対象となったことを追記。2020/01/16 更新。クエリ単位での課金上限バイト数設定BI Engine での Stackdriver モニタリングでのキャ

本ページでは ElastiCache を構築・設定します。 このページは AWS 基礎入門チュートリアル の一部です。 AWS チュートリアル全体は AWS 基礎入門チュートリアル を参照してください。

試してみよう まずは Cloud Shell から試すのが一番よいと思います。 Cloud Shell でログイン後、作業用ディレクトリを作成し、cloudbuild.yaml というファイルを作成してください。 mkdir work cd work cat <<EOS > cloudbuild.yaml steps: - name: 'ubuntu' args: [ 'ls', '-l'] EOS 作業用ディレクトリの中で、下記コマンドを実行します。 gcloud builds submit . すると下記のようになります。 % gcloud builds submit . Creating temporary tarball archive of 1 file(s) totalling 49 bytes before compression. Uploading tarball of

最終更新 2019-04-19 AWS・Azure・GCP について、最新の障害情報を取得する方法を説明します。 AWS・Azure・GCP 公式障害情報 AWS・Azure・GCP の障害情報やステータスを取得する方法をまとめます。 AWS の障害情報 Service Health Dashboard にあります。 下記のように、現在の情報 (Recent Events) と、過去の情報 (Remaining Services) に分かれています。 右側の「RSS」をクリックすると、過去の障害履歴が載っています。ただ、いつまでの情報が載っているかがよくわかりません。2012年の情報があるものもあれば、かなり以前からあるサービスなのに 2019年の情報しかないものもあります。最大15件のようにも見えるのですが、判断がつきませんでした。 また、画面一番下から、過去の大規模障害に対する原因と対

AWS・Azure・GCP には数多くのサービスがあります。AWS・Azure・Google Cloud それぞれのサービスの対応をかわかりやすくするため、サービスのマッピング表を作成しました。 最終更新 2020-02-06 コンピューティング IaaS (iaas) AWS：EC2Azure：Azure Virtual Machines (仮想マシン)GCP：Compute Engine →[詳細解説へ] PaaS (paas) AWS：AWS Elastic BeanstalkAzure：Azure App Service (Azure Web Apps, Azure Web App for Containers, Azure Mobile Apps, Azure API Apps, Azure Logic Apps), Azure Cloud Services (Web ロール・W

最終更新 2020-01-21 Cloud Dataflow とは、GCP のサービスのひとつです。 入力データを取り込み、加工し、出力することに特化したもので、いわゆる ETL と呼ばれるものです。 Cloud Dataflow は、なかなかにとっつきにくく、理解しづらいサービスです。当ページ管理人は Cloud Dataflow 導入においてすごく苦労しましたので、知識やノウハウを説明いたします。他の人が同じところではまらないよう願っております。 Google Cloud Dataflow 全般 Q. Cloud Dataflow とは何? A. Google Cloud Platform (GCP) のサービスのひとつ。入力データを加工し、出力することに特化したもの。いわゆる ETL。 Q. Dataflow を使うと何ができる? A. ファイルを読んで、加工して、ファイルに出力する

参考までに、アイオワ (us-central) の金額は下記。 Composer 本体Web $0.074 x 24時間 x 31日 x 2台 = $110.112Database $0.125 x 24時間 x 31日 x 2台 = $186Web and database storage $0.273 x 20GB = $5.46Network egress $0.156 x とりあえず0 = $0WorkerGCE インスタンス n1-standard-1 $24.2725 x 3ノード = $72.8175永続ディスク $0.040 x 100GB x 3 ノード = $12$110.112 + $186 + $5.46 + $72.8175 + $12 = $386.38 Q. 高くない? 何かいい方法はない? 高い！！！ 単体でも高いが、開発・ステージング・本番と 3環境作ると

最終更新 2020-01-30 データウェアハウスサービス Amazon Redshift・Azure SQL Data Warehouse・Google BigQuery について、様々なポイントから機能や料金の比較をしてみます。 データウェアハウスとは データウェアハウス (Data Warehouse = DWH) とは「データ倉庫」という意味です。 MySQL・Oracle・PostgreSQL などの一般的な RDBMS と似ていますが、 テラバイト・ペタバイト級の大量データをそこそこの速度で処理するという特徴があります。 「そこそこ」というのは、例えば「1秒では終わらないけど、数十秒〜数分で終わる」というようなレベルです。 用途としては、売上データ・在庫データ・顧客データなど数年単位のデータをデータウェアハウスに格納して分析するというのが一般的です。なお、特定レコードを高速に更

最終更新 2019-09-11 クラウドのリレーショナル・データベースサービス Amazon RDS、Azure SQL Database、Google Cloud SQL について、機能・料金・管理面などの比較をしてみます。 2019/06/21、Amazon RDS にて Aurora 以外にも容量自動拡張機能が追加されました。詳細019/04/26、Amazon RDS の 1時間単位の課金が秒単位 (ただし最低利用10分) になったことを追記。2019/04/10、DBバージョン・CPU・メモリ等を最新化。Azure SQL Database の「読み取りスケールアウト」の説明を追記 (追加コストなし！) リレーショナル・データベースとは リレーショナル・データベース (RDBMS) とは、表形式でデータを保存でき、 SQL などの言語によってデータの取得・集計・加工が行えるもので

最終更新 2020-05-15 Google Cloud Platform (GCP) のサービス一覧と、おおむね 3行の解説です。 コンピューティング Anthos とは Compute Engine とは GCPドキュメントへ： Compute Engine 仮想マシン (IaaS)。Linux や Windows サーバを立ち上げることができる。 CPU のコア数やメモリを調整することも可能 (カスタムマシンタイプ)。 「プリエンプティブVM」という最大80%引きの VM もある。 代償は、常に使えるとは限らない、突然落ちるかもしれない、SLA なし、24 時間経過すると必ず終了。 GCE に接続可能なディスクとして 永続ディスク がある。 詳細は こちら AWS/Azure/GCP サービスマッピングへ (iaas) Google App Engine (GAE) とは GCPドキ

最終更新 2019-04-21 Amazon S3・Azure Storage・Google Cloud Storage について、機能・料金などから比較を行います。 2019/04/21: 大規模データアップロードに Azure Data Box Disk、Azure Data Box Heavy を追加。 オブジェクトストレージとは クラウド以前のオンプレミス・ホスティングサービス・VPS においては、 サーバ内部にハードディスクとしてストレージが用意されていました。 しかしながら複数サーバでのストレージ共有や、 ストレージ障害に備えたフェイルオーバーやバックアップについて、簡単と言える方法はありませんでした。単一障害点を作らないために、ディスクの冗長化はもちろん、スイッチ・監視の冗長化も必要であり、 真面目にやるならお高い機器を購入し、結構なお値段のベンダに設計・設定を依頼する必要が

最終更新 2021-03-02 2021/03/02：スポットVM に Azure Spot Virtual Machines を追加 (2020/05 より)。これにて AWS・Azure・GCP すべてスポット VM が利用可能となりました。2020/09/26：ベアメタルについて情報を最新化。2020/04/08：インスタンスのゾーン変更・移動 について追記。 クラウドの仮想マシンサービス Amazon EC2・Azure Virtual Machine・Google Compute Engine を機能・料金・管理など様々な観点から比較します。 仮想マシンとは いわゆる IaaS を、ここでは仮想マシンと呼ぶことにします。クラウドサービス各社より、下記の名称で仮想マシンが提供されています。 Amazon では EC2 (Amazon Elastic Compute Cloud)Az

最終更新 2019-10-01 本ページでは、CDN とは何か、何の役に立つのかの初歩の説明と、Amazon CloudFront・Azure CDN・Google Cloud CDN の機能・料金の比較解説を行います。 2019/10/01 Azure Storage 等から Azure CDN へのデータ転送料金が、2019/10 より無料になる旨追記。 2019/04/15 Azure CDN Standard from Microsoft を追加。Google Cloud CDN で署名付きURLが可能であることを追記。署名付きURLの解説を追加。 CDN とは何か Amazon CloudFront・Azure CDN・Google Cloud CDN の比較と説明の前に、CDN とは何かについて説明します。 CDN とは “Content Delivery Network” の

最終更新 2020-05-12 本ページでは、Amazon・Microsoft・Google の提供するメッセージング・キューサービスの機能・料金等について比較します。具体的には下記サービスを対象とします。 Amazon Simple Queue Service (SQS)Amazon Simple Notification Service (SNS)Amazon MQAzure Queue StorageAzure Service BusGoogle Cloud Pub/SubGoogle Cloud Tasks (GAE Task Queue) ※Amazon Kinesis・Azure Event Hub・Azure Event Grid を含めていないですが、そのうち追加したいと思っています。 メッセージング・キューサービスの使い所 メッセージング・キューサービスは、使っていない人

「クラウド内部 DNS 管理」は、例えば「IP アドレス 10.20.30.44 はこの EC2 インスタンスに対応する」という名前解決ができるかという意味で書きました。これは AWS・Azure・GCP いずれも対応しています。 「クラウド外部 DNS 管理」は、クラウド外、例えばオンプレミス環境にあるサーバに対して DNS 設定が可能か、 という意味で書きました。これも AWS・Azure・GCP いずれも対応しています。 「プライベートゾーン」は、「内部ネットワークだけからアクセスできるゾーンを設定できるか」 「外部からは引けないゾーンを設定できるか」という意味です。 これは AWS の Route53 が正式対応で、Azure DNS は 2018/10 現在プレビュー、 GCP の Cloud DNS は 2018/10 現在ベータです。 例えば “hoge.local” などの

最終更新 2021-03-02 さくらインターネットの VPS サービスを AWS・Azure・GCP と比較し、違いを調べてみます。 VPS とクラウドサービスの比較 さくらインターネットの VPS サービスと比較し、違いを調べてみましょう。 そもそも、VPS (Virtual Private Server) とクラウドサービスの違いは何か。 率直に言うと「VPS もクラウドも明確な定義がないので、違いを明らかにすることはできません」 なのですが、世の中のサービスを眺めながら特徴を書いてみると下記になります。 VPS は初期費用がかかり、月額課金であることが多いが、クラウドは時間・分・秒単位課金であることが多い。VPS は IaaS 中心であることが多いが、クラウドは IaaS も PaaS も SaaS もある。VPS は細かな CPU やメモリ等、細かなカスタマイズができないことが多

最終更新 2022-04-13 「クラウド破産」とは、クラウドサービスの使用料金が意図せず高額になる (例えば数日で数十万円など)、という事象を指す俗語です。クラウド破産につながる危険な行為や、それを避けるための注意点を紹介します。 2022/04/13：S3のコストを大幅に削減した話 の事例を追加しました。2020/09/02：Azure の翻訳API を使いすぎて 144万円請求 の事例を追加しました。2019/12/16：Google Maps API で 50万円請求 の事例を追加しました。2019/06/11：AutoMLで26万円請求の事例を追加しました。 クラウド破産とは 「クラウド破産」とは、クラウドサービスの使用料金が意図せず高額になる (例えば数日で数十万円など)、 という事象を指す俗語です。 レアケースではありますが、リスクとしては確実に存在するもので、 請求ルールの

S3 に置いてある CSV, TSV, JSON などの形式のファイルの内容を、SQL で検索できる。 ファイルをまるごと手元に持ってくる時間と転送量を節約できる。 まず CREATE TABLE 文を発行し、S3 上にあるファイル群と対応づけたテーブルを作成する。そうすると、そのテーブルに対して SELECT することができる。WHERE 句や、GROUP BY なども普通に使える。 また、CREATE TABLE 文を発行するのではなく、AWS Glue のカタログ機能を使ってテーブル定義 (スキーマ) を作成しておく方法もある。 Athena を使うにはコンソール上でブラウザから SQL を実行できる (下記画面)。 ほかにも、JDBC/ODBC 経由でアクセスする、API を叩く、などの方法がある。 Athena は「アテナ」と読む。同類のサービスとして S3 Select がある

なお細かいことを言うと、毎月の日数は異なりますので、例えば稼働率 99.9% は、29日の月ならダウンタイム 41.7分、31日の月なら 44.6分になります。 上記の表は、月の日数を 30日で計算した場合の表です。 返金は障害があったサービスのみ・逸失利益分の補填などはなし 返金は障害があったサービスのみです。 EC2 の障害であれば EC2 分のみ。 RDS の障害であれば RDS 分のみ。 例えば AWS で、EC2 + RDS + S3 な EC サイトを運営していたとして、 仮に1日 S3 が停止したとします。 サイトの作りにもよるとは思いますが、S3 の停止でサイトが全面停止してしまう可能性は十分あるでしょう。 そして 1日分の停止で、売上が 100万円減ったとしても、100万円の補填が行われることはありません。 EC2 で動かしているアプリが S3 に依存していたとしても E

最近の更新記録 2021/03/02 AWS 大阪ローカルリージョンの通常リージョンへの昇格を受け、AWS・Azure・GCP クラウド比較 を修正。リージョン別対応サービス数を更新。大阪は残念な結果に…。2021/02/24 Terraform で人生を浪費しないためのチュートリアル を作成 (書きかけ)2020/08/31 無料トライアル・値引き・割引き を最新化。GCP の $300 クレジット期間短縮 (12ヶ月から 3ヶ月)Azure の 1ヶ月有効なクレジット増額 (20,500円→22,500円)GCP リセラーに cloudpack 追加 (3% 割引)AWS Saving Plans、Azure 予約割引、Google クラウドスタートアップ等を追加。2020/06/12 BigQuery FAQ に BigQueryの権限 についての解説を追加。2020/05/17 B