AWSとAzureとGCPを比較してみる - IaaS編 - Qiita
2. リージョンとアベイラビリティゾーンとVPCとサブネット リージョンは地理的に離れたロケーションことで、さらに1つのリージョンはデータセンターが設置される複数の独立したアベイラビリティゾーン（Azure:可用性ゾーン、GCP:ゾーン）から構成されます。 VPC(Azure:仮想ネットワーク)は、他と論理的に切り離された仮想ネットワークのことで、その中に1つまたは複数のサブネットを定義してEC2(Azure:仮想マシン、GCP:Compute Engine)を配置します。 複数のアベイラビリティゾーン（Azure:可用性ゾーン、GCP:ゾーン）にEC2等を配置し冗長構成をとることにより、可用性を高めることができます。(AWS用語でMulti-AZ) 一方AWSは2017のre:InventでAzureの可用性セットと似た機能を提供するスプレッドプレイスメントグループをリリースしています。
機械学習アルゴリズム チート シート - デザイナー - Azure Machine Learning
Note デザイナーは、従来の事前構築済みコンポーネント (v1) とカスタム コンポーネント (v2) の 2 種類のコンポーネントをサポートします。 これら 2 種類のコンポーネントには互換性がありません。 従来の事前構築済みコンポーネントは、主にデータ処理や、回帰や分類などの従来の機械学習タスク向けの事前構築済みのコンポーネントを提供します。 この種類のコンポーネントは引き続きサポートされますが、新しいコンポーネントは追加されません。 カスタム コンポーネントを使用すると、独自のコードをコンポーネントとしてラップすることができます。 これは、ワークスペース間での共有と、Studio、CLI v2、SDK v2 インターフェイス間でのシームレスな作成をサポートします。 新しいプロジェクトでは、AzureML V2 と互換性があり、新しく更新され続けるカスタム コンポーネントを使用するこ
機械学習アルゴリズムの選択方法 - Azure Machine Learning
よくある質問は、「どの機械学習アルゴリズムを使用すればよいか」ということです。 選択するアルゴリズムは、主として、データ サイエンス シナリオの次の 2 つの異なる側面によって決まります。 データを使って何をしたいか? 具体的には、過去のデータから学習することによって回答を得たいビジネス上の質問は何かということです。 データ サイエンス シナリオの要件は何か? 具体的には、ソリューションでサポートする精度、トレーニング時間、線形性、パラメーターの数、特徴の数はどのくらいかということです。 Note デザイナーは、従来の事前構築済みコンポーネント (v1) とカスタム コンポーネント (v2) の 2 種類のコンポーネントをサポートします。 これら 2 種類のコンポーネントには互換性がありません。 従来の事前構築済みコンポーネントは、主にデータ処理や、回帰や分類などの従来の機械学習タスク向け
Microsoft Azure Service Bus のクォータと制限 - Azure Service Bus
ここでは、Azure Service Bus のメッセージングの基本的なクォータとスロットルのしきい値について説明します。 メッセージング クォータ 次の表に、Azure Service Bus メッセージングに固有のクォータ情報を示します。 Service Bus の価格と他のクォータについては、「Service Bus の価格」をご覧ください。 クォータ名 Scope 値 メモ
Standard Storage アカウントのスケーラビリティとパフォーマンスのターゲット - Azure Storage
この参照では、Azure Storage のスケーラビリティおよびパフォーマンスのターゲットについて説明されています。 ここで示すスケーラビリティおよびパフォーマンスのターゲットは、ハイエンドのターゲットですが、達成可能です。 いかなる場合でも、ストレージ アカウントで達成される要求レートおよび帯域幅は、格納されたオブジェクトのサイズ、使用されているアクセス パターン、およびアプリケーションで実行されているワークロードの種類によって異なります。 必ずサービスをテストして、パフォーマンスがユーザー要件を満たしているかどうかを確認してください。 可能であれば、トラフィック量の急増を回避し、トラフィックがパーティション間でうまく分散されるようにしてください。 ワークロードがアプリケーションのパーティションで処理できる上限に達すると、Azure Storage はエラー コード 503 (サーバー
Azure Storage キューと Service Bus キューの比較 - Azure Service Bus
この記事では、Microsoft Azure によって提供されている Storage キューと Service Bus キューという 2 種類のキューの相違点と共通点について説明します。 この情報を使用すると、どちらのソリューションが自分のニーズに最も適しているかについて、より多くの情報に基づいて判断できるようになります。 はじめに Azure では Storage キューと Service Bus キューの 2 種類のキュー メカニズムをサポートしています。 Storage キューは Azure Storage インフラストラクチャの一部です。 これらにより、多数のメッセージを格納することができます。 メッセージには、HTTP または HTTPS を使用して、認証された呼び出しを介して世界中のどこからでもアクセスできます。 キュー メッセージの許容される最大サイズは 64 KB です。
Azure Service Bus をコンソールアプリから使うメモ - Qiita
Microsoft Azure Service Bus Azureにはクラウドとオンプレミスのシステムを連携させるためにAzure Service Busがあります。これはメッセージ通信を使用して複数のシステムを連携させる事が出来ます。 最もも利用されるシーンとしては、クラウド上に構築したシステムからオンプレミスのサービスを呼び出すものですが、クラウド上のアプリケーションに限らず、オンプレミスとオンプレミスのアプリケーションの間でも使用することが出来ます。 サービスバスが登場した当時はAppFabric Service Busといわれていたみたいですが、現在ではAppFabricの名前は廃止されたのでそのままService Busと呼ぶみたいです。 AzureのCloudServiceとIaaS上のVM間の連携がゴールではありますが、とりあえずコンソールアプリケーションを2つ作成して、連携
Data Lake Storage Gen1 に関するデータ シナリオ
Note Azure Data Lake Storage Gen1 は廃止されました。 提供終了のお知らせについては、 こちらを参照してください。Data Lake Storage Gen1 リソースにアクセスできなくなりました。 ビッグ データの処理には主に 4 つの段階があります。 データ ストアへの大量のデータの取り込み (リアルタイムまたは一括) データの処理 データのダウンロード データの視覚化 この記事では、Azure Data Lake Storage Gen1 に関してこれらの段階について説明し、お客様のビッグ データのニーズを満たすために使用できるオプションとツールを確認します。 Data Lake Storage Gen1 にデータを取り込む このセクションでは、さまざまなデータ ソースと、そのデータを Data Lake Storage Gen1 アカウントに取り込む
Azure Data Lake Analytics で100GBくらいのCSVファイルを処理 - Qiita
最近Kaggleをやっていて 「100GB程度の巨大なCSVファイルに対してSQLで適当に集計(group by, join)をかける」 という処理が必要になった。 EMRとかBigQueryとか色々やりようはあると思うが、最近せっかくAzureと仲良くなりつつあるので、かねがねから気になっていた Azure Data Lake Analytics を使ってやってみることにした。 Azure Data Lake Analytics とは Hadoopベースのサービスで、様々なデータに対してU-SQLというSQLライクな文法によって記述されジョブを実行できる。 データの入出力として、Azure Data Lake Store(中身はHDFS)だけでなく、Azure Blob Storage、SQL Server、その他HTTPで取得できるデータなどをシームレスに抽出・結合して利用できる。 H
Azure Data Lake を試してみました - Qiita
2015年12月4日現在、PreviewとなっているAzure Data Lakeを試してみました。 現状、Previewということで申請制になっているようです。申請から1週間くらいでApprovedのメールがきました。 Azure Data Lakeとは？ さて、このAzure Data Lake。どんなサービスでしょうか？ リリースやサービス内容を見るだけではよく理解できなかったので試してみるのですが。。。 リリースやサイトの情報を読む限り、 Hadoopベースのサービスで、Data Lake Store(HDFS)に溜まったデータをYARN経由で分析レイヤーであるData Lake Analyticsのツール(U-SQL)を利用して利用するもの。さらに分析対象はHDFSだけでなく、SQL Serverのデータなどもシームレスに制御できる！ というような説明なので、 SQLが使えるので
Azure Stream Analytics のドキュメント - Azure Stream Analytics
Azure Stream Analytics のドキュメント Azure Stream Analytics は、分析情報の取得、レポートの作成、またはアラートとアクションをトリガーするために使用できるデータの高速移動ストリームを分析および処理するための、フル マネージド リアルタイム分析サービスです。 Microsoft が提供するクイック スタート、チュートリアル、サンプルを使用して、Azure Stream Analytics の使用方法を確認してください。
Stream Analytics入門してみた #azurejp - かずきのBlog@hatena
最近頑張ってるStream Analyticsですがここらへんでまとめてみようと思います。 Stream Analytics ドキュメントにも書いてありますが、Stream Analyticsは大量のデータをリアルタイムに処理するための基盤になります。大量のデータのインプットには、これまた大量のデータを受けるためのイベントハブや、ストレージサービスのBlobなんかを指定できます。 Stream Analyticsは、SQLライクな言語でリアルタイムに流れてくるデータを処理できます。個人的な感想ではSQL + 時間処理関数といった感じです。時間という概念を入れることで最近流行のリアクティブプログラミングと同じような感覚でリアルタイムデータを処理することが出来ます。 処理した結果「SQL Database」「ストレージサービスのBlob」「ストレージサービスのTable」「イベントハブ」「Po
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://eventmarketing.blob.core.windows.net/mstechsummit2018-after/CI22_PDF_TS18.pdf
Pricing - Service Bus | Microsoft Azure
Azure Data Lake Analytics Deep Dive
Error
AWSとAzureのサービス名対比表
Understanding the Data Lake Analytics Unit
20160416 Azure Data Lakeのはまりどころ
https://opbuildstorageprod.blob.core.windows.net/output-pdf-files/en-us/Azure.azure-documents/live/azure-functions.pdf