Microsoft Azure上のVMware vSphereクラウドサービス、「Azure VMware Solutions」が発表
Microsoft Azure上のVMware vSphereクラウドサービス、「Azure VMware Solutions」が発表：VMware Cloud on AWSと似たサービス Dell TechnologiesとMicrosoftは2019年4月29日（米国時間）、開催中のイベントDell Technologies Worldで、Microsoft AzureにおけるVMware vSphereベースのクラウドサービス、「Azure VMware Solutions」を発表した。 Dell TechnologiesとMicrosoftは2019年4月29日（米国時間）、開催中のイベントDell Technologies Worldで、Microsoft AzureにおけるVMware vSphereベースのクラウドサービス、「Azure VMware Solutions」を発
U-SQL 入門⑩ ~ 結合 ~ - whata's diary
U-SQL では以下の結合が利用可能です。すべての JOIN において行セットの変数を指定することも SELECT 文を記述することもできます。 CROSS JOIN INNER JOIN OUTER JOIN SEMIJOIN ANTISEMIJOIN CROSS JOIN 行セットのデカルト積を返します。 @employees = SELECT * FROM (VALUES ("Rafferty", (int?) 31) , ("Jones", (int?) 33) , ("Heisenberg", (int?) 33) , ("Robinson", (int?) 34) , ("Smith", (int?) 34) , ("Williams", (int?) null)) AS E(EmpName, DepID); @departments = SELECT * FROM (VALU
U-SQL 入門⑨ ~ 変数の使用 ~ - whata's diary
DECLARE を使って変数を宣言することができます。これを使うことによって U-SQL のメンテナンス性が向上します。 また、Azure Data Factory を使って U-SQL を実行する際は、Azure Data Factory で定義したパラメータを U-SQL に渡すことができます。 DECLARE @in string = "/Samples/Data/SearchLog.tsv"; DECLARE @out string = "/output/SearchLog-scalar-variables.csv"; @searchlog = EXTRACT UserId int, Start DateTime, Region string, Query string, Duration int?, Urls string, ClickedUrls string FROM @in
U-SQL 入門⑧ ~ 行番号を振る ~ - whata's diary
行に番号を振るには ROW_NUMBER ウィンドウ関数を使います。下記にいくつかの例を紹介します。 1. 普通に行番号を振る場合 @employees = SELECT * FROM ( VALUES ("Noah", "Engineering", 100, 10000), ("Sophia", "Engineering", 100, 15000), ("Liam", "Engineering", 100, 30000), ("Amy", "Engineering", 100, 35000), ("Justin", "Engineering", 100, 15000), ("Emma", "HR", 200, 8000), ("Jacob", "HR", 200, 8000), ("Olivia", "HR", 200, 8000), ("Mason", "Executive", 300
U-SQL 入門⑦ ~ U-SQL 内で行セットを作成 ~ - whata's diary
以下の様にして行セットを U-SQL 内で生成することができます。ちょっとテストする時などに便利。 @employees = SELECT * FROM ( VALUES (1, "Noah", "Engineering", 100, 10000), (2, "Sophia", "Engineering", 100, 20000), (3, "Liam", "Engineering", 100, 30000), (4, "Emma", "HR", 200, 10000), (5, "Jacob", "HR", 200, 10000), (6, "Olivia", "HR", 200, 10000), (7, "Mason", "Executive", 300, 50000), (8, "Ava", "Marketing", 400, 15000), (9, "Ethan", "Market
U-SQL 入門⑥ ~ 集約関数 ~ - whata's diary
U-SQL にはビルトインの集約関数が提供されています。これらの集約関数は SELECT 文の中で使用できます。 集約関数の一覧 ANY_VALUE グループの中から任意の 1 つの値を取得する ARRAY_AGG グループごとに SQL.ARRAY 値を生成する AVG 平均 COUNT 個数のカウント MAP_AGG Key, Value 値を取り SQL.MAP 値を生成する MAX 最大値 MIN 最小値 SUM 合計 STDEV 標本標準偏差 STDEVP 母標準偏差 VAR 標本分散 VARP 母分散 集約関数の実行例 @rs = SELECT Region, COUNT() AS NumSessions, SUM(Duration) AS TotalDuration, AVG(Duration) AS AvgDuration, MAX(Duration) AS MaxDura
U-SQL 入門⑤ ~ データ型 ~ - whata's diary
U-SQL のデータ型は通常の SQL とは異なり、C# のデータ型を使用します。間違えないように気を付けたいところ。 C# のデータ型は以下の URL を参照。 型 (C# リファレンス) | Microsoft Docs 下記のようにデータ型指定の隣に ? を付けると null 値を許容するという指定になります。 @searchlog = EXTRACT UserId int, Start DateTime, Region string, Query string, Duration int?, Urls string, ClickedUrls string FROM "/Samples/Data/SearchLog.tsv" USING Extractors.Tsv(); Numeric 型 byte 符号なし 8 ビット整数 sbyte 符号付き 8 ビット整数 int 符号付き
U-SQL 入門④ ~ FileSets ~ - whata's diary
FileSets を使って複数のファイルを EXTRACT 文で読み込むことができます。 基本 以下のように 5 ファイルがある場合、 /input/2018-01-01.log /input/2018-02-01.log /input/2018-03-01.log /input/2018-04-01.log /input/2018-05-01.log以下の EXTRACT 文で 5 ファイルをすべて読み込むことができます。また、{suffix} にマッチした部分を suffix 列に入れることができます。 @rs = EXTRACT user string, id string, suffix string FROM "/input/{suffix}.log" USING Extractors.Csv(); 日付形式の対応 以下のように 5 ファイルがある場合、 /input/2018-
U-SQL 入門③ ~ ファイルのアウトプット ~ - whata's diary
U-SQL でのファイルのアウトプットは OUTPUT 文のTO 句 で PATH を指定して、 USING 句で Outputter を指定します。 OUTPUT @rows TO “/data.csv” USING Outputters.Csv(); Outputtersで書き込むファイルのフォーマットを指定します。 Outputters.Text(): フィールドのデリミタを指定して出力 Outputters.Csv(): CSV 形式を出力 Outputters.Tsv(): TSV 形式を出力 // ヘッダ付きの CSV 形式で出力する OUTPUT @rows TO “/data.csv” USING Outputters.Csv(outputHeader: true); // ダブルクォート無しで TSV 形式で出力する OUTPUT @rows TO “/data.tsv”
U-SQL 入門② ~ ファイルのインプット ~ - whata's diary
U-SQL でのファイルのインプットは FROM 句で PATH を指定します。 ※ストレージは ADLA のデータソースとして登録しておく必要があります。 ファイルインプットの例 // デフォルトの ADLS の PATH を指定する場合 @rows = EXTRACT name string, id int FROM “/…/data.csv” USING Extractors.Csv(); // ADLS を指定する絶対パスの場合 @rows = EXTRACT name string, id int FROM “adl://…/data.csv” USING Extractors.Csv(); // Blob ストレージを指定する場合 @rows = EXTRACT name string, id int FROM “wasb://…/data.csv” USING Extract
U-SQL 入門① ~ U-SQL の基本形 ~ - whata's diary
Azure Data Lake Analytics の U-SQL というクエリ言語についてメモ用に基本的な事をまとめていきます。 Azure Data Lake そのものについてや構築方法等はこちらのブログ (Data Platform Tech Sales Team Blog | Azure Data Lake)を見るとわかりやすいと思います。 U-SQL とは？ SQL に C# の拡張を備えたクエリ言語 主にデータの変換や分析のために使われる 構造/非構造化データを取り扱える 分散処理されるため大容量のデータセットに対してのクエリが可能 U-SQL の基本形 @searchlog = EXTRACT UserId int, Start DateTime, Region string, Query strin
Azure Data Lake
Overview U-SQL is a data processing language that unifies the benefits of SQL with the expressive power of your own code. U-SQL's scalable distributed query capability enables you to efficiently analyze data in Data Lake Store, Azure Storage Blobs, and relational stores such as Azure SQL DB/DW. Learn more about Azure Data Lake.
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
AWS Black Belt - AWS Glue
1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 1 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 下佐粉 昭 2017.10.18 【AWS Black Belt Online Seminar】 AWS Glue 2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 2 自己紹介 下佐粉 昭（しもさこ あきら） Twitter - @simosako 所属： アマゾン ウェブ サービス ジャパン 技術統括本部 エンタープライズソリューション部 ソリューションアーキテクト 好きなAWSサービス:Redshift, RDS, S3 人間が運用等から解放されて楽にな
SQL Server on Linux って？（第 1 回目）
Microsoft Japan Data Platform Tech Sales Team 坂本 禎尚 そうです。タイトルに on Linux って書いてあります。今まで、お客さんから「SQL Server って Linux で動かないの？」と聞かれて、「それはないっすわー」と答えていましたが、SQL Server が Linux で動く（既に動いてますが）日がついにやって来ます。 2016 年 3 月に SQL Server を Linux で動かすぞーという最初のアナウンス（対外的な）が行われ、2016 年 11 月の Microsoft Connect(); で最初のパブリック プレビューのリリースが発表されました。その後、約 2 週間で 21,000 を超えるダウンロードが行われたという事実からも皆様の関心の高さが伺えます。 既に国内でも MVP の皆さんをはじめ Blog 等で紹
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - microsoft/data-accelerator: Data Accelerator for Apache Spark simplifies onboarding to Streaming of Big Data. It offers a rich, easy to use experience to help with creation, editing and management of Spark jobs on Azure HDInsights or Databricks w
Tutorial: Azure Data Lake analytics with R
Arsen Vladimirskiy – Medium
Public Cloud Services Comparison
Monitoring at AbemaTV
