AWS 認定ビッグデータ 専門知識 学習記録 - Qiita
目的 【AWS 認定ビッグデータ – 専門知識】の試験範囲、試験ポイントなどをまとめます。 参考リンク先は英語ページですが、右上に言語切替ができます。 試験概要 形式 ：複数の選択肢と複数の答えがある問題 所要時間 ：170 分 言語 ：英語、日本語、韓国語、中国語 (簡体字) 受験料 ：30,000 円 (日本語版/税別) 変な日本語に訳されることが多い、英語で受験はおすすめです。（プロフェッショナル試験そうでした） 日本語で申し込んでも、試験時、ページ上部「日本語／英語」切替ができます。 対象サービス Athena AWS Glue AWS Data Pipeline DynamoDB EMR Elasticsearch Service Kinesis Data Analytics Kinesis Data Firehose Kinesis Data Streams Kine
Azkaban を使ってジョブの管理・実行をしてみた ~インストール編~ | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【6/19開催】Kong Community Japan Meetup #4 本イベントでは、Kong Inc. のVP of ProductであるReza Shafii氏もプレゼンターとして参加。当社からはアーキテクト マネージャーの槌野の登壇が決定！参加無料です!! https://column.api-ecosystem.sios.jp/connect/kong/1081/ 【6/21開催】開発者目線でのSBOMとの向き合い方 SBOMの導入から開発者がSBOMの作成・管理を自動で行っていくための方法（デモ）を紹介します。
AWS認定Big Data勉強記 - 1 - Qiita
みなさん、こんにちは、えいりんぐーです。 データ分析や機械学習周りの仕事をしています。 仕事でAmazon RedshiftやAmazon S3を触る機会が多いのですが、最近業界ではAmazon SageMakerなどAWS周辺のデータ基盤や機械学習基盤の話を聞くことが多くなりました。また、先日はJAWS-DAYS 2019に参加して、データパイプライン周りのことも聞いて、色々とデータ処理基盤について興味が出てきました。 そこでこれからしばらく、AWSのビッグデータ関連の勉強をしつつ、AWS認定ビッグデータ専門知識の取得するべく、資料やサービスの情報を簡単にまとめていきます。 なお、2018年10月16日より、プロフェッショナル資格と専門知識資格の両方で、受験にあたりアソシエイトレベルの資格が不要となったようです。 とりあえず、以下のホワイトペーパーとre:Inventの動画は、AWSのビ
AWS認定Big Data勉強記 - 4 - Qiita
AWSか無料で提供している試験対策のオンラインコースでは以下のような紹介をしていたので、これに合わせて、各分野・各サービスを勉強すればよかったかなと思います。 やったこととしては、 AWSにおけるビッグデータ分析のホワイトペーパー AWS公式の、サービス別活用事例集 その元となる、YouTubeのBlack Beltオンラインセミナー動画 セキュリティに関するホワイトペーパー AWSが提供している無料オンラインコース Big Data Fundamentals Exam Readiness となっております。 試験問題を解いている最中は、これだけの勉強では細かいところをカバーできていないと感じました。上記のことをやりつつ、分からないところを公式ドキュメントで補足することと、よくある質問集を読む必要があったかと思います。 特に、具体例を挙げにくくて申し訳ないのですが、各サービスの要件や特性は
AWS認定Big Data勉強記 - 3 - Qiita
みなさん、こんにちは、えいりんぐーです。 データ分析や機械学習周りの仕事をしています。 前回はAWSのビッグデータ関連サービスをざっと紹介しました。今回はこれらビッグデータに関するサービスのセキュリティについて簡単に説明します。なお、ここで書いている情報は、AWSのセキュリティに関するホワイトペーパーを参考にしています。個々のサービスのより細かいセキュリティに関しては、公式ドキュメントを参照してください。 S3 S3はSimple Storage Serviceの名の通りストレージです。 S3のオブジェクトにはデフォルトでアクセス制限がかかっており、バケットやオブジェクトのオーナー以外はアクセスできません。しかし、以下のようにIAM policy、ACL、Bucket policyを使うことで異なるレベルでのアクセス制限を管理することができます。 Type Account-Level Co
Schema Registryを使ったKafkaにおけるAvro Schemaの管理について - シンガポール在住Data Engineerの覚書
最近、仕事でSchema Registryの導入を進めているので、調べたことなどを記しておきたいと思います。 Schema Registryとは www.confluent.io Schema Registry stores a versioned history of all schemas and allows the evolution of schemas according to the configured compatibility settings. It also provides a plugin to clients that handles schema storage and retrieval for messages that are sent in Avro format. Schema Registry とは、ここに書いている通り、スキーマのバージョン管理
SIerの生き残り戦略としてのDevOps システム運用の社葬から - Qiita
この記事に出てくる「当社」や「顧客」その他はフィクションです。ポエムです。実在のものとは関係ありません。 一部ではエンジニアの供給源として早く滅びろとまで言われているSIer、その中でも何ら価値を生み出さないゾンビ扱いのSIerのシステム運用が、もし生き延びることが出来るとしたらどんな姿なのかを考えてみるだけのポエムです。 ダラダラ書きますので、お付き合いしたいひとだけどうぞ。 社葬は嫌でもSIerで運用が好きという変態さんには、下記などを。 オカンや嫁をコアにするのではなく、システム運用をコアにしたドメイン駆動設計を、という差し迫った夢です。 システム運用のドメイン駆動設計、または運用の抽象化（とりあえず背景「SIerの伝統的な運用」） システム運用のドメイン駆動設計、または運用の抽象化（ドメインを隔離する） とりあえず、Qiitaを読んでる方が、いわゆるDevOpsやアジャイルという言
Databricks社がOSS化したSpark用ストレージレイヤ「Delta Lake」について - たけぞう瀕死ブログ
先日開催されたSpark + AI Summit 2019にあわせてDatabricks社からSpark用のストレージレイヤ「Delta Lake」のOSS化が発表されました。 databricks.com GitHubリポジトリはこちら。 github.com Delta LakeはSparkのライブラリとして実装されており、分散ストレージ上で以下のような機能を提供します。 ACIDトランザクション（テーブル単位） タイムトラベル（任意の時点の過去データを参照可能） スキーマバリデーション（スキーマ変更も可能） 実際に動かしてみる Delta Lakeの動作にはSpark 2.4.2以降が必要です。ローカルファイルシステムでも動作するのでspark-shellで動きを確認してみました。 $ bin/spark-shell --packages io.delta:delta-core_2.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS認定Big Data勉強記 - 2 - Qiita
