はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Overview 非同期メッセージングサービス メッセージングミドルウェアやストリーミング分析パイプラインとして使える Pub/Sub Lite: より安価なモード、低信頼性、ゾーナルかリージョナル、キャパシティを指定する トピック: パブリッシャからメッセージが送られるリソース サブスクリプション: 特定のトピックからアプリケーションにメッセージを送るリソース メッセージ: データとアトリビュートの組み合わせ メッセージアトリビュート: パブリッシャが定義するキーバリューペア アクノリッジメント: サブスクライバから送られる受信成功の

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは、えいりんぐーです 2年に1度のイベントがやってきましたね、そうGCP資格の更新です。 私はこれまで 2020年10月 2022年10月 とProfessional Data Engineer試験に合格しました。 それから2年たち、アップデートされているので、勉強しつつ記録を残したいと思います。 とりあえず今回は、試験のおさらいと、勉強方法、サービスの種類などをまとめます。 Professional Data Engineer とは 公式のページに書いてある通り、GCPを使って、セキュリティやコストを考慮しつつ、データ基盤の構

個人的な勉強でAirflowを実装したので、その時に気づいたことを書きます1。 同じような問題ではまった人が減れば幸いです。 前提 LocalExecutorを使う MySQLコンテナーとAirflowコンテナー AirflowからRedshiftにアクセス Dockerイメージ python:3.7.7ベースでairflow==1.10.10をインストール Dockerfileを自分で書いてみるため ついでにentrypoint.shも 学習目的なので、puckel/docker-airflowは遠慮したい めちゃくちゃ参考にはする 公式Dockerイメージのmasterやlatestはバージョンが2.0で開発版2 AIRFLOW_EXTRAS airflowを拡張するためのプラグインで、MySQLなどのDB系からGCPへのアクセスなどがある。 公式のDockerfileでは以下の通り、

YARN: Yet Another Resource Negotiator Resource Manager マスターサーバーで動く スレーブのリソースを管理 ジョブ管理はしない Node Manager スレーブサーバーで動く サーバーのリソースをRMに報告 サーバー上のコンテナの管理 Container スレーブのリソースが切り出されたもの NMによって起動 Application Master ジョブ全体を管理するコンテナ EMRにおいては、MapReduceやHiveやSparkへ計算資源を割り振ってくれる。共通のリソースを分割して扱ってくれる。 特徴と機能 EMRFS S3をHDFSのように扱える。 CPUとストレージの分離 S3の暗号化も対応 Consistent View 新しいオブジェクトのプット → Read-after-write consistency 上書きプット/

転送 S3はSSLで暗号化されたエンドポイントを提供しており、データのアップロード・ダウンロードができます。エンドポイントはインターネット・EC2からアクセスできます。 暗号化 データの暗号化に関してはS3 Encryption Clientのようなツールを使ってユーザー自身が管理する暗号化やS3 Server Side EncryptionといったS3が管理する暗号化があります。暗号化鍵はAWSが提供するものやユーザーが作成したものを使うことができます。 Glacier Glacierはより長期保存向きのオブジェクトストレージです。Glacierへのアップロードはマルチパートアップロードを行うことで、大きなファイルを効率的にアップロードできます。データへのアクセス管理についてはIAMが利用できます。 転送 SSLのエンドポイントを使って、通信を暗号化したデータの転送ができます。 暗号化

みなさん、こんにちは、えいりんぐーです。 データ分析や機械学習周りの仕事をしています。 今回は、AWSにおけるビッグデータ関連サービスとそれらを利用する上で重要なサービスを大まかに書きます。可能な限りGoogle Cloudで相当するサービスも例示しますが、一致するサービスばかりではありません。また、誤りや不備などありましたらコメントいただけると幸いです。なお、ここで紹介している内容は、AWSにおけるビッグデータ分析のオプションと、AWS Black Belt Online Seminarのサービス別活用資料集を参考にしています。 サービス名 カテゴリ 特徴 GCPでは

みなさん、こんにちは、えいりんぐーです。 データ分析や機械学習周りの仕事をしています。 仕事でAmazon RedshiftやAmazon S3を触る機会が多いのですが、最近業界ではAmazon SageMakerなどAWS周辺のデータ基盤や機械学習基盤の話を聞くことが多くなりました。また、先日はJAWS-DAYS 2019に参加して、データパイプライン周りのことも聞いて、色々とデータ処理基盤について興味が出てきました。 そこでこれからしばらく、AWSのビッグデータ関連の勉強をしつつ、AWS認定ビッグデータ専門知識の取得するべく、資料やサービスの情報を簡単にまとめていきます。 なお、2018年10月16日より、プロフェッショナル資格と専門知識資格の両方で、受験にあたりアソシエイトレベルの資格が不要となったようです。 とりあえず、以下のホワイトペーパーとre:Inventの動画は、AWSのビ

この記事はBrainpad Advent Calendar 2018の7日目の記事です。 自己紹介と機械学習基盤を簡単に 初めまして、えいりんぐーです。 データ分析や機械学習まわりの仕事をしています。 このテの仕事をしていて感じるのは、基盤づくり・環境づくりって大切だということです。とくに、アドホックに分析や予測モデルを作って試すだけなら各々好きなようにやっていいのですが、仕事としてチームで、データ分析とその共有や機械学習サービスの開発・運用をやるには、ある程度定型化された環境というものが必要だと思います。 最近ではDevOpsの文脈から派生して、MLOpsという言葉も聞くようになりまして、もろもろの事業会社さんを見ると、やはりそれぞれ取り組みはあるようです。 メルカリさんの事例 Wantedlyさんの事例 リクルートライフスタイルさんの事例 Cookpadさんの事例 私もそれっぽいことな