Amazon Redshift Data Sharing が一般提供開始となり、東京リージョンでもご利用可能 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift Data Sharing が一般提供開始となり、東京リージョンでもご利用可能 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 2020 年 12 月にプレビューとして発表されたAmazon Redshift の新しい機能である、Data Sharing が東京リージョンでプレビューとして利用可能でしたが、一般提供開始となりましたのでお知らせいたします。 Amazon Redshift は最も高速で最も広く使用されているクラウドデータウェアハウスです。2020 年 4 月には Federated Query の機能が一般提供開始となり、Redshift 内部のデータだけではなく、運用データベース、およびデータレイクにあるペタバイト規模の構造化データと半構造化データを
★最近のスライドはSpeaker Deckにも同じものがあります★「実践的データ基盤への処方箋」「ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書」「RDB技術者のためのNoSQLガイド」著者。MobilityTechnologiesのデータエンジニア(JapanTaxi出身)。 machine learning big data mongodb mlops mobility technologies aws iot hadoop nosql wiredtiger cv analytics data engineering kubernetes sagemaker ai dwh rdb google big query emr 事例 usecase mongodb osc mongodb monitoring mms
AWS Snowball Edge を使用して HDFS ファイルを Amazon S3 データレイクに移行する | Amazon Web Services
AWS Snowball Edge を活用することを決定したら、AWS Snowball Edge の開始方法: 最初のジョブドキュメントを使用して、最初のジョブを注文します。このガイドでは、最初のジョブを作成し、Snowball Edge デバイスを配送先住所に配送する手順を説明します。 ローカルネットワークへの接続ドキュメントを使用して、AWS Snowball Edge をローカルネットワークに接続します。Snowball Edge を使用したデータ移行のベストプラクティスの記事は、ネットワーク要件に関するガイダンスを示します。理想的には、このローカルネットワーク接続は 10 Gbps 以上のスループットと低レイテンシーです。デバイスをインターネットに接続する必要はありません。 移行手順 以下の手順では、AWS Snowball Edge でステージングマシンを使用して HDFS フ
Ozoneに10億ファイル
Apache Hadoop Ozoneは分散型のキーバリューストアであり、小さなファイルから大きなファイルまでの両方を管理することができます。Ozoneは、小さなファイルに関するHDFSのスケールの制限に対処するために設計されました。HDFSは大きなファイルを格納するために設計されており、HDFSでの推奨ファイル数は NameNode で3億個で、この制限を超えてのスケールはできません。 スケーラビリティを達成するためのOzoneの主な特徴は以下の通りです。 Ozoneの名前空間はローカルのRocksDBインスタンスに書き込まれ、パフォーマンス（全てをメモリに保持する）とスケーラビリティ（あまり使われていないメタデータをディスクに永続化）の間のバランスを、簡単に調整することができます。名前空間とブロックスペースの管理は、2つの異なるデーモン、OzoneManager(OM)とStorage
はじめに 弊社では、ビッグデータ分析のためにAWSのクエリサービスAmazon Athenaをよく利用しています。 簡単に使い始めることができて、本当に便利なサービスです。 SQL on Hadoopでは、パーティション数が多くなりすぎるとクエリ実行時間が長くなるので、 「パーティションの数は多くとも1万個くらいに抑えましょう」という定石があります1。 一方、Athenaではクエリ実行時に、スキャンしたデータ量に応じて $5/1TB 課金されます。パーティションを細分化しておけば、スキャンするデータ量が削減できます。 結局のところ、パーティションをどれくらい細分化すれば良いかは、定石だけではわかりません。 さて、我々のシステムでは、次々と送られてくる発生するログをS3に配置し、EMRで日次ETL処理した結果をAthenaで分析・集計します。 クエリ対象期間は1週間固定であるにもかかわらず、
データアナリストとデータサイエンティストの違い
近年、ビッグデータという言葉を頻繁に耳にするようになりました。経営データの分析やデータの可視化など何かとデータの話題に触れる機会が増えており、データはビジネス成功や拡大において重要なものとなりました。 今回はデータ分析に関わる職業、データアナリストとデータサイエンティストの違いや今後の市場動向についてお話していこうと思います。 ＜目次＞ 1.データアナリストとは 2.データアナリストに必要な能力 3.データサイエンティストとは 4データサイエンティストが必要な能力 5.データアナリストとデータサイエンティストの違い 6.データアナリストとデータサイエンティストになるには 7.データアナリストとデータサイエンティストの需要 8.まとめ 1.データアナリストとは データアナリストは、データの処理や現状分析などのフェーズを専門に行っている職業です。 集めたビッグデータを分析し、ユーザーの行動や規
How the Allen Institute uses Amazon EMR and AWS Step Functions to process extremely wide transcriptomic datasets | Amazon Web Services
AWS Big Data Blog How the Allen Institute uses Amazon EMR and AWS Step Functions to process extremely wide transcriptomic datasets This is a guest post by Gautham Acharya, Software Engineer III at the Allen Institute for Brain Science, in partnership with AWS Data Lab Solutions Architect Ranjit Rajan, and AWS Sr. Enterprise Account Executive Arif Khan. The human brain is one of the most complex st
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tetsutaro Watanabe
Athenaでパーティション数が増えた時のパフォーマンスを計測してみた。 - Qiita