Build a Data Lake Foundation with AWS Glue and Amazon S3 | Amazon Web Services
AWS Big Data Blog Build a Data Lake Foundation with AWS Glue and Amazon S3 April 2024: This post was reviewed for accuracy. A data lake is an increasingly popular way to store and analyze data that addresses the challenges of dealing with massive volumes of heterogeneous data. A data lake allows organizations to store all their data—structured and unstructured—in one centralized repository. Becaus
書評: ビッグデータを支える技術 - kuenishi's blog
Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)で著名な西田さんの著書である。とても先見性のある本で、当時は仕事でもあったからとてもお世話になった。その西田さんの新作だというし、最近はもういろいろビッグデータのソフトウェアとミドルウェアがありすぎてワケの分からないことになっていると思ったので、知識を整理するためにサクッと購入。 ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界 (WEB+DB PRESS plus) 作者: 西田圭介出版社/メーカー: 技術評論社発売日: 2017/09/22メディア: 単行本（ソフトカバー）この商品を含むブログを見る 本書の冒頭でも触れられているが、昨今ではありとあらゆるソフトウェアがオープンソースで公開されているし、詳しい情報はほぼすべてインターネットで公開されているから、この本はカタログ的にさま
ビッグデータ処理「Spark」、深層学習対応進む
ビッグデータ処理のオープンソースソフトウエア（OSS）である「Apache Spark」のディープラーニング（深層学習）対応が進んでいる。Sparkの主要開発企業である米Databricksや米Intel、米Microsoft、米Verizon傘下の米Oath（旧Yahoo!）などが、Sparkの深層学習対応に熱心だ。 分散処理ソフトのSparkは、2014年ごろには機械学習の大規模化に欠かせない存在だと認識されていた。しかしその後の深層学習の台頭によって存在感が薄れていた。深層学習の高速化にはGPU（Graphics Processing Unit）が向いていることが分かり、米Googleが公開した「TensorFlow」などGPUに対応した深層学習フレームワークが人気を集めるようになったためだ。 ところがここに来て、Sparkを深層学習に対応させる動きが活発化している（表）。2017年
フルマネージド＆サーバレスなETLサービス「AWS Glue」の仕組みと構成要素を理解する | DevelopersIO
先日(日本時間の)2017年08月15日にAWS Summit 2017 NYCでアナウンスされたフルマネージドETLサービスの「AWS Glue」がついに一般利用開始となりました。早速色々触ってみたいと思っておりますが、サービスの特性上色々なサービスと連動させる必要があり、またAWS Glueを構成する各種要素も幾つか存在しているようで、サクッと作成・設定・実行！...という訳には行かなさそうな雰囲気です。そこで当エントリでは、実際にAWS Glueを使ってみる前に、AWS Glueの概要や構成要素について内容を把握してみたいと思います。 目次 AWS Glueの(ざっくり)概要 AWS Glueのユースケース AWS Glueの仕組み・構成要素 まとめ AWS Glueの(ざっくり)概要 AWS Glueはフルマネージド且つサーバレスのETL(抽出、変換、ロード)サービスです。以下の構
あまり知られていないFacebookの機械学習ツール「FBLearner Flow」とは
英国のIT専門媒体、「The Register」とも提携し、エンタープライズITのグローバルトレンドを先取りしている「The Next Platform」から、＠IT編集部が独自の視点で“読むべき記事”をピックアップ。プラットフォーム3へのシフトが急速に進む今、IT担当者は何を見据え、何を考えるべきか、バリエーション豊かな記事を通じて、目指すべきゴールを考えるための指標を提供していきます。 われわれは何年も前から、機械学習（ML）が次のプラットフォームの重要な要素になると確信している。実際、機械学習はこの新たなスタックの最も重要な部分かもしれない。それだけに、機械学習の運用方法をコントロールする企業が、将来のアプリケーションやシステムの在り方を、かなりの程度コントロールすることになるだろう。 機械学習は、ハイパースケールデータセンターのキラーアプリだ。数十年前に、モデリングやシミュレーショ
HBase on Amazon S3を使用してリードレプリカクラスタをセットアップする | Amazon Web Services
Amazon Web Services ブログ HBase on Amazon S3を使用してリードレプリカクラスタをセットアップする 多くのお客様は、低コスト、データ耐久性、スケーラビリティなど、Amazon S3をデータストレージとしてApache HBaseを実行することの利点を活用しています。 FINRAのような顧客は、HBase on S3アーキテクチャーに移行し、ストレージをコンピュートから切り離し、S3をストレージレイヤーとして使用するという多くの運用上の利点とともに、コストを60％削減しました。 HBase on S3を使用すると、クラスタを起動して、長いスナップショット復元プロセスを経る必要がなく、S3内のデータに対してすぐにクエリを開始することができます。 Amazon EMR 5.7.0の発表により、HBase on S3の高可用性と耐久性をクラスタレベルにさらに一歩
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
