{"serverDuration": 35, "requestCorrelationId": "b45a8231fbaabbfb"}
Hire me to supercharge your Hadoop and Spark projects I help businesses improve their return on investment from big data projects. I do everything from software architecture to staff training. Learn More Note, I use ‘File Format’ and ‘Storage Format’ interchangably in this article. If you’ve read my beginners guide to Hadoop you should remember that an important part of the Hadoop ecosystem is HDF
Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など 分散処理フレームワークの「Apache Spark 2.0」正式版のリリースが、開発元のDatabricksから発表されました。これまでApache Sparkはバージョン1.x(直前の最新版は1.6)でしたので、メジャーバージョンアップとなります。 Spark 2.0で最大の新機能は、新しいSQLパーサーを採用したことによるANSI SQL(SQL 2003)への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能と説明されており、プログラマが慣れ親しんだ一般的なSQL文はすべて実行可能になります。 また、DataFrameとDatasetは統合されたAPIとなりました。 こうしたAPIの変更や改善が行われた一方で、Spark 2.0ではパフ
何万人ものお客様が毎日 Amazon Redshift を使用してクラウドで SQL 分析を実行し、ビジネスの洞察のためにエクサバイトのデータを処理しています。増大するデータがオペレーショナルデータストア、データレイク、ストリーミングデータサービス、またはサードパーティのデータセットに保存されているかどうかに関係なく、Amazon Redshift を使用すると、移動やコピーを最小限に抑えてデータに安全にアクセス、結合、共有できます。Amazon Redshift は、AWS のデータベース、分析、機械学習サービスと深く統合されており、Zero-ETL アプローチを採用したり、ほぼリアルタイムな分析のためにその場でデータにアクセスしたり、SQLで機械学習モデルを構築したり、Redshift 内のデータを使用して Apache Spark 分析を可能にするのに役立ちます。Amazon Red
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の4日目のエントリです。 昨日3日目のエントリは清水の『Amazon CloudFront 』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日4日目のテーマは『Amazon Redshift』です。 Amazon Redshift(クラウドデータウェアハウスソリューション) | アマゾン ウェブ サービス(AWS 日本語) 目次 サービスの基本的な説明 高速且つフルマネージドなデータウェアハウス(DWH:Data Ware Hou
Hiveでは常識の部類に入る話なのかもしれませんが、僕が最近やったことなのでメモっておきます。 たとば以下のCSVファイルがあったとします。なお今回の例はタムタムの日記 - HiveでJSON形式のログを構造化するからいただきました。m( )m name,exam1,exam2,exam3 Irma,58,73,85 Doroty,50,39,11 Echo,95,47,96 Ina,50,68,38 Kay,15,11,46この場合に単純に以下のようなHiveのテーブルを用意してデータをロードするやり方だとカラム追加がおきたときに対応しなければなりません。 CREATE TABLE sample( name STRING, exam1 INT, exam2 INT, exam3 INT ) PARTITIONED BY (yyyymmdd STRING) ROW FORMAT DELIM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く