AWSのフルマネージド型 ETL サービス『AWS Glue』の紹介動画を観て来たるべきリリースに向けて情報収集してみる | DevelopersIO
昨年2016年12月の『AWS re:Invent 2016』で発表された、AWSによるフルマネージド型ETLサービス『AWS Glue』。イベント当日での発表では『今後リリース予定です』との内容に留まり、詳細なリリース時期等は明らかになっていませんが、イベントにてAWS Glueの内容について言及されたセッションが展開されており、関連するYouTube動画もアップされていました(特にこの動画について触れている人が居なかった)ので、今後来るであろう正式リリースに向けて事前に情報を把握、予習しておこうと思います。 ちなみに以下が2016年12月のre:Invent 2016 キーノートでAWS Glueが発表された際のYouTube動画シーンです。 目次 なぜAWSはETLサービスを作るのか？ なぜ、AWSはETLの領域に足を踏み入れたのか？ "ETL処理"は分析作業において最も大きな時間を
ビッグデータの成熟期に改めて見直したいETL - About connecting the dots.
Hadoopが出てきてから10年，ビッグデータという言葉が流行り始めてからでも5年以上が経ち，2016年現在では，Hadoopエコシステムを使ったデータ活用が当たり前のものとしてあります．とはいえ巷に出回っているビッグデータ活用事例というのは，綺麗な上澄みだけをすくい取っていたり，リリースしたてのピカピカのときに発表されていたり，というのが大半で，それが結構個人的に気に食わなかったりします． ビッグデータが当たり前のものになっている現在においては，単に作っただけで価値があるというフェーズは過ぎ去っていて，継続的に運用しながら価値を生み出し続けることが，非常に重要な問題だと思います．特にビッグデータ界隈はミドルウェアやツールの陳腐化が激しく，またビジネス自体の変化速度も過去と比べてどんどん速くなっているわけで，そういった変化に対応していくためには，また別のスキルが必要とされるのではないでしょ
Clouderaで作るデータ分析環境 - 科学と非科学の迷宮
wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば Web ブラウザ上から設定できます。デモビデオはこちら。 Pig Hive の影に隠れがちなクエリ言語ですが、特に ETL として使う場合は書きやすいです。中身は MapReduce。Java はもちろん、Python、Javascript、Ruby、そしてGroovyでUDFが書けるのが特徴。HCatalog というツールのおかげで Hive 同様スキーマを扱えるようになりました。 Hue を使えば Web ブラウザ上から実行できます。デモビデオはこちら
オープンソース・データ統合ツールの仏Talendが日本に進出へ
左からTalend副社長のVicent Pineau氏，共同創業者CEOのBertrand Diard氏 オープンソースのデータ統合ツール・ベンダー仏Talendが日本市場に進出する。来日した，Talendの創業者でありCEO Bertrand Diard氏が2009年7月6日，ITproと会見し明らかにした。 Talendは2006年に設立されたデータ統合ツール・ベンダー。データの抽出・変換などを行うデータ統合ツールTalend Open Studioや，データ・プロファイリングTalend Open Profilerなどを開発，オープンソース・ソフトウエアとしてGPLで公開している。JavaおよびPerlを利用している。 またTalend Open Studioに管理ツールや共有リポジトリ，負荷分散機能などを追加したサブスクリプション・サービスTalend Integration Su
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Drudgery by jisraelsen
IBM Developer
