Spark 2.0 で Spark SQLを試す - astamuse Lab
こんにちは！Spark大好きな朴です。 本日はSpark 2.0で大幅の改善が行われてたSpark SQLについて書こうと思います。 弊社ではCDHのバージョンアップをこまめに行うことでSpark,HBaseなどのプロダクトの最新バージョンを常に試せる環境を作っております。 Spark 2.0についても先日弊社福田のもう待てない、Spark2.0の導入と実践にも書いてたとおり もう使えるようになりました。 ということで少し乗り遅れた感もありますが、本日はSpark 2.0でSpark SQLの実力を試したいと思います。 Spark 2.0でSpark SQLの主な変更点は以下の３つ SparkSession 性能改善 サポートするSQLが増えた 本日は上記３つの改善について触れてみたいと思います。 【変更その１】 SparkSQLのニューエントリポイントSparkSession Spark
【資料公開】Cloudera World Tokyo 2016で登壇しました - DMM.comラボエンジニアブログ
こんにちは！ DMM.comラボ ビッグデータ部の中野です。 11月8日に開催されたCloudera World Tokyo 2016に ビッグデータ部の中野と領家で登壇してきました。 資料の公開も含めて簡単に報告させていただければと思います！ セッションの概要 セッションタイトルはコチラ。 『Deep Learningを用いた類似画像レコメンドのSQL on Hadoopによる実現』 簡単に申し上げますと・・・ Deep Learningを用いたお手軽類似画像レコメンドのご紹介です！ 画像の特徴抽出から類似度計算までをHiveなどのSQL on Hadoopで実現しました。 Deep Learningによる画像解析ではアニメや漫画などのイラスト画像から髪型や服装、表情などの特徴を抽出しています。 この特徴を用いて、商品のパッケージ画像による類似画像レコメンドの実現に関して説明しました。
Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など
Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など 分散処理フレームワークの「Apache Spark 2.0」正式版のリリースが、開発元のDatabricksから発表されました。これまでApache Sparkはバージョン1.x（直前の最新版は1.6）でしたので、メジャーバージョンアップとなります。 Spark 2.0で最大の新機能は、新しいSQLパーサーを採用したことによるANSI SQL（SQL 2003）への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能と説明されており、プログラマが慣れ親しんだ一般的なSQL文はすべて実行可能になります。 また、DataFrameとDatasetは統合されたAPIとなりました。 こうしたAPIの変更や改善が行われた一方で、Spark 2.0ではパフ
【資料公開】 Datapaloozaで登壇してきました - DMM.comラボエンジニアブログ
はじめに こんにちは！ DMM.comラボ ビッグデータ部の鈴木です。 先週の水・木曜日(6/15~6/16)に開催されたIBM Datapalooza Tokyo - Japanに 弊社加嵜/鈴木で登壇してきました。 主なターゲットはデータサイエンティスト・データエンジニアです。 私鈴木は、このイベントが初の登壇となりドキドキでしていましたが･･････ 無事終了することが出来て安心しています。 どんなセッションだったのか？ セッションのタイトルがコチラ 「DMM.comにおけるビッグデータ処理のためのSQL活用術」 セッションの概要 現在DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、 各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集、 データドリブンマーケティングやマーケティングオートメーションに活用しています。 本発表では、DMM.comのビッグ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NameBright - Domain Expired
