データレイクの新しいカタチ：Open Table Formatの紹介 - 流沙河鎮
はじめに Open Table Formatは次世代のデータレイクの基盤となり得る技術で、徐々に導入事例(末尾に列挙)が増えてきているものの、日本での認知度は発展途上な印象がある。本記事ではOpen Table Format登場の背景を紹介する。執筆にあたって、Apache Iceberg: An Architectural Look Under the CoversとAWSにおける Hudi/Iceberg/Delta Lake の 使いどころと違いについてを特に参考にした。 Open Table Formatとは？ Open Table Formatとは、従来のデータレイクの技術的な課題&ユースケースの要請に応える形で登場した、データレイクに最適化されたテーブルフォーマットを指す概念で、上手く活用することでクエリプランニング、実行性能の最適化、効率的なUpdateやDelete、タイム
ビッグデータはどう収集するか | Hadoop Times
人工知能（AI）と機械学習は、近年急速に注目を集めているテクノロジーであり、その意味と重要性を理解することは、ビッグデータ時代において非常に重要です。 人工知能は、コンピューターシステムに人間のような知的な能力を付与する技術の総称です。機械学習はその一部であり、コンピューターがデータから学習し、経験に基づいて問題を解決する能力を獲得する手法です。 これらの技術は、あらゆる業界や分野において多くの可能性を秘めています。例えば、製造業では品質管理や予測生産性の向上に役立ちますし、医療業界では診断や治療の精度向上に寄与します。さらに、マーケティング分野では顧客行動の予測やパーソナライズドなサービス提供に応用されます。 ただし、これらの技術を導入するには適切なデータが必要です。ビッグデータ時代には膨大なデータが生成されますが、それを収集し、整理することは容易なことではありません。そのため、適切なデ
Apache Kylin | Analytical Data Warehouse for Big Data
Apache Kylin™ is an open source, distributed Analytical Data Warehouse for Big Data; it was designed to provide OLAP (Online Analytical Processing) capability in the big data era. By renovating the multi-dimensional cube and precalculation technology on Hadoop and Spark, Kylin is able to achieve near constant query speed regardless of the ever-growing data volume. Reducing query latency from minut
Hiveを高速化するLLAP
Hadoop/Spark Conference Japan 2016( http://hcj2016.eventbrite.com )で発表した資料Read less
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
金融機関でのHive/Presto事例紹介
Hadoop/Spark Conference Japan 2016でのライトニングトークの資料 by Ryosuke Iwanaga (@riywo) Read less
2014年の象(Hadoop)四方山話
Spark, SQL on Hadoop etc. Advent Calendar 2014 1日目、およびHadoop関連（全部俺） Advent Calendar 2014の1日目です。 初日なので、昨年ブログに続いて2014年のHadoop関連の話題をまとめます。 ※このブログの内容は所属している組織には関係なく、個人的な雑感です。間違いがあればご指摘下さい。 ※なお、中立的に書いているつもりですが、多少偏りがあるかもしれません。が、特に悪意はありません :p 俺的Hadoopの話題2014: ベスト3 Apache Sparkの盛り上がりが加速 SQL on Hadoop は混沌 Hadoopは堅調に進化。徐々に消えていく！？ （次点: Hueも大幅に進化してますが、これはいずれ紹介します） 1. Apache Sparkの盛り上がりが加速 今年になってますます盛り上がっているAp
Apache Flink: New Hadoop contender squares off against Spark
Apache Flink: New Hadoop contender squares off against Spark A flexible replacement for Hadoop MapReduce that supports real-time and batch processing, Flink offers advantages over Spark The quest to replace Hadoop’s aging MapReduce is a bit like waiting for buses in Britain. You watch a really long time, then a bunch come along at once. We already have Tez and Spark in the mix, but there’s a new c
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Apache Tez : Accelerating Hadoop Query Processing
Apache Tez is the new data processing framework in the Hadoop ecosystem. It runs on top of YARN - the new compute platform for Hadoop 2. Learn how Tez is built from the ground up to tackle a broad spectrum of data processing scenarios in Hadoop/BigData - ranging from interactive query processing to complex batch processing. With a high degree of automation built-in, and support for extensive custo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HadoopのSQLクエリーをFPGAで高速処理、日立が2019年に製品化 | 日経 xTECH（クロステック）
Apache Impalaパフォーマンスチューニング #dbts2018
SQL on MongoDB - Apache Drill
Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources (PDF)
Cloudera Blog
Benchmarking Big Data SQL Platforms in the Cloud
Ultra-fast OLAP Analytics with Apache Hive and Druid - Part 1 of 3 - Cloudera Blog
Benchmark: Sub-Second Analytics with Apache Hive and Druid - Cloudera Blog
Apache Hadoop Distribution | MapR
ビッグデータ可視化の性能を徹底検証 〜SparkSQL、Hive on Tez、Hive LLAPを用いた既存RDBデータ 処理の特徴〜
