Amazon Athena for Apache SparkでApache Icebergフォーマットのテーブルを作成してみた | DevelopersIO
Amazon Athena for Apache SparkでApache Icebergフォーマットのテーブルを作成してみた Amazon Athena for Apache Sparkで新しく対応したnon-Hiveテーブルフォーマットのうち、Apache Icebergのサンプルをノートブックから実行しました。 データアナリティクス事業本部の鈴木です。 今日はクラスメソッドの創業記念日ですね。私はAmazon Athena for Apache Sparkの新機能を試してみたのでご紹介します。 先日、Amazon Athena for Apache SparkでもApache Iceberg・Apache Hudi・Delta Lakeの対応がアナウンスされました。 気になっていたのですが触れていなかったので、ガイド通りの操作ですが、どんなかんじなのか試してみました。 本記事の内容
2020年現在のNewSQLについて - Qiita
Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
PostgreSQL ソースコードリーディング | Youki Shiraishi
PostgreSQL Server PostgreSQL のアーキテクチャを頭に叩き込んでおこう． 上の図は PostgreSQL サーバーの主要なコンポーネントとそれらの関係を表している． PostgreSQL は，クライアントサーバーモデルに基づく共有メモリ型のアーキテクチャを採用している． サーバープロセス postgres は，クライアントからコネクション要求を受け取るとフォークしてバックエンドプロセス postgres を生成する． 生成されたバックエンドプロセスは，以降，そのクライアントとのやりとりを担う． クライアントは，バックエンドプロセスと通信してクエリを送信したり，結果を受け取ったりする． PostgreSQL のすべてのプロセス間で共有されるメモリ領域は，共有メモリと呼ばれる． 共有メモリは，主に低速なストレージへのアクセスを減らすバッファとして機能する． ストレージ
はじめてのPostgreSQLモニタリング入門 / PostgreSQL 11 Monitoring
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
NoSQLデータベース：調査と決定のガイダンス（その2） | POSTD
(訳注：2016/10/3、頂きましたフィードバックを元に記事を修正いたしました。) 3. 技術 大きな成功を収めているデータベースはいずれも、特定の種類のアプリケーション向けに設計されているか、望ましいシステムの性質の特定の組み合わせを実現するよう設計されています。これほど様々なデータベースが存在するシンプルな理由は、「どんなシステムも、望ましい性質全てを一度に実現することはできないから」です。PostgreSQLのような従来のSQLデータベースは、包括的な機能を提供するために構築されてきました。包括的な機能とはつまり、極めて柔軟なデータモデルや、結合を含む洗練されたクエリ機能、グローバルな整合性制約やトランザクションの保証などです。それとは対照的な設計として、Dynamoのようなkey-valueストアもあり、データ量やリクエスト量に応じてスケールし、高いスループットで読み書きを行うと
「データのライフ・サイクル」で考えるHadoopの使いどころ
前回は、Hadoopがどのような仕組みでスケール・アウト性を実現しているのかを述べました。また、Hadoopが基本的に、バッチ処理のスループットの向上を目的にしていることを指摘しました。 Hadoopには、「できること」と「できないこと」があります。処理の性質によっては、既存のリレーショナル・データベース管理システム（RDBMS）や、最近注目されているKey-Value Store（KVS）型データベースなどが適していることもあります。 今回は、RDBMSが果たしている役割とニーズの変化を踏まえながら、「データのライフ・サイクル」に着目して、RDBMS、Hadoop、KVSの3者をどのように使い分けていくべきかを解説します。 RDBMSが果たしている役割 RDBMSは、米IBMの研究所に勤務していたエドガー・F・コッドが1970年に発表した、「関係モデル」というデータ・モデルを採用したデー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchの使い方 // Speaker Deck