[新サービス]S3上のデータをSQLクエリで取得する、Amazon Athenaを試す #reinvent | DevelopersIO
コンニチハ、千葉です。Amazon Athenaが発表されましたので、さっそく試してみました。これは、ほんとすごいです。 Amazon Athenaとは？ 詳細はAWSの公式ブログAmazon Athena – Amazon S3上のデータに対話的にSQLクエリをに記載されていますのでこちらを参照ください。 Amazon Athenaについて、上公式ブログから引用です。 Athenaは新しいサーバレスクエリサービスで、Amazon S3に保存された膨大な量のデータを標準SQLを使って簡単に分析できます。シンプルにAmazon Simple Storage Service (S3)に保存したデータを指定し、フィールドを定義して、クエリを投げると、数秒で結果を得られます。皆さんは、クラスタや他のインフラを構築したり管理したりチューニングする必要はなく、実行したクエリに対してのみお金を払うだけで
![[新サービス]S3上のデータをSQLクエリで取得する、Amazon Athenaを試す #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2dae88f9022792145032c087b7530d3abcf941f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F12%2Feyecatch_athena.png)
In-Memory Columnar Store (IMCS)
Introduction Columnar store or vertical representation of data allows to achieve better performance in comparison with classical horizontal representation due to three factors: Reducing size of fetched data: only columns involved in query are accessed. Vector operations. Applying an operator to set of values (tile) makes it possible to minimize interpretation cost. Also SIMD instructions of modern
Database Lounge Tokyo #1 (2016/07/27 19:30〜)
Database Lounge Tokyo とは？ 「Databaseの幅広い話題を語れる場が欲しい！」ということで企画した勉強会＆交流会＆飲み会(?)です。仕事帰りにお酒を飲みながらDBについてゆる～く語る場にしたいと考えています。ぜひ Database Lounge Tokyo のグループページもご確認ください。 http://database-lounge-tokyo.connpass.com/ 第１回について とはいえ、最初からゆる～くやり過ぎてもあまり良い会にならなそうということで、第１回は下記の皆様に、ガチなお話をおねがいしました。 Mikiya Okuno (@nippondanji) KaiGai Kohei (@kkaigai) Hiroki Kumazaki (@kumagi) 講演内容は録画させて頂く予定です。後日YouTubeで公開します。 ビアバッシュについて 会
On columnar storage
We hope to have a chance to discuss this during the upcoming developer unconference in Ottawa. Here are some preliminary ideas to shed some light on what we're trying to do. I've been trying to figure out a plan to enable native column stores (CS or "colstore") for Postgres. Motivations: * avoid the 32 TB limit for tables * avoid the 1600 column limit for tables * increased performance There alrea
Parallel Query Execution - PostgreSQL wiki
Purpose Postgres currently supports full parallelism in client-side code. Applications can open multiple database connections and manage them asyncronously, or via threads. On the server-side, there is already some parallelism: effective_io_concurrency allows table page prefetch requests to the kernel, for bitmap joins Helper processes like background writer and wal writer offload I/O requirements
pg_shardとPGroongaを使ったレプリケーション対応の高速日本語全文検索可能なPostgreSQLクラスターの作り方 - 2015-05-18 - ククログ
マスターノードが落ちた時のために、マスターノードはPostgreSQL標準のレプリケーション機能を使ってバックアップサーバーを構築しますが、それはPostgreSQLの標準的な方法なのでここでは省略します。 それでは、まずはワーカーノードをセットアップし、その後マスターノードをセットアップします。 ワーカーノードのセットアップ ワーカーノードのセットアップ方法を説明します。ワーカーノードは2つありますが、どちらも同じ手順です。 PostgreSQLをパッケージでインストールします。 % sudo -H rpm -ivh http://yum.postgresql.org/9.4/redhat/rhel-$(rpm -qf --queryformat="%{VERSION}" /etc/redhat-release)-$(rpm -qf --queryformat="%{ARCH}" /et
Scaling out PostgreSQL for CloudFlare Analytics using CitusDB
Scaling out PostgreSQL for CloudFlare Analytics using CitusDB04/09/2015 When I joined CloudFlare about 18 months ago, we had just started to build out our new Data Platform. At that point, the log processing and analytics pipeline built in the early days of the company had reached its limits. This was due to the rapidly increasing log volume from our Edge Platform where we’ve had to deal with traf
[PostgreSQL] DBT3 実行中にシステム時間が増大 - NAKAMURA Minoru's Diary
2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1
PGCon2014: In-Memory Columnar Store extension for PostgreSQL
IMCS is In-Memory Columnar Store for PostgreSQL. Vertical data model is more efficient for analytic queries performing operations on entire column. IMCS provides 10-100 times improvement in performance comparing with standard SQL queries because of: data skipping: fetching only data needed for query execution parallel execution: using multiple threads to execute query vector operations: minimizing
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
富士通研、新DB処理エンジン--行の更新を列に即座に反映、リアルタイムに分析
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 富士通研究所は2月26日、データベースシステム上のタイムリーな大規模データ分析を可能にする、列形式のデータ格納と処理エンジンを開発したと発表した。オープンソースソフトウェア（OSS）のデータベース「PostgreSQL」の分析処理を50倍以上高速化し、メモリ容量が少ない中小規模のコンピュータシステムでも最新のデータが反映されたリアルタイムなデータ分析が可能になるという。 富士通のデータベース製品「FUJITSU Software Symfoware Server」への搭載に向け、2015年度中の実用化を目指す。 今回、PostgreSQL上で行形式データの更新を瞬時に反映でき、メモリ搭載量によらない列形式のデータ格納と、列形式データを高
Fujitsu Develops Column-Oriented Data-Processing Engine that accelerates analytic processing more than fifty-fold on a single server with PostgreSQL open-source database
Fujitsu Develops Column-Oriented Data-Processing Engine that accelerates analytic processing more than fifty-fold on a single server with PostgreSQL open-source database Fujitsu Laboratories Ltd. today announced that it has developed a column-oriented data-storage and processing engine that enables fast analysis of large volumes of data in a database system. In recent years, column-oriented databa
GpuNestedLoop - KaiGaiの俺メモ
現時点でPG-Stromが対応しているワークロードは以下の4つ。 全件探索 (GpuScan) 表結合 (GpuHashJoin) 集約演算 (GpuPreAgg) ソート (GpuSort) これに、GPU内の計算処理で使うデータ型や関数が対応しているかどうかで、GPUオフロードできるかどうかが決まる。 だいたいパッと思い付く程度にSQLクエリ処理で重い(CPUバウンドな)ヤツはカバレッジができてきたけれども、一つ大物が残っている。NestedLoop。 どう実装したものかと思っていたが、よいアイデアが浮かんだので備忘録代わりに。 NestedLoopの場合、結合条件が単純な X=Y の形式ではないので、HashJoinやMergeJoinを用いて効率的に処理する事ができない。要はDBの中で総当たりを行う事になるので非常に重い。 今までに実装した上記の4つのロジックでは、PG-Strom
OpenSCG
TO OUR CUSTOMERS, PARTNERS, AND VALUED SUPPORTERS: We’re excited to share that OpenSCG has been acquired by Amazon, and we’ll all be joining Amazon Web Services! Amazon is continually expanding its services to support virtually any cloud workload. And with the recent launch of Aurora PostgreSQL, we’ll be working with them to continue doing what we do best – offering professional services to suppor
並列Aggregateに向けて - KaiGaiの俺メモ
PostgreSQL Advent Calendar 2014に参加しています。 数日前、SimonがPgSQL-Hackersに面白いパッチを投げてきた。 曰く、 KaiGai, David Rowley and myself have all made mention of various ways we could optimize aggregates. Following WIP patch adds an extra function called a "combining function", that is intended to allow the user to specify a semantically correct way of breaking down an aggregate into multiple steps. Gents, is this what
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する！？ - PostgreSQLのCPUスケーラビリティについて - by NTT OSSセンタ 山田達朗![[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する！？ - PostgreSQLのCPUスケーラビリティについて - by NTT OSSセンタ 山田達朗](https://cdn-ak-scissors.b.st-hatena.com/image/square/0245276dc4837bb2df27cca5d6b75a79058f030c/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015b15postgresqlntt-oss-center-150619073139-lva1-app6891-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
PostgreSQL on EXT4, XFS, BTRFS and ZFS
Parallel Sequential Scan for PostgreSQL 9.5
HP Blogs - ジェットエンジンで知恵熱をブッ飛ばす ～HPサーバーに初めて恋した - The HP Blog Hub
富士通研、PostgreSQLの分析処理を50倍以上高速化できる技術を開発
