独自のIn-Database Analytics技術により従来比1,000倍以上の件数の高速データ分析に成功
株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）および株式会社NTTデータ数理システム（本社：東京都新宿区、代表取締役社長：山本 二朗、以下：NTTデータ数理システム）は、データウェアハウス（以下：DWH）に蓄積されるより大量なデータに対してより高速にデータ分析を行うためのIn-Database Analytics技術を共同で開発し、HPC（High Performance Computing）環境注1において大規模ベンチマークを実施した結果、従来比1,000倍以上の件数の高速データ分析に成功しました。 今回の大規模ベンチマークでは、In-Database Analytics技術をSAP社のDWH製品であるSAP IQに適用し、インテル社製の最新プロセッサーを搭載した業界標準サーバーの環境にて分析処理性能を測定しました。その結果、R言語注2などの従
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
how innodb lost its advantage
For years it was very easy to defend InnoDB’s advantage over competition – covering index reads were saving I/O operations and CPU everywhere, table space and I/O management allowed to focus on database and not on file systems or virtual memory behaviors, and for past few years InnoDB compression was the way to have highly efficient OLTP (or in our case – SGTP – Social Graph Transaction Processing
アップル、ジョブズの戦略と決別し「FoundationDB」を買収へ | readwrite.jp
（最新情報：FoundationDBのGitHubリポジトリは既に非公開になっている） これはもはやスティーブ・ジョブズのアップルではない。 TechCrunchは、アップルが「FoundationDB」を買収したと報道した。FoundationDBは比較的最近NoSQLに参入した企業で、業務用ソフトウェアをアップルが買収するのはこれが初めてだ。この買収はある面で奇妙にも映るが、別の面、すなわち人材獲得という意味ではうなずける。アップルはトップレベルのウェブおよびインフラ技術者を抱えるのに苦戦してきたためだ。 アップルはウェブやインフラにおいて、グーグルやフェイスブックなど、膨大なデータを必要とする企業に太刀打ちしなければならない。そのため、FoundationDBを買収し、優れたデータ関連技術者を獲得するに至ったのだ。 FoundationDBとは何者かFoundationDBは「NoS
Why We Chose Redshift | Amplitude
Get fast and easy access to customer insights at every step of their journey
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応
YouTubeがMySQLをスケールアウトする「Vitess」をオープンソースで公開。Kubernetesに対応 Google Cloud Platformのブログに投稿された記事「Scaling MySQL in the cloud with Vitess and Kubernetes」で、Vitessは次のように説明されています。 At YouTube, we went on that journey as we scaled our MySQL deployment, which today handles the metadata for billions of daily video views and 300 hours of new video uploads per minute. To do this, we developed the Vitess platform,
SQL Feature Comparison
Last updated: 2023-11-04 Items with (*) have a comment (or explanation) that is shown as a tooltip when hovering the mouse over them This comparison focuses on SQL features that can be used in SQL statements or self-contained SQL scripts that don't require additional software (e.g. a compiler) to be usable. Features for database administration or deployment are also not the focus of this compariso
utf8_unicode_ci に対する日本の開発者の見解 - かみぽわーる
RailsがMySQLのcollationをサーバー側のデフォルトのutf8_general_ciからutf8_unicode_ciにわざわざ変えてるのどうせ大した理由じゃないだろと思って掘ってみたらやっぱり大した理由じゃなかった… https://t.co/6NeetGhTF0— Ryuta Kamizono (@kamipo) April 18, 2014 Railsでcollationとしてutf8_unicode_ci(RailsのDEFAULT_COLLATION)が採用されるのはcharsetが未指定もしくはutf8(RailsのDEFAULT_CHARSET)のときだけで、utf8mb4にすることとかは全く考慮されてない。— Ryuta Kamizono (@kamipo) April 19, 2014 @frsyuki MySQLのcharset utf8のときのデフォルト
富士通研、新DB処理エンジン--行の更新を列に即座に反映、リアルタイムに分析
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 富士通研究所は2月26日、データベースシステム上のタイムリーな大規模データ分析を可能にする、列形式のデータ格納と処理エンジンを開発したと発表した。オープンソースソフトウェア（OSS）のデータベース「PostgreSQL」の分析処理を50倍以上高速化し、メモリ容量が少ない中小規模のコンピュータシステムでも最新のデータが反映されたリアルタイムなデータ分析が可能になるという。 富士通のデータベース製品「FUJITSU Software Symfoware Server」への搭載に向け、2015年度中の実用化を目指す。 今回、PostgreSQL上で行形式データの更新を瞬時に反映でき、メモリ搭載量によらない列形式のデータ格納と、列形式データを高
Fujitsu Develops Column-Oriented Data-Processing Engine that accelerates analytic processing more than fifty-fold on a single server with PostgreSQL open-source database
Fujitsu Develops Column-Oriented Data-Processing Engine that accelerates analytic processing more than fifty-fold on a single server with PostgreSQL open-source database Fujitsu Laboratories Ltd. today announced that it has developed a column-oriented data-storage and processing engine that enables fast analysis of large volumes of data in a database system. In recent years, column-oriented databa
GpuNestedLoop - KaiGaiの俺メモ
現時点でPG-Stromが対応しているワークロードは以下の4つ。 全件探索 (GpuScan) 表結合 (GpuHashJoin) 集約演算 (GpuPreAgg) ソート (GpuSort) これに、GPU内の計算処理で使うデータ型や関数が対応しているかどうかで、GPUオフロードできるかどうかが決まる。 だいたいパッと思い付く程度にSQLクエリ処理で重い(CPUバウンドな)ヤツはカバレッジができてきたけれども、一つ大物が残っている。NestedLoop。 どう実装したものかと思っていたが、よいアイデアが浮かんだので備忘録代わりに。 NestedLoopの場合、結合条件が単純な X=Y の形式ではないので、HashJoinやMergeJoinを用いて効率的に処理する事ができない。要はDBの中で総当たりを行う事になるので非常に重い。 今までに実装した上記の4つのロジックでは、PG-Strom
OpenSCG
TO OUR CUSTOMERS, PARTNERS, AND VALUED SUPPORTERS: We’re excited to share that OpenSCG has been acquired by Amazon, and we’ll all be joining Amazon Web Services! Amazon is continually expanding its services to support virtually any cloud workload. And with the recent launch of Aurora PostgreSQL, we’ll be working with them to continue doing what we do best – offering professional services to suppor
並列Aggregateに向けて - KaiGaiの俺メモ
PostgreSQL Advent Calendar 2014に参加しています。 数日前、SimonがPgSQL-Hackersに面白いパッチを投げてきた。 曰く、 KaiGai, David Rowley and myself have all made mention of various ways we could optimize aggregates. Following WIP patch adds an extra function called a "combining function", that is intended to allow the user to specify a semantically correct way of breaking down an aggregate into multiple steps. Gents, is this what
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［速報］マイクロソフト、クラウドのデータ分析基盤「SQL Data Warehouse」発表。Amazon Redshiftに対抗。Build 2015
NTTデータ、独自のIn-Database分析で従来比1000倍以上の高速データ分析に成功
http://istc-bigdata.org/index.php/oltp-database-systems-for-non-volatile-memory/
Parallel Sequential Scan for PostgreSQL 9.5
HP Blogs - ジェットエンジンで知恵熱をブッ飛ばす ～HPサーバーに初めて恋した - The HP Blog Hub
富士通研、PostgreSQLの分析処理を50倍以上高速化できる技術を開発
https://atnd.org/events/62925
