GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]
![GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
平素よりQA@ITをご利用いただき、誠にありがとうございます。 QA@ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA@ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、@ITの今後のメディア運営方針などを検討した結果、2020年2月28日(金)15:00をもちましてQA@ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA@ITの7年間で皆さまの知識
青柳です。 PostgreSQLのSQLをチューニングするのに役に立つドキュメントは本家のドキュメントです。 ただし、本家のドキュメントは読みにくいところがあるので、用語の解説とわかりやすい説明のリンクをつけました。 本家を読みながらか、先にこちらを読んでから本家を読むとよいです。 あと、実際のチューニング例のリンクも追加しました。 第 14章性能に関するヒント http://www.postgresql.jp/document/9.2/html/performance-tips.html ■用語 ・シーケンシャルスキャン テーブルを順に走査していく。テーブルの多数を読む場合、インデックススキャンよりも有効。インデックススキャンはインデックス用のデータ領域にアクセスするので余分にアクセスすることになる。例えば本の全てを読むのに一々目次を見ながら読むのは効率的では無いのと一緒。 ・インデック
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは?(前編) NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは?」で紹介しています。講演内容をダイジェストにしまし
PostgreSQL Advent Calendar 2014 の 13日目です。 Advent Calendar を今年もやってみたいと思って、枠が空いていたので飛び込んでみました。 昨日は osapon さんの libpqxx を使ってみたでした。 概要 PostgreSQL のパフォーマンスチューニングは大きく下記に分かれます。 システムチューニング SQL チューニング ここでは Linux 上で動かしていることを前提に、それぞれ説明します。 システムチューニング システムチューニングの概要 システムチューニングとは、OS または PostgreSQL の設定を変更することです。 それぞれ順に説明します。 OS チューニング PostgreSQL では特にメモリ関連でOSパラメータを設定変更すると、高速化効果が得られます。 特に下記のカーネルパラメータに注意します。 vm.dirt
PostgreSQL GUI tool for macOS PSequel provides a clean and simple interface for you to perform common PostgreSQL tasks quickly. FAQWhy yet another PostgreSQL GUI client? Why not just pgAdmin?Well, pgAdmin is great for its feature-richness. However, I found its UI is clumsy and complicated. I know there is a list of PostgreSQL GUI Tools. However, they are either web-based, Java-based* or don't supp
2. 自己紹介 ▌名前: 海外 浩平 ▌所属: NEC OSS推進センター ▌好きなもの: コアの多いプロセッサ ▌嫌いなもの: コアの少ないプロセッサ ▌経歴: HPC OSS/Linux SAP GPU/PostgreSQL ▌Tw: @kkaigai ▌主な仕事 SELinux周り諸々 (2004~) •Lockless AVC、JFFS2 XATTRなど PostgreSQL周り諸々 (2008~) •SE-PostgreSQL、Security Barrier View、Writable FDWなど PG-Strom (2012~) DB Tech Showcase 2014 Tokyo; PG-Strom - GPGPU acceleration on PostgreSQL Page. 2 4. GPU (Graphic Processor Unit) の特
最近、精力的にPostgreSQL関連の検証や技術情報の公開をしている日本HPさんから、「PostgreSQL Internals」という技術文書がPDFで公開されました。 日本HP ITサービス「HP OPEN SERVICES」 http://h50146.www5.hp.com/services/ci/opensource/ 上記ページの下の方に「PostgreSQLエンジニア向け!ストレージ内部構造および内部動作検証報告」というタイトルのPDFファイルをダウンロードすることができます。 PostgreSQLエンジニア向け!ストレージ内部構造および内部動作検証報告 http://h50146.www5.hp.com/services/ci/opensource/pdfs/PostgreSQL_Internals.pdf 章レベルで目次を抜き出すと以下のような内容になっています。 本文
米TransLatticeは5月13日(米国時間)、PostgreSQLベースの新データベースシステム開発プロジェクト「Postgres-XL」を立ち上げた。PostgreSQLにスケールアウトやクラスタといった大規模データ処理用の機能を加えたもので、オンライントランザクション処理(OLTP)やビックデータ分析用に設計したという。 TransLatticeはPostgreSQLベースの分散リレーショナルデータベース「TransLattice Elastic Database」を開発するデータベースベンダー。TransLattice Elastic Databaseでは地理的に分散したデータ管理が可能で、クラウドおよびクラウド/オンプレミスのハイブリッド環境で利用できる。 Postgres-XLは同社が2013年10月に買収したStormDBの技術をベースとしたもの。同社は買収後「Trans
本コンテンツは、2014年1月30~31日に筑波大学で開講された「情報システム特別講義D」における講義「Inside PostgreSQL Kernel」の内容を再構成、加筆・修正したものです。 はじめに 本コンテンツについて 本コンテンツへのフィードバックについて アーキテクチャ概要 PostgreSQLの構成要素 PostgreSQLの基本的なアーキテクチャ SQL文の処理される流れ トランザクション管理 トランザクション処理におけるACID特性 各レコードの可視性の管理 Atomicity(原子性)の実装 Consistency(一貫性)の実装 Isolation(分離性)の実装 トランザクション分離レベルの定義 Durability(永続性)の実装 チェックポイント メタデータ管理 pg_controlファイル OID/XID/TID システムカタログ MVCCとストレージ構造 テ
セミナー資料 Home イベント・セミナー セミナー資料 2024 セミナー資料 2024 「データベース入門 ~ PostgreSQLをインストールして、SQLの学習を始めよう! ~」 PDF形式 / 1,839 KB / 46ページ 【オープンソースカンファレンス実行委員会主催】Open Source Conference 2024 Kyoto 2024 年 07 月 27 日 「Zabbix の概要と Zabbix 7.0 新機能解説」 PDF形式 / 3,245 KB / 79ページ 【SRA OSS 主催】Zabbix 最新情報セミナー ~ Zabbix 7.0 新機能解説と SRA OSS の最新事例紹介 ~(Webinar) 2024 年 07 月 24 日 「PostgreSQL マルチマスタレプリケーション徹底比較」 PDF形式 / 1,110 KB / 24ページ 【イ
LPI-Japanが、オープンソースのデータベースソフト「PostgreSQL」を対象にした新たな技術者認定試験を始める。技術者の育成を通じて、オープンソースDBの普及を後押しする。 Linux技術者認定試験「LPIC」(Linux Professional Institute Certification)を手掛けるLPI-Japanは2月1日、「オープンソースデータベース技術者認定試験」(OSS-DB Exam)を早ければ7月にも開始する予定だと発表した。現在は試験問題の開発を進めている最中で、3月中にβ版のテストを実施する予定だ。 世界共通の認定制度であるLPICと異なり、OSS-DB ExamはLPI-Japanが独自に制定して実施する。LPI-Japanの成井弦理事長は、「企業のニーズにきめ細かく対応できるオープンソースのPostgerSQLは、日本で広く普及している。商用データベ
IBM TechXchange Community Together, we can connect via forums, blogs, files and face-to-face networking. Find your community Where is my content? If you’re looking for developerWorks content or a Support forum and ended up here, don't panic! You are in the right place. The content you're looking for. This page will help you find the content you are looking for, get answers to your questions, and f
DBを運用していると、どのテーブルが実際にどれくらいのファイルサイズなのかを知りたい場面があるかと思います。 そんな時、DBが使用している実データサイズを調べる方法を説明したいと思います。(データベース/テーブル) 今回はPostgreSQLが対象です。※9.1で確認しました。おそらく8系でも同じ方法かと思います ■ データベースの実データサイズを調べる データベースにはそれぞれoidという識別子が設定されています。 そして、実際にデータが格納されているディレクトリ名にもこのoidが付いています。 ですので、このoidが分かれば、あとは該当のディレクトリのサイズを調べることで、データベースの実データサイズが分かるのです。 oidはpg_stag_databaseという稼働統計情報から調べることができます。 # select datid,datname from pg_stat_databa
Heroku の基本 Hello Heroku(Web アプリケーション) Hello clockwork on Heroku(定期実行アプリケーション) foreman について 複数のプロセスを管理する Ruby 上のツール/ライブラリ clockwork について cron の代替となる機能を単独で提供してくれる軽量のツール/ライブラリ Git について ローカル環境で試す 目的 Heroku は標準のデータベースとして Postgres をサポートします。 Heroku で Postgres を利用するための準備から、運用時に必要となるバックアップの扱い方の方法までをまとめます。 Heroku で Postgres を利用する場合、Heroku Postgres という Heroku が提供しているデータベースクラウドを使うアドオンを使用します。 他のアドオンの選択肢もあり、他のデ
PostGIS Downloads and Documentation Refractions Research was originally the sole developer of PostGIS. Now that the project has grown and expanded, there is a large community of contributors and a Project Steering Committee that leads the project. All the latest software updates and documentation can be found at the community website Postgis.net What is PostGIS? PostGIS is a spatial database exten
pgRouting Project¶ pgRouting extends the PostGIS / PostgreSQL geospatial database to provide geospatial routing functionality. Advantages of the database routing approach are: Data and attributes can be modified by many clients, like QGIS through JDBC, ODBC, or directly using Pl/pgSQL. The clients can either be PCs or mobile devices. Data changes can be reflected instantaneously through the routin
はじめての人もそうでない人もはじめまして。 河野と申します。 いきなりすいません・・・。 私の名前をさっそく覚えていただいた方には申し訳ないのですが、 弊社にはもう一人河野というものがおり、そっちとは違う方と覚えて頂けると溜飲が下がります…。 さて、今回 Fusic Advent Calendar の一番槍として最初に寄稿させて頂くことになりました。 本日はお題の通り PostgreSQL の VACUUM をなんとなくでするのはやめようという提案を、全国 4,000万の VACUUM ファンの皆様にしたいと思います。 尚、PostgreSQLの対応バージョンは 8.3 以降となります。 PostgreSQL のメンテナンスと VACUUM データベースに PostgreSQL を採用している会社はどのくらいあるのでしょう? オープンソースのデータベースでは MySQL が多く採用されてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く