PostgreSQLのvacuumについて調べたメモ - Qiita
vacuumとは： そもそも、なぜvacuumが必要なのか 公式ドキュメント： https://www.postgresql.jp/document/9.6/html/sql-vacuum.html 以下公式ドキュメントより引用 VACUUM は、不要タプルが使用する領域を回収します。 PostgreSQLの通常動作では、削除されたタプルや更新によって不要となったタプルは、テーブルから物理的には削除されません。 これらのタプルはVACUUMが完了するまで存在し続けます。 そのため、特に更新頻度が多いテーブルでは、VACUUMを定期的に実行する必要があります。 テーブルからレコードを削除する際、論理削除される。 VACUUMは、削除フラグの付いたレコードを物理削除、FULL付の場合は、さらにデフラグを行うようなイメージ。 そのため、頻繁に更新されるテーブルに対して行うと効果的。とのこと。 タ
データベースファイルのレイアウト
59.1. データベースファイルのレイアウト本節ではファイルとディレクトリというレベルで格納書式について説明します。 伝統的に、データベースクラスタで利用される制御ファイルとデータファイルは、クラスタのデータディレクトリ内に一緒に格納され、通常（このディレクトリを定義するために使用できる環境変数名にちなんで）PGDATAとして参照されます。 通常のPGDATAの位置は/var/lib/pgsql/dataです。 異なるサーバインスタンスによって管理することで、複数のクラスタを同一のマシン上に存在させることができます。 表59-1に示すように、PGDATAディレクトリには数個のサブディレクトリと制御ファイルがあります。 これら必要な項目に加え、クラスタの設定ファイルであるpostgresql.conf、pg_hba.confおよびpg_ident.confが、他の場所にも置くことができますが
PostgreSQLで各DBが使用している容量を確認 - Qiita
PostgreSQLで各DBが使用しているディスク容量を調べる方法のメモ。 SQLで確認する方法 DBにログインして以下のSQLを実行すると、DB一覧と使用容量が確認できる。 SELECT datname, pg_size_pretty(pg_database_size(datname)) FROM pg_database; 結果： 実データで確認する方法 DBサーバの実データからも確認ができる。 まず、PostgreSQLでは各DBに「oid」という識別子がある。 実データのディレクトリ名称はoidのため、先にどのDBがどのoidかを調べる必要がある。 DBにログインして以下のSQLを実行すると、DB一覧とoidが確認できる。
【PostgreSQL】データベースのディレクトリ構造やファイルの役割について
今回は、オープンソースソフトウェア（OSS）のデータベースでもとくに有名な PostgreSQL の基本的な運用コマンドについて解説します。データベースへのアクセス、情報の取得、データベース一覧の表示、テーブル一覧の表示など運用に役立つコマンドや操作が中心となります。 PostgreSQL のインストール手順及び初期設定については以下を参考にしてください。 【PostgreSQL】【CentOS7】yum コマンドでインストール＆初期設定（ユーザー作成、パスワード設定、データベース作成、権限割り当て）手順 (adsbygoogle ... PostgreSQL のインストールと初期設定の手順については、以下を参考にしてください。 【PostgreSQL】【CentOS7】yum コマンドで PostgreSQL インストール＆初期設定（ユーザー作成、パスワード設定、データベース作成、権
MacにPostgreSQL9.6.3をインストールしてみた - Qiita
環境 OS：macOS Sierra 10.12.3 Homebrew：1.2.0 Homebrew/homebrew-core (git revision 5045; last commit 2017-05-11) PostgreSQL：9.6.3 インストール PostgreSQLのインストール Homebrewを使えば一発でインストールできます。 Homebrewを最新にしてからPostgreSQLをインストールします。 $ brew update … $ brew install postgresql ==> Downloading https://homebrew.bintray.com/bottles/postgresql-9.6.3.sierra.bot #############################################################
PostgreSQLでの部分データ移行 - yuumi3のお仕事日記
開発環境から本番環境へデータベースを移行する場合など、PostgreSQL では pg_dump でダンプし psql で読み込む(pg_dumpのダンプファイルは SQL文なので、正確には実行)という事を行うと思います。 移行するデータが全体なら pg_dump、 テーブル単位なら pg_dump -t TABLE でダンプできますが、 「あるテーブルのある条件にあてはまるものだけ」という場合は pg_dump では出来ません。 こんな時、PostgreSQL がバージョン8以降なら COPY 文の query 指定が便利です。 SQL> COPY (SELECT * FROM sample_table WHERE id > 10000) TO '/tmp/sample_dump'; のようなSQLを実行すると /tmp/sample_dump に 条件に合ったデータが書かれるので、エデ
matplotlibでのプロットの基本
matplotlibを使ってプロットする時、プロットするたびに関数を調べることが多く、効率が悪いので、よく使うものについて情報まとめておく。 matplotlib, pyplot, pylabの関係性 まず、「各々の言葉が何を指すのか」から。 Matplotlib: データビジュアライゼーションパッケージの全体を指す。 pyplot: matplotlibパッケージ内のモジュールを指す。欲しいプロットを作るために暗黙的かつ自動的に図形や軸を作成するインターフェース。基本的にはこのモジュール越しにmatplotlibの機能を活用する。以下のようにインポートして置くのが一般的。 pylab: pyplotとnumpyモジュールを一括インポートするものであるが、現在では特にJupyter notebookやipythonカーネルを使っている場合に奨励されないので、注意すること。 グラフの構成要素
matplotlib入門 - りんごがでている
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
Plotly Dashで簡単に可視化ができるWebアプリを作る - Qiita
Plotly Dashとは Plotly Dash(正式名称はDashらしいですが、他にもDashという名前のアプリが色々あるのでこの表記とします)はPython製のWebアプリケーションのフレームワークです。 FlaskやBottleなど、Python製のWebフレームワークは色々ありますが、Plotly DashはPlotlyを使用した可視化されたデータを組み込むことができます。 インストール pipでインストールします。condaでインストールできるかどうかは確認していません。 pip install dash==0.17.7 # The core dash backend pip install dash-renderer==0.7.4 # The dash front-end pip install dash-html-components==0.7.0 # HTML compo
Python3のdatetimeはタイムゾーンを指定するだけで高速になる - Qiita
はじめに Pythonで時間を扱う定番の標準ライブラリといえばdatetimeですね． 適当に使っても全く問題なく使えるライブラリですし，ちょろっと呼び出すだけならパフォーマンスを気にする必要すらありません． しかし，数万回，数千万回とdatetimeを生成する必要に迫られた時，ボトルネックは顕在化してきます． そこで，ちょっとしたことに気をつけるだけでパフォーマンスが若干向上する事を発見したので，そのご紹介です． 結論を書くと標準ライブラリのtimezoneを使ってdatetimeを生成しようというお話です． ※ちなみに，タイトルの通りPython3限定のお話です． 結論 いきなり結論だけ書きます．それ以降は興味があればご覧ください． datetimeは次のように生成するのが良いと思います． ポイントはtimezoneを指定するかどうか．．．それだけです． from datetime i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ファイルシステムレベルのバックアップ
pythonでbitbankのAPI実行方法｜かかってコアラ
bitbankで自動取引(bot)をを作成・運用｜かかってコアラ