textsearch_ja-8.4.0 で drupal-tsearch | お試しlog4
JUGEMテーマ：コンピュータ 久々に開催となる週末のdrupal勉強会に向けてネタ仕込み。 少し面倒くさかったdrupal-tsearchによる日本語全文検索であるが、 2009年1月に更新されたバージョンのtextsearch_ja-8.4.0(http://pgfoundry.org/projects/textsearch-ja/)がリリースされていたので、postgresqlの設定（postgresql.conf）を変えるだけで使えそうなので試してみた。 設定変更は、次の箇所のみである。 -- default_text_search_config = 'pg_catalog.japanese' -- ※ この設定は、postgresql-8.3 で有効になったものである。 これにて、以前に試みたような、日本語対応をさせるためのパッチ(http://a98.jugem.jp/?eid
postgresql/PostgreSQL8.4で全文検索を行う – memo
PostgreSQL8.4で全文検索(textsearch-ja) 作成日 2010/09/15 特徴 形態素解析を使った全文検索機能。 文法的に整った文書を検索する場合に有効な方法である。 SQLのLIKE文に近い結果を得たい場合には適さない。 そのような用途の場合は、N-gramアルゴリズムを採用しているtextsearch_sennaを利用すると良い。 前置き 全文検索機能は、最近ではSolrが人気である。高速かつレプリケーション機能も付いておりスケールアウト(サーバを増やす事で性能を向上させる事)が可能である。 SolrはPostgreSQLとは独立した全文検索エンジンでJava+Tomcatで動作する(サーブレットなので、Tomcat以外でも動作する)。 しかしながら、それほど大きくない規模であればPostgreSQL上で全文検索機能を使えたほうが何かと便利である。 ここでは、P
textsearch_senna
N-gram を使用した、組み込み型の日本語全文検索です。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 インストール テキスト検索機能 %% 演算子 @@ 演算子 インデックス (senna) インデックス・オプション (WITH) インデックスのメンテナンス senna.drop_index() senna.reindex_index() 不要ファイルの調査 TODO 概要 日本語テキストの全文検索を行います。 形態素解析ベースである textsearch-ja とは異なり、textsearch_senna では N-gram ベースの全文検索を行います。 検索には、全文検索エンジン Senna を使用しています。 利点として、文字すべてをインデックス化するため LIKE 中間一致検索に近い結果
試験管のなかのコード :: Ludia にチャレンジ
Ludia にチャレンジ Ludia とは Ludiaは高速かつ高精度な全文検索インデックス機能をオープンソースのデータベース管理システムであるPostgreSQLに提供します。Ludia は株式会社NTTデータにより開発され、2006年10月11日にLGPLライセンスのオープンソースソフトウェアとして公開されました。 ということで、PostgreSQLに全文検索機能付加するソフトウェア。 Senna, MeCab との連携機能を PostgreSQL に追加してくれる。 全文検索エンジン(Lucene とか Hyper Estraier とか)を管理する手間が省けるので、中小規模の全文検索が必要な場合にはとても便利そうだ。 Ludia http://sourceforge.jp/projects/ludia/ Senna http://qwik.jp/senna/FrontPageJ.h
Windows（DOS?）の世界で、共有メモリはどのように見る事ができるか誰か教えてください。 - UNIXの世界では、i... - Yahoo!知恵袋
DOSの世界では、全てのメモリ空間が共有メモリみたいな物です。 （全てのプロセスから全てのメモリを参照出来ますので) Windowsの世界では、共有メモリ事情は複雑です。 まず、共有メモリと一口に言っても、プロセス間共有メモリと、スレッド間共有メモリが有ります。 スレッド間共有メモリの場合、同一プロセス内でのメモリですので、スタティックエリアに有るデータなら普通にアクセス出来ます。 よって、外部から、どの部位が共有メモリでどの部位が独立メモリなのかを判別する方法は有りません。 （もちろん、そのプロセス内に共有メモリの状態を表示するユーティリティ機能を持たせれば把握可能です。) 次にプロセス間の共有メモリですが、これは共有メモリと言うよりもプロセス間通信と言う次元で語る必要が有ります。 プロセス間通信には様々な方法が有ります。 その中の一つにファイルマッピングと言う方法が有り、これが一般的に
データベースパフォーマンスに関する、僕が知りうる限り最高の教科書 - レベルエンター山本大のブログ
データベースの醍醐味は、パフォーマンスチューニングにあります。 チューニングによっては、同じ処理でも1時間掛かる場合もあれば、 1秒で終わるということもあり得る世界です。 僕はDBの魅力に取り付かれた者の一人です。 DBという技術の奥深さが気に入っています。 DBを極めると、どこの現場に行っても絶対に必要とされます。 また、どこの現場に行っても正解を導く方程式は一緒なので応用が利くのです。 しかし、その基本原理を体系的に学べる手段はあまりありません。 OracleMasterやMCDBAといった資格試験でも学べることは限られていて あとはWebで調べるなりマニュアルを読むなりするしかありませんでした。 とくに肝であるパフォーマンスチューニングについては、 経験則でチューニングしている部分も多いです。 Oracle、SQLServer、MySQLと色々なDBのチューニングをしてきましたが、
HOMMEZ公式オンラインショップ
HOMMEZ(オムズ)は男性の心と身体の健康を支援し、一人でも多くの人が子供を得る幸せや男性としての喜びを享受できる社会の実現を目指しています。男性の妊活、活力にまつわる情報や商品の力で性や妊活に悩む男性が効率的に納得感を持って活動できる機会を創出します。
PostgreSQL安定運用のコツ :: handsOut.jp
スライド1: PostgreSQL安定運用のコツI/Oを制する者はRDBMSを制す日本PostgreSQLユーザ会永安 悟史 スライド2: アジェンダ• パフォーマンスと初期設定• データベースの監視• 性能劣化とメンテナンス• パフォーマンスチューニング(GUC編)• パフォーマンスチューニング(SQL編)• バックアップ&リカバリPostgreSQL安定運用のコツ 2 スライド3: (1)パフォーマンスと初期設定 スライド4: PostgreSQLの構成• さまざまなプロセス・メモリ領域・ファイルによって構成されるプロセス群メモリ群ファイル群postmaster(リスナプロセス)logger(サーバログ)設定ファイルpostgres(サーバプロセス)shared_buffers(共有バッファ)autovacuum(自動vacuum)テーブルファイルbgwriter(バックグラウン
Slony-I
Slony-I is a "master to multiple slaves" replication system for PostgreSQL supporting cascading (e.g. - a node can feed another node which feeds another node...) and failover. The big picture for the development of Slony-I is that it is a master-slave replication system that includes all features and capabilities needed to replicate large databases to a reasonably limited number of slave systems.
［PostgreSQLウォッチ］第22回 PostgreSQL 8.1，前バージョンから10カ月で早くも正式リリース！
［PostgreSQLウォッチ］第22回 PostgreSQL 8.1，前バージョンから10カ月で早くも正式リリース！ これまでもベータテスト中に何回か取り上げたPostgreSQL 8.1だが，ついに11 月8日に正式リリースされた。前回のメジャーバージョンアップ(8.0)が2005年 の1月19日であったから，約10カ月でメジャーバージョンアップがなされたこ とになる（ちなみに，8.0が，その前のメジャーバージョンである7.4から14カ月以上かかってリリースされている）。まずは，PostgreSQL 8.1の開発に かかわったすべての方にお疲れ様と言いたい。 PostgreSQL 8.1のソースは，いつものようにPostgreSQLの公式サイトから入手できる。また，同サイトではWIN32，Fedora Core，RedHat 9, RedHat Enterprise Linux AS
PostgreSQLでパーティショニング
というような感じになりました。そしてDDL。 create table request( request_id serial8 not null, timestamp timestamp not null default now(), uri text not null default '', user_agent text not null default '', remote_host text not null default '', primary key(request_id) ); create table parameter( parameter_id serial8 not null request_id int8 not null default 0, timestamp timestamp not null default now(), name text not nu
パーティショニング : 用途と利点 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 パーティショニングとはデータを複数に分割して格納することです。データを分割することにより、性能や運用性が向上し、故障の影響を局所化することができます。巨大なデータを扱う場合にはパーティショニング機能を利用することも検討してみてください。 この記事ではパーティショニングの概要と用途について説明しています。PostgreSQL での具体的な使い方については『パーティショニング : 使い方』を参照してください。 パーティショニングの用途 パーティショニングには大きく分けて「テーブル間の分割」「ノード間の分割」の2つがあります。この記事では主にテーブル間の分割を扱います。 テーブル間の分割 巨大なテーブルを複数のテーブルに分割します。単純に複数のテーブルに分けて格納するだけでも効果はありますが、PostgreSQL は複数のパーティションを1つ
pgmemcacheからmemcachedのデータを操作する
本稿の前提環境 memcached 1.2.5 データベース：PostgreSQL 8.3.1 OS：CentOS 5（Linux kernel 2.6 ） シェル：bash CPU：Intel Core2Quad 9660 2.4GHz RAM：PC2-6400 8GBytes 以降では、前編の内容を前提として、実際にmemcachedにアクセスしながらpgmemcacheの使い方を説明しますので、memcachedが起動されているかどうか確認してください。 最初に、ターミナルソフトpsqlを使って直接pgmemcacheの主要な関数を実行してみます。 次ページからは簡単な例を使って、PostgreSQLとmemcachedを連携させる方法を説明します。 サポートされている関数 pgmemcacheはlibmemcacheのほとんどの機能を利用できますが、ここでは基本的な関数の説明にとど
pgpoolを使ったPostgreSQLのレプリケーション
こんばんは、牧野です。 前回、その前の前とPostgreSQLのチューニングについてでしたが今日もPostgreSQL関連で、PostgreSQLでのレプリケーションについてです。 MySQLの場合、別のソフトウェアを使わなくてもMySQLだけでレプリケーションを実現できますが、PostgreSQLの場合は別途専用のソフトが必要になります。 今回はそんなソフトの1つ、pgpool-II(以下pgpoolと書いています）を使ったレプリケーションを紹介します。 pgpoolを使うと、PostgreSQLで手軽にマルチマスタ方式のレプリケーションを実現できます。 他にも、コネクションプーリング、アクティブスタンバイ、slony-I等のレプリケーションソフトと組み合わせたマスタ・スレーブ方式のレプリケーション、時間がかかる検索処理を複数サーバで並列処理させる（パラレルモード）というようなことができ
【コラム】Yet Another 仕事のツール (22) pgpoolの導入と設定 | エンタープライズ | マイコミジャーナル
当たり前だが、pgpoolは既に稼働しているPostgreSQLホストがあることが前提となる。PostgreSQLのインストール手順についてはWeb上にたくさんドキュメントがあるし、SUSE以外のディストリビューションなら大抵バイナリパッケージも含まれていると思うので、本稿では省略させて頂こう。今回はpgpoolの導入からやってみたい。 pgpoolはソースコードの他に、Vine Linux 2.6r3とRed Hat Linux 9用のRPMパッケージが配布されているが、本稿ではソースコードからコンパイルしてインストールすることにする。OSはLinuxを想定しているが、Mac OS Xでも手順は変わらない。まず、配布サイトからpgpoolのソースアーカイブ、「pgpool-1.2.3.tar.gz」をダウンロードする。ダウンロードできたらアーカイブを展開しよう。 $ tar zxvf p
【ハウツー】PostgreSQLの高速化と高信頼化を実現する「pgpool-II」を使ってみる (1) pgpool-IIの概要 | エンタープライズ | マイコミジャーナル
pgpool-IIの概要 「pgpool-II」とは、PostgreSQLの高速化と高信頼化を目的としたミドルウェアである。pgpool-IIは、下図のようにクライアントとPostgreSQLの間に入る形(プロキシ形式)で動作する。なお、データベースクライアントはPostgreSQLサーバへ接続するのではなく、pgpool-IIへ接続することになる。 pgpool-IIは現在、pgpool Development Groupにより開発が継続されている。ライセンスには修正BSDライセンスを採用しており、ソースコードが公開されているので自由に利用することができる。ソースコードはhttp://pgfoundry.org/projects/pgpoolからダウンロードすることができる。なお、2007年10月1日現在のpgpool-IIの最新バージョンは1.2.1である。 pgpool-IIはさまざ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
付録E リリースノート
バージョンアップ時のデータベース移行 | syslog
オープンソースの最大公約数 : postgreSQLでパーティショニング(継承)
http://www.buena-idea.net/~hironobu/MemcachedPostgreSQL/index.html