コサイン類似度に基づくソート処理の実装方法とその性能比較
文書の類似度を計算する方法に「コサイン類似度」を用いる方法があります。 これは、出現する単語を出現回数などで数値化して、空間ベクトルに変換した上でベクトル同士の類似度を計算する、という手法です。 コサイン類似度 http://www.cse.kyoto-su.ac.jp/~g0846020/keywords/cosinSimilarity.html 最近、このコサイン類似度を使って、似ているデータを検索するWebアプリを試しに作っていたのですが、ふと、 「このコサイン類似度を使ったソート処理をPostgreSQLでどのように実装するともっとも高速な実装になるのだろうか。また、現実的なパフォーマンスを考えた時にデータ量や次元のサイズはどこまで増やせるのだろうか」 ということが気になりました。 PostgreSQLは、その拡張性の高さがウリの一つですが、そのため「UDFを作る」ということを考え
PostgreSQL使いのためのSQLの使い方
この記事はPostgreSQL Advent Calendar 2016 の3日目の記事です。 やあ、みんなげんき？ 僕は酔っ払いです（カラオケ屋の3次会でこれを書いてます） 今日はみんなにSQLをもっと知ってもらうために下のスライドをご紹介します。 ※sampleで出てくるSQLを試せるようにDDLとか用意しました そうです、これ。 今日のPGConf.Asiaの登壇資料です。 僕はMySQLもPostgreSQLも使う中で「SQLならもっと簡単に書けるのにアプリ側で頑張ってる」って現象を度々見ます。 そこをちょっとしたSQLの知識があればすごく楽出来るのでみんなにも是非覚えてください。 コレを読んで興味がある人は下記の本を読むとすごく勉強になると思います。 本当に上記の本はオススメ。 この先にインデックスチューニングとかパラメータチューニングとかDB設計があると思います。 そこまで興味
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
UberのPostgresqlからNoSQL on MySQLへの移行を読んでざっくりまとめた
Uber-migrated-pg-to-mysql.md Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog のまとめ Posgresqlだと pgは追記型なので少しの更新でも多くのdiskへのwriteがおきる カラムを一つ更新しただけで多くのindexの書き換えが起こる よって、replicationはWALを送るので更新が多いとWALが大量に送られる repcliationでは物理的なdiskの変更を送る DC間でレプリするときつい bugがあってreplica間でMVCCの不整合が起きる masterとreplica同じdisk上のデータ構成を共有するのでupgradeがつらい cache readはsyscallとosのpage cache経由なので重い 1コネクション1プロセス
PostgreSQLメモ - 発声練習
データベース作成 PostgreSQLのスーパーユーザー（サーバーのスーパーユーザーではない）は、postgresなので、新たなユーザーやデータベースを作るときには、postgresになる。 % sudo su % su postgres % exit （rootに戻るとき） % exit （元のユーザーに戻るとき）自分のログインアカウント（仮にhogehogeとする）をPostgreSQLのユーザーとして加えたい場合は以下のようにする。 % sudo su % su postgres % createuser hogehoge （スーパーユーザー権限、データベース作成権限、ロール作成権限について聞かれる。） % exit （rootに戻るとき） % exit （元のユーザーに戻るとき）Railsプロジェクトからアクセスするためのユーザーとデータベースを作成する。 ユーザー名： hogeh
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.mor-maid.info/2010%E5%B9%B412%E6%9C%8815%E6%97%A5%E4%BB%A5%E5%89%8D/%E7%95%B0%E3%81%AA%E3%82%8B%E3%83%90%E3%83%BC%E3%82%B8%E3%83%A7%E3%83%B3%E3%81%AE%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3
