SQLiteでLinderaを使った日本語全文検索 - *iroi*
これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
Extending SQLite with Rust to support Excel files as virtual tables
This article explains how SQLite can be extended with Rust. In particular, it will outline SQLite’s mechanism called virtual tables and showcase how we can use it from Rust programming language. In the end, we will have a working extension that can be dynamically loaded and used from SQLite. This article does not claim to be an exhaustive guide about extending SQLite with Rust, but I hope the read
ワンライナーで CSV に対して SQLite クエリを実行する - アルパカの徒然文
One-liner for running queries against CSV files with SQLite という記事で紹介されていた、ワンライナーを使って CSV ファイルに対して SQL クエリを実行する方法。 $ sqlite3 :memory: -cmd '.mode csv' -cmd '.import taxi.csv taxi' \ 'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count' ソース元に記述されてる通り、taxi.csv を GitHub からダウンロードして試すことができる。7z で圧縮されていて解凍する必要がある。 SQLite は通常ストレージディスク（SSD とか）上に保存して利用するのが一般的だが、SQLite 側で用意さ
「複雑すぎるサーバー構成」を原点にまで簡素化する「Litestream」が生まれた理由
現代のシステムでは、冗長化や負荷分散の観点から、複数のサーバーにサービスを分離することが当たり前となりました。しかし、キャッシュやキューの乱用など、システム構成が必要以上に複雑化している場合もあります。「複雑化したサーバー構成」を簡素化すべく、Goのローカルデータベースとして知られるBoltの開発者・ベン・ジョンソン氏が生み出したのが「Litestream」です。 Why I Built Litestream - Litestream https://litestream.io/blog/why-i-built-litestream/ ジョンソン氏が「古き良き時代だが、実のところは最悪な時代」と語る数十年前は、単一のプログラミング言語とSQLの知識があればどんな開発現場でも通用し、すべてのウェブサイトが基本的なHTML技術で作成されていた時代だったとのこと。1990年代後半には「Linux
SQLiteで全文検索 - DiaryException
検索機能付きのAndroidアプリを作るために、ドキュメントを読んでいるとCreating a Search Interface | Android Developersという項目があり、SQLiteに全文検索モジュール:SQLite FTS3 and FTS4 Extensionsがあることを知った。 Androidアプリに組み込む前に、FTS3を使ってみた。 $ sqlite3 database.sqlite SQLite version 3.7.6 Enter ".help" for instructions Enter SQL statements terminated with a ";" sqlite> CREATE VIRTUAL TABLE AddressBook USING fts3(name TEXT, address TEXT); -- FTS3を使う表はVIRT
AndroidでSQLiteのDB操作をするための基礎知識
AndroidでSQLiteのDB操作をするための基礎知識：Androidで動く携帯Javaアプリ作成入門（6）（1/3 ページ） 本連載で、SDKとEclipseを使ってAndroidの携帯端末で動くJavaアプリを作成し、Android Market配布を目指しましょう Androidのデータベースも、いま流行中の「SQLite」 Javaプログラマは、大きく分けると2種類に分類されます。エンタープライズ・サーバサイド系Javaプログラマと、組み込み系Javaプログラマです。 筆者は組み込み系ですが、Javaを始めたきっかけはサーバサイド系（正確には、Javaアプレット）です。サーバサイド系ではデータベースは必須、というよりむしろ最重要のシステムですが、組み込み系ではデータベースを使用することはほとんどありませんでした。ただし、「これまでは」です。 今回はAndroidに標準で組み込ま
sqliteで全文検索 - codの覚え書き
codの覚え書き プログラミングや開発環境構築の覚え書き トップページページ一覧メンバー掲示板編集 sqliteで全文検索 最終更新： cod_3 2009年10月18日(日) 03:15:57履歴 Tweet 1.はじめに 2.mecabをtokenizerとしてつかう 3.2-gramも使いたい 4.最後に 1.はじめに http://www.sqlite.org/cvstrac/wiki?p=CompilingFts http://www.sqlite.org/cvstrac/wiki?p=FtsUsage sqliteではfts3という検索用モジュールが開発されているが 実験中のため?配布されていないがコンパイルすれば使えるようになる fts3はスペース区切りされた単語とマッチするか調べる事ができるので 文書を分かち書きして 単語1 単語2 単語3 単語4 のように分割して格納すれ
SQLite Full Text Search with MeCab - mynote
はじめに† SQLiteの全文検索の拡張FTSは、まだ実験的な段階でfts1, fts2と作っては破棄（？）してきて、今はfts3が最新のようです。(sqlite3.5.1）。ただし、コンパイル済みバイナリの配布は止めてしまったようです。実験段階なので欲しい人は自分でコンパイルしてね♥みたいな。このftsで日本語が使えないとか色々言われているのに加えて、ちょっとプロトタイプをでっち上げるのに必要になりそうな雰囲気なので、日本語でもftsが使えるようにしてみました。 ↑ そもそもの動機† 『SQLite の全文検索を Python から使ってみる (3)』を読んだ。ここでftsのデフォルトの英文用のtokenizer（空白で単語を区切る）で日本語を無理やり使うためにMeCabを使って分かち書きをして、その文字列を挿入し、取り出したあとに連結とかしてた・・・。誰も知らないようだが、実はfts2
SQLiteの全文検索を使ってみる : mwSoft blog
FTS3を使って全文検索してみた。 SQLiteの全文検索というと、昔はFTS1とか2とかのモジュールを使用する方式だったみたいだけど、現在はFTS3なるものがsqlite3.exeとかに含まれているので、得に下準備をすることなく使用できるっぽい。 公式の説明 http://www.sqlite.org/fts3.html 参考にしたサイト http://cast-a-spell.at.webry.info/200806/article_15.html フルテキストサーチする為にやることは以下の3つ。 ・CREATE VIRTUAL TABLE テーブル名 USING fts3 でテーブルを生成する ・INSERTする時に、フルテキスト検索に使いたいカラムに、ヒットさせたいワードを半角スペースで区切りつつ登録 ・MATCHを使って検索する 検索方法とかそれなりに用意されているので、そこそこ
Firefox3でSQLite3の全文検索機能を使って日本語を検索する - bits and bytes
mal_blue@tumblrでFirefox3に載っているSQLiteに全文検索機能がついたのを知りました。昨年12月にGoogle Japan Blog: Google デベロッパー交流会 ( 第 4 回 )に参加させていただいたとき、Google Gearsの開発者がGoogle Gearsでサポートされているlocal storage(実体はsqliteのデータベースでSQLを使ってデータを読み書きできます)について非ASCIIのfull-text searchをサポートしたいと言われていたのを思い出しました。 その後どうなったかなー、と思ってちょっと検索してみたらGoogle Gearsと直接関係ないけどSQLite Full Text Search with MeCab - mynoteという記事が。この記事はSQLiteのCのAPIにはtokenizerを指定することができて
MySQLか、SQLiteか。それぞれのメリットとデメリット。 » とりあえず9JP
▼MySQLのメリット ・SQLiteと比較して高機能なので、SQLiteでは使えない関数や手法が使える ・IDEとかで標準対応しているので、開発しやすい ・ネットに情報があふれているから情報集めに苦労しない ・洗練されたDB管理ツールphpMyAdmin が存在する。 （SQLiteにも複数の管理ツールが存在するけど、個人的に使い勝手が良いとは言い難い） ・公式のドキュメントが充実している ▼MySQLのデメリット ・仰々しいし重々しい ・個人的に、MySQLを使う＝比較的大きなプログラムを組む時という認識があるので、何となくストレスを感じる ▼SQLiteのメリット ・PHP5以上？とApacheが動作する環境であれば動作するので、「どこのサーバで動かすー」とかそういった事を気にしなくて済む。 ・MySQLより軽快に動作する気がする ・個人的に、SQLiteを使う＝小さい簡単なプログラ
Visual Sutdio 2005 で、sqlite を扱おう - ふにゃるんv2
何で、Visual Studio 2005で、sqliteを扱ってみようかな？と思ったのは、そこにあったからです。(笑) というのは、冗談でぇ。 データベースなるものを弄った事がないので、触れてみたかった。 sqliteって、組み込みに向いた軽量データベースがあるらしい。 Pythonも標準でサポート。 調べたら、"ADO.NET 2.0 Provider for SQLite"ってのがあって、Visual Studio 2005で簡単に扱えるらしい。 という事だったので、ちょっと練習をば。 以下、ほとんど自分向けのメモになっちゃいますが、参考までに。 ダウンロード＆インストール ダウンロードは、以下のサイトから行けます。 SourceForge.net: ADO.NET 2.0 Provider for SQLite http://sourceforge.net/projects/sql
sqlite3の基本操作まとめ: てりぶろ
カテゴリー AFV(6) 飛行機(6) 山行部通信(6) 1/700長門1927(2) 日記(93) 銀河英雄伝説(29) 地球防衛軍(3) 宇宙世紀(7) 1/700ストラスブール(5) 1/700三景艦(11) 1/700コンテディカブール(10) 1/700ウエストヴァージニア(4) 1/700フォンデアタン(14) 1/700クイーンメリー(8) 1/700パリ(9) 1/700扶桑(11) 1/700アリゾナ(20) 1/700 竣工済み艦船(7) ミニスケールAFV(27) 模型(38) 鉄道(2) 洋書(38) 切手(2) 調理部通信(7) 飼育部だより(12) 和書(10) 資格(37) ゲーム(7) PCメモ(16) 1/700ノースカロライナ(2) 1/700アドミラル・グラーフ・シュペー(1) Ruby on Railsが2.0になってdefaultのDBがsqlit
プログラミング講座：SQLite を使って郵便番号から住所を検索するプログラム
第一回目は、 SQLite を使った実用的なプログラムとして、 郵便番号から住所を検索するソフトウェア postal を実装します。 Unix ではおなじみのコマンドラインで動作するソフトウェアとなります。 ソフトウェアが提供する機能は、 「郵便番号を引数に渡すと住所を表示する」だけとします。 完成版は、以下のような実行と結果を出力するプログラムとなる予定です。 % postal 1006090 1006090: 東京都千代田区霞が関霞が関ビル（地階・階層不明） SQLite は、FreeBSD の ports の databases/sqlite3 で導入できます。 要求 指定した郵便番号に該当する住所を返す 設計 郵便番号と住所のデータをデータベースで管理する コマンドラインで動作するプログラムとする 引数には 7桁の郵便番号を取る 検索に成功した場合のみ、郵便番号に対応した住所を返す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://japan.internet.com/developer/20071023/26.html
“SQLite”のデータベースを管理できる「SQLite Database Browser」NOT SUPPORTED
SQLite超入門編
SQLite入門
rakutoネット : PHPとSQLite
http://www.cpa-lab.com/tech/046