SQLiteでLinderaを使った日本語全文検索 - *iroi*
これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
SQLite のおもしろ仕様 (1) : データ型 - kawasin73のブログ
型は型、どうもかわしんです。SQLite では型は絶対ではなく、あくまでも尊重です。信用しすぎると裏切られます。 最近 Rust で SQLite をフルスクラッチで再実装しています。 github.com なるべく本家の SQLite と compatible にするために SQLite のドキュメントやコードを読んで挙動を理解しながら作っています。これを作ることになった経緯はこの記事で紹介していますが、その過程でいろいろ知らなかった面白い仕様や実装があったので紹介していきたいと思います。今回はその第一弾です。 kawasin73.hatenablog.com データ型と Type Affinity SQLite のドキュメントの中で、今の所一番面白いのがこれです。 www.sqlite.org まず、SQLite の内部的には 5 つのデータ型しかありません。 NULL INTEGER
Why Is SQLite Coded In C
Note: Sections 2.0 and 3.0 of this article were added in response to comments on Hacker News and Reddit. Since its inception on 2000-05-29, SQLite has been implemented in generic C. C was and continues to be the best language for implementing a software library like SQLite. There are no plans to recode SQLite in any other programming language at this time. The reasons why C is the best language to
Consider SQLite
If you were creating a web app from scratch today, what database would you use? Probably the most frequent answer I see to this is Postgres, although there are a wide range of common answers: MySQL, MariaDB, Microsoft SQL Server, MongoDB, etc. Today I want you to consider: what if SQLite would do just fine? For those who are unfamiliar, SQLite is a implementation of SQL as a library — this means t
The pandas library with SQlite3 for data analysis /machine learning
aim of this post is to store data from data base using sqlite and accessing data from data base and store in csv file. in my previous post i’m shared interacting with various data base like CSV file,HTML file,SQL file now i’m explaining interacting with data base ,sql is part of data base but other data base like mongodb ,NOSQL and web XML file , Microsoft Excel files. now try to understand data i
Big
Big Data Analytics with Pandas and SQLite in Python/v3 A primer on out-of-memory analytics of large datasets with Pandas, SQLite, and IPython notebooks. Note: this page is part of the documentation for version 3 of Plotly.py, which is not the most recent version. See our Version 4 Migration Guide for information about how to upgrade. New to Plotly?¶Plotly's Python library is free and open source!
SpatiaLite: SpatiaLite
SpatiaLite is an open source library intended to extend the SQLite core to support fully fledged Spatial SQL capabilities. SQLite is intrinsically simple and lightweight: a single lightweight library implementing the full SQL engine standard SQL implementation: almost complete SQL-92 no complex client/server architecture a whole database simply corresponds to a single monolithic file (no size limi
同時実行制御とSQLite3 - Qiita
Intro 同時実行制御とは, 共有リソースにアクセスする複数のトランザクションを, いかに並列処理しつつ競合によるデータ破壊を回避するかを扱う分野である. 昨今のアプリケーションではクライアントが複数いることは珍しくない. 同時アクセスを許容せず, クライアントからの要求を直列的に処理できれば同時実行制御の課題は解決されるが, アプリケーションのレスポンスは極端に低下し使い物にならない. パフォーマンスの低下を抑えるためにトランザクションを並列化し, かつリソースの整合性を保証しなければならないため, 同時実行制御を考える必要が出てくる. Conflict 並列処理されるトランザクションの競合を制御しなかった場合の問題は主に4種類ある. 基本的にデータの一貫性は保証されない. Dirty Read (w-r) コミットされていないデータを別のトランザクションから参照できてしまう問題. ト
SQLiteが本気を出せるPythonのライブラリのAPSWを使用してみる - Qiita
背景 SQLiteをPythonから使用する場合、Python2.5以上ではデフォルトでsqlite3が使用できます。 これは、DB-API 2.0 仕様に準拠した SQL インタフェースを提供するもので、pysqliteという名前で開発されています。 sqlite3 http://docs.python.jp/2/library/sqlite3.html しかしながら、このライブラリはSQLiteの全ての機能を使えるわけではありません。これは、DB-APIの仕様に準拠するためです。 APSWは、SQLite APIをPythonで完全に使用できるようなライブラリになっています。APSWはPython2.xとPython3.xで動作します。 https://github.com/rogerbinns/apsw http://rogerbinns.github.io/apsw/ インストール
SQLite3でdatetimeなTEXTをなるべく高速に探す - ポクポク
研究でSQLiteを使ってる。ファイル1つでポータブル、受け渡しも楽だしバージョン管理もできるし割りと気に入ってる。 日付のデータを大量に扱うのが遅くて困ったので速くする方法を調べた。ちゃんとインデックスが効くようにしたい。 SQLite3 には、SQL99 の DATE や DATETIME に対応する日時を表す型は存在しません。SQLite3 で日時を扱う場合、Date And Time Functions で説明されている日付処理関数を使用し、TEXT 型や NUMERIC 型の列に日付データを作成します。 http://www.tamandua-webtools.net/sqlite3-date.html TEXTを使う場合では、YYYY-MM-DD HH:MM:SSみたいな書式の文字列を日付とみなす。 NUMERIC(INTEGER or REAL)はよくあるUnixエポックから
SQLiteの注意点3つ！テーブル作成と同時にINDEX貼れないetc - Dance with Tech
最近SQLiteを触っています。 基本的な構文などはMySQLと同じですが、 決まりごとの違いや若干のクセがあるので、メモしておきます。 SQLiteのデータベースはファイルとして生成される SQLiteはデータベースをファイルとして生成します。 なので、「ファイルを消す=DBを消す」ことになります。 SQLiteをインストールしたら（最近のLinuxはデフォで入ってるぽい）、 以下のコマンドで、DBができあがります。 sqlite3 dbname.sqlite3 上記の「.sqlite3」の部分は何でもいいです。 しかし、拡張子がないと、 のちのち何のファイルか分からなくなる可能性があるので、 慣習的に「.sqlite3」とするようです。 しかし、DBを作成しただけではファイルが作成されません。 DBを作成し、さらにテーブルを作成しなければ、ファイルが生成されないようです。 「DB作った
Android アプリ開発における SQLite のロックとマルチスレッドの話 - ひだまりソケットは壊れない
Android アプリ開発で SQLite を使っていると、しばしば次のような例外が投げられることがあります。*1 android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5) 軽く調べてみたところ このエラーをぐぐってみると、「複数スレッドから SQLite を使う場合に、それぞれのスレッドで異なる SQLiteDatabase オブジェクトを使っているとこのエラーが出ることがある」 とか書かれていて、回避策として 「複数スレッドで SQLite を使う場合は 1 つの SQLiteDatabase オブジェクトを複数スレッドで使いまわすこと」 というような情報が得られました。 あとは当たり前ですが 「トランザクションがちゃんと閉じられているか確認すること」 とか。 いくつかの質問やブ
SQLiteデータ型の仕様とセキュリティ問題
(Last Updated On: 2018年10月8日)SQLiteはファイルベースのオープンソースRDBMSです。オープンソースとしては珍しいパブリックドメインライセンスを採用しています。SQLiteはファイルベースなのでデータベースサーバーが必要なく手軽に利用できます。SQLiteは組み込みデバイスで広く利用され、Android/iOSなどでは標準的なデータベースとして利用されています。モバイルデバイス以外での利用も広がっており例えば、Drupal8はSQLite3に対応しています。 普通のRDBMSのようにSQLクエリが利用できるのでとても便利ですが、SQLiteの仕様は他のRDBMSと異なるので注意が必要です。 追記：論理的・体系的セキュリティを構築していれば、ここに書かれているようなセキュリティ上問題となる事を自身で分析／対応できるようになります。 SQLiteの仕様 最も特徴
Multiple Managed Object Contexts with Core Data Tutorial
This is an abridged from our book Core Data by Tutorials, which has been completely updated for Swift 4 and iOS 11. This tutorial is presented as part of our iOS 11 Launch Party — enjoy! A managed object context is an in-memory scratchpad for working with your managed objects. Most apps need just a single managed object context. The default configuration in most Core Data apps is a single managed
AndroidのSQLiteDatabaseの覗き方 - Qiita
非root端末のSQLiteDatabaseを覗きたい Androidアプリの開発で非root端末のSQLiteDatabaseは覗けない。 厳密には覗けないわけではなく、該当するアプリからは アクセスできるのだけど、これでは勝手が悪い。 開発中はSQLを直接叩きたかった。 だから無理矢理に覗く方法を作りました。 どうやって？ アプリ側に１クラスで完結する小さなプログラムを埋め込み、 そこ経由でアクセスできるようにした。 要はバックドアのようなもの。 もちろん開発専用なので間違ってもリリースビルドには入れては行けない。 サンプルプログラム 説明にに使用したアプリケーションはこちらになります。 このアプリケーションのbuild.gradleとMyApplication.javaが該当します。 FastCheckList 使い方 使い方は次の３ステップです。 小さなプログラムを埋め込む App
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLite for Data Scientists
GitHub - davbeck/CacheKit: Simple and flexible caching mechanism for in memory and persistent caches.
Effective SQLite For Android
(続) Effective SQLite for Android
GitHub - takeshishimada/BZObjectStore: Object cache library on SQLite
