Query Parquet files in SQLite
Hello, reader! If you work with big files and S3, you may find my s3patch utility useful. Or, hire me to help you with your data problems. Email me to see if I have availability. This blog post explains the motivation for the creation of a SQLite virtual table extension for Parquet files. Go to cldellow/sqlite-parquet-vtable if you just want the code. I was playing around with a project to visuali
SQLite 3.21 Picks Up F2FS Atomic Write Support - Phoronix
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
SQLite 3.14 Released With CSV Virtual Table Support - Phoronix
SQLite 3.14 Released With CSV Virtual Table Support Written by Michael Larabel in Free Software on 8 August 2016 at 01:24 PM EDT. 3 Comments SQLite 3.14 is now available as the newest version of this popular, cross-platform, embed-able SQL database software. New to SQLite 3.14 is CSV virtual table support, which allows reading comma-separated value files. The CSV virtual table can then be interact
zindex - index your compressed text files
Scratching your own itch @mattgodbolt / @mattgodbolt My problem 5000+ read-only archived JSON log files on NFS Average 450MiB gzipped, 4GiB uncompressed Need to find entries by a unique ID zgrep $ zgrep -E '^\{"eventId":63181572,' audit.log.gz {"eventId":63181572,...} Takes 14 seconds zgrep has to uncompress every byte of the file to search it! Could index file ...but then would need to be able to
JSONで疲弊したら試したい、アプリのデータをSQLiteで受け渡すという選択肢 - アニマネ開発日誌
アニマネの内部ではアプリとサーバー間でどのようにデータを受け渡ししているかという話をしてみます。 一般的にアプリとサーバー間のデータの受け渡しだとJSONやXML、YAMLなどが多いと思います。 ここにSQLiteという選択肢を入れると色々幸せになれるという話です。 もはや何で今までJSONという固定観念が捨てられなかったのかというぐらい、個人的にはコロンブスの卵でした。 あまり事例はなさそうなので、ここで紹介してみます。 アニマネでの問題点 アニメアプリのアニマネでは主にアニメの番組表やニュースをサーバーから受け取って表示しています。 都道府県にもよりますが、一つの都道府県の1週間分の番組表（アニメだけ）をJSONにすると大体750KBぐらいになるんですね。 これを開発初期ではMessagePackに置き換えてました。 話の本筋とは関係ないですが、JSONよりはMessagePackの方
SQLite Now Faster With Memory Mapped I/O - Phoronix
SQLite Now Faster With Memory Mapped I/O Written by Michael Larabel in Free Software on 21 May 2013 at 04:31 PM EDT. 5 Comments SQLite 3.7.17 was released yesterday. What makes this new release of the popular lightweight SQL database software noteworthy is that it introduces support for memory-mapped I/O. Rather than using read/write system calls for dealing with database disk files, SQLite 3.7.17
Blog
明示的 意味 แพลตฟอร์มการเรียนรู้และพัฒนาทักษะด้วยเทคโนโลยี https://suin.io เป็นแพลตฟอร์มที่ให้คุณเรียนรู้และพัฒนาทักษะทางเทคโนโลยีอย่างสะดวกสบาย เรามุ่งมั่นในการให้ความรู้และประสบการณ์ที่มีคุณค่าในการพัฒนาตนเอง pascalcase
AndroidとGAEの同期に関する講演資料を公開します
先日第4回日本Androidの会北海道支部勉強会で講演したんですが、その時のプレゼン資料を公開します。 Androidとクラウドでデータを同期させるライブラリを作ってみた View more presentations from Maimuzo. 内容は、データってクラウドに「も」持たせた方が何かと便利だよねーって話と、じゃーライブラリ作って定型化したらみんな使いやすいかもねーって話と、具体的な使い方の話です。 次のような使い方を前提としています。 ユーザはAndroid端末1台と、GAE上のサービスを同期できる。(複数台と同期できる方が楽だけど、同期方法が複雑になるので断念) アクセス元のAndroid端末は、電話番号やシリアルを使って自動認識させる。(これはポン付けで動く) Android内のSQLiteに保存されたデータを、そのままの形でGAE上のDataStoreにも入れておき、必
Adobe AIR製のSQLite管理·The SQLite Sorcerer MOONGIFT
The SQLite SorcererはAdobe AIR製のフリーウェア。SQLiteを使えばデータベースを用意する手間もなくすぐにデータ管理がはじめられる。SQLもきちんとサポートしているのでデータが大量になったら本格的なデータベースに移行することも容易だ。 Adobe AIRでSQLiteを管理 そんなSQLiteを管理するツールは多々あるが、ローカルにあるファイルを管理したければAdobe AIRで作られたThe SQLite Sorcererが面白いそうだ。一通りのデータ操作に加え、トリガーなどもThe SQLite Sorcerer上で作成できるようになっている。 The SQLite Sorcererはテーブルの作成、フィールドの追加/編集、データのメンテナンスまでこなすことができる。さらにビューを作ったり、トリガーの作成も可能だ。暗号化にも対応し、解析を行う機能もある。ほと
SQLiteの組込方法
h.omae @pigeon6 ちなみに余談ですがamalgamationされたファイルをVisualStudio2003等の古いコンパイラでビルドすると、「行数が65535行を超えました。これ以上カウントできません」という珍しいワーニングを見る事が出来ます。 2009-11-30 23:38:22
Emacsのsql-modeで簡単にSQL文を実行する - Everyday Programmer
環境は， Ubuntu 9.10 Karmic Koala Emacs 23.1.1 SQLite 3.6.16 "emacs sqlite"などでぐぐってみても情報はそんなに多くない気がしたのでまとめてみる． まずはsqlite3の準備 Ubuntu 9.10には最初からsqlite3が入っている． ターミナルでsqlite3というコマンドで普通に使える． しかし，Emacsで使うにはちょっと工夫が必要． Emacsだと M-x sql-sqliteでsql-modeに入れるけど，dbファイルとかをちゃんと指定しても Searching for program: no such file or directory, sqliteのように出るはず．これはsqliteというコマンドを探しているため． 実際はsqlite3というコマンドなので，当然うまくいかない． これはシンボリックリンクを張
SQLJet、SQLite Java版登場 | エンタープライズ | マイコミジャーナル
SQLJet is an independent pure Java implementation of a popular SQLite database management system. SQLJet開発チームは15日(米国時間)、SQLJetの最新版となるSQLJet 1.0.0を公開した。SQLJetはJavaで実装されたSQLiteデータベース操作用ライブラリ。SQLite 3.6のデータベースフォーマットに対応。GPLのもとでオープンソースソフトウェアとして提供されている。 SQLJetを使うにあたってSQLiteやほかのネイティブライブラリは不要。Javaで開発されたSQLJetのみで動作する。SQLiteを使って作成されたデータベースファイルの読み込みと操作、または自らSQLiteデータベースファイルを作成する機能を提供している。今のところAPI経由の操作のみ提供し、S
重いFirefoxをなんとかして速くしたい | バシャログ。
その強力なアドオンで、とっても便利なFirefoxですが、毎日使っているとドンドン動きが重くなっていってしまいます。 うーん、どうにか軽くならないものかと色々やってみました。 起動を速くしたい まずはとにかく時間のかかる起動をなんとかしたいと思います。 Firefoxはブックマークやら履歴やらクッキーやらをSQLite DBで管理しています。 毎日使っていくうちにDBは大きくなり、起動や動作が重くなっていくとのこと。 そこでSQLite Optimizerというアドオンを使って、DBの最適化をしてしまいます。 手順は以下の通り。 1. SQLite Optimizerをインストール。 2. アドオンの管理画面でSQLite Optimizerの環境設定画面を開きます。 3. 『Firefox終了時にsqliteデータベースのREINDEXを実行する』にチェックを入れます。 以後、Firef
風俗未経験の40代がソープで稼ぐには？
今回のテーマは風俗未経験の４０代です、ソープで稼ぎたいですと言う事についてです。年齢はアラフォーを過ぎた４０代、そして業種はソープ、仕事ができそして稼げるのかというところをメインにこれから色々と書いて行きたいと思います。 目的意識と現実 風俗未経験の４０代です、ソープで稼ぎたいです、と言うのが今回のテーマになります。40代でソープ未経験、そしてなおかつ稼ぎたい、この状況を客観的に見たとき正直厳しいと言えると思います。もちろん40代と言っても色々な女性がいます、容姿も違えば生きてきた過程も人それぞれ違ってくるでしょうから一概に厳しい、そして絶対に稼げないとまでは言いません。しかし、厳しい現実があるかもしれないと言うことは覚悟しておくことが大切だと思います。何れにしても、40代でソープ未経験、このステータスで雇ってもらえるソープ店があるのか？そして自分を雇ってもらえるお店を探すところから始めな
SQLite用ブラウザはTkSQLiteに決定 - bokut.in
SQLiteCCしかないかと思っていました。 SQLite ManagementToolsをみたら沢山あって、驚きました。 しかもSQLiteCCはすでに「Inactive or Unsupported」になってる！ PlaneDisaster.NET・・・sjisがダメ。 SQLite2007 Pro・・・sjisがダメ。 SQLite Administrator・・・SJISが通る。 SQLite Database Browser・・・sjisがダメ SQLiteSpy・・・sjisがダメ。 SQLiteSpy・・・sjisがダメ。 SQLiteTool・・・使いかたが分からない。 TkSQLite・・・文字コードもバッチシ。メニューも日本語。起動も速い。フォントが難点か。Vi風キーバインドがるのがステキ。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1.1 Billion Taxi Rides with SQLite, Parquet & HDFS
GitHub - cldellow/sqlite-parquet-vtable: A SQLite vtable extension to read Parquet files
GitHub - rqlite/rqlite: The lightweight, distributed relational database built on SQLite.
How does SQLite work? Part 2: btrees! (or: disk seeks are slow don't do them!)
Welcome