BigQuery クエリ - pokutuna24時間前 TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
DuckDB メモ v1
色々古くなったので 1 から書き直した DuckDB メモ v2 モチベーション JSONL を読み込んで解析するツールが欲しかった ログを読み込ませたいので圧縮機能は必須 自社のパッケージ製品が出力する JSONL を読み込んで解析できる仕組み 顧客が問題解析を気軽にできるようにしたい 顧客向けツールとして提供したい つまり顧客環境で動かしたい 1 バイナリ OSS として提供したい Apache-2.0 として公開したい ログファイルは大きくても 100 GB は行かない もともと Go + SQLite + JSONB で検討していた SQL で書きたい SQLite ファイルとして書き出したい SQLite ファイルフォーマットは信頼できる S3 などにファイルを置いておくだけにしたい クラウド版に組み込みたい 顧客毎に duckdb ファイル作ればいいのでは？ duckdb ファ
開発者が知るべきキャッシュ設計でよく遭遇する問題
はじめに 分散システムの設計および開発において、キャッシュはパフォーマンス向上のための非常に重要な要素です。頻繁にアクセスされるデータをキャッシュすることで、アクセス速度が遅いデータベースへのアクセスを削減し、データへの迅速なアクセスを可能にします。これにより、システムの全体的な効率とパフォーマンスが向上します。 しかし、キャッシュは慎重に設計しないとむしろパフォーマンス上のデメリットになるケースが存在します。 この記事ではよく遭遇するキャッシュ設計の問題とその回避策について解説します。 Cache penetration DBに存在しない値を検索したときに、DBから返された空の結果をキャッシュしない場合に発生するシナリオです。 このシナリオではDBに存在しない値を繰り返し検索することにより、その値がキャッシュされていないため検索ごとにDBへのアクセスが必要になってしまいます。 存在しない
SQLを速くするぞ―お手軽パフォーマンス・チューニング
このサイトでは、SQL を高速化するためのちょっとしたパフォーマンス・チューニングの技術を紹介します。と言っても、『プログラマのためのSQL 第2版』の受け売りがほとんどなので、この本を読んでいただければ、本稿を読む必要はありません。 最初に、パフォーマンス・チューニングに関する全体の方針を述べておくと、それはボトルネック（一番遅いところ）を改善することです。当たり前ですが、既に十分速い処理をもっと速くしたところで、システム全体のパフォーマンスには影響しません。従って「処理が遅い」と感じたら、最初にすることは、SQL やアプリの改修ではなく、「どこが遅いのか」を調査することです。いきなりあてずっぽうで改善をはじめても効果は出ません。医者が患者を診るとき最初にすることが検査であるのと同じです。病因が何であるかを突き止めてからでないと、正しい処方はできないのです。 その基本を承知していただいた
The Movie Database (TMDB)
Get access to maintain your own custom personal lists, track what you've seen and search and filter for what to watch next—regardless if it's in theatres, on TV or available on popular streaming services like Netflix、Hulu、Disney Plus、U-NEXT、Amazon Prime Video. 登録 広告無しでTMDbを楽しむ 個人的なウォッチリストを維持する 加入しているストリーミングサービスでフィルタリングして、見たい作品を見つける 見た映画やテレビ番組を記録する カスタムリストを作る TMDbのデータベースへの貢献と改善
システム構成図をテキストで
Gigazineさんでdrawthe.netを取り上げていたので紹介です。使い方はGigazineさんのほうが丁寧なので、気になる方はチェックしてみてください。（2020年12月1日、追記） drawthe.netとは cidrblock/drawthe.netは複雑なネットワーク図も「テキストで書いてブラウザ上でSVGレンダリングできるようにしよう」というコンセプトのもと開発されたツールです。下図のように複雑な構成図も精度高く描くことができます。 拡大してみると情報量が多いこと、またいかに整っているかがわかると思います。 デモサイトも用意されているので、サクッと試したい場合はコチラが便利です。コードはGitHubで公開されています。更新が2017年末で止まってしまっているのが玉に瑕ですが、十分な性能を発揮してくれます。 drawthe.netを使いたい理由 美しい構成図といえばInter
Textdb
TextDB A simple way to share small amounts of data Let's name your data a08f65b4-4186-405f-9e7b-4cb1eaf87dfc Update your data with curl -d "hello world" -H "content-type: text/plain" https://textdb.dev/api/data/a08f65b4-4186-405f-9e7b-4cb1eaf87dfc Access your data with curl https://textdb.dev/api/data/a08f65b4-4186-405f-9e7b-4cb1eaf87dfc Or view it with live updates at https://textdb.dev/data/a08f
Python 軽量ドキュメントデータベース TinyDB
私が選ぶ2015年の”新しい”Pythonモジュール トップ5 こちらで紹介されている「TinyDB」 http://tinydb.readthedocs.org/en/latest/index.html Pure Pythonなドキュメントデータベースなようです。 インストールして使ってみます。 インストール インストールはeasy_installで行いました。 バージョン3.1.2がインストール出来ました。 データの登録と検索 こちらを参考に、使い方を調べてみます。 http://tinydb.readthedocs.org/en/latest/getting-started.html まず、データベースの作成とデータ登録を行ってみます。 from tinydb import TinyDB, Query# データベースオープン 引数はファイル名db = TinyDB('db.json'
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sql.js
https://githubja.com/msiemens/tinydb