BigQuery クエリ - pokutuna24時間前 TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
DuckDB メモ v1
色々古くなったので 1 から書き直した DuckDB メモ v2 モチベーション JSONL を読み込んで解析するツールが欲しかった ログを読み込ませたいので圧縮機能は必須 自社のパッケージ製品が出力する JSONL を読み込んで解析できる仕組み 顧客が問題解析を気軽にできるようにしたい 顧客向けツールとして提供したい つまり顧客環境で動かしたい 1 バイナリ OSS として提供したい Apache-2.0 として公開したい ログファイルは大きくても 100 GB は行かない もともと Go + SQLite + JSONB で検討していた SQL で書きたい SQLite ファイルとして書き出したい SQLite ファイルフォーマットは信頼できる S3 などにファイルを置いておくだけにしたい クラウド版に組み込みたい 顧客毎に duckdb ファイル作ればいいのでは？ duckdb ファ
開発者が知るべきキャッシュ設計でよく遭遇する問題
はじめに 分散システムの設計および開発において、キャッシュはパフォーマンス向上のための非常に重要な要素です。頻繁にアクセスされるデータをキャッシュすることで、アクセス速度が遅いデータベースへのアクセスを削減し、データへの迅速なアクセスを可能にします。これにより、システムの全体的な効率とパフォーマンスが向上します。 しかし、キャッシュは慎重に設計しないとむしろパフォーマンス上のデメリットになるケースが存在します。 この記事ではよく遭遇するキャッシュ設計の問題とその回避策について解説します。 Cache penetration DBに存在しない値を検索したときに、DBから返された空の結果をキャッシュしない場合に発生するシナリオです。 このシナリオではDBに存在しない値を繰り返し検索することにより、その値がキャッシュされていないため検索ごとにDBへのアクセスが必要になってしまいます。 存在しない
SQLを速くするぞ―お手軽パフォーマンス・チューニング
このサイトでは、SQL を高速化するためのちょっとしたパフォーマンス・チューニングの技術を紹介します。と言っても、『プログラマのためのSQL 第2版』の受け売りがほとんどなので、この本を読んでいただければ、本稿を読む必要はありません。 最初に、パフォーマンス・チューニングに関する全体の方針を述べておくと、それはボトルネック（一番遅いところ）を改善することです。当たり前ですが、既に十分速い処理をもっと速くしたところで、システム全体のパフォーマンスには影響しません。従って「処理が遅い」と感じたら、最初にすることは、SQL やアプリの改修ではなく、「どこが遅いのか」を調査することです。いきなりあてずっぽうで改善をはじめても効果は出ません。医者が患者を診るとき最初にすることが検査であるのと同じです。病因が何であるかを突き止めてからでないと、正しい処方はできないのです。 その基本を承知していただいた
The Movie Database (TMDB)
Get access to maintain your own custom personal lists, track what you've seen and search and filter for what to watch next—regardless if it's in theatres, on TV or available on popular streaming services like Netflix、Hulu、Disney Plus、U-NEXT、Amazon Prime Video. 登録 広告無しでTMDbを楽しむ 個人的なウォッチリストを維持する 加入しているストリーミングサービスでフィルタリングして、見たい作品を見つける 見た映画やテレビ番組を記録する カスタムリストを作る TMDbのデータベースへの貢献と改善
システム構成図をテキストで
Gigazineさんでdrawthe.netを取り上げていたので紹介です。使い方はGigazineさんのほうが丁寧なので、気になる方はチェックしてみてください。（2020年12月1日、追記） drawthe.netとは cidrblock/drawthe.netは複雑なネットワーク図も「テキストで書いてブラウザ上でSVGレンダリングできるようにしよう」というコンセプトのもと開発されたツールです。下図のように複雑な構成図も精度高く描くことができます。 拡大してみると情報量が多いこと、またいかに整っているかがわかると思います。 デモサイトも用意されているので、サクッと試したい場合はコチラが便利です。コードはGitHubで公開されています。更新が2017年末で止まってしまっているのが玉に瑕ですが、十分な性能を発揮してくれます。 drawthe.netを使いたい理由 美しい構成図といえばInter
Textdb
TextDB A simple way to share small amounts of data Let's name your data aa680af1-98e8-436f-91c7-4fdefab23ff5 Update your data with curl -d "hello world" -H "content-type: text/plain" https://textdb.dev/api/data/aa680af1-98e8-436f-91c7-4fdefab23ff5 Access your data with curl https://textdb.dev/api/data/aa680af1-98e8-436f-91c7-4fdefab23ff5 Or view it with live updates at https://textdb.dev/data/aa68
Python 軽量ドキュメントデータベース TinyDB
私が選ぶ2015年の”新しい”Pythonモジュール トップ5 こちらで紹介されている「TinyDB」 http://tinydb.readthedocs.org/en/latest/index.html Pure Pythonなドキュメントデータベースなようです。 インストールして使ってみます。 インストール インストールはeasy_installで行いました。 バージョン3.1.2がインストール出来ました。 データの登録と検索 こちらを参考に、使い方を調べてみます。 http://tinydb.readthedocs.org/en/latest/getting-started.html まず、データベースの作成とデータ登録を行ってみます。 from tinydb import TinyDB, Query# データベースオープン 引数はファイル名db = TinyDB('db.json'
WordPressでドメインやディレクトリ変更 - Qiita
概要 WPでディレクトリ構造を変更したりドメイン名を変更したりすると，DBも書き換える必要がある． 例）example.com → newdomain.com WPの場合，DBのwp-optionsだけでなく，投稿内に挿入した画像URLにもフルパスが書き込まれる． そのため，置換対象のドメイン名がDB内に大量に含まれる． また，一部のプラグインではURLをシリアライズしている場合がある． シリアライズされているデータは，単純に文字列置換をすると整合性が取れなくなり，パース時にエラーが出るようになってしまう． これらの問題を解決し，簡単にドメイン名を変更できるツールを紹介する． 事前準備 移転先に全ファイルを複製しておく． DBをバックアップしておく． DBも移転するなら，移転先にインポートしておく． サイトを見ていた場合は閉じておく． ツールダウンロード 以下にアクセス． DATABASE
限界までMySQLを使い尽くす!!
どこまで出来るか?!やれるところまでやってやるぜ!!と、威勢が良いのは若い間だけの話。オトナのオトコは、攻めるときはとことん攻めるが自らの限界もわきまえて賢く振る舞うのがスマートってものである。というわけで、今日はMySQLのいろいろな限界についてまとめてみる。皆さんも是非MySQLの限界を知り、MySQLをもっとスマートに使って頂きたい。 SQL文の最大長 MySQLサーバーが実行出来るSQL文の最大長は、max_allowed_packetシステム変数で表される。max_allowed_packetの最大値は1GBである。max_allowed_packetの値はセッションごとにも設定可能なので、デフォルトではそこそこの値（16MBなど）に設定しておいて、必要に応じて大きな対を使うと良いだろう。 データベースの個数 データベースオブジェクトの個数に制限はない。データベースオブジェクトは
PostgreSQL/PostGISのダウンロードとインストール
日本PostgreSQLユーザー会から Windows版の postgresql-8.2.1-1-ja.zip をダウンロードします postgresql-8.2.1-1-ja.zipを解凍し、そのフォルダを空け、postgresql-8.2-ja.msi をダブルクリックし、インストールを展開します ※Cygwinを環境変数に設定されている場合はメッセージが出るので、環境変数のPATHからCygwinの設定を除いてください。 PostgreSQLインストールウィザードへようこそ 次へ インストールにおける注意事項 次へ インストールオプション 「国際化言語のサポート」と「PostGIS 空間の拡張」を選択し『全体の機能は、ローカルなハードディスクドライブにインストールをされます』を選択し、次へ。その他のオプションは任意です サービス構成 「サービスのインストール」にチ
PostgreSQL 8.3 インストール [データベース] All About
PostgreSQL 8.3 インストールPostgreSQL 8.3のインストール手順について解説した記事です。 Windows版のPostgreSQL Version 8.3.0をインストールして試用してみました。 テストに使用したPCのOSはWindows 2000 Pro SP4とWindows XP Pro SP2です。 旧バージョン8.2.4のインストール記事はこちらです。 旧バージョン8.2.xからのインストーラーの変更点 インストーラーは複数の言語対応になりました。 また、ODBC、JDBC、PostGIS、Slony-I等のインストールは、 外部プロジェクト専用のインストーラであるスタックビルダに移行しました。 PostgreSQL本体のインストール完了後にスタックビルダを用いて追加インストールしてください。 1. postgresql-8.3.0-1をダウンロード 8.
![PostgreSQL 8.3 インストール [データベース] All About](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f530daf3cb408d6b6a0ba6f38ed7ccece36cffc/height=288;version=1;width=512/https%3A%2F%2Fimg.aacdn.jp%2Faa%2Fcommon%2Fogp300_300.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sql.js
https://githubja.com/msiemens/tinydb
つみきWeb
PostgreSQL 9.0.1文書
「PHPからPOSTGRESに接続できない。」（1） Linux Square － ＠IT
スクリプト：PHP：4系インストール・設定（SRC）｜ADSL + 自宅 Linux サーバ
Linux版・PostgreSQLインストール手順
