【ログ分離】 ログデータを DB に保存してはいけません
はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
Rust で SQLite を再実装した 2023 - kawasin73のブログ
気合いで実装、どうもかわしんです。 この記事は Rust Advent Calendar 2023 の6日目 兼 情報検索・検索技術 Advent Calendar 2023 の 6 日目です。 Rust で SQLite をフルスクラッチで実装しています。 github.com なぜ SQLite を Rust で再実装しようと思ったのかについては以前の記事で紹介しています。一言で言えば、誰も Rust で SQLite を書いている人がいなかったからやってみたのですが、そもそも SQLite が強すぎるということが再実装しているうちにわかってきて絶望しています。 kawasin73.hatenablog.com 4 ヶ月前にこの記事を書いたときは簡単な SELECT 文しか実行できなかったのですが、現時点では SELECT, INSERT, DELETE 文をサポートし、express
SQLの実行計画の読み方 |
今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。（このため A5:SQL Mk-2でもツリービューで実行計画を表示します。） ツリーのリーフ（端）から処理が行われ、ルート（根）に向かっ
sqlite3 — DB-API 2.0 interface for SQLite databases
sqlite3 — DB-API 2.0 interface for SQLite databases¶ Source code: Lib/sqlite3/ SQLite is a C library that provides a lightweight disk-based database that doesn’t require a separate server process and allows accessing the database using a nonstandard variant of the SQL query language. Some applications can use SQLite for internal data storage. It’s also possible to prototype an application using SQ
PEP 249 – Python Database API Specification v2.0 | peps.python.org
PEP 249 – Python Database API Specification v2.0 Author: Marc-André Lemburg <mal at lemburg.com> Discussions-To: Db-SIG list Status: Final Type: Informational Created: 12-Apr-1999 Post-History: Replaces: 248 Table of Contents Introduction Module Interface Constructors Globals Exceptions Connection Objects Connection methods Cursor Objects Cursor attributes Cursor methods Type Objects and Construct
Vagrantで複数台同時起動するマルチマシン設定 |
本稿では、Vagrant に仮想マシン複数台を定義するマルチマシン(Malti-Machine)設定について解説します。 マルチマシン設定とは？ マルチマシン設定とは、一つの Vagrantfile に複数のゲストマシンを定義する設定です。 例えばWEBサーバーとDBサーバーの両方を同時に起動する必要がある場合や、クライアントとサーバーの関係のマシンを起動する必要がある場合などに、マルチマシン設定が役立ちます。 設定 複数台分のマシンの設定を同一の Vagrantfile に config.vm.define を利用して定義します。 サーバーを2台定義する最低限の設定は次のようなイメージです。 ここでは例として Box として precise32 を指定して2台を定義します。 Vagrant.configure("2") do |config| config.vm.box = "preci
SQLスタイルガイド · SQL style guide by Simon Holywell
概要 全般 推奨 非推奨 命名規則 通則 表 列 別名、相関名 ストアド・プロシージャ 統一的接尾辞 問合せ文 予約語 空白類 インデント 望ましい形式 Create文 データ型の選択 デフォルト値の指定 制約とキー 非推奨設計 付録 予約語リファレンス SQLスタイルガイド（日本語訳） 日本語訳について 日本語訳は誤訳や原文の最新版に追随していない恐れがあります。誤訳や改善点があれば、GitHubのissueまたはpull requestを使用するか、Twitterでお知らせください。 翻訳: 久利史之 @nkuritw 概要 このガイドラインは利用の他、forkしたり、自分自身のものに改変したりすることができます。ここで大事なのはスタイルを選択しそれを踏襲することです。変更の提案やバグの修正にはGitHubのissueまたはpull requestを使用してください。 このガイドライン
SOAなのにトラブルが連鎖、みずほ銀行システム障害の謎
疑問9 なぜe-口座への一括切替処理を2～3月に実施したのか みずほ銀行は2021年2月27日から6回に分けて、1年以上記帳が無い定期性預金の口座約259万件を、通帳を発行しない「みずほe-口座」へ一括して切り替える計画だった。1回につき切り替える口座は45万件だ。 しかし2月28日、定期性預金システムでは45万件のe-口座一括切替処理に加えて、月末取引のバッチ処理が25万1000件予定されていた。合計は70万1000件だ。それに対して、定期性預金システムの「取消情報管理テーブル」のインデックスファイルは、1日当たりの更新が64万2969件を超えると容量オーバーになる設定だった。 月末や年度末の処理がある2～3月にe-口座への一括切替を強行したのは、3月末までに259万件の通帳を廃止できれば、印紙税を年間約16億円削減できると見込んでいたためだ。 「突き抜け」の心配は無かった またみずほ銀
開発者ガイド
開発者ガイド Oracle(R) Data Provider for .NET Oracle(R) Data Provider for .NET 開発者ガイド 19c for Microsoft Windows F21048-01(原本部品番号:E96613-01) 2019年5月 Oracle Data Provider for .NET開発者ガイド, 19c for Microsoft Windows F21048-01 Copyright © 2002, 2019, Oracle and/or its affiliates. All rights reserved. 原本著者: Maitreyee Chaliha 原本協力者: Janis Greenberg、Alex Keh、Kiminari Akiyama、Sumit Jeloka、Sinclair Hsu、Shailendra
SQL Server Integration Services
適用対象: SQL Server Azure Data Factory の SSIS 統合ランタイム SQL Server Integration Services は、エンタープライズ レベルのデータ統合およびデータ変換ソリューションを構築するためのプラットフォームです。 統合サービスを使用して、複雑なビジネス上の問題を解決します。 次に例を示します。 ファイルをコピーまたはダウンロードする データ ウェアハウスを読み込む データのクレンジングとマイニング SQL Server オブジェクトとデータの管理 機能 Integration Services では、XML データ ファイル、フラット ファイル、リレーショナル データ ソースなど、さまざまなソースのデータを抽出および変換して、1 つ以上のターゲットに読み込むことができます。 Integration Services に含まれるも
DBMS_OUTPUT
106 DBMS_OUTPUT DBMS_OUTPUTパッケージによって、ストアド・プロシージャ、パッケージおよびトリガーからメッセージを送信できます。このパッケージは、PL/SQLデバッグ情報の表示に特に便利です。 この章では、次の項目について説明します。 DBMS_OUTPUTの使用方法 概要 セキュリティ・モデル 使用上の注意 例外 ルールおよび制限 例 データ構造 表タイプ オブジェクト・タイプ DBMS_OUTPUTサブプログラムの要約 概要 通常、このパッケージは、デバッグに使用されるか、あるいはメッセージとレポート(プロシージャにSQLコマンドDESCRIBEを適用するなどして生成)をSQL*DBAまたはSQL*Plusに表示するために使用されます。 このパッケージに含まれているPUTプロシージャおよびPUT_LINEプロシージャによって、別のトリガー、プロシージャまたはパッ
ストアドプロシージャとは SQL -TECHSCORE-
SQL 13章 ストアドプロシージャ (SQL 非標準) 13.1. ストアドプロシージャとは 13.2. ストアドプロシージャの基本構文 1. ストアドプロシージャの作成 2. ストアドプロシージャの実行と削除 13.3. ストアドプロシージャの利用 13.1. ストアドプロシージャとは ストアドプロシージャは、データベースに対する一連の処理を一つのプログラムにまとめ (PROCEDURE)、データベース管理システム (RDBMS) に保存 (STORE) したものです。複雑な SQL 文の呼び出しを、論理的に一つの処理単位にまとめて、簡単にその名前で呼び出せるようになっています。一つのプロシージャには、複数の SQL 文が含まれていたり、繰り返しや条件分岐などの制御構造をもつこともあります。また、引数をとって処理をしたり、処理結果を返すこともできます。 ストアドプロシージャを利用するこ
データベース エンジンのイベントとエラー - SQL Server
このセクションには、エラー メッセージ番号とその説明が含まれています。この説明は、 sys.messages カタログ ビューのエラー メッセージのテキストから取得されます。 当てはまる場合、エラー番号は詳細情報のリンクとなっています。 sys.messages カタログ ビューに対して次のクエリを実行すると、データベース エンジンに対してクエリを実行して、すべてのエラーの完全な一覧を表示できます。 SELECT message_id AS Error, severity AS Severity, [Event Logged] = CASE is_event_logged WHEN 0 THEN 'No' ELSE 'Yes' END, [text] AS [Description] FROM sys.messages WHERE language_id = 1040 /* replace
連番を振り直す。あるいは集計結果でテーブルを更新するなど。 - だらだらやるよ。
たまにしか使わないし、DBMSによって記述方法違うので、しょっちゅうやりかた忘れて困るので自分用メモ。 ちなみにDBはpostgresql。 サンプルはとあるテーブルの項目に連番を振り直したいとき用のアップデート文 UPDATE target_table SET target_column = (SELECT count(*) FROM target_table t1 inner join target_table t2 on t1.id>=t2.id WHERE target_table.id = t1.id GROUP BY t1.id ) どうでもいいけどWEB系のプログラムってあんまりごちゃごちゃしたSQL書くことが少ないなーとか思ったり。そうでもないのかな。
GoとDependency Injectionの現在｜Seiji Takahashi@ベースマキナ
tl;dr・Goの依存性注入は普通に行われるが、DIツールはまだ観測範囲では浸透していない。 ・直近出たGoogle製Go向けDIツール「Wire」はシンプルなAPIやツール作成で有用だが、依存オブジェクトの設定が複雑化すると表現性に限界がくる ・Goにおいて、DIツールはある種のフレームワークと認識して慎重に採用すべき前提：Goの依存性注入と課題Goのコードを書く際、特に一定規模を超えたAPIを書く際は、依存するオブジェクトというのが増える。DBクライアントやロガーや各種ビジネスロジックを呼び出すサービス層などがそれに該当する。 レイヤー化されたパッケージ構成の下、こうした依存オブジェクトをトップダウンに注入していくやり方は見通しがよく、テスト時にモックのAPIクライアントを差し込みやすかったりと、テスタビリティを向上させる。ざっくり依存性注入が行われるようなレイヤー化された構成で、なん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLで新しいユーザーを作成して権限を付与する方法 | DigitalOcean
How do I specify a password to 'psql' non-interactively?
Oracle Data Provider for .NET (ODP.NET)
Oracle.ManagedDataAccess.Core 23.7.0
履歴を持つデータの設計
