人間のためのリーダブルSQL
読みにくいと感じた SQL の例を作るにあたり、私自身が目にしてきた SQL を例として出しますが特定の個人を非難したいものではないことを最初に書かせてください。 人類全体でより良い SQL を書いてより良いデータ活用をしていこうぜ！と言う趣旨の記事になります。 これは何？ 私 tenajima が分析用の SQL を書くときに意識していることになります 以前書いた「データ基盤のためのリーダブル SQL」はデータ基盤開発者向けに書きましたが、今回はデータ基盤や dbt のコードではなく一般的な SQL を書く人向けのリーダブル SQL という立ち位置で書きたいと思います 当初は「分析者のためのリーダブル SQL」として書こうと思いましたが、エンジニアの人も bizdev の人も人事の人も、SQL を書くなら誰にでも意識してほしいなと思い、「分析者」をとっぱらいました(結果人間なのかというツ
AIに書かせたコードは理解する必要がある
こんにちは、@dyoshikawaです。 「AIコーディング時代に出力されたコードを理解する必要があるのか？」という議論についての私見です。 結論からいうとAIが出力したコードは理解する必要があると思っています。その理由を言語化してみます。 アプリが複雑になるとタスク遂行が困難になる 英語圏のエンジニアインフルエンサーにはAIコーディングの熱狂から一歩引いた見解を発信する人が結構いる印象です。自分の感覚を補正するために、そういった人をフォローしてときどき投稿を追っています（個人的に、未来は「エンジニア不要論」でも「AIぜんぜん使えない論」でもなく、両者の中間に落ち着いていくのではないかと思っています）。 元Uberでフォロワー27万人のエンジニアGergely Orosz氏の最近のポストです。 日本語訳: AIコーディングツール、バイブコーディング、AIエージェントについて多くの議論が交わ
この記事は MySQL Advent Calendar 2023 2日目の記事です。 (ちょっとフライング。。) 今回は僕がマジか、と思ってしまった MySQL の挙動について共有させていただきます。 BEGIN 中に BEGIN をすると COMMIT される 結論から言うとこれだけです ^^;; アプリエンジニアの方からお問い合わせをいただいた時にはこのことを意識したことすらなかったのでトランザクションの終了は COMMIT or ROLLBACK にてされるのだという先入観で動いていました。 ざっくりと言うとこんな感じ BEGIN; INSERT INTO testtable VALUES (1); BEGIN; このタイミングで別のターミナルを立ち上げて中身を確認するとなんと testtable には 1 という値が入っています。 個人的にはまじかーー、な挙動だったのでもしかしたら
はじめに Postgres には JSON/JSONB というデータ型がありますが，JSONB はデータをバイナリ形式で格納するためインサート時に変換のオーバーヘッドがあるものの，その後の処理が非常に高速である上に，インデックスを貼ることができるため，実用上は JSONB を使うのが一般的です． 一方で，そもそも RDB のようなスキーマの厳格な型付けをしているシステムで半構造化データである JSON を扱うこと自体がアンチパターンであるという指摘もあります． しかしながら，適切に設計，運用することで厳格な RDB で柔軟なデータを扱うことができ，アプリケーションの表現の幅を広げることができます． 本記事では，JSONB を可能な限り安全に扱うための実践的な工夫を紹介します． JSON Schema を使ったバリデーションを Check Constraint にする Postgres では
Google Analytics でサイト速度を計測する / Measure site speed with Google Analytics
はじめに こんにちは。calloc134 です。 バックエンド開発において、DB にデータを保存することはよくあることです。 DB と接続してデータのやり取りを行う必要がありますが、皆さんはどのようにしてデータを取得していますか？ ORM やクエリビルダを利用したり、逆に SQL を記述してコード生成を行ったりと、様々な方法があります。 今回はこれらのアプローチについて比較し、比較的斬新な方針を取っているものとして SafeQL を紹介します。 注意点 ここでは、TypeScript のバックエンド開発と、そこで利用されるライブラリを前提として話を進めます。 Go や Python など他の言語での利用方法については、別途調査が必要です。 SQL に対するアプローチ まず、SQL に対するアプローチには大きく分けて 2 つの方法があります。 それぞれのライブラリの使い方を、簡単に見ていきま
Webブラウザ上のWASM版PostgreSQLをサーバとし、PostgreSQLクライアントから接続可能になる「dabase.build:Live Share」、Supabaseが発表
Webブラウザ上のWASM版PostgreSQLをサーバとし、PostgreSQLクライアントから接続可能になる「dabase.build:Live Share」、Supabaseが発表 PostgreSQLをベースにしたBaaS（Backend as a Service）の「Supabase」を開発し提供しているSupabase社は、Webブラウザ上で実行中のWebAssembly版PostgreSQLをサーバとし、別のマシンからPostgreSQLのクライアントで接続できる新機能「dabase.build:Live Share」を発表しました。 Supabaseは今年（2024年）8月、Webブラウザ上でWebAssembly版PostgreSQLの「PGLite」を実行するサービス「database.build」（旧称：Postgres.new）の提供を開始しました。 これによりWe
「ないなら作りますか！」と日本の開発者たちが立ち上がった 経営環境や顧客ニーズの変化に素早く対応することが企業の重要課題となる中で、柔軟性やスケーラビリティといったメリットを享受できるクラウドサービスを採用する動きが広まって久しい。 こうした時代において、企業の資産となるデータやデータベースを取り巻く現状と課題はどうなっているのか。日本発の次世代高速RDB「劔“Tsurugi”」（以下、Tsurugi）を開発したProject Tsurugiの責任者であり、ノーチラス・テクノロジーズ代表取締役会長の神林飛志氏はこう話す。 「OLAP（Online Analytical Processing）はクラウドサービスの活用が主流となっており、RDBそのものや、RDBの機能、性能に意識が向くことは減ってきています。そのため、RDBという言葉はOLTP（Online Transaction Proce
データベースの楽観ロックと悲観ロックを理解する
分離レベルを高くするほど、データの整合性は向上しますが、ロックが増えるためパフォーマンスは低下する傾向があります。アプリケーションの要件に応じて適切な分離レベルを選択することが重要です。例えば、高いスループットが必要な読み取り中心のアプリケーションでは READ COMMITTED を、金融取引のような厳密な整合性が必要なアプリケーションでは SERIALIZABLE を選択するといった判断が必要です。 楽観ロックの仕組み 楽観ロックの基本概念とメンタルモデル 楽観ロック（Optimistic Locking）は、その名の通り「楽観的」なアプローチでデータの整合性を管理します。このアプローチでは、データ競合が発生する確率は低いという前提に立ち、事前にデータをロックせずに処理を進めます。 楽観ロックのメンタルモデルは、EC サイトでの買い物に似ています。あなたがオンラインショップで商品を閲覧
select クエリはこんな感じ。 select * from sample_master limit 10000; Aurora MySQL 最大時間: 2.911370515823364 最小時間: 1.679802656173706 平均時間: 2.2446921920776366 SQLite 最大時間: 1.0608539581298828 最小時間: 0.9547784328460693 平均時間: 1.0193749523162843 これは、想定外で、想像以上に SQLite が早かったです。 update クエリはこんな感じで、これを 100 件更新します。 update sample_master set user_name="hoge" where user_id=1; Aurora MySQL 最大時間: 4.00672483444214 最小時間: 2.28909
まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧縮されていたりします。 特に日付単位で分かれてたりすることは多いです。そこから目的のログを探し出すのは、基本はスクリプトを書くことが多いと思います。 DuckDB を使えば色々解決します。
DMMがMySQLのリプレース先としてGoogle Cloud SpannerとTiDBを比較、採用したのはTiDB。比較内容や結果を語る［PR］
DMMがMySQLのリプレース先としてGoogle Cloud SpannerとTiDBを比較、採用したのはTiDB。比較内容や結果を語る［PR］ オンラインゲーム、電子書籍、動画配信を始めとする60以上のサービスを提供しているDMM。同社の共通基盤を提供する組織「DMMプラットフォーム」は、オンプレミス上で稼働していたMySQLのリプレース先の検討過程でNewSQLのGoogle Cloud SpannerとTiDB/TiDB Cloudを比較しました。 その比較の結果、採用されたのはTiDB Cloudでした。 比較検討の結果として完成度はSpannerの方が高いとしながらも、なぜ同社はTiDB Cloudを採用したのか、そして実際に運用してどうだったのか。その内容が2024年7月3日に都内で行われたイベント「TiDB User Day 2024」のセッションで語られました。 本記事で
【どうすれば達人のようなコードが書けるのか？】 著書累計20万部を超える、データベース（DB）界の達人・ミック氏が、 「センスの良いSQLを書く技術」を身につけるための思考法や勉強法を大公開！ コーディングや設計を行う上で知っていると一生役に立つ、 SQLやRDBの理論や哲学をわかりやすく解説しています。 【達人が考えるセンスの良いSQLとは？】 無駄がなく、可読性が高いエレガントなSQLこそが目指すべき「センスの良いSQL」です。 それが、メンテのしやすさ、パフォーマンスの良さにつながるからです 本書では、エレガントでかつハイパフォーマンスなSQLを実現する技術として、、 SQLの書きやすい順序、効率的なクエリの書き方、保守しやすいコード、 適切なインデックス戦略、実行計画の重要性、無限のスケーラビリティ 等を解説しています。 【本書の特徴】 １テーマごとに、まずサマリー＋イメージ図（イ
※皆さまのご指摘に併せてアップデートをします。ストックに入れて置いて頂けますと便利です。 JavaはエンタープライズからWebサイトまで幅広く使われている言語です。その中で企業ユースではOracle JDKが広く使われてきている歴史があります。もちろん各社提供のOpenJDKも引き続き無償で提供され、様々なプラットフォームでサポートとライセンス付きのJDKが立ち上がり、各社から提供されています。 この記事では Oracle JDKのライセンス・サポートについて解説しています。 JDKいろいろ JDKは無償で提供されるOpenJDKから、各プラットフォーム上ではライセンス・サポートされるJDKと、商用ライセンス・サポートされるJDKと様々あります。この記事ではサーバーサイドで動かす場合を前提として記載します。分かりやすくするため、登場するのはOracle OpenJDK・Oracle JDK
![[Javaの有償・無償ライセンス] Oracle JDK ライセンス・サポート解説 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f9ee2081e6b0d1efe7f8bb99e79a9346b2c9834a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYxODE4MzElMkY2MzJjZWZhZTZiNmFkMjcwZDI0MDA5MzZlODJmYjJjZTg4MmY3M2RmJTJGeF9sYXJnZS5wbmclM0YxNTg5MzgyODM0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWMxNTdhNGVjZGQ5ZTk1YmMyYmNiNGE0MjhlYWVjNTUw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D093323d86387dc9b6f8235753122f90b%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCSmF2YSVFMyU4MSVBRSVFNiU5QyU4OSVFNSU4NCU5RiVFMyU4MyVCQiVFNyU4NCVBMSVFNSU4NCU5RiVFMyU4MyVBOSVFMyU4MiVBNCVFMyU4MiVCQiVFMyU4MyVCMyVFMyU4MiVCOSU1RCUyME9yYWNsZSUyMEpESyUyMCVFMyU4MyVBOSVFMyU4MiVBNCVFMyU4MiVCQiVFMyU4MyVCMyVFMyU4MiVCOSVFMyU4MyVCQiVFMyU4MiVCNSVFMyU4MyU5RCVFMyU4MyVCQyVFMyU4MyU4OCVFOCVBNyVBMyVFOCVBQSVBQyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWVjODMxY2MxY2ZkNWRjYWU4NWM4MmRjNGMwMDMxYjgz%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBob2thLXNoaW5vJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9ZTUxMjk0YTI5NzkzYWZmNjNmN2EyMWNmNjgwMTZmODg%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D49a4ff643c32662ba0cc73910269466b)
Building a highly-available web service without a database
If you’ve ever built a web service or a web app, you know the drill: pick a database, pick a web service framework (and in today’s day and age, pick a front-end framework, but let’s not get into that). This has been the case for several decades now, and people don’t stop to question if this is still the best way to build a web app. Many things have changed in the last decade: Disk is a lot faster
SQLite on EFSは書き込みロックできる
はじめに こんにちは。がれっとです。 先日ECSとRDSをやめて、AWSコストを9割削減しましたという記事を投稿したところ、興味深いコメントを見つけたので検証してみました。 結論 EFS上のファイルには通常のSQLite相当のロックを行うことができ、SQLiteの書き込みが競合してバイナリファイルが壊れるといったことは基本的にない。 検証内容 SQLiteは書き込みロックをOSによるファイルロックを使用して実現しているため、Network File System上のファイルに対してうまくいかないというコメントを発見しました。 たしかに、SQLite公式ドキュメントにもその旨が記載されています。 そのため、本当にEFS上のSQLiteは書き込みが競合して壊れるのか、検証していきます。 AWS 構成図 マウントポイントによってロックのかかり方が異なる可能性を否定できなかったため、念の為アベイラ
リクルートは8月9日、新卒エンジニア向け研修資料を無料公開した。公開したのは、2024年度に実際行った研修の内容と資料の一部。エンジニアの心構えからデータベース設計、JavaScript研修、Webアクセシビリティー入門など、26種類の資料を無償公開している。 例えば、エンジニアの心構えを学べる資料「ソフトウェアエンジニアとしての姿勢と心構え」は、プログラマー向けの技術書を複数出版している、ソフトウェア開発者の和田卓人さんが作成したもの。エンジニアとしてどのように技術を学んでいけば良いのか、「技術の学び方を学ぶ」ために作成した資料だという。 同社は例年、新卒エンジニア向けの研修資料を無償公開している。23年度は24種類の資料を公開していたが、24年度は「実践データベース設計」などの資料を追加した。この資料を使った講座では、具体的なデータベースの設計方法や、実際の開発プロセスを実践に沿った形
はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
PostgreSQLをWebAssemblyとしてビルドした「PGlite」がPostgreSQL 17対応にバージョンアップ
PostgreSQLをWebAssemblyとしてビルドした「PGlite」がPostgreSQL 17対応にバージョンアップ PostgreSQLのソースコードをWebAssemblyバイナリとしてビルドしたことで、Node.jsなどのJavaScriptランタイムやWebブラウザ上でほぼフル機能のPostgreSQLを実行可能にした「PGlite」がバージョンアップして「PGlite 0.3」になり、PostgreSQL 17.4対応となりました。これまではPostgreSQL 16に対応していました。 PGliteはPostgreSQLのコードをWebAssembly化 PGliteはPostgreSQLのCのソースコードをEmscriptenコンパイラを用いてWebAssemblyバイナリとして出力、JavaScript/TypeScriptからライブラリとして呼び出せるようにした
How mixi2 Uses TiDB for SNS Scalability and Performance
Developers Summit 2025 登壇資料
Go の ORM はどのようにして AUTO INCREMENT で採番された値を取得しているのか？ - MySQL 編 - カミナシ エンジニアブログ
こんにちは。カミナシで「カミナシレポート」の開発を担当しているソフトウェアエンジニアの佐藤です。 カミナシレポートのバックエンドは Go で開発しており、データベースには Amazon Aurora MySQL を使用しています。また、データベースアクセスには ORM ライブラリの GORM を採用しています。 ほとんどのテーブルでは、プライマリキー（ID列）に AUTO INCREMENT を利用しています。これらのテーブルに GORM の Create メソッドなどを使って新しいレコードを挿入すると、AUTO INCREMENT で採番された値が自動的に対応する Struct のフィールドに反映されます。 AUTO INCREMENT による値の採番は MySQL 側で実行されているため、Go 側の Struct のフィールドに反映させるためには、Go アプリケーション側が何らかの方法
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事の内容 この記事は上記記事で作成したデータベースに接続するテストの仕組みを運用した際に発生した問題点とそれに対する分析、解決策の案をまとめた記事です。 データベースに接続するテストの詳細な内容は上記記事を参照していただければと思うのですが、作った仕組みの概要としては データベースに接続するJUnitTestをCIで実行するしくみ です。 これによって私が開発しているプロダクトのテストの仕組みの全体像は以下のようになりました。 CIで実行されるJUnitTest（Javaプロセスのみ）の実行基盤 CIで実行されるJUni
Goのsql.DBは、いつプールに戻しているのか
はじめに 鍵を閉め忘れたような気がして心配になるように、リソースを後始末していたか心配になることはありませんか。 「習慣的にdeferでCloseしてるからリークしないはずたけど。あれ？トランザクションはしてなかったかも。ん？Closeないの！？」 Goの標準ライブラリの database/sql で中心となる sql.DB ではデフォルトでコネクションプールが使われるようになっていて明示的な操作は不要です。 ではいったい、どのタイミングでプールに返却されているのか、パターンを整理してみました。 準備 挙動の確認でINSERTやSELECTを実行するため、PostgreSQLに簡易なテーブルを作成しました。 CREATE TABLE shop ( id serial PRIMARY KEY, name text NOT NULL, created_at timestamp with tim
「DuckDBの魅力解剖！〜現場から見る活用術とその可能性〜」の登壇資料です。 https://findy.connpass.com/event/343059/
PostgreSQL 17正式リリース。WALの改善で書き込み性能が最大2倍に、本体付属のバックアップツールで増分バックアップ対応など新機能
PostgreSQL 17正式リリース。WALの改善で書き込み性能が最大2倍に、本体付属のバックアップツールで増分バックアップ対応など新機能 PostgreSQLは今年（2024年）に発表されたStack Overflowの調査でMySQLを抜いて最も使われているデータベースとなっているなど、人気が高まっているデータベースです。 参考：Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey WALの改善で書き込み性能が最大で2倍に PostgreSQL 17では、先行書き込みログ（WAL）処理の改善が行われました。 WALとは、トランザクション処理が確実に行われるためにトランザクション処理に先立ってつねに記録
MySQLのロックの種類とその競合
2024/06/20 GMOペパボ
オープンソースの代表的なインメモリデータストア「Redis」のフォークとしてLinux Foundation傘下で開発が進められている「Valkey」は、AWSやGoogle Cloud、Oracle Cloudなどへの採用が始まっています。 参考：Google Cloud、Redisをフォークした「Valkey 7.2」のマネージドサービス「Memorystore for Valkey」プレビュー版を開始 8月2日に、フォーク後の最初のメジャーバージョンとなる「Valkey 8.0」のリリース候補版が公開されたのに合わせて、Valkey 8.0で予定されている性能や機能の向上についての記事「Valkey 8.0: Delivering Enhanced Performance and Reliability」がValkeyのブログに投稿されました。 その内容から、Valkey 8.0の主
RDS Proxy はリリースして４年以上経過（Amazon RDS Proxy が一般提供開始）しましたが、そこまで一般的な情報は多くないのと、自分の整理の意味を込めて適度に吐き出しておきたいと思います。 用途はいくつかある中で、今回は単純な負荷に対するスケーリング対策としての内容となります。今年最後の記事なのに想像込みの部分もあって絞まらないかもですが、お手柔らかにお願いします。 はじめに RDS Proxy は便利な可能性を提供してくれるものですが、ただ導入しただけで幸せになれる類のものではありません。どのような仕組みであり、なぜ効率が良くなり、どのように扱えばよいのか、について正しく理解しようとする姿勢が必要なのは、他のシステムと同じです。 基本的な情報についてはリンクを置いておきますので、そちらに任せるとして、ここではそういう情報を一見しただけではわからなそーな部分についてまとめ
本日のデモ： 本日のソースコード： おっと、待たせたねぇ！今日は「DuckDB-Wasm」と「DuckDB-Spatial」についてご案内いたしやすよ！ この記事を読めば、ブラウザだけで地理空間情報の分析をサクッとこなせすための環境構築や、便利な関数を使った地理空間情報分析の基本がバッチリわかるって寸法よ！これを知っときゃ、サーバーいらずで本格的な地理空間情報分析ができちまうし、つまずきやすいポイントもスッキリ解消！あんたもいますぐ地理空間情報分析の達人になれるこたぁ間違いなしだ！さぁ、江戸っ子の心意気で、いますぐその手で試してみな！ Vite.js + React でやんでぇ！まず、Vite.js + React + TypeScriptを開発環境の基板とするってのは、問答無用で決まりだ！ほかにゃ選択肢はねぇってわけよ。Viteの速さ、Reactの使いやすさと豊富なライブラリのエコシステ
Text-to-SQLのコモディティ化とデータ活用の民主化 - satoshihirose.log
はじめに データ活用と生成AI 構造化されたデータと生成AI 事例 Uber LinkedIn Pinterest さいごに はじめに ikki-sanのデータ活用の民主化へのコメントをそうだなと思いながら読んで、最近自分もそんな感じの領域のことをベンダー所属のプロダクトマネージャーとしてやっているので、考えていることをまとめてみる。 この数年間で「データの民主化」はイマイチ進まなかった印象ですが、その原因は「SQLの習得難易度」によるところが大きい。そこに関しては生成AIで相当解決されるはずなので、今後はデータの民主化がスタンダードになると予想しています。— ikki / stable代表 (@ikki_mz) 2025年4月7日 データ活用と生成AI これまで社内に蓄積された構造化されたデータを取得・操作するにはSQLおよびデータベースの理解が必要であり、その理解がない人たちは誰かにデ
2024年6月に発表した(https://speakerdeck.com/ktz/duckdbza-shao-jie)内容にDuckDB バージョン1.1の変更点を追記した版
目的別データベースの実践: PostgreSQL 行レベルセキュリティと DynamoDB Outboxパターン - KAKEHASHI Tech Blog
カケハシのプラットフォームチームのテックリードとして組織管理サービスと認証基盤を開発している kosui (id:kosui_me) です。今回は、目的別データベースをプラットフォームチームではどのように実践しているかご紹介します。 この記事は秋の技術特集 2024の 13 記事目です。 背景 目的 事例1: PostgreSQL の行レベルセキュリティを活用する組織管理サービス 組織管理サービスとは PostgreSQL の行レベルセキュリティ 行レベルセキュリティを用いたトランザクションマネージャー 行レベルセキュリティの運用上の注意点 事例2: DynamoDB を活用する認証基盤と Outbox パターンの活用 カケハシの認証基盤刷新 DynamoDB で実現する高稼働率の認証基盤 DynamoDB の特性を考慮する CDC と Outbox パターン まとめ 背景 医療の分野で様
MySQLのDDLを安全に使うための全て
これはなに ども、LT開発部のもりたです。 今回はMySQLのスキーマ変更（DDL）について調べました。 DDLってなんとなく使うことは可能なんですが、データ量が増えていくにつれて障害の要因になったりもしますよね。もりたも障害が起きてDDLを調べたクチなんですが、調べれば調べるほどDDLに関する断片知識が絡まり合い、整理をつけるのが大変でした。今回はその断片を撚り合わせ、綺麗に縫合することで、この１記事だけで大体全てがわかるようにしました。もしDDLでお困りの方がいらっしゃいましたら、この記事（と、そこから辿れる諸記事）を足がかりに基礎と応用を身につけていただければと思います。 また、有識者の方々は是非まさかりを構えながら読んでください。技術的な間違いや現場的にはこうだよという事項がありましたら、コメント欄に記載いただけると幸いです。 構成 構成 まず構成ですが、以下の通り進めます。 前提
「知る・創る・繋ぐ『ゼルダの伝説 ティアーズ オブ ザ キングダム』で再構築した開発環境とサウンド制作事例」セッションレポート［CEDEC 2024］
「知る・創る・繋ぐ『ゼルダの伝説 ティアーズ オブ ザ キングダム』で再構築した開発環境とサウンド制作事例」セッションレポート［CEDEC 2024］ ライター：箭本進一 開発スタッフの全員がゲームのことを知り，職種に関わらずアイデアを出し合えるフラットなモノ作り。この理想を実現するために，開発環境を再構築するという英断が行われた。開発者向けカンファレンス「CEDEC2024」の最終日，2024年8月23日に「知る・創る・繋ぐ『ゼルダの伝説 ティアーズ オブ ザ キングダム』で再構築した開発環境とサウンド制作事例」と題した講演が行われ，任天堂の取り組みが解説された。 ●登壇者 岡村祐一郎氏（任天堂 企画制作部 プログラミングリード） 長田潤也氏（任天堂 企画制作部 サウンドプログラミング担当） 日髙祥蔵氏（任天堂 企画制作部 ゲームツール開発担当） 左から，岡村 祐一郎氏，日髙祥蔵氏，長田
インデックスの"正解"を探せ！決済レスポンスタイムを改善したパフォーマンスチューニング - inSmartBank
はじめに サーバーサイドエンジニアの kurisu(ryomak) です。 普段は、カード決済やあとばらいチャージに関連する機能の開発・運用を行っております。 本記事でお話しすること 本記事では、インデックス追加によって決済レスポンスタイムを改善した事例をご紹介します。具体的なインデックス設計の検討や実行計画の見直しを通じて、どのようにレスポンスタイムを最適化したのか、その裏側を詳しく解説します。インデックス追加によるパフォーマンスチューニングの際の参考になれば幸いです。 はじめに 本記事でお話しすること 決済処理の遅延の検知 事の発端 実行環境 原因調査 遅くなったクエリの特定 対応検討 方針 検証項目 インデックスの「アタリ」をつける ① オーソリゼーション履歴：(オーソリゼーションID, 承認番号,受信日時) ② オーソリゼーション：(カードID, 初回受信日時) ③ オーソリゼーシ
#SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。
テーブルデータの前処理を何でやるか
最近読んだ、The Rise of Single-Node Processing: Challenging the Distributed-First Mindset という記事に最近考えていたことが書いてあったので便乗して自分の考えを書き留めておく。 元記事では、かつては大規模なデータの処理というと何はともあれ分散システムであり、Spark や BigQuery などを導入するのが当然であったが、近年は DuckDB や Polars など、シングルノードでも高速にテーブルデータを処理できる技術が登場してきたことで必ずしも分散システムは必要ではないよねという風潮に変わってきた、ということが述べられている。コスト面でもクラウドを使うのであれば、小さいインスタンスをいくつも立てて分散処理するのと、合計して同程度の vCPU や RAM を持つ一つの大きなインスタンスを立てて処理するのとで料金
はじめに Icebergテーブルのアーキテクチャ Icebergの同時実行制御のコンセプト Icebergの書き込み処理の流れ 同時書き込み時のシナリオパターン データ競合チェック なぜデータ競合のチェックが必要か？ 主要なオペレーションで実施されるバリデーション AppendFiles OverwriteFiles (Copy-on-Write 更新/削除) RowDelta (Merge-on-Read 更新/削除) RewriteFiles (REPLACE: コンパクション) バリデーションの種類 データパイプライン設計時の注意点 まとめと宣伝 おまけ(ソースコードベースの流れ） はじめに Apache Icebergテーブルは、テーブル単位、オペレーション単位のトランザクション分離レベルとしてserializableとsnapshotをサポートしています。（デフォルトはseria
Free and open source, database design editor. No signup -> get a diagram in just 15sec Free and open source, DB design editor. No signup -> get a diagram in just 15sec
Oracleが自社クラウドで発生した深刻なセキュリティインシデントを顧客から隠そうとしてInternet Archiveに削除要求していることが暴露される
2025年3月21日に、「rose87168」と名乗るハッカーがアメリカのソフトウェア企業・Oracleのクラウドサービス「Oracle Cloud」のシングルサインオン(SSO)ログインサーバーから約600万件の顧客データを盗み出して販売しました。これに対してOracleは「不正アクセスは発生していない」との声明を発表していますが、その一方でOracleはrose87168が「侵入の証拠」と主張するページをInternet Archiveに削除するよう要請していることが報じられました。 Oracle attempt to hide serious cybersecurity incident from customers in Oracle SaaS service | by Kevin Beaumont | Mar, 2025 | DoublePulsar https://double
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BEGIN 中に BEGIN をすると COMMIT される
【PostgreSQL】いかにして JSONB を安全に扱うか
RAGにベクトルDBは必要ない！DBも不要で運用めちゃ楽な RAG Chatbot を作った話
SQLに対するバックエンドのアプローチ比較、そしてSafeQLの紹介
日本発のオープンソースRDB「劔“Tsurugi”」正式版が登場 既存のものと何が違う？
Lambda からアクセスする DB に SQLite を使ってみる
DuckDB で JSON Lines 形式のログを精査する
センスの良いSQLを書く技術 達人エンジニアが実践している３５の原則
[Javaの有償・無償ライセンス] Oracle JDK ライセンス・サポート解説 - Qiita
リクルート、新卒エンジニア向け研修資料を無料公開 「実践データベース設計」など全26種類
【ログ分離】 ログデータを DB に保存してはいけません
データベースに接続するテストの仕組みを整備して、運用して、反省したこと - Qiita
データエンジニアリング領域におけるDuckDBのユースケース
RedisをフォークしたインメモリDBの「Valkey」、次期バージョンでは性能が2倍以上に
AWS RDS Proxy の実戦的な基礎知識 | 外道父の匠
DuckDB-Wasm + DuckDB-Spatial = Webブラウザ上で完結する地理空間情報分析
DuckDB雑紹介(1.1対応版)@DuckDB座談会
MySQL8.0で低速になったSELECT COUNTを高速化する - CyberAgent SRG #ca_srg
Apache Icebergにおける同時実行制御の仕組みと注意点 - 流沙河鎮
ChartDB - Database schema diagrams visualizer