You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - adaptive-scale/dbchaos: Stress-test your database with pre-defined queries. Generate synthetic data and events statically or with GPT.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - valkey-io/valkey: A new project to resume development on the formerly open-source Redis project. We're calling it Valkey, since it's a twist on the key-value datastore.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは、エンジニアのkomukomoです。フリーランスとしてプレイドでお仕事させていただいています。これは社内勉強会をブログ化したものです。この記事では、OLAPデータベースにおいて分析クエリを高速化するために使われている技術について説明します。 また、データベース使用者がどう使うかというよりはデータベース自体の内部の話にフォーカスしています。 -----------------------
Google I/O 2024で発表されたFirebase Data ConnectをVSCodeのエミュレーターで試してみた
執筆時点でIDXを使った記事は見かけるものの、VSCodeを使ってローカルで試している日本語記事は自分はまだ見かけていないので、おそらく日本語では初の記事なんじゃないかと思います。 少なくともZennでは自分が最初の1人でした。 Firebase Data Connectとは Google I/O 2024で発表されたFirebaseの新機能です。 これを使うことで、GraphQLを介して、Cloud SQL For PostgreSQLへアクセスしデータのCRUDが可能になるようです。 Getting Start 記事執筆時点では限定公開プレビュー版なので、利用するためには限定公開プレビューへの申し込みが必要です。 申し込みはFirebaseプロジェクトの管理画面上から可能です。 ただし申し込み後すぐに使えるわけではなく、Googleさんの方で手続きをして頂いたのちに利用可能となります。
GitHub - chdb-io/chdb: chDB is an embedded OLAP SQL Engine 🚀 powered by ClickHouse
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
RDS Proxyが拡張クエリプロトコルに対応し、ピン留めの発生条件が緩和されました | DevelopersIO
CX事業部@大阪の岩田です。 本日のアップデートによりRDS ProxyがPostgreSQLの拡張クエリプロトコルをサポートするようになりました。本ブログではこのアップデートについてご紹介します。 ちなみに以前はpinningが「ピン留め」翻訳されていましたが、最近は「固定」翻訳とされているようです。個人的にはピン留めの方がしっくりくるので、本ブログにおいては公式日本語ドキュメントが「固定」と翻訳している事象を全て「ピン留め」と呼ぶことにします。 そもそも拡張クエリプロトコルとは？ PostgreSQLではクエリを実行するためのプロトコルに、簡易クエリプロトコルと拡張クエリプロトコルという2つのプロトコルが存在します。ざっくりとした理解として、簡易クエリプロトコルの場合は生のSQL文をそのままサーバーに送信するのに対して、拡張クエリプロトコルの場合はパラメータを利用したSQL文を送信した
こんにちは、カヤック SRE の市川です。 このエントリは【カヤック】面白法人グループ Advent Calendar 2023の1日目の記事です。 はじめに いきなり鬼のように私事ですが、結婚することになりました。 ISUCON 起床試験に失敗し、成長への決意を込めて（？）購入したチュードル 技術ブログとは全く関係ない話と見せかけて、婚約者が MySQL 互換な分散 DB の会社で働いていることが、想像していた以上に「データの整合性と向き合う機運」の高まりに繋がりました。 ということで今年は気合を入れて 気合いで DDIA 読破 Advent Calendar 2023 なるものを計画しているのですが、会社のアドベントカレンダーも運営担当をしているので、トップバッターやっていきます。 GopherCon Singapore での学び 個人的な話が連続して恐縮ですが年末なので（？）お許しく
タグ 250DUKE | Debian | FreeBSD | JavaScript | KLX125 | Linux | Mac | MAZDA3 | Mournmail | Rails | Ruby | tDiary | Textbringer | Viterbi | XPS13 | エクシーガ | キーボード | 会社 | 家 | 本 | 車 最近の記事 2023-03-27 1. ACアダプターの抜き差し時に電源モードを変更する 2023-01-04 1. HiDPI/LowDPIのマルチディスプレイ環境で期待通りのスケーリングが行われない 2023-01-03 1. Ubuntu 22.04でのハイバネーション 2. Ubuntu 22.04のibus-mozc起動時の入力モードをひらがなにする 2022-12-29 1. T14 Gen 3のSSD換装・メモリ増設とUbuntu
Skip the API, Ship Your Database Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt With Fly.io, you can get your app running globally in a matter of minutes, and with LiteFS, you can run SQLite alongside your app! Now we’re introducing LiteFS Cloud: managed backups and point-in-time restores for LiteFS. Try it out for yourself! My favorite part about building tools is discover
三菱電機は12月5日、システムをあえて攻撃し、侵入可能か検証することで、サイバーセキュリティ対策の状況を確認する「ペネトレーションテスト」のシナリオを自動生成するツール「CATSploit」（キャッツプロイト）を発表した。同様のツールは世界初という。 テストの目的を入力することで、攻撃対象となるOSやアプリケーションのバージョン、セキュリティ監視機器の有無を考慮した上でシナリオを自動生成。各攻撃手段の有効性を「成功の可能性」「発見されにくさ」といった項目ごとに定量的に評価し、利用者に提案できるツールという。OSなどの情報が不足する場合も、それを考慮の上で攻撃の有効性を評価できるという。 これにより、高度な専門知識を持つセキュリティエンジニアがいない組織でも、ペネトレーションテストがしやすくなるとしている。より詳細な情報は、ロンドンで12月6日（現地時間）から開催予定のセキュリティイベント「
Cloud SQL Enterprise Plus エディションを発表：新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 | Google Cloud 公式ブログ
Cloud SQL Enterprise Plus エディションを発表：新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 ※この投稿は米国時間 2023 年 7 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud SQL は、MySQL、PostgreSQL、SQL Server のワークロードを実行するための Google Cloud のエンタープライズ対応フルマネージド データベース サービスです。デジタルサービスから銀行、小売業まで幅広い業界で利用されており、現在 Google Cloud を活用している上位 100 社のうち 95％ 以上のお客様が Cloud SQL を利用しています。より要求の厳しいワークロードがクラウドに移行するにつれ、より高いパフォーマンスと可用性を求める声が聞かれるようになりました。さらに、個々
Astro DBでTODOリストを作成
AstroからデータベースプラットフォームとしてAstro DBがリリースされました。 色々と触ってみたのでチュートリアルとしてTODOリストを作成する方法を解説します。 Astroのインストール まずは通常のAstroのインストールを行います。 npm create astro@latestでproject名を「astro-todo」、Emptyプロジェクトを選択して作成します。 % npm create astro@latest astro Launch sequence initiated. dir Where should we create your new project? ./astro-todo tmpl How would you like to start your new project? Empty ts Do you plan to write TypeScrip
JavaScriptにおいて、ある配列をもとにして別のオブジェクトを作成する場合、Array#reduceを使用することが多い。 const input = ['foo', 'bar', 'baz']; const result = input.reduce((accumulator, currentValue) => { accumulator[currentValue] = capitalize(currentValue); return accumulator; }, {}); assert.deepStrictEqual(result, { foo: 'Foo', bar: 'Bar', baz: 'Baz' }); しかし例のように、単にキーと値の組み合わせにマッピングするだけなら、あえてArray#reduceを使うまでもない。代わりにObject.fromEntriesを使え
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
MySQL/Aurora/TiDBロック入門 – 第５回 WHERE 条件と違うロック読取り【解説動画付】｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQL/Aurora/TiDBロック入門 – 第５回 WHERE 条件と違うロック読取り【解説動画付】 第５回は REPEATABLE READ と READ COMMITTED の分離レベルの違いによって変わったり、WHERE 条件で感じる直感的な範囲とは一致しない範囲でかかるなど、MySQL のロック読取りの挙動について解説します。 ロック読取りは実戦でよく使われている重要な手法で、細かい挙動も重要なポイントになります。動画と合わせて是非ご覧ください！ ★ 第１回 トランザクション分離レベル ★ 第２回 ロックモニターの読み方 ★ 第３回 ロック読取りも SELECT は止められない ★ 第４回 INSERT を止めるインテンションロック ★ 第５回 WHERE 条件と違うロック読取り ★ 第６回 performance_schema でロックを測定 ★ 第７回 ギャップロックがあ
はじめに 先日Server-Side Kotlin MeetupのLT大会で登壇してきましたので、その内容をブログ記事でも公開します。 テーマはKotlin製のORマッパー、Ktormのクラス構造と機能拡張についてです。 Ktormの紹介 ktorm.org Ktormは、いくつかあるJDBCベースのKotlin製ORマッパーのうちの1つです。 それらの中でもっともメジャーと思われるExposedと比較すると、次のような特長があります。 シンプルな実行モデル 遅延実行やキャッシュなどの仕組みを持たないので、コードを読んで理解しやすく、SQLの実行タイミング等も把握しやすいです。 生SQLに近いDSL select() で検索条件を指定し slice() でカラムを指定する形式のExposedのDSL 1 に比べて、生SQLに近い文法を採用しており、SQLに習熟していれば少ない認知コストで読
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
What happened to Vivaldi Social? | Thomas Pike’s other blog
On Saturday 8 July 2023, user accounts started disappearing from the Vivaldi Social Mastodon instance. What was going on, how did this happen, and what were the consequences? This is a very long blog post, but to be fair, this was also to be a very long weekend. If you want to skip to the conclusion, there’s a TL;DR (too long; didn’t read) section at the end. Something’s not right It was around 17
こんにちは。アルダグラムでエンジニアしている森下霞です。 弊社では、MySQL のデータベース と Ruby on Rails を使用しています。 先日、モニタリングで UPDATE IN SELECT のクエリでデッドロックの発生に気づき、調査し、修正ができたため、デッドロックのデバッグ方法と解決策を紹介したいと思います。 背景 今回の問題は、アニメサービスを例に使って説明します。アニメは以下のテーブルで保存します。 CREATE TABLE anime ( id INT PRIMARY KEY NOT NULL AUTO_INCREMENT, title VARCHAR(255) NOT NULL, genre VARCHAR(100) NOT NULL, sort_order INT NOT NULL DEFAULT 0 ); CREATE INDEX index_anime_on_
お久しぶりです。GMO NIKKOのharuです。 私が担当するサービスGood!Appsは、GCPを用いて本番環境をクラウド上に構築しております。当然データベースもCloud SQLを使用しているのですが、次のような用途でローカルからCloud SQLに接続したいことがあります。今回は、公式が提供しているCloud SQL Auth ProxyというCloud SQLコネクタを使用した方法をお伝えします。 主な用途 データ確認: 開発中にCloud SQL内のデータを確認したい場合。 データ修正: 何らかの理由でCloud SQL内のデータを直接修正する必要がある場合。 データベースマイグレーション: Cloud Runなどのコンテナ環境からCloud SQLにデータを移行したい場合。 注意点 本番環境のデータベースに接続するため、操作は慎重に行ってください。 不要な時は接続を閉じること
Unexplanations: sql is syntactic sugar for relational algebra
Unexplanations: sql is syntactic sugar for relational algebra This idea is particularly sticky because it was more or less true 50 years ago, and it's a passable mental model to use when learning sql. But it's an inadequate mental model for building new sql frontends, designing new query languages, or writing tools likes ORMs that abstract over sql. Before we get into that, we first have to figure
Hyperdrive: making databases feel like they’re global
Hyperdrive: making databases feel like they’re global09/28/2023 This post is also available in 简体中文, 日本語, 한국어, Deutsch, Français and Español. Hyperdrive makes accessing your existing databases from Cloudflare Workers, wherever they are running, hyper fast. You connect Hyperdrive to your database, change one line of code to connect through Hyperdrive, and voilà: connections and queries get faster (
identify CTO兼「ワインと鍋」オーナー岩崎さんに聞く。過去の技術選定とそこから得た学び - what we use（技術スタックデータベース）
identify株式会社は、個人が販売した動画素材を企業が購入して、マーケティングへ活用することを支援する「DeLMO」というクリエイタープラットフォームを運営しています。その「DeLMO」では、クリエイターがスキマ時間に動画を撮影・販売し、報酬を得ることができる複業支援サービス「DeLMO for creator」と、企業が縦型ショート動画素材を簡単に収集し、クリエイティブ制作に活用できるサービス「DeLMO for advertiser」の2つを提供しているのです。 同社の取締役CTOを務めるのが岩崎 裕馬さん。彼は水天宮前（茅場町、人形町、日本橋）にあるレストラン「ワインと鍋」のオーナーでもあるという変わった経歴の持ち主です。これまで岩崎さんは、CTOとしてどのような技術選定を行ってきたのでしょうか。 GoやNext.jsを採用。“攻めた”技術選定をした意図とは――このインタビューで
Astro DBをAstro以外で使う
TL;DR Astro DBはDrizzle LibSQL(SQLite)互換 内部でAPIにSQLを送信している 仕組み上、Astroなしで無理矢理使うことができるがアンドキュメンテッドなのでお勧めしない Astro DBとは Astro DBはAstroが提供するフルマネージドなSQLデータベースです。Astro Studioというプラットフォームの一部で、Astroで構築するウェブサイトのバックエンドのDBとして利用できます。 ユースケースとしてはウェブサイトの問い合わせの保存先やコンテンツのマスターデータの管理などを想定していそうです 使い方は以下のドキュメントに載っています 静的なSSGでも動的なSSRでも使えます 以下のstudio-templatesリポジトリにサンプルプロジェクトがあります Astro DBのアーキテクチャ Astro DBはDrizzle ORMを拡張して
GitHub - kaspermarstal/plprql: Use PRQL in PostgreSQL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
TiDB + Prisma (Edge Functions Preview)をCloudflare Workersで動かす
2024/03/12にリリースされたPrisma v5.11.0でEarly AccessからPreviewになったため、記事を更新しました。 https://www.prisma.io/blog/prisma-orm-support-for-edge-functions-is-now-in-preview PlanetScaleからTiDB Serverlessへ サーバーレスデータベースのリーダー的存在だったPlanetScaleが無料プランを廃止することが発表されました。 自分はPlanetScaleがまだベータ版だった2021/11からサービスを触り始め、自社サービスのプロダクションデータベースとしても使っており、純粋にファンだったのもあって非常に残念でした。 とはいえ趣味で運用しているサービスのために課金することは難しいため、無料プランがある移転先を探していました。 以下のスクラ
オラクル、マイクロソフト、OpenAIの3社は提携を発表し、OpenAIにさらなるAIインフラのキャパシティを提供するために、OpenAIが利用するプラットフォームをMicrosoft Azureに加えてOracle Cloudへ拡大することを発表しました。 もともとOpenAIとマイクロソフトは複数年にわたる長期的なパートナーシップにより、Microsoft AzureがOpenAIの独占的なクラウドプロバイダーとして、研究や製品、APIによるサービスなど、OpenAIのすべてのワークロードを支えることを発表しています。 今回の3社の提携は、このOpenAIを支えるクラウドプロバイダーにOracle Cloudが加わることを意味します。 OpenAIのサム・アルトマンCEOはこの提携に当たり、次のようにコメントしています。 We are delighted to be working w
関連キーワード Linux | OS | 運用管理 | セキュリティ OS「Linux」は、複数のセキュリティモジュールを組み込んでいる。アクセス制御を実現するための代表的なセキュリティモジュールが「SELinux」（Security-Enhanced Linux）「AppArmor」だ。「Red Hat Enterprise Linux」（RHEL）およびその派生ディストリビューション（配布パッケージ）はSELinuxを、「Debian」およびその派生ディストリビューションはAppArmorを主に標準セキュリティモジュールとして採用している。両者には、それぞれどのような利点と欠点があるのか。 SELinuxの利点と欠点 併せて読みたいお薦め記事 連載：Linuxのセキュリティを比較 前編：Linuxを守る「SELinux」と「AppArmor」は何が違うのか？ Linuxの運用管理 いま
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get github.com/maragudk/goqite See goqite on Github Don't like queues? Get the Skip function to skip the queue for your messages! Example package main import ( "context" "database/sql" "fmt" "log" "time" _ "github.com/mattn/go-sqlite3" "github.com/maragudk/goqi
pg_analytics: Transforming Postgres into a Fast OLAP Database - ParadeDB
We’re excited to introduce pg_analytics, an extension that accelerates the native analytical performance of any Postgres database1 by 94x. With pg_analytics installed, Postgres is 8x faster than Elasticsearch and nearly ties ClickHouse on analytical benchmarks2. Today, developers who store billions of data points in Postgres struggle with slow query times and poor data compression. Even with datab
米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）は2023年11月27日（米国時間）、年次イベント「AWS re:Invent 2023」の初日の基調講演で、サーバーレスのデータベース（DB）に関する新機能を3種類発表した。独自開発の新しいハイパーバイザー「Caspian」が使われている。 27日に講演したのは、AWSのPeter DeSantis（ピーター・ディサンティス）シニア・バイス・プレジデント（SVP）だ。ディサンティスSVPは例年、独自ハードウエアについて講演しているが、今年はサーバーレスのDBに関連する新機能と、それを実現するためにAWSが独自に開発した新技術について多くの時間を割いて解説した。
17 Feb 2024 | Categories: hacks Often when I’m prototyping a project, I hesitate to use a sqlite database despite their many adavantages. It seems much easier to just dump a bunch of files in a directory and to rely on the universal support for the filesystem API to read/delete/update records. Part of this is avoiding the overhead of figuring out a relational schema, but an equal amount of frictio
アマゾンが2025年春にもふるさと納税に参入するとの報道を受け、大手ポータルサイト｢ふるさとチョイス｣を運営するトラストバンクを傘下に持つチェンジホールディングス（HD）は3月12日、株主・投資家向けの適時開示としてコメントを発表した。 声明ではアマゾンの参入について、｢法の趣旨に即して、健全に制度が運用される限り、多様な事業者が参画することは寄付者・自治体にとって選択肢が広がることから、市場全体に有利に働く｣との認識を示した。 ふるさと納税制度については｢特産品や日用品をインターネット上で売買するECと混同されがちですが、本来の制度趣旨とは異なります｣とも指摘し、さらに｢『国の制度は国の意向に沿って運営すべし』というのが当社グループの考え方です｣と改めて自社サービスの姿勢を強調した。 ふるさとチョイスは、日本初のふるさと納税仲介サイトとして2012年にサービスを開始。2023年12月には
Astro DB: A Deep Dive | Astro
Yesterday we launched a fully managed SQL database service designed exclusively for the Astro web framework. Let’s dive into the implementation details of Astro DB: how it works, why we built it, and why we’re adopting libSQL. How we got here Astro is unique for its focus on building content-driven websites. The center of this is, of course, content, which is why in Astro 2.0 we shipped Content Co
DBスキーマはtblsのViewpointsで整理しよう
この記事は MICIN Advent Calendar 2023 の 5日目の記事です。 前回は竹内さんの、Socket.ioコンテナオーケストレーションハンズオン でした。 tblsはいいぞ🦍 筆者はtblsの大ファンであり、特にViewpoints機能が他のツールとは一線を画していると思っています。今回はその良さをお伝えできればと思います。 TL;DR tblsは実際のスキーマからDBのドキュメントを生成するツール ER図が巨大化しても、tblsのViewpointごとに分割することでDBの全体像が理解可能になる Viewpointの粒度に困ったら一旦トランザクションと集計の単位に設定する 個別のテーブルとViewpointは相互に参照できる CIに組み込むことでドキュメンテーション忘れを防げる なんのためにDBのドキュメンテーションを行うか DBのドキュメンテーションはそれなりにコ
Over the last year or so, I have found myself on a journey to deeply understand how to run Rails applications backed by SQLite performantly and resiliently. In that time, I have learned various lessons that I want to share with you all now. I want to walk through where the problems lie, why they exist, and how to resolve them. And to start, we have to start with the reality that… Unfortunately, ru
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OLAPデータベースにおける高速化の技術 - PLAID engineer blog
Go サーバーで外部 API 操作の原子性を頑張る - KAYAC engineers' blog
Journal InTime(2023-12-20)
Skip the API, Ship Your Database
“わざと自社にサイバー攻撃”のシナリオを自動生成するツール 三菱電機が開発 ペネトレーションテスト支援
「MySQL 8.1」が公開、リリースモデルをイノベーション＆長期サポートの2本立てに再編／オープンソースのデータベースサーバー
Not Found
Object.fromEntriesを活用してArray#reduceを代替する
Ktorm のクラス設計を読み解いて、DSLを拡張する - ドワンゴ教育サービス開発者ブログ
UPDATE IN SELECT によるデッドロックが発生しなくなった件
ローカルからCloud SQLに接続する方法 by Cloud SQL Auth Proxy
「PostgreSQL 16」が正式リリース ～オープンソースのリレーショナルデータベース／パフォーマンスの向上、SQL/JSON構文の拡充、桁区切り・整数リテラルの導入など
OpenAI、AIインフラをAzureだけでなくOracle Cloudへも拡大へ
Linuxの「SELinux」と「AppArmor」は結局どちらを選ぶべき？
AWSがサーバーレスDBの新機能、シャーディングの自動化など実装
wddbfs – Mount a sqlite database as a filesystem
ふるさと納税大手、アマゾン参入に“異例”対応。専門家｢既存サービスの存在意義が問われる｣
14 tools and gems every Ruby developer would love
SQLite on Rails | Fractaled Mind