Google Cloudが開発したPostgreSQL互換ソフトウェア「AlloyDB Omni」がバージョンアップ、より高性能に
Google Cloudが開発したPostgreSQL互換ソフトウェア「AlloyDB Omni」がバージョンアップ、より高性能に Google Cloudは、同社がPostgreSQL互換の高性能なマネージドデータベースサービスとして提供している「AlloyDB for PostgreSQL」と同じデータベースサーバを、オンプレミスやノートPCなどで実行できるソフトウェア「AlloyDB Omni」のバージョンアップ版となる「AlloyDB Omni version 15.7.0」のリリースを発表しました。 AlloyDB OmniはPostgreSQLとフル互換で、従来のPostgreSQLアプリケーションがそのまま実行可能なだけでなく、レプリケーションやバックアップツールなどもそのまま利用可能です。 その上で、多数のCPUコアをより活用するスケーラビリティを改善し、自動チューニング機
［速報］AWS、ピザボックスサイズのAWS Outpostsなど小型化した2機種を発表。AWS re:Invent 2020
Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、オンプレミスでAWSを利用可能なアプライアンスを小型化した「AWS Outposts」2機種を発表しました。 昨年発表したAWS Outpostsは、24インチ幅で高さ80インチのラック一杯にシステム一式が搭載された大型のシステムでした。 今回発表されたのは小型化され、高さが1.75インチ（1U）と.35インチ（2U）の2機種。 64vCPU、128GBメモリ、4TB NVMeストレージを搭載。1Uの方にはAWSが独自に開発したAWS Graviton 2プロセッサを搭載予定で、2Uの方はインテル製プロセッサが搭載予定。 どちらもAWSのマネージドサービスとして提供され、Amazon EC2、ECS、EKSワークロードなどに対応します。 筐体が小型化されたことで限
RAG(Retrieval Augmented Generation)を用いたPostgreSQLアシスタントAIの試作 - Qiita
この記事はNTTコムウェア Advent Calendar 2023の4日目の記事です。 こんにちは、NTTコムウェアの平塚です。今月は2023冬 Chill Seasonで手に馴染むブキを探しているところです。 大規模言語モデルが持っていない最新情報や企業内情報を補うためのRAG(Retrieval Augmented Generation、検索拡張生成)というアーキテクチャーがあります。ごく簡単に説明すると、外部データベースを用意してそこで検索した結果を大規模言語モデルに説明させるというものです。以下はRAGのイメージ図です。 現在多くの企業さまがRAGの検証に取り組んでいるところかと思います。今回RAGを用いてPostgreSQLに詳しいアシスタントAIを試作したので、気づいたところをいくつ か共有いたします。 まとめ PostgreSQLアシスタントAIはある程度使えるものになりそ
Sequelize のモデル定義ファイルからER図を作成してみた - Commune Engineer Blog
はじめに こんにちは。コミューンでソフトウェアエンジニアをしているU2です。 今回は commmune の開発でも使用している typescript-sequelize のモデル定義ファイルからER図を作成していきます。 はじめに 背景 やりたいこと 実装 環境 前準備 実験 ER図の生成 CI化 今後の課題 参考サイト まとめ 背景 commmune は豊富な機能を持ちそれに合わせいくつものデータを保持しているので、永続化のためのテーブルが多く存在します。 また、テーブル定義としてはリレーションを持つが、Sequelizeのロジック上使用しないことが理由でモデルファイルにそのリレーションが記述されていないこともあります。 そのため、新規参入者がテーブル全容を把握するのに苦労しています。（そもそも長く開発に関わっている人でも知らないテーブルがあったりする。） そんな問題を解決するために、S
OSSデータベース取り取り時報 第59回オープンソースカンファレンスOnline、KDDIにおけるMySQL InnoDB Cluster事例、PostgreSQLのオンラインイベント紹介 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。 オープンソースカンファレンスOnlineから 2月以降、オンライン開催となっているオープンソースカンファレンス（OSC）の近況です。 OSC Online/Nagoyaの続報 5月30日に開催されたOSC Online/Nagoyaは、朝10:00から18:00まで、最大5トラックのセミナーがずらっと並ぶ充実した構成となりました。参加者も事前エントリが500名を超えていましたので、オンラインでも例年の通常開催と変わらない規模となりました。OSSコンソーシアムでは、オー
8月23日から25日まで開催された日本最大のゲーム開発者会議「CEDEC 2022」では，数多くのゲーム関連セッションが行われたが，ここではTiDB Cloud関連のセッションについて紹介する。講演タイトルは「ゲーム業界で採用されているMySQL互換フルマネージメントサービスのNewSQLデータベース『TiDB Cloud』」で，登壇者はPingCAP シニアソリューションアーキテクトの水戸部章生氏だ。 TiDBは「タイデービー」と読む。Tiはチタニウムの意らしいのだが，英語だと「タイテイニアム」みたいに読まれるので「タイ」の読みとなる。イメージキャラクターは鯛だそうだ。 そのTiDB Cloudは何かと言うと，PingCAPが開発した「MySQL互換のフルマネージドなクラウドデータベース」である。 MySQLは，いまや最もポピュラーなデータベース（以下DB）ソフトなのであまり説明はいらな
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
Loading...
Amazon Aurora MySQL のマイナーバージョンアップ、ブルー/グリーンデプロイメントを使う？ゼロダウンタイムパッチ適用を狙う？ - でこてっくろぐ ねお
AWSのDB、Auroraを使っているみなさま元気でしょうか。Auroraに限らずSaaS的なサービスを使っていると"このバージョンはEOLだ"と言ってバージョンアップが必要になる場合があります。みなさまも覚えがあるのではないでしょうか。 問題はどのようにバージョンアップを行うかです。 今回は、Aurora MySQL (not serverless)でマイナーバージョンアップを行う際にどういう手法があるかを、AWSのドキュメントや実際にやってみた経験をもとに考えたいと思います。Aurora PostgreSQLも同様かもしれませんがそちらは調べていません。 目次 目次 考えられる方法2つ そもそもRDSのブルーグリーンデプロイメント機能とは？ それぞれの嬉しい点、使いづらい点 インプレースアップグレード(ゼロダウンタイムパッチ適用を狙いつつ) 嬉しい点 使いづらい点 ブルーグリーンデプロ
【SQL】『SQL未経験 → 3ヶ月でデータサイエンス100本ノック全問制覇』までのロードマップ (初心者向け) - Qiita
はじめに 筆者について Matcher株式会社で エンジニア/ビジネス職 の両方を担当している者です。 元々学生時代は生物系の学部に所属しており、 プログラミング経験と言えば大学生向けプログラミングコミュニティ『GeekSalon』にて Unity を用いたゲーム開発を教えていたのと、1年ほどiOSエンジニアをやっていただけなので 『SQL』『データベース周り』『データサイエンス』『データ分析』的なところには 一切触れて来ない人生でした。 しかしこの度、今後業務で使うことになっていくというのと、 『データドリブンのより良い意思決定できる為には、ある程度データを自在に操れた方が良いかな』 という理由から、少し本腰を入れて SQL を勉強しようと考えました。 色々調べた結果、『データサイエンス100本ノック』といういかにも分かりやすいものがあったので それを全問制覇することを目標としてこの3ヶ
ナイーブな全文検索は単なる中間一致検索です。しかし、現実に人が入力するテキストは揺れまくっているので単なる中間一致検索では必要な情報を見つけられません。たとえば、「(090)1234-5678」も「０９０ー１２３４ー５６７８」も「09012345678」もすべて同じ電話番号として扱いたいのが現実です。 MySQLとPostgreSQLの全文検索機能ではこのようにゆるい全文検索を高速に実現することができません。そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速にゆるく全文検索する方法を紹介します。Read less
目的 クラスメソッドタイランドの清水です。 本記事では Amazon Athena を使って、S3 と MySQL を JOIN するクエリを発行します。 大まかに以下のような構成になります。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み aws cli の使い方 手順 環境構築 Cloud9 を使って CDK をデプロイしたり、必要なコマンドを実行するための環境を構築します。 もし手元に環境があればこの工程はスキップしても問題ありません。 まずは Cloud9 の環境が使う EC2 インスタンスにアタッチするロールを作成します。 ロールには以下のポリシーを関連付けます。 ⚠️ 最小権限ではありません。実際のプロジェクトで
PostgreSQLの行レベルセキュリティ(RLS)が実行計画に与える影響を確認してみた | DevelopersIO
マルチテナントなECサイトの注文データをイメージしています。tenant_nameのカラムにテナント名が入り、このカラムとDBユーザーの一致を行セキュリティポリシーよってチェックするようなイメージです。 テストデータ等の準備 それでは検証環境を準備していきましょう。今回の検証にはPostgreSQLバージョン11.11を利用しています。 まずはテーブルを作成 CREATE TABLE orders ( id SERIAL PRIMARY KEY, tenant_name text, product_code text, order_date timestamp ); CREATE TABLE 続いてマルチテナント用のDBユーザーを作成 CREATE ROLE user01 LOGIN; CREATE ROLE CREATE SCHEMA "saas"; CREATE SCHEMA GRAN
頻繁にアクセスされるテーブルでこの問題が起こると、サービスからのすべてのセッションが待機され、サービス障害につながる可能性があります。そのため、MySQLではトランザクションは極力小さく保つことと、commitやrollback漏れによる終了することのないトランザクションを防がなければいけません。 もし、この問題が起こってしまった際に解消するには以下の方法になります。 session1のトランザクションが正常終了するまで待つ session1をkillステートメントで強制終了させる session2のDDLをキャンセルする、またはタイムアウトされるまで待つ（lock_wait_timeoutパラメータ） 1.については、たまたまロングトランザクションが実行されているのであれば、このトランザクションが正常終了するまで待ってから、DDLを実行します。 2.については、正常終了する見込みのない予
With a special focus on Percona Operator for MySQL OverviewHAProxy, ProxySQL, MySQL Router (AKA MySQL Proxy); in the last few years, I had to answer multiple times on what proxy to use and in what scenario. When designing an architecture, many components need to be considered before deciding on the best solution. When deciding what to pick, there are many things to consider, like where the proxy n
GitHub - pgvector/pgvector: Open-source vector similarity search for Postgres
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MySQLのクエリ実行速度をミリ秒単位で計測する
MySQLのクエリ実行速度をミリ秒単位で計測する方法を記載します。 ターミナルでMySQLサーバに入って、SQLを実行すると以下のように秒単位での速度は計測できますが、もう少し詳細に計測したい(ミリ秒単位で計測したい)、という場合の対処法です。
週刊Railsウォッチ（20201020前編）Percona Toolkitは優秀、Active Admin非公式ガイド、Railsをリアクティブにするガイドほか｜TechRacho by BPS株式会社
2020.10.20 週刊Railsウォッチ（20201020前編）Percona Toolkitは優秀、Active Admin非公式ガイド、Railsをリアクティブにするガイドほか こんにちは、hachi8833です。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ※今回録音に失敗したため、つっつきボイスがいつもより短めとなっております🙇。 ⚓Rails: 先週の改修（Rails公式ニュースより） 今回の更新は少なめで、Changelogは更新されていませんでした。 コミットリスト: Comparing @{2020-10-0
待望の新メジャーバージョンMySQL 8.4対応！ 【本書の概要】 メジャーバージョンであるMySQL8.4に対応した、『MySQL徹底入門 第4版』の改訂版です。 「運用データ型」「レプリケーション」「文字コード」など、実務で役立つ知識を学ぶことができます。 MySQLのバージョンアップに合わせ、実行例や説明の最新化はもちろん、MySQL Shellについての解説の追加や、各種ツールも見直し、『より効率的』に『より快適』にMySQLを活用するためのノウハウを余すところなく解説します。 【対象読者】 ・MySQLの初心者から中級者 ・システム開発者 ・データベース関連プログラマー ・データべースに興味のある学生や企業のDB関連リサーチャーなど 【執筆者】 日本MySQLユーザ会メンバー（MyNA）。 日本MySQLユーザ会 は、日本におけるMySQLのユーザ団体。 日本におけるMySQLの
ParadeDB
Our newest extension, pg_lakehouse, transforms Postgres into a DuckDB alternative. Like DuckDB, pg_lakehouse allows Postgres to directly query external object stores like S3, table formats like Delta Lake, and file formats like Parquet. There are two main goals of pg_lakehouse: Enable fast analytics over data lakes without any tools besides Postgres. Easily join and move data between Postgres tabl
GitHub - lesovsky/noisia: Harmful workload generator for PostgreSQL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PostgreSQLのtimestamp with time zone型とGoのtime.Location | フューチャー技術ブログ
はじめにTIG真野です。育休明けです。 PostgreSQLには timestamp with time zone（timestamptz: 長いので以後こちらで表記します）型が存在します。一見、タイムゾーン付きで日時データを保持してくれそうな名称ですが、そうではないよという話をさせてください。 timestampz の仕様PostgreSQLのドキュメント 8.5.1.3. タイムスタンプ には以下のような仕様が書かれています。 timestampzの内部に格納されている値は UTC である 入力文字列にタイムゾーンが指定されていれば、そのタイムゾーンを元にUTCに変換され保持される timestampzの値を取得すると、UTCから現行のタイムゾーンに変換されて表示される 1,2 は timestamp with time zone という名称から、書き込み時のタイムゾーンも保持している
A fully managed PostgreSQL—compatible database service for your most demanding enterprise workloads. AlloyDB combines the best of Google with PostgreSQL, for superior performance, scale, and availability.
Google Cloudは大規模分散データベース「Cloud Spanner」でのPostgreSQL互換インターフェイスの提供を正式版としてリリースしました。 SpannerのPostgreSQL互換インターフェイスは2021年10月に行われたイベント「Google Cloud Next '21」で発表され、プレビュー版となっていました。 参考：Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21 Cloud Spannerは地球規模で大規模分散処理を行うスケーラブルで高速なリレーショナルデータベースで、強い一貫性とトランザクション処理、SQLによるクエリなどを実装したマネージドサービスです。 Cloud Spannerはクエリ言語としてANSI SQL
Amazon RDS for MySQL adds new disaster recovery (DR) capabilities with Cross-Region Automated Backups
Starting today Amazon Relational Database Service (Amazon RDS) for MySQL supports Cross-Region Automated Backups. This feature extends the existing Amazon RDS backup functionality, giving you the ability to setup automatic replication of system snapshots and transaction logs from a primary AWS Region to a secondary AWS Region. The Amazon RDS Cross-Region Automated Backups feature enables additiona
Keynote - KCD Brazil - Platform Engineering on K8s (portuguese)
皆さんはMySQLを開発に利用している時に、カラム追加や変更を同時に行いたい場面によく出くわすと思います。特に、Webアプリケーションフレームワークなどで用意されているデータベーススキーマのマイグレーションツール等を利用している時に、マイグレーション途中で失敗して中途半端に適用されてしまう、なんてことがあるかもしれません。 マイグレーションが中途半端に適用されてしまった場合、マイグレーションツールでは簡単に元に戻せず、スキーマの復旧のためにmysqlでログインして手作業で復旧するはめになってしまって困った経験がある方もいるかも知れません。そういうアトミック性が欲しい時は、トランザクションを利用して…と、考えると思いますが、これは実は上手くいきません。 今回はその理由である「暗黙的なコミット」について解説していきたいと思います。 検証環境 今回は、第125回 phpMyAdminでDocke
GitHub - enhancedformysql/enhancedformysql: This is the homepage of our MySQL improvement project, showcasing optimizations and enhancements across various MySQL versions.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント - ZOZO TECH BLOG
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQueryのFederated Query機能を利用してリアルタイムにデータを参照できるようにしています。 本記事ではその中の、Aurora MySQLからCloud SQLへのレプリケーション部分にフォーカスします。Aurora MySQLがマネージドサービスだからこそ発生する大きな注意ポ
Why Are Queries with Many IN Values More Expensive After Upgrading to MySQL 8.x?
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
Next.jsのバックエンドとして便利そうなPostgreSQLの無料BaaS「Supabase」について調べてたことのメモ
Supabaseをどこで知ったか？ Vercel動かすNext.jsでDB使いたかった Vercelのインテグレーションリストを見ていたら、Supabaseを見つけた そこで知った。 Supabaseとはどんなもの？ PostgreSQLのBaaS オープンソース オープンソースだけどマネージドホスティングサービスがある 無料のホスティングプランもある データベースに対応したREST APIをはやしてくれる オープンソースのPostgRESTを使っている Firebaseのようなリアルタイム要素があるっぽい ファイルを保存するストレージ機能もあるっぽい Firebaseの代替と謳うが、FirebaseはNoSQLで、SupabaseはRDBなので、ワンタッチで置き換えできる代物ではない 簡易的な認証・認可の仕組みが備わっている サインアップ、メールアドレス確認、ログイン、ログアウト、パスワ
If you’ve read Crunchy blogs recently you probably noticed by now that we’re all big fans of indexing. Indexing is key to optimizing your database workloads and reducing query times. Postgres now supports quite a few types of indexes and knowing the basics is a key part of working with Postgres. The role of database indexes is similar to the index section at the back of a book. A database index st
In InnoDB Data Locking – Part 1 “Introduction” we’ve described the difficulties Lock System tries to solve using metaphor of people trying to concurrently edit spreadsheets. While it might be useful metaphor to get some intuitions about the problem, to talk about solutions it helps to know at least a little about the “reality” this metaphor maps to. In this post I’ll talk about how statements we’v
dalibo / transqlate · GitLab
transqlate transpile SQL snippet from a dialect to another using an AST
Postgres is Enough
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ISUCON10予選に「チーム中目黒乗り過ごし」で参加し本選出場決まりました - Hateburo: kazeburo hatenablog
ISUCON10の予選に尊敬するエンジニアであるhanabokuro氏、mtokioka氏と参加して、9位で本戦出場できることになりました。うれしい！ ISUCON8は予選落ち、去年は出題をやらせていただいたので、本選出場は3年ぶりになります 今年の問題も、よく練られた問題で開始から終了まで楽しむことができました。運営のみなさま朝早くから遅くまで本当にありがとうございます。 準備 GoはMackerelプラグインやミドルウェアでよく書いておりますが、、いわゆるWebアプリケーションはあまり書いてないので、手を動かすために去年のISUCON9予選の問題を手元で動かして取り組んでみてました。 ローカル環境で動かすのは以下の記事が役立ちます。 isucon.net また、Cloud TraceやProfilerを試すために、takonomura氏の記事やgithub repositoryをすごく
In the fast-moving open-source world, programs can come and go quickly; a tool that has many users today can easily be eclipsed by something better next week. Even in this environment, though, some programs endure for a long time. As an example, consider the PostgreSQL database system, which traces its history back to 1986. Making fundamental changes to a large code base with that much history is
PostgreSQL と MySQL の決定的な違い
基本： PostgreSQL と MySQL の概要 PostgreSQLとMySQLの基本的な概要と歴史から始めましょう。すでに基本的なことを知っている場合は、このセクションは飛ばしてください。初心者の方はこのセクションをお読みください。 MySQL とは MySQLは、世界で最も一般的に使用されているリレーショナルデータベース管理システム（RDBMS）です。2023年に開発者の間で2番目に高い使用率を誇るこのオープンソース RDBMS は、高速で信頼性が高く、安定したセキュアでスケーラブルなデータ管理を組織に提供することで知られています。 MySQLは、スケーラブルな Web アプリケーションに最適な選択肢です。MySQLはLAMPスタックに標準搭載されています。LAMPスタックはウェブ開発で非常に人気があります。これは、Linux、Apache HTTP Server、MySQL、P
rdsadmin とは何か？Aurora の監査ログに大量出力される rdsadmin ユーザーについてと、rdsadmin に関するアクティビティログを除外する方法 | DevelopersIO
rdsadmin とは何か？Aurora の監査ログに大量出力される rdsadmin ユーザーについてと、rdsadmin に関するアクティビティログを除外する方法 rdsadmin によるアクティビティの数はかなり多く、不審なアクティビティがあったとき、誰が操作したのか確認したいときなどにノイズになる可能性があります。 カスタムクラスターパラメーターグループで server_audit_excl_users パラメーターに rdsadmin を設定すると、監査ログから rdsadmin のログを除外することができます。
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第59回 オープンソースカンファレンスOnline、KDDIにおけるMySQL InnoDB Cluster事例、PostgreSQLのオンラインイベント紹介 | gihyo.jp
MySQL互換で簡単に拡張可能なTiDB Cloudとは。CEDECの講演内容を振り返る
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
Athena で S3 と MySQL を JOIN する | DevelopersIO
第180回 MySQLのメタデータロックについて | gihyo.jp
Comparisons of Proxies for MySQL
MySQL徹底入門 第5版 MySQL 8.4 LTS対応 | 翔泳社
AlloyDB for PostgreSQL | Google Cloud
Google Cloud SpannerのPostgreSQL互換インターフェイス、正式版に
Reactivity Transform
第134回 DDLと暗黙的なコミットについて | gihyo.jp
Postgres Indexes for Newbies | Crunchy Data Blog
MySQL :: InnoDB Data Locking - Part 2 "Locks"
PostgreSQL reconsiders its process-based model [LWN.net]
www.nytimes.com
rui2.st.coresv.net
www.betterbidding.com
chimera-novel.jp
www.bbc.com
americancallsupport.exblog.jp