大規模分散データベースが実用期へ、「分散×SQL」に多くのメリット
分散アーキテクチャーを持ちながら、SQLインターフェースを備える「大規模分散データベース」が実用期を迎えている。専業ベンダーの製品強化に加えて、メガクラウドがサービスを拡充。それらを活用し、拡張性や無停止運用、コスト削減といったメリットを享受するユーザーが増えてきた。ベンダーやユーザーへの取材から、その実力を探った。 第3回 分散DB「Yugabyte」「TiDB」は自由度が強み、OracleやIBM製品の置き換えも狙う データを分散配置して拡張性を担保しながらSQLを利用できる大規模分散データベース、いわゆる「NewSQL」。今回は専業ベンダーの製品を取り上げる。YugabyteDBの「YugabyteDB Aeon」やPingCAPの「TiDB」などだ。 2025.02.06 第2回 3大クラウドが分散DBの開発で競う、老舗のGoogle「Spanner」を追撃へ 大手クラウドベンダー
重いALTER TABLEの実行中に進捗状況を確認する方法 - CyberAgent SRG #ca_srg
#SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。
生成AI時代のデータベース新潮流、カギを握るベクトル
生成AI（人工知能）の活況を背景にベクトルデータベースが企業情報システムに入り始めている。クラウド事業者各社はベクトルデータベース関連サービスの投入を進め、単語や文章などの「意味」による検索を可能にするベクトル検索や、大規模言語モデル（LLM）から最適な生成結果を導く手法であるRAG（検索拡張生成）の導入を支援。企業がそれとは知らずに使うケースも増えてきた。ベクトルデータベースはどのように使われ、どんな技術が背景にあるのか。自社ECサイトにベクトル検索を導入したミスミグループ本社の事例、クラウド事業者各社のベクトルデータベース関連サービス、ベクトルデータベースの基本技術を解説する。 第3回 コサイン類似度とは？ 新しい検索体験を支えるベクトルDBの基本技術を押さえる 生成AI（人工知能）のRAG（検索拡張生成）の導入など企業で使われ始めたベクトルデータベース。その特徴は検索にある。ベクトル
SQLite のおもしろ仕様 (2) : ファイルフォーマット - kawasin73のブログ
後方互換性って辛いね、どうもかわしんです。 最近 Rust で SQLite をフルスクラッチで再実装しています。 github.com 再実装するために SQLite の公式ドキュメントやソースコードを読み込んでいるわけですが、その過程で気付いたおもしろポイントを共有しようかと思います。 今回はその第二弾、ファイルフォーマット編です。第一弾はこちら：SQLite のおもしろ仕様 (1) : データ型 - kawasin73のブログ 前提知識 : ページ まず、この記事を面白いと思ってもらうための前提知識です。 大抵のデータベースはデータを保存するファイルをページという単位で管理します。SQLite ではデフォルトでは 1 ページ 4096 バイトです。これは、ファイルを保存するデバイス（HDD や SSD など）としてブロックデバイスを想定しているからです。ブロックデバイスとはデータの読
とにかく日本の住所のヤバさをもっと知るべきだと思います｜inuro
「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが（2023年6月6日）、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日本の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン
PostgreSQLでPub/Subによる外部プログラム実行｜kasanka
PostgreSQLで、レコード追加時にそのデータを外部プログラムに渡しつつプログラムを実行したい。 二つの方法の検証をしたのでメモ。結論を言うと、二つ目の方法の、Pub/Subパターン(NOTIFY/LISTEN)を利用したプログラム実行が良いと思う。 COPYコマンドをトリガーで利用このブログで紹介されていたので検証してみた。 ●方法 概要としては、レコード追加時、プログラムを直接PostgreSQLに実行してもらう（正確には、PostgreSQLのユーザーに実行してもらう）。 手順は下記。 １．PostgreSQLで関数(function)を作成 ２．functionをトリガーに設定 なおfunction作成の際に、プログラム実行にCOPYコマンドを利用する（下記説明）。 COPYコマンドのPROGRAMパラメータを利用するとコマンド実行が出来ます。 本来は返り値をテーブルにコピーす
時系列データベース InfluxDBとは？ - みかんのゆるふわ技術ブログ
InfluxDBはInfluxDataというアメリカの会社が開発しているオープンソースの時系列データベースです。 時系列データベースというのは、サーバーのログや、センサーのデータなど、タイムスタンプに紐づいたデータを扱うのに便利なデータベースです。 時系列データベースと呼ばれるものは、他にもOpenTSDB、Graphite、Prometheusなどがあります。 中でもInfluxDBはオープンソース版が無料で使えることや、ドキュメントがしっかりしていること、Grafanaというデータ可視化ソフトウェアと連携してセンサー可視化が簡単にできることなどから、趣味の用途でも良く使われていると思います。 ここでは、そんなInfluxDBを趣味用途で使うレベルで、簡単に紹介してみたいと思います。 InfluxDBとは 特徴 docs.influxdata.com こちらのページにInfluxDBの特
「データウェアハウス」「OLAP」「データマート」を理解する
「データウェアハウス」「OLAP」「データマート」を理解する：「データベーススペシャリスト試験」戦略的学習のススメ（28）（1/2 ページ） あの“津崎さん”も保有する難関資格「データベーススペシャリスト」。本企画では、データベーススペシャリスト試験 午前／午後試験対策のための「基礎知識」を抜粋してお届けします。今回は「データウェアハウス」「OLAP」「データマート」の基礎を解説します。
[SQL] Where句とHaving句の違い | DevelopersIO
はじめに PostgreSQL始めました。 SQLを学ぶ過程でWhere句とHaving句の違いがわからずに悩んだ時期があったので、その時感じたことを書いておきます。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 Where句でもHaving句でも同じ結果が出るけど何が違うんだろう？ 結論から言うと Where句はselect句の結果からwhere句で指定した抽出条件を実行する Having句はGroupBy句でグルーピングした結果からHaving句で指定した抽出条件を実行する という違いがあります。 同じ結果が出ることを確認 PostgreSQLのチュートリアルにあるデータベースを使います。手を動かして確認したい方はこちらを見てデータベースを用意していただければと思います。 今回使用するカスタマーテーブルは以下のようになっています。 select * from cu
![[SQL] Where句とHaving句の違い | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
Redmine v3.3.3のER図をastahでリバースしてみた - プログラマの思索
小川 明彦, 阪井 誠 : チケット駆動開発 日本のソフトウェア開発の現場で生み出された「チケット駆動開発」という概念を、数多くの実例を元にモデル化・体系化を試みた最初の本。 小川 明彦, 阪井 誠 : Redmineによるタスクマネジメント実践技法 Redmineによるチケット駆動開発の実践技法に関する最初の本。アジャイルなソフトウェア開発への適用方法、TestLinkによるテスト管理手法についても言及。 清水 吉男: 「派生開発」を成功させるプロセス改善の技術と極意 組込システム開発をベースとして、ソフトウェア開発特有のスタイルである派生開発、特にXDDPについて解説した世界でも稀な本。既存製品を保守するのではなく継続的に機能追加していく昨今の開発では、派生開発特有の問題を意識しなければならない。XDDPはプロセス論だけでなく、要件定義などの上流工程の品質改善にも役立つので注意。 Le
Redmineチケットを作成日毎にカウントするAccess集計クエリ | A1 Style
SELECT CDate(Int([issues].[created_on])) AS 年月日, Count(issues.id) AS 作成数 FROM (issues INNER JOIN projects ON issues.project_id = projects.id) INNER JOIN trackers ON issues.tracker_id = trackers.id WHERE (((trackers.name)="集計したいトラッカー名") AND ((projects.name)="集計したいプロジェクト名")) GROUP BY CDate(Int([issues].[created_on])); MySQL(Redmine)のリンクテーブルがあるAccessファイルに、新たに選択クエリを作成して、[ファイル]リボンの[表示] ＞ [SQLビュー] から貼り付
Redmineのチケット登録でのレコード生成調査 | ぷろぐらま
今の現場のお客様は独自でWBS管理（Excel）をされているので Redmineからのインポート・エクスポートを行う必要があり、ExcelVBAでの実装を検討。 チケット登録でのレコード生成を調査したのでポイントを以下にまとめる。 ・基本は issues テーブルのレコード生成。 テーブルの詳細は本文の下に記載する。 ・トラッカーIDやプロジェクトIDなどはそれぞれのテーブルのIDを指定するだけ ・ステータスIDは workflows テーブルで管理されているが 指定するトラッカーによっては指定してはいけないID（利用不可）もあるので要注意。 UIからだと選択できないですが、直接登録ではなんでも登録出来るので。 ・先行するチケットや関連するチケットは issue_relations で管理される。 ・チケットのウォッチャーを指定した場合は watchers にもデータ登録される。 ・親子関
嵐のコンサートがあるとダブルブッキングしてしまうホテル予約システムを作ってみた
今年の5月1日に、仙台市内のホテルで多重予約のトラブルが発生したと報道されています。 部屋数２０３室の仙台市のビジネスホテルで、９月１８～２３日の宿泊予約を数千件受け付けるトラブルがあった。アイドルグループ「嵐」のライブが宮城県内で開催される期間だった。インターネットでの申し込みが殺到し、システム障害が起きたとみられるという。 トラブルがあったのは、仙台市泉区の「ホテルルートイン仙台泉インター」。ホテルなどによると、９月１９、２０、２２、２３日に宮城スタジアム（宮城県利府町）で嵐がライブを開くことが明らかになった後の５月１日午前５時ごろ、ネットを使った予約申し込みが殺到していることに気づいたという。 ２０３室のホテルなのに「予約」数千件 嵐公演で殺到か：朝日新聞デジタル より引用 5月1日の朝に何があったのか調べてみると、この日の早朝にテレビや新聞でコンサートの情報が流れたようですね。 お
CouchDBとMongoDBの使い分け - モジログ
CouchDBとMongoDBをしばらく使ってみて、その使い分けのポイントがわかってきたような気がするので、ちょっと書いてみたい。 CouchDBとMongoDBは、広く「NoSQL」と総称されている非SQL型データベースのうち、「ドキュメントデータベース」と呼ばれるカテゴリを代表する２つだ。ドキュメントデータベースとは、かんたんにいうと、JSONデータ（＝ドキュメント）をそのままデータベースに保存できるというもので、従来のRDBのような「スキーマ」がない。複数のテーブルを結合（join）するという使い方をせず、一意キーの指定や比較的単純なクエリーでJSONデータを取り出す。 ここでは詳しい話には踏み込まず、２つのデータベースの違いを私の主観で、ごく大雑把にまとめてみる。 まず、それぞれの強みを私の印象で３つずつ書くと、こんな感じだ。 CouchDBの強み： １）優れた管理画面「Futon
セールスフォースのクラウドデータベース「Database.com」が正式サービス開始。無料で10万件まで利用可能、セキュリティポリシー対応機能も開発中。Dreamforce'11
セールスフォースのクラウドデータベース「Database.com」が正式サービス開始。無料で10万件まで利用可能、セキュリティポリシー対応機能も開発中。Dreamforce'11 セールスフォース・ドットコムは、「Database.com」の正式なサービス開始を発表しました。 Database.comは、クラウド上で運用されるビジネスアプリケーション向けのリレーショナルデータベースサービス。REST APIなどでアクセス可能で、障害時の自動フェイルオーバー、データのバックアップ、ディザスタリカバリなどの運用をすべてクラウドに任せることができます。 3ユーザー、10万件、月間5万トランザクションまでは無料で利用可能（Database.comの詳細は「セールスフォース、無料で使えるクラウドデータベース「Database.com」を発表。Dreamforce '10」をご参照ください）。 重要な
＠IT：連載記事 「ゆったリラックス！ CouchDBがあるところ」
Oracleライセンス「SE2」検証 CPUスレッド数制限はどんな仕組みで制御されるのか （2017/7/26） データベース管理システムの運用でトラブルが発生したらどうするか。DBサポートスペシャリストが現場目線の解決Tipsをお届けします。今回は、Oracle SE2の「CPUスレッド数制限」がどんな仕組みで行われるのかを検証します ドメイン参加後、SQL Serverが起動しなくなった （2017/7/24） 本連載では、「SQL Server」で発生するトラブルを「どんな方法で」「どのように」解決していくか、正しい対処のためのノウハウを紹介します。今回は、「ドメイン参加後にSQL Serverが起動しなくなった場合の対処方法」を解説します さらに高度なSQL実行計画の取得」のために理解しておくべきこと （2017/7/21） 日本オラクルのデータベーススペシャリストが「DBAがすぐ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベース設計の煩雑な作業を自動化する「ERMaster」
削除フラグのはなし
Site Under Maintenance
https://jp.techcrunch.com/2010/03/17/20100316big-data-freedom/
