この記事は、慶應理工アドベントカレンダー2021の20日目の記事です。 カレンダー全日埋まってすごい 🎉🎉 adventar.org 「Database Design and Implementation」という簡素なDBをスクラッチで作っていく本に取り組んだので、その読了エントリです。 Database Design and Implementation: Second Edition (Data-Centric Systems and Applications) (English Edition) 作者:Sciore, EdwardSpringerAmazon こんな人におすすめ MySQLやPostgreSQLを使った経験はあるが、DBの理論やその実装はあまり詳しくない人に特におすすめです。特に自作〇〇*1に興味がある人は間違いなく楽しめると思います。単純に本に紹介されている理論

4.2.1 Shardingの手法 先ほどの表1を理解するにはSharding手法の列にあげられた各用語の理解が必要となる。 YugaByteDBのブログ「Four Data Sharding Strategies We Analyzed in Building a Distributed SQL Database」には、非常に詳しくShardingの手法が紹介されている。この記事では、大きく以下4つの分類があるという。 Algorithmic Sharding (例: Memcached/Redis) Linear Hash Sharding (例: 過去のCassandra) Consistent Hash Sharding (例: DynamoDB、Cassandra) Range Sharding (例: Spanner、HBase) 詳細は割愛するが、1つ目のアルゴリズム・シャー

Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海

Engineeringgh-ost: GitHub’s online schema migration tool for MySQLToday we are announcing the open source release of gh-ost: GitHub's triggerless online schema migration tool for MySQL. gh-ost has been developed at GitHub in recent months to answer a… Today we are announcing the open source release of gh-ost: GitHub’s triggerless online schema migration tool for MySQL. gh-ost has been developed at

絵文字（UTF-8 の 4 byte 文字にあたる）を利用可能とするため、文字コードは utf8mb4 を利用する。 絵文字だけでなく非常用漢字なども対応するためには必要。 サーバ設定 とりあえず開発環境（Mac）は Homebrew でインストール brew install mysql （検証時点で 5.7.13）。 サーバの設定を以下のとおり変更する。 $ diff /etc/my.cnf.org /etc/my.cnf --- /etc/my.cnf.org 2016-07-05 18:46:02.000000000 +0900 +++ /etc/my.cnf 2016-07-15 14:43:47.000000000 +0900 @@ -16,7 +16,7 @@ # The following options will be passed to all MySQL clients

PostgreSQL 9.3正式版が公開。1秒以下の高速フェイルオーバー、データチェックサムによる高信頼性、マテリアライズドビューなどの新機能 「What's new in PostgreSQL 9.3」のページに並んだ項目から、主な新機能を抜き出してみました。 バルクロードの高速化のためのCOPY FREEZE カスタムバックグラウンドワーカー データチェックサム JSON機能の拡張 ラテラルジョイン イベントトリガー マテリアライズドビュー アップデータブルビュー 書き込み可能な外部テーブル 高速フェイルオーバー 過去のバージョンとの基本的な互換性は維持されています。 1秒以内でレプリカがマスターに昇格 高速フェイルオーバー機能では、レプリカデータベースがマスターへ昇格するのに1秒以内になるとのこと。 データチェックサムはページごとにデータのチェックサムを確認し、ストレージの障害などに

kzhirataです。蒸し暑い日が続いていますね。 最近、社内で「継続的デリバリー」の読書会をやっています。 AWSなど簡単・迅速にインフラを調達できる時代になり、デプロイメントパイプラインを早い段階で構築することができる環境が整ったんだなぁと改めて実感します。 デプロイメントパイプラインを作るために欠かせないことの1つが、DBの構成管理です。 以前DBの構成管理をしていなかったために、リリース作業自体に時間がかかったり、リリースバグを出したことのある人も多いのではないでしょうか。（私も経験してます...） 今回は、JavaのDBマイグレーションツールを2つ試してみました。 FlywayとLiquibaseです。すでに、ここにFlywayとLiquibaseの比較記事がありますが、自分の感想を書きます。 1. インストール・環境構築について FlywayとLiquibaseもインストールの

平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識

こんにちは、 chappie です。 以前投稿した記事にて PostgreSQL で大量データに対する中間一致検索(LIKE検索)するためのインデックス作成について簡単に触れました。そのとき、 pg_trgm (trigram, トリグラム)を利用するのが有力な候補であり、詳しくは別記事で、、、と書いたっきりでした。半年近く間が空いてしまって恐縮ですが、書くと言った以上、書かないと年が越せない気がするので、今更ながら当時調査した内容についてシェアします。 概要 日本語のテキストデータを含むカラムに対して中間一致検索をかけた場合、その程度のパフォーマンスが得られるのか調べました。1000万レコードの日本語テキストデータを準備し、以下の 3 つの手法による検索速度を比較します。 1. PostgreSQL の contrib である pg_trgm を使ったインデックスを作成する サイト「Le

http://www.eclemma.org/jacoco/ EclEmmaで使っているカバレッジ測定用ライブラリ（というかエンジン？）。EclEmmaはEclipseプラグインだけど、JaCoCoはライブラリなのでAntやMavenからも利用できる。 カバレッジ測定といえばCoberturaが有名どころなんで「何も今さら」な気もするけど、JaCoCoはon the flyでカバレッジの測定ができるのがうれしい（instrumentメンドイんだもの）。on the flyと言えばEMMAでもできるのだけど、用意してあるantのタスクはJaCoCoのほうが使いやすかった。 詳しくは公式ドキュメントを参照するか、githubにサンプルプロジェクト作ったので、そっちを見て欲しい。 → GitHub - masanobuimai/ant-sample-project at 2f1300b1134f

コメントで指摘頂いたものも含めてandroidで使えるORMに関してもう少し集約してみる。 ormlite(http://ormlite.com/) SQLiteを使うオーソドクスなORM。恥ずかしながら知らなかったが、ディスカッションも活発であり期待ができそうだ。 ORMLite Users | Google グループ タイプとしてはsqlgenのようにアノテーションで修飾したクラスに対応したDAOクラスを生成するが、sqlgenとは違いランタイムにDAOを作成する。つまりはリフレクションを使う訳で、それによるメリットとデメリットがあることが予想できる。 sqldroid(http://code.google.com/p/sqldroid/) SQLDroidはsqliteのJDBCドライバであり正確にはORMでは無いがJDBCを使用する他のORMと組み合わせて使うことが期待できる。プロ

androidでORM(Object-relational mapping(mapper))を使うこと考えた場合、どのような選択があるのだろう。 ContentProvider 正確にはORMではないが、FileやSQLiteデータベースをオブジェクトとしてアプリケーションから操作できるという意味では、ORMと呼んでも良いと思う。 当然だが、標準の実装であり他のライブラリィを必要としないため、事足りる用途であればこれを使えば良いだろう。 gwtorm (http://android.git.kernel.org/?p=tools/gwtorm.git;a=summary) AOSP(Android Open Source Project)中にあるORM。JDBCとProtocolBufferを使用しており、期待できそうなのだが、ドキュメントが殆ど無く、どんなものなのかよく分からない。 sq

JBoss自体にはJDBCログを出力する機能がないので、外部ライブラリを導入する。log4jdbcというライブラリが簡単。動作はlog4jdbc 1.2 beta 2というバージョンで確認した。 jarをlog4jdbcのサイトからダウンロードして$JBOSS_HOME/common/lib/ディレクトリに置く。依存ライブラリとしてslf4jが必要だがJBossに最初から含まれているので無視して大丈夫だ問題ない。$JBOSS_HOME/server/$PROFILE/deploy/hsqldb-ds.xmlを開いて以下のようにとをちょこっと修正して完了。あとはconf/jboss-log4j.xmlでDEBUGログの出力が有効であればログがもりもり出るようになる。必要があればいくつか出力レベルを絞ったりしておしまい。 <connection-url>jdbc:log4jdbc:hsqldb

Chris Gioran has posted a series of articles on Neo4j internal implementation details: ☞ File storage☞ Persistence and Memory mapping☞ Write ahead log and deadlock detection (part 1)These should be pretty helpful not only for understanding how Neo4j is working, but you could even start hacking on Neo4j. Original title and link: Neo4j Internals (NoSQL databases © myNoSQL)

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

さらに続きである。これで完結である (ことを願う…)。 まずは観測から。 何とかなりそう! ヽ(´ー｀)ノ PostgreSQL で大きなバイナリを扱うには、今まで試した BYTEA 型を使用するほかに OID 型を使用する方法がある。BYTEA 型がバイナリそのものをテーブルに格納するのに対し、OID 型はオブジェクトの ID のみを格納し、実体のバイナリはどこか別のところに保存される (PostgreSQL の場合はシステムカタログのどこかに入るらしい)。 元々 BLOB がロケーション ID やオフセット、長さなどを使って巨大なバイナリを扱うための手段だということを考えれば、むしろこの OID 型を BLOB と呼ぶ方が自然だ (ちなみに商用データベースの方は実体をテーブルスペース外の別ファイルにするか VARBINARY と同様にテーブル内に入れるかなど、きめ細かな構成を選択できる