分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
史上最強のデータベース、SurrealDB - Qiita
SurrealDBというRust製データベースを知ったので紹介します。このデータベースはすごいです。リレーショナル、ドキュメント、グラフ、あらゆる種類のデータ構造を扱うことができ、かつインメモリ、単一ノード、分散環境、全てで動かすことができます。さらにHTTPやWebSocketによるアクセスと柔軟なユーザ認証、認可機能とがDB本体に内包されており、ブラウザから直に接続するWebDBとしても使えます。とにかくなんでもできる夢のデータベースといった感じです。 特徴 機能を挙げていたら多くなりすぎたので、特に面白い部分を挙げます。 配列やオブジェクトをネストした複雑なデータ構造を持てるのに、レコードリンクという機能によりリレーションに対応していてしかもSQLやMongoDBより簡潔にクエリが書ける。 スキーマレスで各レコードには任意のフィールドを持てるが、必要ならスキーマを定義することもできる
日本アニメのデータベース「アニメ大全」一般公開 約1万5000作品、約18万話を掲載
日本動画協会は日本のアニメ作品総合データベース「アニメ大全」を一般公開すると発表した。1万4710件のアニメ作品、17万5755エピソードの基本情報を網羅（7月末時点）し、世界最大規模のデータベースになるという。8月25日午後1時より公開する。 データベースでは年代検索や五十音（あいうえお）検索、キーワード検索などの検索機能を利用できる。研究やビジネス、クリエイティブなどの分野での情報収集として活用を想定している他、アニメファンや子どもたちにも利用してほしいとしている。 アニメ大全は、日本のア二メ文化100周年記念の中核事業「アニメNEXT＿100」の一環として15年に制作を開始。2021年10月22日（日本記念日協会登録の『アニメの日』）に関係者などへ試験的公開し、日本動画協会会員社であるアニメ制作関連各社や著作権者、有識者による改修、更新を経て一般公開に至ったとしている。 関連記事 約
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
テストでのデータベース単位の捉えかた - 日々常々
データベース（に限らずあらゆる永続化リソース）を使用するテストをいかにして行うかはいつだって悩みの種です。この悩みは「どうやったらデータベースを使用するテストを行えるかわからない」ではなく「なんとかやってるけど、不満のようなものがある」というものになるかと思います。 やりかたはたくさんあるのですが、その優劣は条件なしに比較する意味がないくらい、条件に依存します。どんな選択肢も「この条件なら最適」と言えてしまうだけに、広いコンテキストで「こうするのがベスト」とも言いづらいのです。 前提 xUnit Test Patterns を下敷きにします。 ユニットテストでの話です。他でもある程度通じます。 具象イメージはSpringBootを使用するWebアプリケーションです。そこまでべったりな内容ではありませんが、背景にあるとご理解ください。他でもそれなりに通じます。 データベースを使用するテストで
書籍「詳説データベース」の紹介 / Database Internals | コーソルDatabaseエンジニアのBlog
Oracle ACEの渡部です。 監訳者のこばさんから書籍を献本いただいたので、紹介記事を書かせていただきます。 書籍「詳説データベース」とは何か？ https://www.amazon.co.jp/dp/4873119545 https://www.oreilly.co.jp/books/9784873119540/ 書籍冒頭の「監訳者まえがき」と「本書が対象とする範囲」に明確に書かれていますが、以下を中心に説明している書籍です。 ストレージエンジン 分散トランザクションマネージャ データベースには上記以外のコンポーネントとして、クエリ言語の構文解析（端的にはSQLのパース処理）、クエリオプティマイザ（クエリ最適化）、ワークロード処理におけるリソース管理、データモデルやメタデータの管理がありますが、これらについてはほとんど触れられていない点に注意してください。 目次を見れば、取り上げられ
サイボウズさんの開運研修(データベース)で話してきました
2024 ( 17 ) 4月 ( 3 ) 3月 ( 6 ) 2月 ( 1 ) 1月 ( 7 ) 2023 ( 20 ) 12月 ( 3 ) 11月 ( 3 ) 10月 ( 1 ) 8月 ( 1 ) 5月 ( 2 ) 4月 ( 2 ) 3月 ( 3 ) 2月 ( 5 ) 2022 ( 27 ) 12月 ( 5 ) 10月 ( 1 ) 9月 ( 1 ) 8月 ( 5 ) 7月 ( 4 ) 6月 ( 3 ) 4月 ( 1 ) 3月 ( 3 ) 2月 ( 2 ) 1月 ( 2 ) 2021 ( 22 ) 12月 ( 4 ) 10月 ( 2 ) 9月 ( 6 ) 7月 ( 1 ) 6月 ( 3 ) 5月 ( 3 ) 東京都オープンデータカタログサイトのCSVを使ってLOAD DATA LOCAL INFILEの練習をする サイボウズさんの開運研修(データベース)で話してきました オプティマイザヒント
Baserow - ノーコードとして使えるWebデータベース
ノーコードというキーワードが流行っています。コーディングをしないので、開発者も含め、業務担当者でもアプリケーションを開発できるようになります。昔でいえばExcelやAccessによる業務アプリ開発に近いものがあります。 今回紹介するBaserowはWeb用データベースアプリケーションになります。雰囲気としてはKintoneなどが近そうです。 Baserowの使い方 ダッシュボードでテーブル設計やデータの登録を行います。 型は数字や文字、真偽値などを設定できます。 フィルタを使って表示項目やデータを絞り込めます。 APIドキュメントも生成されます。 テーブル間のリレーションも可能です。 画像も扱えます。 Baserowは管理画面を通じてデータの登録や更新が行えます。担当者ごとにアクセス権限も指定できます。APIや外部サービスとの連携もサポートされており、拡張性があります。データベースはPos
DBML - データベースのスキーマ設計用言語
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました データベースのスキーマ設計を行うソフトウェアは幾つもありますが、固有のデータベースに依存していたり、専用のソフトウェアを使わないといけません。案件によってデータベースを変える際に、その知見が活かせないのは面倒です。 そこで使ってみたいのがDBMLです。データベースのスキーマ設計用言語です。 DBMLの使い方 DBMLの例です。波括弧、カギ括弧を使って構造を表現しています。Refはテーブル同士の結合を表現します。 Table users { id integer username varchar role varchar created_at timestamp } Table posts { id integer [primary key] title varchar body t
データベースを遅くするための８つの方法
はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが１時間越えに化けることもザラにあるので原
理屈で考える、データベースのチューニング | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 パフォーマンス勉強会OracleデータベースMySQLInnoDB こんにちは、羽山です。今回はOracleデータベースのチューニングで少し踏み込んだ内容です。途中で比較対象としてMySQLも登場します。 日頃からSQLチューニングの機会があってそれなりに得意としているのに、それでもなぜかパフォーマンスがでないSQLに悩んだ経験はありませんか？ 謎の遅い現象は特に大規模データベースになってくると発生しがちなのですが、速い場合も遅い場合も必ず理由があります。そこで本記事ではデータベースのチューニングにおいて意外と見落とされがちなローレベルな部分に着目して、さらに一歩上のパフォーマンスチューニングに必要な知識を解説します。 この記事を書くきっかけとなったのは私た
![理屈で考える、データベースのチューニング | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/2163d340456cff9037bacb3b1e5b6e672b06095e/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2020%2F10%2Fdb_performance_slides-thumb.jpg)
サロゲートキーにこだわるデータモデルの異様さ - 設計者の発言
サロゲートキーは「ワサビ」のようなものだ。ある種の料理を引き立てるため、熟慮のうえ利用される。どんな料理にもワサビが強制されるとしたら、異様な食卓になるだろう。同様に、どんなデータを扱う場合にもサロゲートキーが強要されるとしたら、異様な情報管理システムになるだろう。 その異様さはさまざまな例で示せるが（参考記事「Railsは新人教育に向いていない」）、今回は「予実管理」のモデルで眺めてみよう。まずはまともな例（図１）。期間別の管理項目が、年月を含む主キーで与えられるテーブル上に保持されている。業務システムではふつうに見られるものだ。 図１．予実管理のモデル さまざまなリソース毎に期間別の計画値を設定して実績値と比較することは、業務システムの日常的な役割のひとつである。期間別の計画と実績の乖離を見るというのは、業務上の管理レベルを高めていくための常套手段だ。実績値の集計元となるトランザクショ
データベースのドキュメント管理を自動化した話 - estie inside blog
こんにちは、今回はデータ基盤構築を担当しているmarushoがお送りします。 今日はestieで実践しているデータベースのドキュメント管理方法をご紹介します。 はじめに 独自成長していくデータベースたち 失われたドキュメント どうすれば低コストなドキュメント管理ができるのか そして生まれた、schema collectorという自動化ツール SchemaSpy Mysql diff Priv Page ECS タスクスケジューラ ドキュメントを腐らせない おわりに はじめに estieはオフィスを中心とした不動産データを取り扱うスタートアップ企業です。 estie（オフィス探しサービス）とestie pro（不動産事業者向けデータプラットフォーム）の2つのサービスを運営しています。 詳しくは、こちらの記事をご覧ください。 inside.estie.co.jp estieでは、不動産に関する
Googleスプレッドシートと同期できるデータベースアプリ「Memento Database」がかなりいい！ - ロマろぐ
Android/iOSアプリ「Memento Database」 使ってみる（同期の検証） 便利な機能 無料版と有料プランの違い かなり満足！ 僕は今はGoogleスプレッドシートで購入物を記録しています。 GoogleスプレッドシートはGoogleドライブで同期でき、ハードオフなど出先でスマホで検索できるのでそこそこ便利です。 ただ、スマホでの一覧性はあまりよろしくなく、検索機能も乏しくソートや条件での整理はできません。画像の登録・閲覧も限定的。まぁそりゃそうだ。ExcelもGoogleスプレッドシートも表計算ソフトであってデータベースソフトではないしね。 ならばデータベース専用ソフト（AccessやFilemaker）で記録と管理を・・・ということになりますが、これらのソフトは使い勝手がかなり専門的で古臭いのです。ボタン一つでスマホ対応・クラウド同期はほぼ無いですし、特に表計算ソフトで
データベース設計の際に気をつけていること - 食べチョク開発者ブログ
皆さんこんにちは、エンジニアの西尾です。 新しい機能・サービスを開発する際、私は特にデータベース設計に気をつかいます。 データベースはシステムの土台です。 土台が不安定だと、その上に積み上げていくアプリケーションコードがいびつなものになり、つらい思いをします。 また、一度動き出してしまったシステムのデータベース設計を変えるのは、容易なことではありません。 データベース設計には”これだ！”という正解はないと思っています。 サービスの特徴、システムの性質、toB向け/toC向け、Readが多い・少ない、Writeが多い・少ない。 その他もろもろの背景により、データベース設計の仕方も変わってきます。 このテーブルは正規化していないから駄目だ、この設計はいわゆるポリモーフィック関連だから使ってはいけない、などということはありません。 アンチパターンと呼ばれるものも時と場合によっては正解になります。
DBeaverでデータベースからのCSVエクスポートをお手軽に自動化する | DevelopersIO
こんにちは。データアナリティクス事業本部の松村です。ジョインブログを投稿してから2ヶ月以上経ってしまいましたが、ようやく2本目に漕ぎ着けました。これからはもう少しペースを上げていきたいです！ 今回はデータベースからのCSVエクスポートを自動化する方法を紹介します。 ツールとしてDBeaverを使用します。Windows/Mac/Linuxと、主要なデスクトップOSで動作し、機能も多彩です。以前も弊社ブログでご紹介したことがあります。 DBeaver Community | Free Universal Database Tool 複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 DBeaverにはTaskというDBに対する定形作業を自動化する機能があり、これを使います。実際の運用におい
DBML - データベース構造用マークアップ言語
データベースはアプリケーションのコードとは別で管理されることが多いです。構造の変更をコードで書けるようになっていますが、ER図を見ようと思うと専用のツールを使ったりします。 今回は別な仕組みとしてDBMLを紹介します。データベース構造を現すのに使うマークアップ言語です。 DBMLの使い方 左側がDBMLです。右側にビジュアル化した内容が表示されています。この表示は dbdiagram.io によるものです。 右側でリレーションを変更すると、DBMLにも反映されました。 DBMLはTable、RefそしてEnumを使ってデータベース構造を表現します。作成したDBMLのファイルはSQLへの変換が可能で、逆にSQLからDBMLも作成できます。JavaScriptでオブジェクトとして読み込むこともできるので、システム連携にもよさそうです。 DBMLはJavaScript製のオープンソース・ソフトウ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今まで生き残ってきたRDBMSとこの先10年戦えるデータストア戦略 / Database now and in the past
名字マップ
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
