データベースには種類がある今やデータベースはビジネスや行政、学術分野などさまざまな分野で情報を管理、運用するツールとして利用されていますが、データベースには大きく分けると4種類あります。 データの管理方法によって「階層型」「ネットワーク型」「リレーショナル型」「NoSQL型」に分類されます。この記事では、データベースそれぞれの特徴やメリット、デメリットなどについて紹介していきます。 データベース（Data Base：略称DB）とは、蓄積・整理し、再利用できるようになっているデータの集合体のことです。広い意味では、住所録や電話帳もデータベースと言えますが、ここではあくまでもコンピューターシステムに電子的に格納されたものを対象とします。 データベースは数値やテキスト情報以外に画像なども含まれ、一定のルールで規則正しく整理されたデータの塊です。 データベースシステムの開発に関わると、必ずDBMS
今までのインデックスについての自分の理解が、「インデックスを作ると検索スピードが上がる」くらいの理解でした。これではいけないと思い、ようやく真面目に勉強したのでそれをまとめるついでにクイズ形式にしてみました。 インデックスとは データベースにおけるインデックスは、データの検索速度を向上させるための機能です。一般的に、テーブル内のデータの特定の列に対して作成され、その列の値に基づいてデータにアクセスする際の効率を高めます。 よくある例でインデックスは本でいう索引に当たります。見たい項目を索引で探し、何ページかを確認してそのページを開けば一枚一枚ページをめくって探すより効率的に目当てのページに辿り着けますよね。 それをデータベースでも同じことをしているというイメージです。 第一問 以下 SQL 文でインデックスが使用される検索はいくつあるでしょうか？
何もわからないまま使うのは危険です！！！ いきなりこんなことをかいてしまいましたが、皆さん、MySQLを安全に使ってますか？ 特に金融とか顧客情報とか扱うとこ！あとDBの障害対応めんどくさいな〜ってなってる人も必見です！ MySQLをクラウドでmanagaedなもの(CloudSQLとか、RDSとか)使っている方もいれば、self hostedなサーバを利用している方もいらっしゃるかと思います。 どちらにおいても、必ずこの内容は抑えておかないと危険かもしれないですよという、注意喚起的な記事です。 つまり、マネージドなRDBMSとしてMySQL使ってるあなたも、知っておくべきということです。 RDS を使っているあなたも、 CloudSQLを使っているあなたも、ぜひ読んで確認してください。 InnoDB、ちゃんと気にしていますか？ MySQLを使っていますか？と書き始めましたが、この記事の中
週刊Railsウォッチ: method_missingの引数を'...'に置き換え、JRuby Prism、Sidekiqのしくみほか（20240306）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 公式更新情報: Ruby on Rails — Enhanced assert_broadcast
※この記事はMySQL Advent Calendar 2023の4日目です。 MySQL 8.0シリーズでは正式版になってから多数の新機能が追加されるというリリースモデルであった。正式版になってから追加された新機能の中に、GIPK（Generated Invisible Primary Key）というものがある。これはなんとMySQL 8.0.30で追加された機能だ。MySQL 8.0が正式版になってから、なんと4年と3ヶ月後のことである。そんな感じでMySQL 8.0の新機能は正式リリース後にも増え続け、途方もない規模になっている。このブログでは一度に紹介するのは諦め、少しずつ気の向いたものから紹介していこうと思う。今回はその第一弾として、GIPKについて解説しよう。 GIPKとは GIPKとは、その名前が示すように、自動的に生成される不可視の主キーである。主キーを持たないテーブルに対
NTTドコモにおける Leminoの大規模ライブ配信を支えるアーキテクチャ（第一回） | Amazon Web Services
Amazon Web Services ブログ NTTドコモにおける Leminoの大規模ライブ配信を支えるアーキテクチャ（第一回） 本稿では株式会社NTTドコモ（以下、docomo）において、映像配信サービス『Lemino』の開始にあわせて配信基盤を再構築し、同時視聴ユーザが数百万規模のライブ配信を実現した取り組みについて、全4回に分けてご紹介します。この取り組みについて概要をご覧になりたい方は導入事例ページもご覧ください。 第一回 適切なデータストアの選定とアーキテクチャの見直し 1.はじめに docomoの『Lemino』は、2015 年から提供していた『dTV』をリニューアルする形で誕生した映像配信サービスです。 既存システムにとらわれず、新機能を素早く提供するとともに大規模なライブ配信を実現するために、データストアを改めて選定し、全てのアーキテクチャを見直しました。 dTV では
メダリオンアーキテクチャ
メダリオンアーキテクチャとはメダリオンアーキテクチャとは、レイクハウスのデータを論理的に整理するために用いられるデータ設計を意味します。データがアーキテクチャの 3 つのレイヤー（ブロンズ → シルバー → ゴールドのテーブル）を流れる際に、データの構造と品質を増分的かつ漸次的に向上させることを目的としています。メダリオンアーキテクチャは、「マルチホップ」アーキテクチャとも呼ばれます。 レイクハウスアーキテクチャのメリットシンプルなデータモデルわかりやすく、導入が容易増分 ETL が可能未加工データからのテーブル再作成がいつでも可能ACID トランザクション、タイムトラベルレイクハウスとはレイクハウスは、データレイクとデータウェアハウスの優れた要素を取り入れた新しいデータプラットフォームアーキテクチャです。モダンレイクハウスは、拡張性と性能に優れたデータプラットフォームです。未加工データと
2024年5月31日に、4月1日よりサービスリリースしていたPDF翻訳アプリ「Indqx」のサービス提供を終了させました。 本記事では、PDF翻訳アプリIndqxをなぜ作ったのか？ なぜ、2ヶ月でサ終了させたのかを開発者である私が、書き残したいと思っています。 1.PDF翻訳アプリIndqxとは？DeepL翻訳とIndqx翻訳比較翻訳例 左原文 右翻訳翻訳例 左原文 右翻訳Indqx翻訳は、論文読者向けのPDF翻訳Webアプリ。 論文特化の翻訳サービスで、DeepL翻訳+自作のPDF翻訳エンジンにて、PDFを翻訳します。それだけ！ サービスURL(サイトは残してるけど、サーバー課金を切ってしまったので、開くのにすごく時間が掛かる) https://indqx-demo-front.onrender.com/ 2.何がすごいの？2-1.すごい所①「PDFフォーマットが崩れない」ご存知の通り、
概要 2ヶ月遅刻ですが、2023年4月～2024年3月で読んだ本145冊のうち技術寄りの本から52冊をざっくり紹介します。 オススメ度は10段階です。 1年目。 2年目。 プログラミング言語 実践Rustプログラミング入門 オススメ度★6 章ごとに1つのプログラムを作成しながら、Rustとそのエコシステムの特徴を学べる形式の本です。Rust哲学や文法解説は少なめです。 Rust学習者にはプログラミング初心者が少なく、質の高い公式ドキュメントも充実しているため、この形式の本は多い印象ですが、その中でも最もポピュラーな本です。 多様な用途を紹介する都合で作成するプログラムも多様で、これは好みが分かれるかなと思います。「ざっくり出来ることが分かればいいので後半は読み流すだけで、あとは自分で作りたいものを作りながら学ぶ」という人にはオススメです。一方で、マトモにコードを理解して環境構築して動かそう
こんにちは。 ピリカ開発チームの伊藤です。 ピリカでは6月1日より、ピリカサポーターズクラブを開始しました。 まだご覧になっていない方はこちらをご覧ください。 corp.pirika.org ピリカサポーターズクラブをはじめるにあたって新しいシステムを構築しました。 ピリカの開発チームのリソースは潤沢ではない中、全く新しいシステムを作るのはとても大きなチャレンジです。 社内からも「開発のリソースが潤沢でないならSNSピリカに注力すべき」という意見はありましたが、開発チームでは単に新しいシステムを作るだけではなく、この開発を「SNSピリカの開発を今後少ないリソースで効率的に進めるために必要な基盤の実験」としても位置付けていました。 この開発を通じて得たことのまとめとして、ピリカサポーターズクラブの構成やデプロイの仕組みをご紹介したいと思います。 SNSピリカの開発で抱えている問題 SNSピリ
[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO
[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 先日2024年02月20日(火)、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第1回開催回である『データメッシュによるデータガバナンス編』を開催しました。 当エントリではその内容についてレポート致します。 目次 イベント概要 イベントレポート データ活用支援サービスのご紹介 イチから学ぶデータメッシュによるデータガバナンス 全体質疑応答 まとめ イベント概要 第1回目となる今回取り扱うテーマは『データメッシュによるデータガバナンス』です。 イベントレポート データ活用
![[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『データメッシュによるデータガバナンス編』を開催しました。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6088af668a26aa844cbd90c023a1cba2783d0e89/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F02%2F20240220_data_application_webinar_w1200h630.jpg)
IT Leaders トップ ＞ テクノロジー一覧 ＞ データマネジメント ＞ 調査・レポート ＞ データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR データマネジメント データマネジメント記事一覧へ [調査・レポート] データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR 2024年1月26日(金)IT Leaders編集部 リスト アイ・ティ・アール（ITR）は2024年1月25日、国内データカタログ製品・サービス市場の規模の推移と予測を発表した。2022年度の売上金額は前年度比17.6%増の8億円で、2023年度は同15.0%増の伸びを予測。2022～2027年度の年平均成長率（CAGR）は18.3%を見込んでいる組織内のデータを一元的に管理し、データ品質と正確性を確保する効果が知られるようになり、認知度が向上している
[レポート]脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと #CEDEC2023 #classmethod_game | DevelopersIO
[レポート]脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと #CEDEC2023 #classmethod_game こんにちは、ゲームソリューション部のsoraです。 今回は、CEDEC2023のセッションレポートを書いていきます。 セッション概要 脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと 受講スキル： ・ゲーム開発に関わる方 ・データベースでお悩みを抱えている方 得られる知見： ・ 分散型データベースの基本的な概念とTiDBの特徴理解 ・ゲーム基盤でのTiDB活用ポイント ・DB選定時のワンポイント セッションの内容： 楽しいね！と言ってもらえるゲームを作る、ゲーム業界に携わるみなさんにとっても最も重要なことだと思いますが、一方で
![[レポート]脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと #CEDEC2023 #classmethod_game | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3d0716483b59f9b42992965cd8612fa3fbd98b9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fcedec2023_banner.png)
SQLポケットガイド 第4版
現場で重宝するSQLリファレンス。ソフトウェア開発の現場では、「SQLの構文をすぐに確認したい」「データベースによって異なるSQLの書き方を知りたい」「久しぶりにSQLを使うので簡単に復習したい」といったことがよくあります。本書では、仕事でSQLを利用しているプロの開発者を対象に、主要な5つのデータベース――MySQL、SQL Server、Oracle、PostgreSQL、SQLite――で使われるSQLの構文およびデータベースの基本を簡潔に解説します。PythonやRからSQLを利用する方法も解説しているので、データアナリストやデータサイエンティストなど、開発者以外のSQLユーザーにも有用でしょう。 まえがき 1章 SQL速修講座 1.1 データベースとは何か？ 1.1.1 SQL 1.1.2 NoSQL 1.1.3 データベース管理システム（DBMS） 1.2 SQLクエリーとは何
PostgreSQL と MySQL の比較 - リレーショナルデータベース管理システム (RDBMS) の違い - AWS
MySQL は、データを行と列を含むテーブルとして保存できるリレーショナルデータベース管理システムです。多くのウェブアプリケーション、動的な Web サイト、組み込みシステムを支える人気のシステムです。PostgreSQL は MySQL よりも多くの機能を提供するオブジェクトリレーショナルデータベース管理システムです。これにより、データ型、スケーラビリティ、同時実行性、およびデータ整合性がより柔軟になります。 MySQL について読む » PostgreSQL について読む » PostgreSQL と MySQL はどちらもリレーショナルデータベース管理システムです。これらは、共通の列値を介して相互に関連するテーブルにデータを格納します。例を示します。 ある会社では、顧客データを Customers という名前のテーブルに customer_id、customer_name、custo
週刊Railsウォッチ: IRB 1.8.0でデバッグ機能強化、Ruby Prize 2023開催決定ほか（20230908後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails 🔗 Herokuでリソースを共有する「隣人」対策（RubyFlowより） 元記事: How to Fix Heroku's Noisy Ne
Databases in 2023: A Year in Review | OtterTune Andy Pavlo (CMU, OtterTune) による毎年恒例の DB 業界動向年間レビュー LLMs による Vector Databases の隆盛 (専用の DB ではなく、既存 DBMS の機能としての提供も追いついてきそう) 新標準 SQL:2023、目玉はグラフ構造へのクエリと、多次元配列のサポート。いずれも実装はまだほぼ無し MariaDB (会社側) のごたごた NOTAM というシステムの障害でアメリカ国内線が不通に。80年代に作られたままの、RDBMS を使っていない、おそらく CSV か何かを編集するような自家製 DBMS らしい などなど。相変わらず技術面からファイナンス含めた企業の隆盛までカバーしており面白い Big Data and Beyond: My Pr
[ワークショップ] マルチテナント要件を達成するためのデータストアの分割方法を学ぶ「Build a multi-tenant SaaS solution using AWS purpose-built databases」に参加しました（DAT402） #AWSreInvent | DevelopersIO
[ワークショップ] マルチテナント要件を達成するためのデータストアの分割方法を学ぶ「Build a multi-tenant SaaS solution using AWS purpose-built databases」に参加しました（DAT402） #AWSreInvent いわさです。 AWS re:Invent 2023 のワークショップである「DAT402: Build a multi-tenant SaaS solution using AWS purpose-built databases」に参加してきました。 AWS には SaaS on AWS というカテゴリがありまして、主にマルチテナントを考慮してアーキテクチャーを最適化する必要があります。 その中ではアプリケーションだけでなく、データストアに対しても様々な要件からテナント分離性を高めることがあります。 この記事ではワ
![[ワークショップ] マルチテナント要件を達成するためのデータストアの分割方法を学ぶ「Build a multi-tenant SaaS solution using AWS purpose-built databases」に参加しました（DAT402） #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
University of the Peopleを卒業してコンピュータサイエンスの学士号を取りました(仮) - Journal
先日AY2024-Term3を終えて卒業要件単位数を満たすことができました。今はまだ卒業申請中なので「仮」としている。ディプロマを手にするまでは実感が湧かなそうだけれど日に日に記憶が薄れていくので振り返りを。 清々しい気分で見物した今年の牡丹 目次 CS 2204 Communications and Networking CS 2301 Operating Systems 1 CS 3307 Operating Systems 2 CS 4402 Comparative Programming Languages CS 4407 Data Mining and Machine Learning さいごに CS 2204 Communications and Networking OSI参照モデル、TCP/IPモデルの各レイヤーの役割とそこに使われているプロトコルやアルゴリズムを一通り学ん
この記事の目的 リレーショナルデータベース（以下、RDBMS）を大規模に利用されるときの構成手法として、データベースシャーディング（Database sharding）という方法があります。オンラインゲームやSaaSなどアクセス頻度が高く、個別のユーザーごとの操作による更新量が大きい用途などでデータベースの書き込み性の限界への回避策として多くの場面で利用されている手法です。 この手法の実現方法や得失について簡単に触れた後、この手法の経験者がSpannerを使う場合にシャーディングでの概念をどのようにSpannerに対応できるか解説します。 シャーディングについては十分わかっており、概念の読み替えだけを知りたい方は最後の表をご覧ください。 RDBMSでのシャーディングの構成 シャーディングは通常水平分割で実現されます。つまり1つのテーブルのレコードを複数の異なる物理データベースに配置します。
Pointer Swizzling というテクニックについて、wikipedia のページ https://en.wikipedia.org/wiki/Pointer_swizzling の Further reading を見るとそこそこ昔からあるようですが、ここ数年 LeanStore を始めとしてデータベース関連論文で取り上げられているのはなぜでしょうか？ 熊崎 宏樹:Pointer Swizzlingについて詳しくない人のために概要を説明しますと、これはメモリに乗り切らないデータの断片をメモリに乗せて処理している際に、データ内での参照関係を表す論理的なポインタをメモリ上でのみ物理的なポインタへと侵襲的に上書きする事で同じくメモリに断片的に乗っている宛先データへのショートカットを提供し高速化するテクニックです。上手くいっている時は速度面では申し分無いのですがディスクに書き戻す際に再び
データベーススペシャリストの参考書を呼んでいて、リレーショナルモデルが主流になったのはデータ独立を実現したことにより変更容易性が高くなり生産性が上がったからだと書いてありました。 個人的には流行ったメインの理由はRDBMSが優れたトランザクションの仕組みを持っていたためだと考えていました。 なぜRDBMSが主流になったと思いますか？ RDBMSが流行った理由はトランザクションのお陰ではありません。何故ならリレーショナルモデル登場前からトランザクションをサポートしたデータベースは複数あったからです。 リレーショナルモデルの提唱者であるEdgar F. Codd氏がその当時勤務していたIBMが売っていた製品がInformation Management System(以下IMS)というデータベースで、階層型データモデルというデータ型でデータを表現していました。これは例えるならファイルシステムの
RDBMSの基礎を学ぶーインデックス編
エンジニア何年もやって、ちゃんとDB学んでいなかった悔しさがずっとあったので、この間は色々とコースなり、本なりを探って勉強した。 DBMSは非常に大きなトピックで自分もまだまだほんの少ししか触れていなかったが、この記事では、とりあえずはインデックスからスタートしてようと思う。 （結構長くなってしまったので、TL;DRとして節ごとにまとめを置いています） DBMSのアーキテクチャー概要 データベースによって実装が異なるが、一般的に含まれるDBMSの構成コンポーネントとして、次のように挙げられる[1]。 DBMSはサーバークライエントのモデルを使っている。クライエントはクエリーを構成してトランスポートのレイヤーを経てサーバー側に送られる。クエリーに対してサーバー側が解析や最適化して、適切な実行プランを出す。実行プランは実行エンジンに渡されて、ローカルとリモートの実行結果を集計する。リモートとい
作ってみた 百聞は一見に如かずということで、スクリーンショットをいくつかぺたり。 もちろんスマホでも見れるよ ちなみに筆者のツイハイアカウントは @nr_ck です。 どうやって作ったかまとめてみた このエントリは個人で作成したサービスの「ツイハイ！」について、インフラからバックエンド、フロントエンドまで一気通貫でどんな設計で動いてるかまとめたものになります。 ツイハイ！は現在のところアーリーアクセス版というステータスで、かつ実験的なプロジェクトという建付けとしています。まだ基本的な機能のみのため、10年前くらいのTwitterを思い出すかもしれません。小さいSNSで、機能もユーザー数も少ないサービスですが、その裏側はスケールしやすいように考えた設計があります。この設計についてフロントエンド設計、バックエンド設計（次のエントリ）、 インフラ設計（このエントリ） という3つの視点でQiita
Unlocking performance, scalability, and cost-efficiency of Zomato’s Billing Platform by switching from TiDB to DynamoDB | Amazon Web Services
AWS Database Blog Unlocking performance, scalability, and cost-efficiency of Zomato’s Billing Platform by switching from TiDB to DynamoDB This post is co-authored with Neha Gupta & Kanica Mandhania from Zomato. Zomato, an India-based restaurant aggregator, food delivery, and dining-out company, operates in over 1,000 cities and lists more than 350,000 restaurants. Since its inception in 2008, Zoma
In the Introduction To Database Indexing Article, We discussed database indexes, Their type, representations, and use cases. In this article, we will experiment to check which performs better as a clustered index. UUID version 4 vs UUID version 7 or 6. Then we will discuss why that happened. What is UUID version 4?UUID, an acronym for Universally Unique Identifier, is a 128-bit identifier represen
みずほ第一FT、Snowflakeでデータ分析基盤を構築、データの受領/管理にかかる工数を削減 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ BI／BA／DWH ＞ 事例ニュース ＞ みずほ第一FT、Snowflakeでデータ分析基盤を構築、データの受領/管理にかかる工数を削減 BI／BA／DWH BI／BA／DWH記事一覧へ [事例ニュース] みずほ第一FT、Snowflakeでデータ分析基盤を構築、データの受領/管理にかかる工数を削減 2023年9月8日(金)日川 佳三（IT Leaders編集部） リスト みずほ第一フィナンシャルテクノロジー（本社：東京都千代田区）は2023年1月、クラウド型データウェアハウス（DWH）の「Snowflake」を採用してデータ分析基盤を構築した。特に、Snowflakeのデータ共有機能を活用することで、データ提供ベンダー各社からデータを受領しやすくなった。Snowflakeが2023年9月7日に発表した。 みずほ第一フィナンシャルテク
AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です！ アーキテクチャ LambdaでSQLite？と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え
第11回 RDBMSをデータウエアハウスに使う際の性能劣化、OLTP用途との違いを理解 データウエアハウスにまつわるトラブル 今回はデータウエアハウス（DWH）導入時のトラブル事例を紹介します。DWHとは、組織内の様々なシステムから得られる大量の構造化データや半構造化データを集積し、保存するデータ処理システムです。保存されたデータはBI（ビジネスインテリジェンス）やデータ分析に活用されます。 現代のビジネス環境では、AI（人工知能）を活用した機械翻訳、質問応答、画像認識、機械学習などの技術が急速に進化しています。同様にBIツールを通じてビジネスデータを収集・整理・分析し、視覚的に理解しやすくする技術も進歩しています。蓄積されるデータの量は飛躍的に増加しています。データ管理と分析の重要性が高まる中で、膨大なデータの活用は企業や組織にとって欠かせなくなっています。 DWHの主な特徴は、データを
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。今年に入ってガバメントクラウドのブログを書くようになりまして、どの記事も前向きでポジティブな内容を心がけておりましたが、今回は一転して後ろ向きなタイトルになります。 本BLOGではガバメントクラウドにおいてAWSに各システムをリフト＆シフトした後に、AWSから抜け出す方法 について検討した内容を記載させていただきます。 このBLOGを書こうと思い立った理由 AWSから抜け出す方法を各サービス毎に検討する 仮想サーバー EC2 データベースのマネージドサービス RDS、Aurora コンテナの実行環境 ECS、Fargate ファイルサーバーのマネージドサービス FSx for Windows File Server オブジェクトストレージ S3 サーバーレス実行環境 Lambda ファンクション デ
クラウド活用のリアル
日本企業のパブリッククラウド活用はどこまで進んでいるのか。 その実態を探る目的で、日経クロステックは2023年6～7月に自社システムの基盤にクラウドを採用している企業にアンケートを実施。35社から90システム分の回答を得た。アンケートの分析を通じ、大きく3つのトレンドが見えた。「マルチクラウドが進展」「コンテナが普及期に」「全面活用が進む」である。順番に見ていこう。 マルチクラウドが進展 6割が複数を採用 アンケートでは各社最大3つのシステムについて、「社内業務システム」「社外顧客向けシステム」「情報系システム」の3区分に分類した上で利用するクラウドサービス事業者やサービス、クラウド利活用方針などについて調査した。集計結果からマルチクラウドの採用率やクラウドの利用状況、各社の工夫や課題が見えてきた。 トピックスは3つある。マルチクラウド採用率の上昇、クラウドネーティブなシステムのトレンド、
職業ソフトウェアエンジニアが普段の業務でソフトウェアを作る時は、過不足ないソフトウェア製作を通して試行錯誤を素早くこなして目的に至ることが求められているでしょう。 『リーン・スタートアップ』やアジャイル開発などで説かれている考え方です。 ソフトウェア産業が扱う領域がより高度で複雑になってきたために生じる不確実性とうまく付き合うためのやりかたで、今日では前提とされます。 一方で、それらを支えるソフトウェア技術の幅や深さを広げるためにはどうすれば良いか、必要性は理解されてはいても具体的な実現方法を模索しているという人が多いのではないでしょうか。 ここでは、会社としてどうするかという点から一旦離れ、一個人のソフトウェアエンジニアとしてどうするかという観点で考えをまとめたいと思います。 作りたがりな自分 自分は「作りたがり」な性質で、業務では常にオーバーエンジニアリングに走ってより新しいこと・おも
2023年12月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 その2 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 11月と12月はアップデートの量が多いので、それぞれ2回に分けてお送りします。12月後半は61本です。引き続きAI/MLが多いです。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Dev
Building A Fintech Solution
FinTech stands for Finance Technology, and a Fintech company is a company that uses technology to solve customers’ financial needs. A career in a Fintech company can be very lucrative, and knowing the basics about building an app for a Fintech solution can open doors to many good opportunities. This article will discuss the subcategories of startups in the Fintech space, with a few Japanese exampl
こんにちは、AIQ株式会社のフロントエンドエンジニアのまさぴょんです！ 今回は、DBeaverの特徴や、DBeaverの導入方法について解説していきます。 DBeaverとは？ DBeaverの特徴まとめ DBeaverは、SQLクライアントソフトウェアアプリケーションであり、データベース管理ツールです。 DBeaverには、CE(無料版)とEE(有料版)がありますが、無料版で十分過ぎる性能を持っています。 特徴をまとめると、次のとおり。 特徴1: マルチプラットフォームで対応OSが豊富 Windows / Mac / Linux でアプリケーションが提供されています。 特徴2: 対応DBが豊富 MySQL、PostgreSQL、SQLite、Oracle、DB2、SQL Server、Sybase、MS Access、Teradata、Firebird、Apache Hive、Phoen
The Guild は GraphQL Code Generator や GraphQL Yoga を筆頭に、多くの GraphQL 関連 OSS をメンテナンスしています。これらは一見 GraphQL エコシステムにフォーカスしているように見えますが、The Guild は Web API エコシステム全体の改善を目指しているようです。 その世界観について、GraphQLConf 2023 で The Guild CEO の Urigo から聞いた内容をもとに、僕の解釈を交えて紹介します。 GraphQL Mesh によって全てが GraphQL になる GraphQL Mesh は、様々なデータソースから自動的に GraphQL スキーマを生成して配信するゲートウェイです。別の GraphQL API はもちろん、REST API (OpenAPI, JSON Schema) や gR
エンタープライズ認証システムとしておなじみの Active Directory Domain Service（AD DS）ですが、初登場から20年以上を経ています。今ではMicrosoft Entra ID（Azure AD）の利用が推奨されていますが、オンプレミス環境では、引き続き新規環境の構築やOSサポート期限による更新など、いましばらくは活躍しつづけることでしょう。 AD DSについてのドキュメントはMicrosoftで各種取り揃えていますが、発売当初公開されていた詳細な仕様や制限事項についての情報は、古い情報として多くが削除され、確認が難しいです。そんな状況を鑑みたのか、Microsoftの日本サポートチームが、素晴らしいドキュメント公開しています。 ドメイン コントローラーの構築時に言われないと気付かないこと | Microsoft Japan Windows Technolog
【MySQL】実行計画は３つに分けて読む
これはなに どうも、レバテック開発部のもりたです。 今回はSQLチューニングをする上で欠かせない実行計画の読み方についてまとめます。この手の情報、インターネットに無限に資料あるんですが、全ての項目を上から読んでいくとマジで目が滑ってなにも頭に入ってこないので、それぞれの関係性がわかりやすい形で整理します。また、公式ドキュメントには言葉足らずな箇所もあるため、そちらも補足しています。 なお、対象とするRDBMSはMySQLです。また、インデックスの解説や実際のチューニングのコツ等は扱っていません。 実行計画の取得方法 いちおう記載しておきますが、実行計画の取得方法は以下の通りです。 -- 実行計画を見たいクエリの前にEXPLAINと書くだけ EXPLAIN SELECT ...(略)... ; -- 結果 -- こんな感じで出る。表示のされ方は使っているクライアントアプリ次第 /* # id
Techouse社内勉強会の内容を紹介します(2) データベース<分離性編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 今回お試し的に、勉強会の内容を公開してみます。 データベース(1) ACID データベース(2) 分離性 今回は前回「データベース<ACID編>」の続きです。 ご笑覧くださいますと幸いです。 データベース(2) トランザクション <中編: 分離性> 前回で扱った「銀行口座」の例をそのまま使っていきます。 BEGIN; DROP TABLE IF EXISTS accounts; CREATE TABLE accounts ( id serial PRIMARY KEY, name varchar NOT NULL, balance decimal NOT
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベースの種類とは？エンジニアが今さら聞けない基本知識を徹底解説！
クイズ形式で学ぶ DB インデックス - Qiita
【超危険】【クラウドも】そのMySQLパラメータ設定、やべ〜〜〜〜かも - Qiita
GIPKことはじめ - Generated Invisible Primary Keys
ユーザー数1500人超えの 自作Webアプリを、2ヶ月でクローズさせた話。｜猩々博士
SE 3年目で読んだ技術書52冊 - Qiita
TerraformとCloud RunとCloud Load BalancingでCI/CDを突き詰めた
データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR | IT Leaders
ところてん on X: "情報IIの教科書、普通にscikit-learnで機械学習してるし、クラスタリングしてるし、SQLite3でRDBMSしているし、やばいんですよ https://t.co/XsDutAhLC8"
最近読んだもの 59 - DB 動向年間レビュー、各社のシャーディング事例など
シャーディング経験者に向けたSpannerのコンセプト解説
Pointer Swizzling というテクニックについて、wikipedia のページ https://en.wikipedia.org/wiki/Pointer_swizzling の Further reading を見るとそこそこ昔からあるようですが、ここ数年 LeanStore を始めとしてデータベース関連論文で取り上げられているのはなぜでしょうか？ Pointer swizzling - Wikipedia https://en.wikipedia.org | Mond - 知の交流コミュニ
データベーススペシャリストの参考書を呼んでいて、リレーショナルモデルが主流になったのはデータ独立を実現したことにより変更容易性が高くなり生産性が上がったからだと書いてありました。 個人的には流行ったメインの理由はRDBMSが優れたトランザクションの仕組みを持っていたためだと考えていました。 なぜRDBMSが主流になったと思いますか？ | mond
Twitterが𝕏になってしまったので、自分でTwitterみたいなSNSを作ってみた（その１） - Qiita
Why UUID7 is better than UUID4 as clustered index in RDBMS
RDBMSをデータウエアハウスに使う際の性能劣化、OLTP用途との違いを理解
AWSから抜け出す方法も考えておく【ガバメントクラウド】 - サーバーワークスエンジニアブログ
作りたがりな自分を飼い慣らすための趣味プログラミング - Sexually Knowing
DBeaverとは？DBeaverの特徴と環境構築・導入方法まとめ
GraphQL Mesh で The Guild が目指す Web API エコシステムの世界観
AD DS Do's and don'ts（べしべからず）- 1 | NTTデータ先端技術株式会社