実践データベース設計
2024年度リクルート エンジニアコース新人研修の講義資料です
2024年度リクルート エンジニアコース新人研修の講義資料です
【AWS】 代表的なクラウドデザインパターン紹介
はじめに AWSの豊富なサービス群を活用することで、高可用性かつ高スケール性を実現するシステムを構築することが可能です。 しかし、クラウドサービスの特性を最大限に活かすためには、適切なデザインパターンを理解し、実践することが重要です。そこで今回は、AWSを利用して「高可用性」かつ「高スケール性」を実現するための代表的なクラウドデザインパターンを紹介します。 1. EC2インスタンスを利用した動的コンテンツの配信 動的コンテンツとは？ 動的コンテンツとは、ユーザーのリクエストに応じて生成されるコンテンツのことを指します。たとえば、ユーザーのログイン状況や入力内容に基づいて異なるページを表示するようなケースです。 AWSサービスの簡単な解説 Amazon EC2 (Elastic Compute Cloud): スケーラブルなコンピューティングリソースを提供するサービスです。必要に応じて、イン
独力でWebサービスを開発・構築できるフルスタックエンジニアへのロードマップ─幅広いスキルを「Udemy夏のビッグセール」で学ぶ！ - はてなニュース
Webで新規サービスを立ち上げる際に、UIからインフラ周りまで一人で面倒を見られるエンジニアは、少人数のスタートアップでなくとも非常に頼れる存在です。どんな課題に直面しても技術力で乗り越える、そんなスキルフルなエンジニアに憧れる方も多いでしょう。 この記事では、フロントエンドのプログラミング（JavaScript周辺）からサーバーサイド、インフラ、さらに開発手法まで、Web開発で必要になるさまざまなレイヤーのフルスタックなスキルの現在地と、関連するUdemyの講座を紹介します。 株式会社ヘンリーでVPoEを務める松木雅幸（@songmu）さんの執筆です。 フルスタックエンジニアに必要なスキル さまざまな講座でまとめて学習してみよう Udemyでは夏のビッグセールを開催中！ ※この記事は、株式会社ベネッセコーポレーションによるタイアップ広告です。記事末に、はてなブックマークした方にAmazo
はじめに Goで自作RDBMSに挑戦してみたログです。自作、といっても大部分は参考にした書籍の移植です。 ここ1年くらいRDBに向き合う機会が多く、その内部実装を手を動かしながら身を持って理解してみたいというモチベーションから始めてみました。ちょうど会社の『内部構造から学ぶPostgreSQL』読書会に参加したこともモチベーション上げるきっかけとなりました。 (他の方の記事ですが、読書会の記録はこちら↓) 『内部構造から学ぶPostgreSQL』読書会を完走した感想 ［改訂3版］内部構造から学ぶPostgreSQLの社内読書会振り返り データベースをデータの箱としか思っていなかった私の『内部構造から学ぶPostgreSQL』を読んだ感想 普段何気なく使ってるRDBMSですが、ACID特性を守るため・大量の読み書きを捌くため、非常に緻密に設計されております。 これを完全再現といかなくとも自分
Data Contractに向けたProtocol Buffersの調査 - yasuhisa's blog
背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Protocol Buffersで抑えるパターン ストレージのスキーマをProtocol Buffersで抑えるパターン 発展的な話題 & 読書会の案内 参考文献 背景: データ品質を担保するにはデータソースの品質が重要 私はデータエンジニアをしており、DWHやデータマートのデータ品質について考えることが多い。BigQueryなどにデータが取り込まれた後のレイヤリングやテスト、改善に向けたデータ品質の可視化について、以前発表した。 データが取り込まれた後の整理は進んでいるものの、やは
エンジニアからアーキテクトを目指す方や、アーキテクトとして仕事を始めたばかりの方は、アーキテクトの仕事やアーキテクチャ設計のトレンド、さらにどんなスキルが必要なのかをまず理解しておくことが大切です。今回は長年アーキテクトとして活躍されている米久保剛さんの著書『アーキテクトの教科書』（翔泳社）から、アーキテクトの定義や職務、アーキテクチャ設計のトレンド推移、そして米久保さんが考えるアーキテクトとして備えておくべき能力と考え方について解説します。 本記事は『アーキテクトの教科書 価値を生むソフトウェアのアーキテクチャ構築』の「第1章 アーキテクトの仕事」から一部を抜粋したものです。掲載にあたって編集しています。 アーキテクトの定義 複雑な構造物であるソフトウェアにおいて非常に重要なアーキテクチャを適切に設計するには、ソフトウェア開発業務に関わる幅広い知識や経験が必要とされます。そのため、アーキ
Google Cloud の RDBMS を徹底比較する登壇を行いました！ #devio2024 | DevelopersIO
クラスメソッド Odyssey のリアルイベントで Google Cloud のリレーショナルデータベースを徹底比較して、どのように選ぶべきか発表してきました！ ウィスキー、シガー、パイプをこよなく愛する大栗です。 7月20日にクラスメソッドの設立20周年イベントである Odyssey のリアルイベント Day4 で Google Cloud の RDB の選択方法について登壇してきました。 Google Cloud の RDB を徹底比較！ 選び方と最新機能紹介 データベース データベースは、RDBMS 以外にも NoSQL や NewSQL などの分類がありますが、人気のデータベースランキングでも上位は全て RDBMS になっていて人気が根強いプロダクトになっています。しかし、データの扱い方として、生成 AI のブームによるベクトル検索やデータ量の増加なども重要になります。 Googl
こんにちは、KINTO テクノロジーズ (以下 KTC) DBRE のあわっち(@_awache) です。 今回は AWS の提供するシークレットローテーションの機能を利用して、主に Aurora MySQL に登録されている データベースユーザーのパスワードを安全にローテーションする仕組みを導入したのでその導入方法やつまずいた点、さらに周辺で開発したものを全てまとめて紹介させていただきます。 かなり長いブログなので先に簡単に要約を記載させていただきます。 全体まとめ 背景 KTC ではデータベースユーザーのパスワードを一定期間でローテーションすることが義務付けられることとなった ソリューション 検討 MySQL Dual Password：MySQL 8.0.14以降で利用可能なDual Password機能を使い、プライマリとセカンダリのパスワードを設定 AWS Secrets Man
IT土方です。ゲーム開発を仕事としたことはないけど、だいたい同世代っぽいので反応します。 ゲームエンジンに相当する根っこの部分を実装するチャンスがなくなっちゃったって話、似た話題はITだと大体どの分野でもあるとは思いますね。 たとえば昔はCOBOLで自前でデータ操作してたけど今はデータベース（RDBMS）使うよね、とか。 携帯の新端末が出るたび何百万行っていうコード量のOS開発してたけど今はAndroidになっちゃったね、とか。 それを寂しいとか退屈とか感じる理屈はわかるけど、でも自分はそこにあまりネガティブな感情は無いんですよね。 このあたりはゲーム屋さんとIT土方の違いだとは思う。 こっちはこっちでプライド持ってやってるけど、とはいえ究極的には自分の作ってるソフトなんて全然つまんねえからね（ゲームと比べると）。 「生産性向上」って言葉にしたらみなさん鼻で笑いますけども、でもOracle
CloudNative Days Summer 2024から、NoSQLとNewSQLの違いやサーバーレスデータベースの最新技術を解説したセッションを紹介する。 CloudNative Days Summer 2024において、PingCAP株式会社の小板橋 由誉氏が「変化と挑戦：NoSQLとNewSQL、Serverless Databaseの技術革新とマルチテナンシーの秘密」と題するセッションを行った。データベース技術の進化、NoSQLとNewSQLの違い、そしてサーバーレスデータベースの最新技術について詳細に解説を行った。とくにAmazon DynamoDBとTiDBに焦点を当て、これらのデータベースがどのようにマルチテナンシーを実現し、高いスケーラビリティとパフォーマンスを提供しているかについて紹介した。 NoSQLとNewSQLの理解に重要な3つの観点 NoSQLデータベースは、
Rails: マイグレーションファイルでカラム位置を指定してみよう｜TechRacho by BPS株式会社
結論 add_column の after: オプションを指定し、カラム位置の調整を行います。 （MySQLのAFTER 句を使用してカラムの追加位置の指定が行われます。） 以下の add_column を行うと指定のテーブルの既存カラム名の後ろにカラムを追加できます。 add_column :<指定のテーブル名>, :<追加するカラム名>, :<追加する型情報>, after: :<既存カラム名> カラム追加時に実行される位置調整に関するロジックは以下のリンク先に記載があります。 add_column_position! after: オプションはすべてのRDBMSで利用できるわけではありません。 主にMySQLでサポートされていますが、PostgreSQLなどの主要なRDBMSでは使用出来ない場合が多いため、ご注意ください。 はじまり とあるプロジェクトで テーブルにカラムB（colu
はじめに 突然ですが、「ヘイ！ダギー」をご存じでしょうか。 Disney制作の知育アニメなのですが、子供がどハマりするついでに私もハマっています。 非常にコミカルでポップ、軽快な音楽とストーリーで飽きずに観ていられます。 ※公式サイトより抜粋 犬のダギーのチビッコ園に、個性豊かでゆかいな子どもたちが大集合！ ～中略～ みんな、優しく見守っていてくれるダギーが大好き！ 一日の終わりには、頑張ったごほうびとしてダギーからバッジがもらえるんだ。 「 頑張ったごほうびとしてダギーからバッジがもらえるんだ。」 ということで、楽しくチャレンジをしていろんなバッジを集めることができるアプリを作ってみました。(Googleアカウントですぐに始められます!) Happy Badge ※PWAに対応していますので、「ホーム画面に追加」するとアプリのように利用できおススメです。 ホーム画面への追加方法 できるこ
データベースの選び方：ユースケースに適した
データベースは複数のユーザーが保存された情報を迅速、安全、効率的に管理、更新、編集することを可能にします。そのため、データベースは企業の会計記録の管理、IoTデバイスのネットワークからの膨大なデータの保存、企業の在庫システムの追跡、Webアプリケーションの構築など現実のさまざまなケースで役立ちます。 ここでは、適切なデータベースを選ぶためのポイントをご紹介します： データベースは、ビジネス情報の保存、維持、更新、編集、アクセスに不可欠です。 データベースには、SQLベースとNoSQLベースの2つの主要カテゴリーがあります。 Oracle、MySQL、Microsoft SQL Server、PostgreSQL、MongoDBは、いずれも一般的なビジネス・データベース・ソリューションです。 データの保存と編集に関するビジネスのユースケースを十分に理解することで、適切なデータベースオプション
LAMP
LAMPとは、Webサーバー構築における代表的なオープンソースソフトウェアの組み合わせである。Linux、Apache、MySQL、PHP/Perl/Pythonの頭文字を取ってLAMPと呼ぶ。 LAMPの構成要素 Linux (OS) Linuxは、LAMP環境の基盤となるオペレーティングシステム（OS）である。オープンソースであるため、自由にカスタマイズできる柔軟性と、安定性、セキュリティの高さから、WebサーバーのOSとして広く利用されている。 Apache (Webサーバー) Apacheは、世界で最も普及しているWebサーバーソフトウェアである。Webサーバーは、Webブラウザからのリクエストに応じて、HTMLファイルや画像などのWebコンテンツを配信する役割を担う。Apacheは、高い安定性とパフォーマンス、豊富な機能拡張モジュールを備えているため、多くのWebサイトで利用され
クラウドワークスマーケティングチームの安藤です。 クラウドワークス Advent Calendar 2018の11日目として、「マーケターがSQLを使ってデータ分析ができることの3つの効能」をお届けします。 なぜこの話をすることにしたのか 今回、クラウドワークスアドベントカレンダー初参加のマーケティングチームですが、チームメンバー全員がSQLを使える、というのがちょっとした自慢ポイントです。 他社の方の話を聞くと全員がSQLを使える、というのは意外と珍しいようですので、今回はチームとしてSQLが使えるからこそのメリットをお伝えしようと思います。 SQLのいいところ SQLを使えることのメリットの話をする前に、 そもそもSQLってなんですか？ SQLの何がいいの？Google Analyticsでよくないですか？ という点についてお話したいと思います。 SQLとは Wikipediaによると
プログラミングスクールなんか行かなくていいからこれやれ
いちいち行かなくていい。高いわりに役に立たない。本を買ったりネットの解説動画を見ながら自分でやるんだ。 毎日勉強できるならカリキュラムはこう。大事なのは「わかんなかったら自分で調べる」ということ。これをひとつひとつ解説していくとあっという間に1年ぐらいのカリキュラムになって金がかかるようになる。ググれば全部出てくる。出てこなかったら調べ方が悪いのでググりかたを変えればおｋ。この記事にも初心者から見ると「なにその言葉。初耳」っていうのがあると思うけど、全部重要なキーワードなのでググって咀嚼して血肉としてほしい。ググればすぐ出てくる。 1日目: Linuxのインストール(Linuxの中でもUbuntuっていうのがおすすめ)とりあえずLinuxを自分のパソコンにインストールする。Linuxを触れるようになればいい。 PCがない場合は、中古のPCなんて3万ぐらいで買えるからそれ買ってきてインストー
2024.07：１ヶ月でやったこと🍀 - ねこ好き女性エンジニアのTech Blog
7月は半月ほど帰省、残りの半月でインターン関連の勉強インプットや42の課題を進めました。 ＜個人開発＞ なかなか進められなかったです。。。インターンで初めて学ぶことがとても多く、そちらの勉強と42東京のペア課題に時間を割いていました。個人開発は進んでいないですが、また新しい言語の取得や課題を進められてたので良かったということにします🤐 ＜インターン＞ Railsチュートリアルをさらに１周しました！２周目に入ると自分の理解できていない箇所が明確にわかるのでやっぱり復習は大事だなと実感しました。 「楽々ERDレッスン」という本を読み切りました。RDBMSの重要性を学べたり、実際のレシートなどを利用して日常生活の中でもできるデータ設計のトレーニング方法を学べたのが良かったです。身近なものに例えると圧倒的に理解度が上がることに気づきました。また復習してより理解を深めていこうと思います！ ＜42T
こんにちは、サイオステクノロジーの佐藤陽です。 今日はAzure AI Searchのインデクシングに関する記事になります。 RAGの構築にあたっても非常に重要となる「Azure AI Search」の基本的なところを解説していきます！ はじめに 正直なところ、今までなんとなくでAI Search使っていました。 AzurePortalのAI Searchから「データをインポート」としたら、いい感じにインデックスが作成された サンプルコードとか見ると、良い感じにインデックス作成するプログラムが既に提供されていた とりあえず適当にデータ投入しても、RAGに組み込んだらそれなりの回答返ってくる といった感じで、何となくでも使えてはいたのですが「これでいいのか…？」と思い、 腰を据えて公式ドキュメントや、様々な記事を読んでまとめてみました。 目新しい情報は無いかもしれないですが 「AI Sear
はじめに SQL（Structured Query Language）は、リレーショナルデータベース管理システム（RDBMS）でデータを操作するための標準的な言語です。SQLを使用すると、データベースに対してデータの挿入、更新、削除、検索などの操作を行うことができます。今回は、SQLの基本的な内容を整理してみました。 目次 基本的な構文 高度な構文 主キーと主キー制約 主キーとユニークキー SQLの実行環境 SQLは多くのデータベース管理システムでサポートされています。 MySQL PostgreSQL SQLite Microsoft SQL Server Oracle Database Amazon RDS（リレーショナルデータベースサービス） Amazon Redshift（データウェアハウスサービス） 基本的な構文 1. データベースの作成
MongoDBの可能性・課題点をそれぞれ徹底考察
はじめに 今回の記事では、NoSQLデータベースの代表格であるMongoDBの可能性と課題点をそれぞれ徹底考察する。 対象読者 MongoDBについて知らない人 MongoDBを実務・開発で使いたい人 技術選定でMongoDBを検討している人 MongoDBとは MongoDBとは、MongoDB Inc.が開発したNoSQLデータベースである。数多くあるNoSQLの中では最も高いシェアを誇っており、オープンソースで公開されている。NoSQLデータベースには数多く種類が存在するが、その中でもMongoDBはドキュメント指向データベースに該当する。 MongoDBの開発は2007年10月から開始され、2009年2月にリリースされた。 ドキュメント指向データベースとは、簡潔に言えば、キーに紐づくデータをドキュメント形式で格納できることである。NoSQLの中では書き方の自由度が最も高く、複雑な要
ログラス初のインターンにたった一人で参加してきた！
はじめに 私は現在、情報系の専攻で大学院生をしておりそろそろ就職を考える時期のため、Loglassという経営管理SaaSを提供している株式会社ログラスに1週間のサマーインターンに行ってきました！ 変化の激しい時代において企業が生き残っていくためには、業績を数字で分析し正しい施策を打っていく必要があります。経営管理SaaSであるLoglassは、企業の経営判断をより効率的かつ効果的にするための新たなソリューションであり、創業5年目でありながら大企業を含む多くの企業に導入されています。 新進気鋭のベンチャー企業であり、高い事業価値をもったプロダクトを扱っているログラスにおける開発の雰囲気やカルチャーをぜひ体感してみたいと思い、今回インターンに参加してきました！ 今回のインターンを通じて、ログラスにおける開発体験やカルチャーについてよく知ることができ、採用狂気もビシビシ感じることができました！こ
【AWS】 代表的なクラウドデザインパターン紹介
はじめに AWSの豊富なサービス群を活用することで、高可用性かつ高スケール性を実現するシステムを構築することが可能です。 しかし、クラウドサービスの特性を最大限に活かすためには、適切なデザインパターンを理解し、実践することが重要です。そこで今回は、AWSを利用して「高可用性」かつ「高スケール性」を実現するための代表的なクラウドデザインパターンを紹介します。 1. EC2インスタンスを利用した動的コンテンツの配信 動的コンテンツとは？ 動的コンテンツとは、ユーザーのリクエストに応じて生成されるコンテンツのことを指します。たとえば、ユーザーのログイン状況や入力内容に基づいて異なるページを表示するようなケースです。 AWSサービスの簡単な解説 Amazon EC2 (Elastic Compute Cloud): スケーラブルなコンピューティングリソースを提供するサービスです。必要に応じて、イン
正式公開しました (2024年2月16日追記) 当記事をご覧いただきありがとうございます。長らくお待たせいたしましたが、DoqueDBはようやく正式公開を果たすことができました。以下の記事にてWebサイトやGitHubプロジェクトをご案内しております。 DoqueDB：MySQL, PostgreSQLと構文を比較してみる これ以降の内容は正式公開前のβ版に関するものです。内容は正式版にも当てはまりますが、リンク先は順次公式サイトへと切り替わりますので、ご留意ください。 概要：全文検索にしのぎを削るDBMS業界にもう1人のプレイヤーが登場しましたので、ここでご紹介しますね、という話です。御用とお急ぎのない方は、ぜひお立ち寄りを。 全文検索いろいろありますよね 近年では、小規模な業務でも、あるいは個人の趣味の範囲でも、大量のテキストデータを扱えることの重要性が高まってきています。DBMSを使
はじめに SQL初心者が入門書を1冊やった後にどうやって学習していくか、というのは意外と難しい問題だと思います。 世の中にはSQLやDBの優れた技術書はたくさんあります。 ただ、ひとまず基礎的なSQLの文法は学んだ、という段階で読むにはレベルが高すぎるし、技術的な解説が中心になりがちです。 そこで、初心者のSQLへの理解を助ける事を目的としてこの記事を書いてみようと思います。 対象者 この記事は下記のような人を対象にしています。 SQLの基礎は学んだので、次のステップに進みたい人 より実践的なSQLの使い方を学びたい人 色んな問い合わせの引き出しを増やしたい人 前提 PostgreSQLをインストールしていること（Ver 16.2） →最近のバージョンであれば問題ないと思います。 pgAdmin 本編 この記事では、通販サイトの注文管理DBをモデルに3つのテーブルを作成します。 本DBに対
Oracle Enterprise Manager Cloud Control によるジョブの登録 - JBS Tech Blog
Oracle Enterprise Manager Cloud Control (OEM CC) の紹介をしてきましたが、今回は OEM CC によるジョブ登録について紹介します。 30分ごとに STATSPACK のスナップショットを取得するジョブを作成します。 検証環境 STATSPACKの準備 ジョブの作成 ジョブの実行結果確認 おわりに 検証環境 OEM CC サーバー1台、監視対象DBサーバー1台の構成で検証環境を構築しました。 orapdb01.sand.bx というプラガブルデータベース（PDB）を作成し、このデータベースに STATSPACKをインストールし、OEMからジョブを作成します。 サーバー種別 ホスト名 監視対象データベース OEMサーバー srvoem01.sand.bx （監視対象なし） 監視対象DBサーバー srvora01.sand.bx orapdb01
Webアプリはどんな処理をするのか 処理１：ブラウザからWebアプリに処理をリクエストする 処理２：Webサーバーで処理する 静的コンテンツの要求であれば、処理４のようにWebサーバーからレスポンスデータをブラウザに返す 動的に作らなければならないコンテンツならAPサーバーに処理を依頼する。 処理３：APサーバーで処理する 必要であればデータベースからデータを取得し、レスポンスデータを作成する レスポンスデータをWebサーバーに返す 処理４：Webサーバーからレスポンスデータをブラウザに返す Webアプリはどうやって構築するのか DjangoでWebアプリを作成したときに利用したソフトウェアやサービスです。その機能と役割を一つひとつ見ていきたいと思います。 Python Pythonとは何か Pythonは、シンプルで読みやすいコードが特徴のプログラミング言語です。多くの用途に対応できる汎
SELECT DISTINCT ON ("顧客ID") "注文ID" , "注文日" , "顧客ID" , "顧客名" , "製品名" FROM "注文情報テーブル" ORDER BY "顧客ID" , "注文日" DESC ; このSQL文は、顧客ID昇順で並べ替えた後、さらに注文日降順で並べ替えたレコード群に対して集約を行っています。 まずDISTINCT ONの後の()の中に、集約条件に指定するカラムを記述します。 今回は顧客ごとに集約するため、"顧客ID"を集約条件に選んでいます。 ORDER BYでは集約条件に指定した"顧客ID"を最初に記述し、次にその中で最新を取るため"注文日"を記述しています。 2. DISTINCT ONの処理順は、ORDER BYの後 標準SQLのDISTINCTでは、集約した後ORDER BYでソートを実行します。 対してPostgreSQLのDIST
【SQLiteとMySQLの比較】両データベース管理システムの違いとは データベースは、想像しうるほぼすべてのアプリケーションにとって不可欠なバックエンドストレージツールとなっています。アプリケーションでデータを扱うには、そのデータを素早く保存し、取り出すためにデータベースが必要です。 データベース管理システム（DBMS）は、データベースのデータの使用、検索、検証といった操作のルールを定義する設計のソフトウェアです。DBMSには、リレーショナル型、オブジェクト指向型、階層型、ネットワーク型など、さまざまなタイプがあります。 適切なDBMSの選択は、アプリケーション開発を効率化する上で不可欠です。とは言え、MySQL、MariaDB、SQLite、PostgreSQL、Neo4jなど、多くのオープンソースDBMSがあり、プロジェクトに適したデータベースを選択するのは時に困難になります。 そこ
背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Protocol Buffersで抑えるパターン ストレージのスキーマをProtocol Buffersで抑えるパターン 発展的な話題 & 読書会の案内 参考文献 背景: データ品質を担保するにはデータソースの品質が重要 私はデータエンジニアをしており、DWHやデータマートのデータ品質について考えることが多い。BigQueryなどにデータが取り込まれた後のレイヤリングやテスト、改善に向けたデータ品質の可視化について、以前発表した。 データが取り込まれた後の整理は進んでいるものの、やは
Webアプリ制作チュートリアル #08「データベース」
データベースって一体どういうモノなんでしょうか？ データを溜め込む箱のようなモノという説明を聞いた事があると思いますが、基本的には文字と数字を保存するエクセルのバケモノのようなものだと考えてください。 Webアプリを作る時に多くの場合何かしらのデータをサーバーに格納すると思います。 その時に、簡易なものであれば、JSONデータやCSVデータとして、サーバーにテキストファイルで保存しておいてもいいのですが、 膨大なデータになり得るものは、データベースに保存しておくことで、その後の運用とメンテナンスが非常に便利で楽になります。 データベースを触った事が無い人に向けて簡単な学習を進めてみたいと思います。 データベースの種類 データベースは、一番よく使われているのがリレーショナルデータベースと呼ばれるRDBMSで、そこからの派生系でNoSQLというモノもあります。 RDBMSは、SQLという言語を
【備忘録】SQLの勉強 - Qiita
概要 今回は、MySQLを利用して学習を行なっていく。 自分自身はSQLはほとんど触っていないため、高度な内容は今回行わない。 MySQL、PostgreSQL、GoogleBigQueryなどの操作の基本を学ぶためにも記載しておく。 基本的に環境構築と、参照系のSQLと挿入系のSQLを知る事ができればよいとここでは考えている。 環境 今回はmacOSにダイレクトでいれる。 MySQL5.7を使用する。 事前説明 そもそもデータベースって何？って思うかもしれないのでここで説明。 データベース（DB）とは、、検索・蓄積が容易にできるように整理された情報の集まり。DBと訳される。 データベースマネジメントシステム（DBMS） DBを管理するコンピュータシステムのこと。 当たり前だが、DB自体は色々なところで利用されている。 WebサイトやSNS、アプリケーションなど。。 →なんでDBを使うのか
BigtableはSQLでデータを参照可能に、Spannerはグラフやベクトル検索でRAGを支援─Google Cloud | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ BigtableはSQLでデータを参照可能に、Spannerはグラフやベクトル検索でRAGを支援─Google Cloud データベース データベース記事一覧へ [新製品・サービス] BigtableはSQLでデータを参照可能に、Spannerはグラフやベクトル検索でRAGを支援─Google Cloud 2024年8月2日(金)日川 佳三（IT Leaders編集部） リスト グーグル・クラウド・ジャパンは2024年8月2日、同社主催コンファレンス「Google Cloud Next Tokyo ’24」での発表の一部として、RDBMS「Spanner」、KVS型NoSQLデータベース「Bigtable」、DWH「BigQuery」に追加した新機能を発表した。Spannerでは、RAG構成の生
●Hadoopとは 大規模なデータを分散処理するためのオープンソースのミドルウェア。 ●出題された回(平成29年度春期以降) 令和3年度春期/平成29年度秋期 Hadoopの説明 Hadoopとは、大規模なデータを分散処理するためのOSSのミドルウェアです。 大規模なデータを分散処理出来るので、ビッグデータの分析等に使われており、新たなマーケティング手法やビジネスを生み出すのに一役買っています。 ↓こんなロゴのやつです。 (おまけ)Hadoopってどうやって分散処理してるの？ 応用情報技術者ではHadoopの仕組みまで聞かれないので、興味がある人だけ見てください。 Hadoopは全体を管理する1台のマスターサーバと処理を行う複数台のスレーブサーバで構成されます。複数のスレーブサーバで並行して処理が出来るので、大量のデータを効率的に処理することが可能です。 Hadoopが優れている理由は複数
エンジニアからアーキテクトを目指す方や、アーキテクトとして仕事を始めたばかりの方は、アーキテクトの仕事やアーキテクチャ設計のトレンド、さらにどんなスキルが必要なのかをまず理解しておくことが大切です。今回は長年アーキテクトとして活躍されている米久保剛さんの著書『アーキテクトの教科書』（翔泳社）から、アーキテクトの定義や職務、アーキテクチャ設計のトレンド推移、そして米久保さんが考えるアーキテクトとして備えておくべき能力と考え方について解説します。 本記事は『アーキテクトの教科書 価値を生むソフトウェアのアーキテクチャ構築』の「第1章 アーキテクトの仕事」から一部を抜粋したものです。掲載にあたって編集しています。 アーキテクトの定義 複雑な構造物であるソフトウェアにおいて非常に重要なアーキテクチャを適切に設計するには、ソフトウェア開発業務に関わる幅広い知識や経験が必要とされます。そのため、アーキ
データエンジニアのsugaiです。 MICINでは、技術強化委員会 にも所属しており、主にデータベース技術を中心に社内のスキルアップなどにも取り組んでいます。 今回は、『内部構造から学ぶPostgreSQL―設計・運用計画の鉄則』 の社内読書会を実施したので、その振り返りを記事にしてみます。 本の内容についてはあまり多くを扱いません。MICINのエンジニア組織の自発的な取り組みとして、軽い読み物として読んでいただけたらと思います。 背景 私の本業は横断組織でのデータ基盤開発・運用なのですが、データベースの相談はなんでも受け付けるよ、というスタンスで事業部のエンジニアとコミュニケーションをとるように心がけています。 そうすると、データベースの運用やPostgreSQLの内部構造周りに興味を持っている、課題を感じているというような声をちらほら聞くようになりました。 PostgreSQLはいろい
Amazon Monitron による多拠点工場群設備の不良予知保全ダッシュボードデモを AWS Summit 2024 Japan で展示しました(Part 2:サービス解説編 ) | Amazon Web Services
Amazon Web Services ブログ Amazon Monitron による多拠点工場群設備の不良予知保全ダッシュボードデモを AWS Summit 2024 Japan で展示しました(Part 2:サービス解説編 ) 複数の拠点に工場やプラントを持つ企業では何千もあるモーターやポンプなど設備の保全タイミング管理は操業品質とコストに影響する重要な課題です。 AWS Japan ソリューションアーキテクトチームはこの課題に対するソリューションのデモを開発しました。 このブログは デモ解説の Part 2として、利用している各サービスの役割、デモ開発のための工夫と実運用へ適用するための検討点を解説します。 開発したデモのサービス構成 Part 1 で解説したデモのユーザーストーリーを決めた後、私達はデモを行うための設計を開始しました。 デモ特有の要件として、 Monitron のセ
この記事はRDBMS-GIS(MySQL,PostgreSQLなど) Advent Calendar 2022の19日目のエントリーです。 カレンダー上の他の人の記事にMySQLが多くて「カレンダーの種類間違えたんじゃないか」とビビり散らかしてましたが、PostGISの文字を指差し確認したので大丈夫だと判断して出します。 先に言いたいことについてまとめ PostGISでST_Intersects等の空間演算で、Bounding Boxでの検索を重ねて利用することでオプティマイザにインデックスの利用を明示することができるというテクニックがありました。 -- ST_Intersectsだけでも使ってインデックスを利用して検索してくれそうだが無理。 SELECT geometry FROM geometry_table WHERE -- Boundary box同士を比較。不要だが、Indexを
データ推進室のsaka1です。 しばらく前に異動し、データ分析用の社内Webアプリケーションの開発・保守に携わっています。このシステムはリクルート社内でたくさん（数百人規模）の利用者がいるアプリケーションに成長していたのですが、データ量の増大や利用の拡大に伴い、安定性の問題などが発生し始めていました。 問題の対応過程で、Cloud SQL for MySQLの奇妙なクセやインポート処理の問題点など、運用上課題になる部分が見つかりました。この記事では、問題の調査から解決に至るまでの過程を紹介します。 自分ならどう調査し解決するか？ という観点でも読んでいただけると嬉しいです。 背景 今回問題になったWebアプリケーションは、データ分析用のDjangoアプリケーションです。データ分析用といっても、技術スタックとして特別なものはあまり使っていません。記事に関連する箇所のみ簡単に構成を示します。
機能要件と非機能要件の違いとは？それぞれの要件定義の流れや重要なポイントを徹底解説！ | 株式会社G-gen（旧 株式会社トップゲート）
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
エンジニアからアーキテクトを目指す方や、アーキテクトとして仕事を始めたばかりの方は、アーキテクトの仕事やアーキテクチャ設計のトレンド、さらにどんなスキルが必要なのかをまず理解しておくことが大切です。今回は長年アーキテクトとして活躍されている米久保剛さんの著書『アーキテクトの教科書』（翔泳社）から、アーキテクトの定義や職務、アーキテクチャ設計のトレンド推移、そして米久保さんが考えるアーキテクトとして備えておくべき能力と考え方について解説します。 本記事は『アーキテクトの教科書 価値を生むソフトウェアのアーキテクチャ構築』の「第1章 アーキテクトの仕事」から一部を抜粋したものです。掲載にあたって編集しています。 アーキテクトの定義 複雑な構造物であるソフトウェアにおいて非常に重要なアーキテクチャを適切に設計するには、ソフトウェア開発業務に関わる幅広い知識や経験が必要とされます。そのため、アーキ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goで自作RDBMS - abekoh's tech note
アーキテクトを目指すなら知っておきたいアーキテクチャ設計のトレンド変遷、そして必要な能力と考え方
データベースのパスワードを安全にローテーションする仕組みの導入
IT土方です。ゲーム開発を仕事としたことはないけど、だいたい同世代っぽい..
NoSQLとNewSQLの技術革新、マルチテナンシーの実現と高いスケーラビリティを提供
AIで自分だけのバッジを集めよう！子供と一緒に楽しめる「Happy Badge」 - Qiita
マーケターがSQLを使ってデータ分析ができるの3つの効能 - Qiita
Azure AI Searchにおけるインデクシング入門ガイド | SIOS Tech. Lab
SQL（Structured Query Language）の基本的な内容を整理してみました。 - Qiita
DoqueDB：もうひとつの全文検索データベース - Qiita
【SQL】SQL初心者が次のステップを目指すハンズオン【RDBMS】 - Qiita
DjangoでWebアプリを作成したあとに振り返って考えてみた「Webアプリとは何か」 - Qiita
【SQL】DISTINCT ONの使い方まとめ【PostgreSQL】 - Qiita
【SQLiteとMySQLの比較】両データベース管理システムの違いとは
Data Contractに向けたProtocol Buffersの調査 - yasuhisa's blog
Hadoop｜応用情報に合格する為の用語集｜絶対分かるちゃちゃちゃITブログ
アーキテクトを目指すなら知っておきたいアーキテクチャ設計のトレンド変遷、そして必要な能力と考え方
［改訂3版］内部構造から学ぶPostgreSQLの社内読書会振り返り
PostGISの空間検索速度とインデックスの話、あるいは&&のおまじないの現在について - Qiita
Cloud SQL for MySQLの不安定なインポートと戦う: 性能と安定性を求めて
アーキテクトを目指すなら知っておきたいアーキテクチャ設計のトレンド変遷、そして必要な能力と考え方