この本の概要 本書は『Software Design』のデータベースに関連する特集記事を再収録した書籍です。 プロダクトに依存しないデータモデリングの基本をはじめ，基本命令文はもちろん，複雑な集計を行うSQLの書き方，MySQLを扱う際に必須となるデータ型／インデックス／トランザクション／デッドロック／レプリケーションの5大基本機能を解説しています。 さらに，AWSの人気データサービスであるAmazon RDSとAmazon DynamoDBの使い分けポイントも紹介。 現場ですぐに役立つデータベースの知識が身に付きます。 こんな方におすすめ データベースについて基礎から勉強したい方
こんにちは。谷口です。 エンジニアを目指している方や現役エンジニアの方の中には SQLについて勉強したい なんとなくSQL文書いてるけど実は苦手 という方も多いかと思います。 かつてはSQLの勉強をしようと思ったら、一から環境設定をしてデータベース（DB）を構築しなければなりませんでしたが、最近はオンラインで構築済みのDBを使ったりして、SQLの基本をすぐに学べる学習コンテンツも増えています。 そこで今回は、これからSQLに入門したい方、改めて勉強し直したい方向けに、SQLの問題がたくさん解ける学習コンテンツをご紹介します。 SQLってどんな言語？ SQLとは、リレーショナルデータベース（RDB）のデータを操作するための言語です。私たちはSQLを使うことによってRDBMS（リレーショナルデータベースマネジメントシステム）に命令を出して、必要なデータをRDBに格納したり、格納したデータを取得
以前，MySQL (正確にはMariaDB) を使った際，いろいろはまったので記載します． 使ったバージョンが古い（MariaDB 10.1.37, MySQL 5.7くらいに相当）なので，最新版では治っているところもいくつかあります． sql_modeをデフォルトの設定で使わない これはよく言われていることですが，sql_modeがデフォルトでは変な値が入ったりエラーになって欲しいところがスルーされたりしてまずいので，適切なsql_modeを設定します． 第18回 MySQL5.7のデフォルトのSQLモードを確認してみる：MySQL道普請便り｜gihyo.jp … 技術評論社 MySQLのSQLモードをstrictモードで設定する。 - Qiita ただ，MySQL 5.7以降はデフォルト設定が改善されたようです．（でも確認すべきですが） MySQL :: MySQL 8.0 Refer
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL
3行まとめ テーブルの撤退時にはテーブルの参照回数を見ることが多いと思いますが、テーブル単独の参照回数を見るだけだと不十分なことが多いです 派生先のテーブルの参照回数まで考慮すると、テーブルが撤退できるか安全に判断することができます リネージ上の親子関係をWITH RECURSIVEで考慮しながら、累積参照回数をSQLで導出できるようにし、安全にテーブル撤退を判断できるようにしました 3行まとめ 背景: テーブルの撤退にはテーブル単独の参照回数を見るだけだと不十分 アイディア: 累積参照回数を計算する 実装 テーブル間の親子関係を抽出する WITH RECURSIVEでテーブルの親子関係を辿る テーブルの親子関係を考慮しながら、累積参照回数を計算する まとめ 背景: テーブルの撤退にはテーブル単独の参照回数を見るだけだと不十分 データエンジニアやアナリティクスエンジニアの仕事をしていると、
PHPではじめるCQRSっぽいやつ
PHPerKaigi2021のアンカンファレンスで使ったものです。 PHPカンファレンス仙台2019の再演です。
はじめにこんにちは。GMOアドマーケティングのKONCEです。新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → ... 今回は後編です。 今回も 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅲ部 クエリのアンチパターン 2-1. [△]13章 フェア・オブ・ジ・アンノウン（恐怖のunknown） 2-2
結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit
自動車用品などを手掛けるユピテル（東京都港区）は6月7日、2017年10月にサーバが不正アクセスを受け、同社が運営する会員サイト「My Yupiteru」に登録する約40万人分の個人情報が外部に流出したと発表した。攻撃者とみられる人物から、金銭要求の脅迫メールを受信していることも併せて公表した。クレジットカード情報は含まれておらず、7日時点で、個人情報の悪用も確認されていない。 流出したのは、17年10月以前に同サイトへ会員登録した40万5576人分の住所、氏名、性別、生年月日、電話番号、メールアドレスを含む、52万8563件のデータ。残り12万件余りのデータについて同社は、既に退会済みで閲覧できない情報や入会手続きを途中で取り消したユーザーの情報などとし「情報流出を確認した会員には、個別に連絡する」としている。 同社が不正アクセスを確認したのは2017年10月31日。不正アクセス元からの
n番煎じ、今更ながら…。 ChatGPTは過去遊びでしか使ったことがなかったのですが、 今、超長文SQL群を改修してまして、何重にもなった副問合せと集計関数を読み解くのに疲れて…ChatGPTに手を出しました。 そして、 え！！ChatGPTやばい！！ 介護は必要だけどすぐ形にしてくれるしなんなら私より知識あるわ！！ 只今、職を失いました！！ ってなったので、この衝撃を書き残しておこうと思います。 やりたいこと 作るSQLの要件はざっくり、 dba_hist_sysstatから、physical readsなど各統計情報のvalueの増分値を取得する 統計情報種別毎・1日毎に、1ヶ月間集計 日時判別のために、dba_hist_snapshotと結合する valueには累積値が入っている。ただし、インスタンス再起動があるとリセットされる。 つまり、「累積だから」と直前のスナップショットのva
Next.jsとAuth0で本管理サイトを作ってみた
Next.jsとAuth0を使って読んだ本を管理するサイトを作ったので使った技術等を紹介します。 github どんなサイトか？ まずは、どんなサイトを作ったのかを紹介します。読んだ本の管理を行うサービスで、主な機能は3つです。 Google Book APIに登録されている本を検索して本棚に保存できる 登録されていないなくてもアプリ内で新しく登録できる。 今まで本棚に登録した本の合計ページ数・本の高さ・本の重さを表示。1ページ当たり0.5g、0.15mmで計算します。 画面遷移 1.トップ画面 アプリのトップ画面。「アカウント作成・ログイン」ボタンを押すことでログイン画面に遷移します。 2.ログイン画面 Auth0を使ったログイン画面。認証方法は2種類あります。 Googleアカウントを使ったログイン メールを使ったログイン 3.ホーム画面 今まで読んだ本を管理する画面。最近読んだ本の表
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
並べ替えできるデータをデータベースに保存する方法
システム開発を行っているとよく、クライアントからデータを任意の順番に並び替えたいという要望があります。並び替えを実行するプログラムは、配列の順序を変えるだけなので簡単ですが、その順序をデータベースにどうやって保存するかという点についてはいつも迷ってしまいます。 これには色々なやり方がありますので、まとめてみました。 8つの方法 今回は8つの方法に分けてみましたが、いくつかの方法は組み合わせて使えると思いますし、さらに工夫した方法もあると思います。方法1～6は大きなくくりとしてよく見かけるものです。方法7方法8は私が考えたもので見たことがないし私自身も実装したことが無いのですが、飛躍したアイデアでもないので載せました。 対象のデータベースは主にRDBですが、KVSに向いているかどうかも（良い・普通・悪い）の3段階で書いています。 データ構造と使い方の説明は書いていますが、具体的な実装は書いて
RDBMSの先を行く？NewSQLを支えるアルゴリズムRaftをGoで紐解く - カミナシ エンジニアブログ
初めまして。株式会社カミナシPMの@gtongy1です。 みなさんはNewSQLをご存知ですか？ 強い整合性を持つ分散型のSQLデータベースサービスのことをNewSQLと呼びます。 RDBMSではなし得なかった分散アーキテクチャを、またNoSQLではなし得なかった強い整合性をいいとこ取りした新しいSQLデータベースサービスです。 なんかとても理想的な仕組みに見えますね。この裏にはどのような知識が詰め込まれているのでしょうか。 今回はそんなNewSQLを支える仕組みを一緒に紐解いていきましょう！ NewSQLが乗り越えた壁 どんな仕組みが動いているのか、の前にNewSQLはこのSQLデータベース界へ何を投げ込んだのでしょうか。 NewSQLには以下のような特徴があります。 SQL-Likeなクエリ言語のサポート 強い整合性 ACIDサポートのトランザクション NewSQLの有名所であるCoc
2024年5月24日、積水ハウスは同社が運用する住宅購入者向けの会員制Webサイトがサイバー攻撃を受け、顧客情報などが流出したと公表しました。ここでは関連する情報をまとめます。 被害ページは運用終了から13年公開継続 不正アクセスの被害にあったのは、積水ハウスが戸建てやマンションの住宅購入者向けに提供している会員制サイト「積水ハウスNetオーナーズクラブ」。同サイト上で過去に使用していたページが残っており、このページが攻撃を受け登録者の情報などが流出した。 攻撃を受けたページは2008年から2011年の4年間、フォトギャラリーとして使用していたもの。当該ページの状況について、同社の広報担当者は当該ページへの動線は存在しないこと、検索エンジンにも引っかからないことより、URLを直接入力しないと接続できない状況にあったと取材に説明。アクセス自体が可能な状態と認識はあったが、使用していないことか
こんにちは、ECプラットフォーム部の権守です。普段はID基盤やAPI Gatewayの開発を行い、ZOZOTOWNのリプレイスに携わっています。 本記事では、ID基盤で開発・導入したMySQL実行計画の簡易検査を行うツールを紹介します。 ツール開発の経緯 RDBにおけるテーブル設計は利用するクエリに応じて適切なインデックスを設定するなど専門的な知識を必要とし、設計できる人が限られてきます。しかし、アプリケーション上で利用されるクエリは機能の追加・改修に伴って日々変化していくため、それら全てに目を通し、漏れなく適切な設計することは困難です。そこで、専門的な知識がなくても設計に問題がないかの簡易的な検査を行えるツールを開発し、CIに組み込むことで自動的に問題を検出できるようにしました。 ツール開発のアプローチ ID基盤ではDBMSとしてAmazon Aurora MySQLを使用しています。そ
データベースのデータ・モデルは解決したい問題に合わせて使い分けることができ、昨今ではドキュメントやグラフなどのリレーショナル以外のモデルも注目されています。また、トランザクション系が生成した大量のデータをリアルタイムで分析するというような、性質の異なるワークロードを扱うことも求められています。これら性質の異なるデータ・モデルやワークロードを扱うにはどのような実装が必要でしょうか。この連載では、開発者の皆様がシステム・アーキテクチャやアプリケーション・コードをより洗練させるのに役立つデータベース・マネジメント・システム（DBMS）の基本を振り返り、実装に合った技術の組み合わせを解説します。 第1回はデータベースにアクセスするAPIで最も広く使われているSQLという言語の実行モデルを再確認します。なぜこの言語がリレーショナル・モデルのみならず他のデータ・モデルに対しての操作にも使われるようにな
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
マルチエージェントで性能が上がったText-to-SQLのいま/Text-to-SQL
この先を生き残るために!!「生存戦略としてのLLMアプリ開発技術」/20240124_PE-BANK
Product Security Casual Talk #1 - Datadog を使ったセキュリティモニタリングと 自動化の取り組み
TLで良書だというのをチラホラと見かけていたのだけれど、結構古い本なので迷っていたのだが、今でも通用しそうな内容っぽいので買って読んでみた。 TLで見かけてた、楽々ERDレッスンを手にいれたので読んでいく。 pic.twitter.com/f7WEl6mHft— パトラッシュ@エキスパート職 (@patorash) 2021年2月1日 感想から書くと、これもまた「UNIXという考え方」と同じで、もっと若いうちに読みたい本だった…😇 この本の内容を知っていれば、データベース設計で悩むことも相当減っていたと思うし、プログラムで苦しむことも減っていたと思う。つまり、この本は「買い」です。かなりお薦めできる。もう読んでいる途中から社内のTeamsでは良書だと言いまくった。めちゃめちゃプッシュしたからか、後輩の何人かも買ってくれたみたいだった😋 ちなみに「UNIXという考え方」の感想はこちら。
新規事業開発での技術選定の意思と意図 (バックエンド編) - Sansan Tech Blog
こんにちは、新規事業開発室に所属するソフトウェアエンジニアの加藤です。私は関西支店でBill Oneという新規サービスの開発に携わっています。 弊社にはSansanのカタチという企業理念があり、働く人々が体現すべきValuesの1つに「意思と意図をもって判断する」があります。ソフトウェアエンジニアとして、意志と意図をもって利用する技術を選定することは当然かもしれませんが、細部までそれを徹底するのは難しいこともあります。本稿では、私たちが使用している技術やライブラリを振り返って、どんな意志と意図があるかを確認していきたいと思います。 などと硬めのことを書きましたが、他所のチームでは普通に使われているライブラリを意外と知らなかったりするので、似たような記事を読みたいなと思って、技術選定を公開してみる次第です。まずはバックエンド編です。 前提 私たちのチームで開発しているBill Oneは今年の
さて、 今回はオフィスにて「ER図とは？」を学ぶランチを開催しました🍔 ゲームのDBなんて考えたことが無いので、ER図アウトプットに至るまでを記事に残してあげようと思います。 今回は、リリース時に同僚みんなで遊んでいたスマホゲーム「マリオカート ツアー」を使って マリカーのフレンドランキング画面を出すために必要なDB設計を考えます。 軽いランチなので、事前に参加者が通勤中の電車内で作成できるくらいのボリュームを目指しました。 データベースとは・・・？という初心者メンバーでもイメージしやすいように。 こういうアウトプットは初めてですが、徐々に慣れていきたいです。 【開催概要】 ・参加者：ファッションIT企業のPM、エンジニア、事務・・・などなど ・開催時間：1時間（事前アウトプット作成：20〜30分程度） ・その後：SQLを初心者と書いてみるランチも実施しました。 →BigQueryがSQ
【年収1000万円】1.SQL 2.python 3……これらを3ヶ月ガチるだけであの高給取り職「データサイエンティスト」になれることが判明！ MARCHと同じレベルとかお前らなら余裕よな？ : ライフハックちゃんねる弐式
2020年07月04日 【年収1000万円】1.SQL 2.python 3……これらを3ヶ月ガチるだけであの高給取り職「データサイエンティスト」になれることが判明！ MARCHと同じレベルとかお前らなら余裕よな？ Tweet 73コメント ｜2020年07月04日 12:00｜職業｜仕事・勉強｜Editタグ ：データサイエンティスト データサイエンティストになりたい人が踏むべき手順 1.SQLを勉強 2.pythonを勉強 3.データ加工を勉強(主にpandas) 4.統計学を勉強 5.機械学習を勉強(主にscikitーlearn) 6.kaggleに挑戦 7.転職 これだけ。 ガチでやれば3ヶ月でいけます。— 北谷 駿(文系だけどpythonいじれるらしい) (@a92803753) July 1, 2020 当ブログサイトはアフィリエイト広告、バナー広告を利用しています。 そうですね
【firestoreアンチパターン】RDB思考でfirestoreを使うと危険な4つのケースと対策 - Qiita
こんにちは。virapture株式会社のもぐめっとです。 最近ユニクロで友達とオソロのメタモンTシャツ買いました。カワイイです。 本日はfirestore使ってて辛いよーという声をよく聞いたので、そのままfirestore使っていると危険な理由と対策など4つのアンチパターンとして紹介しようと思います。 1. Join Lover: データをjoinする 目的 RDBではよくあるテーブル同士を結合してデータを取り出すJoin。 firestoreでjoinを用いたいケースというのは特定のドキュメントのデータだけでは表示する要素が足りないので別のドキュメントから取得してなんとかするみたいな感じになると思います。 しかし、firestoreのプロもおっしゃってますが、firestoreへのjoin追加は望みが薄いと思われます。 RDBで重くなってる要因も外部結合や副問い合わせとかガンガン使って重
メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事では、MyS
Mirrativのバックエンド開発におけるMySQLとの向き合い方 - Mirrativ Tech Blog
こんにちは、バックエンドエンジニアのmakinoです。先日、LINE LIVEさんとの共催イベントにて「Mirrativを支えるバックエンド開発 ~MySQLとの向き合い方~」というテーマでLTをしました。 connpass.com speakerdeck.com 今回はLTの内容から一部抜粋して、Mirrativのバックエンド開発において遭遇したMySQLに関する問題と、その対策について紹介します。 問題 その1 データ量/QPSの増加に伴って、非効率なクエリが顕在化した サービス初期の段階ではデータ量が少なかったり、ユーザーのアクティビティが少ないために問題がなかったクエリも、サービスの成長に伴ってデータ量・QPSが増加したことによって、MySQLに負荷をかけてしまうことがありました。 具体例を以下にいくつか示します。 数千件レコードのfilesort 適切なindexが利用できればM
こんにちは、らくからちゃです 2年連続ステイホームのゴールデンウィークになりそうです。 もはやゴールデンウィークって普段何してたのか忘れかけてきたので、過去の履歴を漁ってみたら、一昨年は伊豆半島の東側をぐるぐる回りながら下田までいってたみたいです。 そういやコロナ前のゴールデンウィークって何してたんだっけ？と思ってGoogleフォトのフォルダ漁ってみたら、伊豆半島をぐるぐるしてたらしい。 また落ち着いたら行きたいなあ。 pic.twitter.com/N0fNxIZ5Uq — らくからちゃ@育休中専業主夫 (@lacucaracha) 2021年5月3日 こんなどこにも行けない日には、家でデータ分析をするに限りますね！！（鼻息） 統計局が、e-statを使って遊ぶ方法も教えてくれるそうなので、ご興味がある方は是非！ gacco.org 統計として公開されているデータを眺めてみるのも面白いっ
「データサイエンス100本ノック」の生みの親はなぜ「3言語のサポート」と「Docker」にこだわったのか
2020年6月15日、一般社団法人データサイエンティスト協会（以下、データサイエンティスト協会）は、データサイエンス初学者が構造化データの集計・加工を効率的に学べる演習環境「データサイエンス100本ノック（構造化データ加工編）」を、「GitHub」で無償公開した。公開直後からデータサイエンスに関わる技術者の間で大きな話題を集め、その内容や利用法を紹介するコンテンツがネット上で数多く公開された。 このデータサイエンス100本ノックの「生みの親」ともいえるのが、データ解析設計事務所の森谷和弘氏だ。同氏はフリーランスのデータサイエンティストとして活動する傍ら、データアナリティクスラボの取締役CTO（最高技術責任者）として、データサイエンティスト人材を一から育成して企業に派遣する事業に携わっている。 本稿では、データサイエンス100本ノックのこだわったポイントや活用するためのコツ、今後の展望につい
APIといえばWeb APIになった現在、ローカルAPIは専らライブラリと呼ばれる説 - きしだのHatena
APIというとWeb APIのことを指すようになってしばらくたちますが、こういう場合WebじゃないほうのAPIを指すレトロニムができるはずなんですよね。 例えばこのエントリのタイトルではローカルAPIという言葉を使ったけど、埋め込みAPI、組み込みAPIという言い方も可能な気はして、そしてどれもしっくり来ない。シェアドライブラリを考えると埋め込みAPI / 組み込みAPIというのは不適切でローカルAPIが適切な気がするけど、違和感が大きい。 元々でいうと、アプリケーションプログラマがなんらかミドルウェアなどを使うための入り口というのはAPIで、SQLもAPIのひとつだったりした。 C.J.DateとCodd博士の「The relational and network approaches: Comparison of the application programming interfac
# 以降はコメントなのでこれは valid な pnm フォーマットです。 拡張子 pgm で保存すれば、Windows の場合は IfranView、macOS の場合は Preview.app で表示できます。 これで BigQuery で画像を出力できることが確認できました。 BigQuery によるレイトレーシング というわけで、BigQueryでレイトレーシングをやってみましょう。 実際のSQLコードは以下のようになります。 -- Vec3のドット積 CREATE TEMPORARY FUNCTION DOT (a STRUCT<x FLOAT64, y FLOAT64, z FLOAT64>, b STRUCT<x FLOAT64, y FLOAT64, z FLOAT64>) AS ( a.x*b.x + a.y*b.y + a.z*b.z ) ; -- 線形結合 aP +
読みやすく、再利用しやすいSQL分析クエリを書くコツ
こんにちは、Wantedlyでデータサイエンティストをしている樋口です! 自分は過去、分析のためにSQLを書いているとき、以下のようなミスをしていました。 メール開封率を集計したら何故か100%を超えてしまった。でもどこが原因かがわからない メール開封率を集計したのち、クリック率も追加で依頼を受けたが、再利用できるクエリになっておらず、一から書き直した クエリのレビューを依頼したら、複雑すぎると言われてしまった こういった経験がある方は自分以外にもいるのではないでしょうか...! SQLは非常に自由度が高く便利である反面、書き方が個人に委ねられ、複雑・難解になりやすいと感じています。 そこで本記事では、自分が実務で学んだ、読みやすく、再利用しやすいSQLクエリの書くコツを紹介したいと思います。個人の経験によるものなので、より良い書き方・考え方もあるかもしれないです。ご了承ください🙏 読み
プロダクト基盤本部の藤原です。 本エントリではWAF(Web Application Firewall)を活用していく上で、最初に導入をお勧めするファイアウォールルールを解説します。 WAFとは WAF（Web Application Firewall）とはWebアプリケーションに特化したファイアウォールです。 HTTPリクエストのヘッダやボディの内容から不審なリクエストを判別し、アクセスをブロックすることを目的としています(図1)。 図1 WAFの役割 WAFの活用を通じて実現したいこと WAFの活用を通じて実現したいことはなんでしょうか。 悪意のあるリクエストや不審なリクエストからアプリケーションを保護することでしょう。 不審なリクエストとしては、宛先が合っていないリクエスト(HTTPのホストヘッダを誤っている)1や、スクリプトキディ的なものから攻撃対象を精緻に分析したものまでさまざま
どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏が登壇。データ分析基盤を改善するまでに浮き彫りになった課題と、そこからどのようにストレスなく利用できる分析基盤を作ったのか、また設計の方針から実際に運用してわかった今後の課題について話しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 開発エンジニアからデータエンジニアへ 千葉祐大氏（以下、千葉）：Sansan株式会社の千葉からは「Sansan DSOC を支える名刺データ分析基盤」の構築、運用上の困ったことなどについて発表します。 まず自己紹介をします。3年前にSansanにジョインして、現在はデータエンジニアの仕事をしている千葉祐大です。データエ
GitLab.com
2023年9月26日に行われたファインディ社主催の「データベース移行のウラガワ- 円滑なリリースのために取り組んだLT」の登壇資料です。 https://findy.connpass.com/event/294868/ RDBやアプリケーションの機能を止めずにデータベース移行を実施した事例について紹介しました。 https://techblog.yahoo.co.jp/entry/2022102430369838/ に執筆した内容になります。
Auroraを活用してAWS Glueでデータ分析機能を構築した話 - techtekt
ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ
パスワードがハッシュ値で保存されているサイトのSQLインジェクションによる認証回避の練習問題解答 - Qiita
この記事は、以下の問題の想定正解です。まだ問題を読んでいない方は、先に問題を読んでください。 まず、多くの方に記事を読んで頂きありがとうございます。解答もいくつかいただきましたが、その中で、以下のhm323232さんの解答は非常に優れたもので、これに付け加えることはほとんどありません。 しかし、気を取り直して、解答を書きたいと思います。 まず、ログイン処理の中核部分は以下に引用した箇所です。 $sql = "SELECT * FROM users WHERE userid = '$userid'"; $stmt = $pdo->query($sql); $user = $stmt->fetch(); if ($user && password_verify($password, $user['password'])) { echo "ログイン成功:" . htmlspecialchars(
実際はどう？ 共通で言えること MySQL/Postgres とも，ファジーリードとファントムリードはセットで起こったり起こらなかったりするようになっているため， SQL 標準のように更新なのか新規・削除なのかを意識する機会は少ないです。 一貫性読み取りで参照するデータは，更新時に参照するデータ本体とは隔離された スナップショット になります。 文の種類 アクション 参照先 ロック
![[記事下書き] MySQL/Postgres におけるトランザクション分離レベルの実際](https://cdn-ak-scissors.b.st-hatena.com/image/square/be4a7bfbb640d53daec1dd96b5f2f8f4b120ea01/height=288;version=1;width=512/https%3A%2F%2Fstorage.googleapis.com%2Fzenn-user-upload%2Favatar%2F94ec78e846.jpeg){kind=avatar}
ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの？ 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベース速攻入門 ～モデリングからSQLの書き方まで
SQLとデータベースの初心者向け・SQLの問題集があるサイト5選 - paiza times
MySQL (MariaDB) でハマった仕様 - kamocyc’s blog
Lookerライクな新興BIツールの比較検討
![中国系ハッカー、“FBIのバックドア”から米通信大手をハッキング | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/44d7851311bfad4e95296b931a5ab2882dbbf1b3/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F10%2Fcalea.jpg)
派生先テーブルの参照回数も考慮して安全にテーブルを撤退する - yasuhisa's blog
業務でどれだけSQL力がつくのか ~SQLアンチパターンを用いて確認~ 後編
モダンなタスク管理を可能にするSnowflake Python API
ユピテル、40万人分の会員情報流出 不正アクセス確認から3年以上報告せず、脅迫メール受信で公開
ChatGPTで作るSQLがヤバい※Oracleの話多め - Qiita
運用終了したページがSQLインジェクション攻撃を受けた事案についてまとめてみた - piyolog
MySQL実行計画の簡易検査ツールの開発とCIへの組み込み - ZOZO TECH BLOG
開発者が知っておきたいSQLの実行モデル～アプリからデータベースへのアクセスを高速化するには？
SQLで始める自然言語処理 - やむやむもやむなし
Web セキュリティ研修 / GMO ペパボ 新卒研修 2021
楽々ERDレッスンを読んだ - patorashのブログ
マリオカートのER図について考える - Qiita
MySQL8.0で低速になったSELECT COUNTを高速化する - CyberAgent SRG #ca_srg
どこにも遊びに行けないなら"はてブ"のデータ分析をして遊べばいいじゃない - ゆとりずむ
BigQuery SQL でレイトレーシング - Qiita
WAFを活用する上で入れておきたいファイアウォールのルール定義 - STORES Product Blog
Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法
Screwtape / sqlite-schema-diagram · GitLab
RDB無停止移行への挑戦 #データベース_findy
[記事下書き] MySQL/Postgres におけるトランザクション分離レベルの実際
ありがとうRedshift よろしくBigQuery - freee Developers Hub
kai-you.net
www.afpbb.com
b.hatena.ne.jp
www.nitori-net.jp
webhiden.jp
newmoon13.hatenablog.jp