風音屋（@kazaneya_PR）の横山（@yuzutas0）です。先日「東京大学の特任研究員に就任した」というリリースを掲載したところ、各所からご連絡やご質問が寄せられました。データ分析を支援する風音屋にとって、今回の取り組みがどういう意味を持つのかご紹介できればと思います。 なお、この記事ではデータ分析を担う人材を総称してデータ分析者（データアナリスト）と呼ぶことにします。会社によってはデータサイエンティストやコンサルタントと呼ぶほうが適切な場合もあるでしょう。データを集計・加工・可視化するだけなら「分析」とは呼ばないといった意見もあるでしょう。各自で好きな名前に置き換えて読んでください。 データアナリストを取り巻く脅威便利なテクノロジーが日々台頭しており「他の人より少しだけBIツールに慣れている」「他部門のメンバーよりデータ集計に慣れている」というだけのジュニアなデータアナリストでは
レビューされる立場の難しさ - Qiita
はじめに エンジニアとしてキャリアが4年ほど経過しましたが、いまだにコードレビューを出す行為が苦手です。特に予め設計が組まれていて部分的に切り出された課題に対して、適切にレビューを出すのが苦手だなと感じています。 レビューのプロセスやレビューする側の記事はいくつもありますが、レビューをされる側の記事はあまりないなと思っています。 レビューを出すのに苦手意識のあるエンジニアには特に読んでほしい記事になってます。 レビューされる側の立ち位置 レビューする側（以下レビュアー）とレビューされる側（以下レビュイー）は、上司と部下の関係が多く、レビュアーの方が経験年数は上だと思います。そのため、レビュイーはレビュアーの指摘に対して、多くの場合は従うことが推奨されていると思います。 ただ、勘違いしないでほしいのは、レビュイーは受け身であってはならないことです。レビューを出したコードに対して、一番の理解者
さて、本年三冊目となる新著が出ます。タイトルは『SQL緊急救命室』。はい、米国テレビドラマファンならピンと来るでしょう名作『ER緊急救命室』のパクリ、もといオマージュです。リスペクトしているから！ 参考に前書きを掲載します。購入の際の参考にしてください。 本書は、ずばり「楽しく学ぶSQL中級入門」です。著者はこれまで何冊かSQL中級者（およびそれを目指す初級者）向けの本を書いてきました。幸いなことにいずれも好評をいただき、ちょっとしたロングセラーとなりましたが、やはり中には「内容が難しい」「理論的な話がとっつきづらかった」という感想をいただくことも少なくありませんでした。そこで、何とか技術的なレベルを維持したまま読者が読みやすくなるように敷居を下げる方法はないものかと長い間思案していました。 その問題を解決する試みとして考え出したのが、初級者と上級者の対話形式というスタイルです。初級者の素
AWSのコード生成AI「CodeWhisperer」、生成モデルのカスタマイズが可能に。社内の独自ライブラリやAPIを生成コードに組み込める新機能がプレビュー公開
AWSのコード生成AI「CodeWhisperer」、生成モデルのカスタマイズが可能に。社内の独自ライブラリやAPIを生成コードに組み込める新機能がプレビュー公開 Amazon Web Services（AWS）は、コメントやコードの一部からAIがコードを自動生成してくれるサービス「Amazon CodeWhisperer」の新機能として、生成モデルをカスタマイズし、社内の独自ライブラリやAPIなども生成されるコードに組み込むことができる新機能をプレビュー公開しました。 下記はAWS CEO Adam Selipsky氏のツイート。 Exciting news! Amazon CodeWhisperer’s new customization capability is now available in preview! The new feature helps customers to
「テクノロジーで人々を適切な医療に案内する」をミッションに、医療プラットフォームを提供しているUbie株式会社の@masa_kazamaです。 この記事は#Ubieアドベントカレンダー5日目にエントリーしています。 今年は生成AI一色の1年でした。Ubieでは、生成AIをプロダクト活用と社内生産性向上の観点で取り組んでいます。(取り組みの詳細は、こちらの記事で紹介しています。) この記事では、社内生産性向上観点で、社内の業務プロセスに溶け込んでいて、なくてはならない使い方になっている事例を10個ご紹介します。その中のいくつかは、実際に生産性が倍以上になっていたり、外部委託のコストが半分になったりしています。この記事が、生成AIを活用している人や活用していきたい人のご参考になれば幸いです。 プロダクト活用にもいくつか事例が出ており、問診の内容を大規模言語モデル(LLM)を活用して要約する機能
Cloudflare、CDNエッジでサーバレスなSQLiteを提供する「Cloudflare D1」正式リリース。非同期レプリケーションによる分散データベース機能も
Cloudflare、CDNエッジでサーバレスなSQLiteを提供する「Cloudflare D1」正式リリース。非同期レプリケーションによる分散データベース機能も Cloudflareは、これまでベータ版として提供してきたSQLiteベースのデータベースサービス「Cloudflare D1」の正式サービス化を発表しました。 D1, Cloudflare’s SQL database, is now generally available. With new support for 10GB databases, data export, and enhanced query debugging, we empower developers to build production-ready applications with D1 to meet all their SQL needs.
Introducing postgres.new, the in-browser Postgres sandbox with AI assistance. With postgres.new, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (generate table on the fly) Generat
TL;DR TypeORMで発生していたスロークエリを改善 スロークエリを改善したらECSの負荷も減少 はじめに スロークエリを改善したら、ECSコンテナ側の負荷も下がってなんでだろ？と思ったので記事にしようと思います。 環境 TypeORM v0.3.20 Node.js v18.x バックエンドインフラ ECS on Fargate => Amazon Aurora MySQL 負荷改善の前と後 まずはどのくらい改善したのかを示します。 この時ECSコンテナ8台動いてました。(4vCPU 8GBMem) 改善前 改善後 改善前と改善後は一日前の同じ時間帯のものです。 ちゃんと動いてるのか不安になるくらい下がってました笑 どのような対応をしたのか スロークエリの出ていたクエリでMySQLの実行計画を確認しました。 TypeALL,index, Using Filesort等はなかったので
はじめに こんにちは！ WEARバックエンド部バックエンドブロックの高久です。普段は弊社サービスであるWEARのバックエンド開発・保守を担当しています。 10周年を迎えたWEARは2024年5月9日に大規模なアプリリニューアルを行いました。アプリリニューアルに伴い負荷試験を行ったので、本記事ではどのように負荷試験を計画したか事例をご紹介します。 記事は計画編と実施編の2部構成で、本記事は前編の計画編となります。後編の実施編は近日、公開予定です。 目次 はじめに 目次 背景 計画の重要性 計画の策定 目的の整理 目標値の設定 スループット レイテンシ 試験方針 試験環境・データ 対象範囲 取得情報・確認観点の整理 負荷シナリオ 実施方法 リスク リリースしてみたらユーザ数が予想を超えてしまい性能問題が発生する 試験対象外とした箇所に性能問題が発生する 本番環境での試験時に性能問題が発生しユー
ISUCON13のベンチマーカーのDNS水責め攻撃について - Hateburo: kazeburo hatenablog
この記事はさくらインターネット Advent Calendar 2023の12月3日の記事になります。 先日行われました ISUCON13 の作問を担当しました。参加者の皆様、スタッフの皆様ありがとうございました。 このエントリではISUCON13のDNSに関わる要素とベンチマーカーから行われたDNS水責めについて紹介します。 ISUCON13の問題の講評と解説は以下のエントリーでも行っていますので読んでいただけると嬉しいです isucon.net こんいす〜 ISUCON13における名前解決 上記のエントリーにもある通り、今回のISUCONではDNSが問題の一部として出てきます。 これまでポータルから参加者は割り振られたサーバの中から負荷をかけるサーバ1台選択し、ポータルはそのサーバに対して負荷走行を行うことが多くありましたが、今回はサーバ1台を選択したら、ベンチマーカーはそのサーバの
はじめに 以前こんなツイートをしました。 すると、リプライで色々とコメントを頂きました。（疑問を投げかけたら答えてくれる方々、本当にいつもありがたいです🙇♂️） ということで、本記事では推定行数と実際の行数の乖離を減らすために何をやったのかを備忘として書きます。 ただ、実際のSQLや実行計画を書くことはできないので、あくまでどんな考え方をしたのか、ということを書きます。 対処法①（対象のテーブルのautovacuum頻度を変更） 対象のテーブルはかなり更新の激しいテーブルだと聞いていたので、まずは統計情報が最新化されているかを考えました。 更新が激しくてautovacuum時の自動ANALYZEが追い付いていないんじゃないかと考え、対象のテーブルだけ自動ANALYZEの頻度が上がるように設定を変更しました。 PostgreSQLの設定パラメータは基本的にはpostgresql.conf
株式会社ZOZO 推薦基盤チームリーダーの @f6wbl6 です。この記事は「ZOZO Advent Calendar 2023」のカレンダー7の最終回（25日目）です。 この記事では、ZOZOの推薦基盤チームで私とチームメンバーがこの一年、サービス面・組織面で取り組んできたものをいくつか取り上げたいと思います。なおこの記事のタイトルと冒頭の文章は弊社 CTO 兼執行役員の @sonots が書いた以下の記事のオマージュです。 2023年以前の取り組み まず前提として、推薦基盤チームではこれまでにどのような施策を実施してきたのかを簡単にご紹介します。 商品詳細画面「おすすめアイテム」枠の改善 ZOZOTOWN において、商品詳細画面の下にある「おすすめアイテム」枠での推薦精度を改善するプロジェクトです。 既存システムではオンプレの SQL Server に対して都度クエリを投げていましたが
インターネットへの就活完了報告 何故Twitter就活を選択したのか？ 正攻法の就活は通らない！ 正攻法を捨ててTwitter就活へ 就活を完走した感想 中途就活は楽しい 体概念を理解せよ 中途は柔軟であれ 中途面接はミーティングみたいな感じでOK インターネットへの就活完了報告 無職の再就活が無事に終わりました。 三ヶ月前くらいにTwitterとブログに雇用募集を出して50社近くから声をかけてもらって、最終的には条件や環境が非常に良くキャリアイメージもマッチしている大手でデータサイエンティストとして働くことになりました。 年収も前職から50%くらい増えたし非常に良い結果で終われたということで、報告がてら顛末を書いておきます。雇用募集ツイートを拡散して頂いたインターネットの皆さん（特にTwitter就活に協力的なエンジニア界隈）や声をかけて頂いた方々はありがとうございました。 （雇用募集ツ
初めて企業のインターンに参加しました。DMMさんのGo言語5daysのインターンです。今回はこのインターンの内容、またGo言語でのAPI開発で学んだTipsを中心に記事を書きます。 温かい目で見てくださると嬉しいです。記事の内容に誤りがあった場合は、いつでもご指摘ください 🙇♂️ インターン概要 今回のインターンは8月5日から8月9日の5日間にわたって行われました。最終日はオフィス開催で、4日間はオンラインでの開催でした。 初日と2日目は主にライブラリの使い方を学び、残りの3日間はハンズオン でAPIのエンドポイントを実装しました。このインターンの教材はDMMさんの新卒バックエンド研修の課題として使用されているため、難易度はとても高かったです。 私はGo言語を使用した経験がありますが、本で独学という勉強の仕方だったので、少し古い情報で学んでいたこともあり、 今回最近のバージョンに追加さ
AWS 認定トレーニング「Advanced Architecting on AWS」を受講してみた | DevelopersIO
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
モダンなアプリケーションのセキュリティ対策について学んできた #AWSreInvent | DevelopersIO
はじめに こんにちは！AWS事業本部コンサルティング部の和田響です。 AWS re:Invent 2023では、ラスベガスにて現地参加していました。 この記事では、現地で公聴したBreakout Sessionの「SEC227 | Improving security through modern application development」について紹介します。 概要 In this session, explore security practices used in modern application development and how these address common security challenges found in legacy applications. Learn patterns for integrating security early in t
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
これはエムスリー Advent Calendar 2023の9日目の記事です。 前日の記事はSREチーム後藤の「共有会をより効果的にするために考えたあれやこれ」でした。 エムスリーエンジニアリンググループ データ基盤チームの木田です。 師走です。12月といえば年末に向けて大掃除の季節です。 古来日本では12月に宮中で「煤払い」という行事を行う風習があったことが、今日年末の時期に大掃除をする由来とされているそうです。 私の自宅はまだ何も手をつけられていませんが、せめてBIツールの中だけでもということでRedashのクエリ棚卸しをした話*1をご紹介します。 エムスリーにおけるRedashの活用状況 長年の運用の結果起きた性能問題 問題の特定と発生原因 Workerの増設 クエリの棚卸しと改善 使われていない定期実行クエリの停止 サンプル1 直近参照なしかつ定期実行クエリ クエリの実行時間改善
DBeaver最強 DBeaverは無料で使えるDBクライアントツールです。 めちゃめちゃ高機能なので、使っている人も多いのではないでしょうか。 ツールのバグが怖いから、コンソールでのコマンドでしかDBには接続しない 派の人もいるかと思いますが、私の場合は使いやすいSQLエディタや、見やすい結果セットがあった方が作業ミスが起きにくいと思っているので（むしろコマンドの方がミスる）、DBeaverは開発にも本番メンテナンスでもフル活用しています。 本番メンテナンス ある時、イレギュラーな作業で、本番DBを直接いじることになりました。 大した作業ではなかったので手順書も作らずサクッとやることにしました。 エディタでクエリを準備 SELECTで現在のデータを確認と念のため記録 DBeaverの場合、エディタに複数SQLが書いてある場合、全て実行することもできますが、実行したいSQLのどこかにカーソ
Attacking PHP - PHP
2008年にまつもとゆきひろ氏によって書かれたエッセイ。 Attacking PHP - Matzにっき(2008-01-26) PHPがいかに駄目な言語か、という話。 2024年にはどうか 以下の見解は@tadsanによる私見である。 いろんなものがfalseだったりするせいで、新たな比較演算子「===」が必要 その通り hashやlistがobjectが区別できない objectは当時から区別できるので、事実誤認では。 hash(PHPでは連想配列)とlistはPHP 8.1でarray_is_list()関数が追加されて標準関数で識別できるようになった それまでもユーザーランドの静的解析でlist型として慣習的に扱われていた PHP 8でも型宣言として扱えるわけではない オブジェクト指向機能が壊れている PHP 4時代のOOPは「壊れていた」かはともかく、一般的なOOP言語の振る舞い
Announcing TypedSQL: Make your raw SQL queries type-safe with Prisma ORM
Generate query functions by using the --sql flag on prisma generate: Import the query function from @prisma/client/sql … … and call it inside the new $queryRawTyped function to get fully typed results 😎 If your SQL query has arguments, they are provided to the query function passed to $queryRawTyped The Prisma Client API together with TypedSQL provides the best experience for both CRUD operations
これはなに ども、レバテック開発部のもりたです。 もりたはデータベースが好きなんですが、最近は特にAWS RDS/Auroraでのモニタリングとパフォーマンスチューニングについて興味があります。ただ、これらのうちモニタリングは扱っている話題が若干ローレベルであまりピンとこず、またチューニングもどこから手をつければいいのかわかりませんでした。 この記事では、もりたがモニタリング＆チューニングを学習する上で役に立った書籍やWeb上の資料をロードマップ形式で紹介していきます。対象読者はDBのモニタリングとチューニングをやりたいけどどこから手をつければいいか分かんないなとなっている人、ゴールはそんな人がモニタリング＆チューニングの第一歩を踏み出せることです。 スコープ 今回扱うもの、扱わないものは以下の通りです。 扱う モニタリング＆チューニングの概要 モニタリングの前提知識 チューニングの前提知
フレームワークだけじゃない！ 「State of JavaScript 2023」で見直すJavaScriptの人気ライブラリ
TOPコラム新発見！フロントエンド技術の今フレームワークだけじゃない！ 「State of JavaScript 2023」で見直すJavaScriptの人気ライブラリ フレームワークだけじゃない！ 「State of JavaScript 2023」で見直すJavaScriptの人気ライブラリ 2024年9月2日 執筆 山内 直 有限会社 WINGSプロジェクトが運営する、テクニカル執筆コミュニティ（代表 山田祥寛）に所属するテクニカルライター。出版社を経てフリーランスとして独立。ライター、エディター、デベロッパー、講師業に従事。屋号は「たまデジ。」。著書に『Bootstrap 5 フロントエンド開発の教科書』、『作って学べるHTML＋JavaScriptの基本』など。 監修 山田 祥寛 静岡県榛原町生まれ。一橋大学経済学部卒業後、NECにてシステム企画業務に携わるが、2003年4月に念
Wasmでお金を稼げるプロダクトは作れるのか？ こんにちは。私は技術者としてはかなりミーハーな部類に入ります。 そんなミーハーな私は盛り上がっている分野についてはとりあえず触ってみたい欲が先行します。 ここ数年で盛り上がっている分野といえば色々とありますが、例えばWasmはソフトウェアエンジニア界隈を中心に盛り上がっている分野の一つとして数えてもよいでしょう。 私自身Webフロントエンド開発なども行っているため、分野的にもWasm、そしてWasmを活用した事例などは気になるところです。 ところでこういった気になる分野の技術については、なるべくビジネス的にも機能する形で落とし込みたいと常日頃考えています。 つまり その技術を使うことでお金を得ることができる という状況で使いたいのです。 これは私の性格的な部分が大いに影響していると思いますが、趣味的な用途でしかその技術を利用しない場合、ちょっ
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
「今まで取り組んだ中で最も無意味だったプロジェクトは何？」という質問に世界中のエンジニアが我こそは最低の経験をしたとクソエピソードを披露しあい大盛り上がり
オンライン掲示板サイトのHacker Newsに投稿された「今まで取り組んだ中で最も無意味だったプロジェクトは何？」という質問に対して、世界中のエンジニアたちが過去に経験してきたあまりにも無駄なプロジェクトを披露しあっています。 Ask HN: What is the most useless project you have worked on? | Hacker News https://news.ycombinator.com/item?id=39942397 この質問を投げかけたpanqueca氏は「自分が働く職場では、他のチームが同じツールを使えるようにオートメーションツールに変更を実装したところ、『このツールは非推奨になったので使わないように』との通知が送られました。それならばなぜ変更を実装するような無駄な作業を行ったのでしょう」と語っています。 エンジニアのLaserDisc
こんにちは、imazです。10年ちょっとRailsエンジニアをしています。 インフラは苦手、CSSやJavaScriptも得意ではない、アーキテクチャとか設計も得意ではない… SQLとかデバッグが好きです。答えがあることが好き！ 作業中めちゃくちゃ独り言が出るのでオフィスで働けないタイプです。 Re: 良いコードってどんなコードですか？という質問を受けたら何と答えるか snoozer05.hatenablog.jp 今日はしまださんの記事を読んで、私ならどう答えるかなぁ、自分の場合はこうだなぁ、と思ったことを書いておきます。 良いコードを書くために 私がコードを書くときに心がけているのは「コードがなぜそうあるのか説明できるようにすること」です。 コードの一行一行に対して、どういう選択肢があってなぜそのコードを選んだのかというのが理解できているのが良い状態だと思っています。 簡単な例 たとえ
Vim で SQL を素で編集してるの？
タイトルは釣りです。 この記事は Vim Advent Calendar 2023 16 日目の記事です。 はじめに みなさんは SQL はどんな環境で編集しているでしょうか？ Visual Studio Code？それとも Vim？まさか Vim/Neovim の素の状態で編集していたりしませんよね？ 僕はしていました。 sqls (SQL Language Server) 以前、lighttiger2505 さんが開発した sqls に少しコントリビュートしていた頃がありました。 既に public archive になってしまっていますが、機能として実用的なままです。コントリビュートしていた頃は、あくまで OSS としての興味の方が大きく、如何に機能的にしていくかだけ着目していたため、常用はしていませんでした。 あらためて常用してみる sqls の導入 Vim から sqls を使う
本連載では分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っています。 今回はNode.js互換のJavaScriptランタイム、Bunのパフォーマンスについて、Misskeyのコードベースを用いて検証を行います。 Bunとは Bunは、Node.js（以下Node）互換である後発のJavaScriptランタイムです。 JavaScriptエンジンにNodeで採用されているV8ではなくJavaScriptCoreを採用しているほか、TypeScriptを事前コンパイルなしに実行することもできます。 肉まんのようなマスコットキャラクターが特徴です。 モチベーション そんなBunの公式サイトではNodeよりも大幅に性能上のアドバンテージがあるように紹介されていますが、こうした競合ソフトウェアとの一方的な比較は得てして限られた条件での有利な
Software Design 2024年8月号 連載「レガシーシステム攻略のプロセス」第4回 ZOZOTOWNリプレイスにおけるマスタDBの移行 - ZOZO TECH BLOG
はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 ZOZOTOWNリプレイスプロジェクトで採用したマイクロサービス化のアプローチでは、安全かつ整合性のとれたデータ移行が必須となりました。第4回では、このマスタDBの移行について紹介します。 目次 はじめに 目次 はじめに マスタDB移行 マスタDB移行について 要件と課題 テーブル構成を再設計したうえでデータ移行を実施する ダウンタイムなしでデータ移行を実施する 方針 異なるDBおよびデータスキーマ間で移行を実施するためEmbulkを使用する ダブルライトをリリースし、データ移行中に発生するDBへの書き込みを両DBにアトミックに実施する データを一時DBに格納し、一時DBから移行先DBにデータを移行する BulkloadとBac
SQL/コマンドインジェクション、XSS等を横串で理解する - 「インジェクション」脆弱性への向き合い方 - Flatt Security Blog
こんにちは、@hamayanhamayan です。 本稿ではWebセキュリティに対する有用な文書として広く参照されているOWASP Top 10の1つ「インジェクション」について考えていきます。色々なインジェクションを例に挙げながら、どのようにインジェクションが起こるのかという発生原理から、どのようにインジェクションを捉え、より広くインジェクションの考え方を自身のプロダクト開発に適用していくかについて扱っていきます。 SQLインジェクションやコマンドインジェクション、XSSのようなインジェクションに関わる有名な手法について横断的に解説をしながら、インジェクションの概念を説明していきます。初めてインジェクションに触れる方にとっては、インジェクションの実例や基本的な考え方に触れることができ、その全体像を把握する助けになるかと思います。 また、既にいくつかのインジェクション手法を知っている方にと
こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと
スムーズな負荷テストのために私たちが実施していること - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、配配メール開発エンジニアのhiro_jiです。 突然ですが、負荷テストの進め方ってイメージできますか？ ある程度経験があれば難なく進めることができると思いますが、そうでない場合はそもそも進め方のイメージが湧きづらいかと思います。 かくいう私も最初は何から手を付ければよいか分からなかった記憶があります。。。 そこで今回は負荷テスト初心者の方向けに、私の所属するチームで実施している手順を紹介します！ 負荷テストとは？ 負荷テストのフロー 全体像 方針検討 詳細計画 テスト準備 テスト実施 評価 分析・チューニング おわりに 負荷テストとは？ 本題に入る前に、負荷テストとは何かについて軽く触れておきます。 負荷テストとは、特定の条件下でシステムやアプリが示す性能を評価、検証するものであり、運用中の障害を未然に防いだり、パフォーマンスの問題やボトルネックを改善するために非常に重要な役割
タイトルのこともできることを検証した。（ORM で文句ない人は ORM として使えばいい） Prisma は TypeScript の優秀な ORM / QueryBuilder だが、Prisma 以外で運用されていると途中から投入するのが（一応可能ではあるが）面倒だったりする。 だが Typed SQL によって、既に存在するDBに対して、副作用なくクエリビルダとしてのみ導入することができるのでは、と思いついて試したところ、できた。 今回はリモートの Supabase の PostgreSQL に対して行ったが、たぶん他の環境にも使える。 d1 とか。 prisma の最小プロジェクトのセットアップ $ mkdir prisma-qb-only $ cd prisma-qb-only ## 初期化 $ pnpm init $ pnpm add prisma @prisma/client
dbtや同じ系統のDataformなど、ELTの特にTransform部分に強みを持つツールを使い始めて大体3年になる。主観だけど、それなりに使い倒している部類だと思う。 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog dbtを触ってみた感想 - yasuhisa's blog dbt カテゴリーの記事一覧 - yasuhisa's blog これらのツールで巷でよく言われる データリネージの可視化ができる データに対するテストが簡単に書ける エンジニア以外の人ともコラボレーションしやすい あたりの話は耳にタコができるくらい聞いていると思うので、ニッチではあるもののそれ以外のdbtの個人的に推しなポイントをダラダラと書いてみたいと思う。データエンジニアやデータガバナンスを推進する人には共感してもらえる内容かもしれない。 推しポイント:
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 一般的にデータアナリストはデータの収集・分析を通して組織の意思決定を支援する役割を期待されることが多く、ドワンゴ教育事業における私のミッションもKPI動向の可視化やダッシュボード / レポートの作成・提供を通してデータドリブンな組織に貢献するところにあります。 私たち教育事業には施策を実行する企画者やビジネス上の意思決定者だけでなく、サービスを活用して教育の現場に立っている方々、サービスに展開している教材を制作しているチームなど多様な方面からデータ収集・分析の需要があります。それだけにやりがいも大きく楽しい日々を過ごしています。 課題について（導入に代えて） クエリを書いて、結果を分析して、資料にまとめて、展開して、共有して・・・みたいな仕事をしているとSQLで抽出した縦持ちのデータを横持ちに作り変えたいことがよくあり
MySQL公式のDockerリポジトリがcontainer-registry.oracle.comに引っ越していた
この記事は MySQLのカレンダー | Advent Calendar 2023 の10日目の記事です。昨日は meijik さんの 最新のSQL標準(SQL:2023)とFirebird/MySQL/PostgreSQL | キムラデービーブログ でした。 TL;DRdockerhub のMySQLイメージはもうメンテナンスしていないっぽい ややこしいのだけれど、 docker pull mysql で取得するのは「Docker社がビルドしたMySQLイメージ」で、 docker pull mysql/mysql-server で取得するのが「Oracle社がビルドしたMySQLイメージ」だった引っ越したのは後者のみMySQL Server Community Edition - Repository Detail 5.7は5.7.16と5.7.33だけ、8.0は8.0.22とそれ以降し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析者の今後のキャリアと経済学の可能性｜風音屋（かざねや）
新著が出ます - 『SQL緊急救命室』- 楽しく学ぶSQL中級入門｜ミック
生成AIの活用事例 10選｜masa_kazama
postgres.new: In-browser Postgres with an AI interface
スロークエリを改善したらECSの負荷が爆下がりした話(TypeORM)
WEARアプリリニューアルにおける負荷試験事例（計画編） - ZOZO TECH BLOG
PostgreSQLの実行計画の推定行数と実行数の乖離改善の考え方
ZOZO推薦基盤チームの2023年の振り返りと現状 - Qiita
24/4/10 東大卒無職のTwitter就活記 - LWのサイゼリヤ
DMMのGo言語5daysインターンが最高すぎた！ - Qiita
プロ御用達の無償SQLクライアント「A5:SQL Mk-2」も生成AI対応、ベータテストが開始／OpenAIの「ChatGPT」とGoogleの「Gemini」が利用可能、割と実用的【やじうまの杜】
LangChain への OpenAIのRAG戦略の適用｜npaka
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
年末だしRedashのクエリ棚卸しでもしましょう (調査用サンプルクエリ付き) - エムスリーテックブログ
DBeaverでやらかした話 - Qiita
AWS RDS/Auroraでモニタリング＆チューニングを始めるための資料11選
SQLite Wasm + OPFSで簡単アプリ化！ビジネスに活かすWasmとWeb技術
良いコードとは良い感じのコードである - ennui's blog
BunはNodeより速いのか？ Misskeyで検証 | gihyo.jp
全社横断データ基盤へdbt導入を進めている話 - Sansan Tech Blog
Prisma TypedSQL をクエリビルダとしてのみ運用する
個人的なdbtの推しポイントを書いてみる - yasuhisa's blog
BigQuery縦持ちデータを動的に横持ちデータにする方法 - ドワンゴ教育サービス開発者ブログ