エンジニアのための十徳ナイフ「DevToys」がバージョン２になってクロスプラットフォームやCLI対応しさらに便利すぎる - Qiita
はじめに 以前紹介させていただき、2022年Qiitaのいいねランキング18位、ストックランキング20位を記録したこちらの記事の続編です！ DevToysはリリース後しばらく定期的なバージョンアップが続けられていましたが、去年の7月からぱったりとアップデートが止まっている状態でした。 リポジトリや作者のXを見るとバージョン２の開発を行っているようで、今か今かと待ち続けていましたが数日前リリース予告のポストを見つけて、今日ついにプレリリースされました！ ということで早速紹介していきます！ DevToysとは DevToysは「開発者のためのスイスアーミーナイフ」の紹介文の通り、開発時によく使うツールを十徳ナイフのようにまとめたアプリとなっています。 JSONの整形とかエンコードデコードetc... プログラミングや保守運用の調査でやりがちな作業をいちいち変換サイトを探したり、エディター拡張機
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
こんにちは。kimihiro_nです。 今回はアプリケーションの動作を保証するために不可欠なテストコードの書き方についてです。 特に外部依存要素のテストに焦点を当ててみていきたいと思います。 外部に依存するテストコード 皆さんはアプリケーションのテストコードを書いていますか？ 内部的な状態を持たず、入力と出力が常に変化しない関数であれば、テストコードを書くのは比較的容易です。実際に関数を呼び出ししてその出力と期待値が一致しているかをみればテストすることができます。 しかし実際にアプリケーションを開発する場合、データベースへの接続だったり外部へのAPI呼び出しだったりといった外部の状態に依存した処理が含まれることが多いです。このような場合、素直にテストを書くのが難しいです。 多くの場合モックを利用して実際のデータベース呼び出しを置き換えたり、テスト用のリソースをdockerなどで構築してダミ
dbt Semantic LayerとSteepで実現するデータ民主化 - Gaudiy Tech Blog
はじめまして、Gaudiyでアナリティクスエンジニア（副業）をしているkuwakenです。 Gaudiyでは現在、データの民主化を進めていますが、その過程でSQLを書く手間や負担、新しいBizメンバーのオンボーディングなどの面で、課題が生じていました。 今回は、その課題を解決するために導入した、dbt Semantic LayerとSteepという2つのデータ系プロダクトに関するお話をします。 1. dbt Semantic Layerの導入背景 2. Steep導入の決定理由 3. dbt Semantic Layerに関するナレッジ 3-1. ディレクトリ構造 3-2. dbt Cloud CLI 3-3. 時間のdimensionはdatetime型で揃える（BigQueryユーザーのみ） 3-4. entitiesを理解する 4. 今後やりたいこと 5. さいごに 1. dbt S
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
クラウドロックインされないアーキテクチャ「Cloud Agnostic Architecture」のすすめ | フューチャー技術ブログ
この記事はQiitaのアドベントカレンダー記事のリバイバル公開です。 ※ 当時の記事から、一部表現を見直し加筆しています。 はじめに先日ガートナーのレポートで「多くの企業において、特定のクラウドベンダにシステムを集中させるリスクの重要度が上昇している」との発表がありました。 https://www.gartner.com/en/newsroom/press-releases/2023-10-30-gartner-says-cloud-concentration-now-a-significant-emerging-risk-for-many-organizations 日本においてクラウドの活用はますます進んでいる一方で、特定の Cloud Service Provider（CSP）にロックインされるリスクについては、常に議論の余地があると考えています。 本記事では、特定のクラウドに強く依
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 | DevelopersIO
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 こんにちは、みかみです。 本州も梅雨入りの季節になってまいりましたが、沖縄はそろそろ梅雨明けです！ やりたいこと BigQuery で実行している SQL のパフォーマンスチューニングをしたい BigQuery のアンチパターン SQL を使っていないか確認したい どんな DWH を使うにしろ、SQL チューニングは避けて通れない道ではないかと思います。 実行計画確認して、データ処理エンジンの思想に思いを馳せて・・・。 というのも、特に顕著な改善効果が得られた時にはこの上ない喜びを感じられる作業ですが、SQL が複雑だったり、大量の SQL を確認しないといけない場合は、心折れそうになる場合もあります。 BigQuery でも、クエリプランを確認しながら SQL をチュ
Whether they’re building a new product or improving a process or feature, developers and IT leaders need data and insights to make informed decisions. When it comes to software development, this data exists in two ways: unstructured and structured. While structured data follows a specific and predefined format, unstructured data—like email, an audio or visual file, code comment, or commit message—
データベースのER図を最新の状態に保ちつつ、いつでも閲覧できるようにした - SO Technologies 開発者ブログ
こんにちは、CTO室の丸山です。相変わらず某CTOからの無茶振りを捌いております。 今回は、今開発しているSaaSサービスのER図を、なるべく手をかけずに最新状態に保ちながら、いつでも閲覧できるようにするために実践したことをご紹介できればと思います。 前提環境 今回ご紹介する方法は以下の環境下で実現しています。 インフラ: GCP データベース: PostgreSQL データベースのスキーマ管理: sql-migrate CI/CD: Github Actions モチベーション 開発・データ分析を行う上で、データベースのスキーマ構造を俯瞰的に把握するための手段としてER図を書いているのですが、これを最新の状態に保ち続けるのは割と面倒であると常々感じていました。 そこで、Schemaspyを使用してデータベースのスキーマ構造からER図を生成するようにしたものの、以下のような手順をスキーマ構
Amazon S3にマルウェアを発見したらアクセスをブロック 「Malware Protection for Amazon S3」提供開始
この記事は新野淳一氏のブログ「Publickey」に掲載された「Amazon S3にマルウェアを発見したらアクセスをブロック「Malware Protection for Amazon S3」提供開始」（2024年6月17日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、Amazon S3に保存されているオブジェクトをブジェクトへのアクセスをブロックできる新サービス「Malware Protection for Amazon S3 Amazon GuardDuty」の提供開始を発表しました。 AWSには以前から継続的に環境内をモニタリングしてマルウェアを検出するサービスであるGuardDutyが提供されています。 Malware Protection for Amazon S3 Amazon GuardDuty
SQLポケットガイド 第4版
現場で重宝するSQLリファレンス。ソフトウェア開発の現場では、「SQLの構文をすぐに確認したい」「データベースによって異なるSQLの書き方を知りたい」「久しぶりにSQLを使うので簡単に復習したい」といったことがよくあります。本書では、仕事でSQLを利用しているプロの開発者を対象に、主要な5つのデータベース――MySQL、SQL Server、Oracle、PostgreSQL、SQLite――で使われるSQLの構文およびデータベースの基本を簡潔に解説します。PythonやRからSQLを利用する方法も解説しているので、データアナリストやデータサイエンティストなど、開発者以外のSQLユーザーにも有用でしょう。 まえがき 1章 SQL速修講座 1.1 データベースとは何か？ 1.1.1 SQL 1.1.2 NoSQL 1.1.3 データベース管理システム（DBMS） 1.2 SQLクエリーとは何
AWS re:Inforce 2024 が 2024/6/10 - 12 までペンシルベニア州フィラデルフィアで開催されています。AWS re:Inforce はクラウドセキュリティ、コンプライアンスに特化したテクノロジーカンファレンスです。 現地時間 6/11 の基調講演で新しくアナウンスされた内容をメモしています。 AWS Private CA Connector for SCEP の発表 (Preview) SCEP(Simple Certificate Enrollment Protocol) は、モバイルデバイス管理 (MDM) ソリューションで広く採用されているプロトコル Microsoft Intune や Jamf Pro などの MDM ソリューションで AWS Private CA を使用できるように SCEP コネクターは追加料金なしで利用可能 プレビュー期間中はバー
UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion | Google Cloud Blog
UNC5537 Targets Snowflake Customer Instances for Data Theft and Extortion Introduction Through the course of our incident response engagements and threat intelligence collections, Mandiant has identified a threat campaign targeting Snowflake customer database instances with the intent of data theft and extortion. Snowflake is a multi-cloud data warehousing platform used to store and analyze large
Dataformを何回も起動して検証データ作成するということをする際に、シェルスクリプトでサクッと自動化できないかなと思いやってみました。 やりたいこと コンパイル変数をシェルスクリプト内で動的に設定し、コンパイルしてDataformのワークフロー実行 今回は例として、コンパイル変数を受け取りテーブルにInsertするという簡単なDataformワークフローを作成して、そのワークフローに動的にコンパイル変数を渡してワークフローを実行するということをしてみました。 前準備 Dataform側を設定してしまいます。 test.sqlx config { type: "operations" } INSERT INTO `データセットID.shelltest_table` (yyyymmdd_str) VALUES (${dataform.projectConfig.vars.compile_v
Microsoft Build 2024 で .NET Aspire のバージョン 1.0 がリリースされました。 ここでは、その .NET Aspire の説明をしたいと思います。 公式ドキュメントは以下になります。 ここでは公式ドキュメントとはちょっと違った切り口で解説していこうと思います。 .NET Aspire とは .NET Aspire は、複数のサービスで構成されるアプリケーション開発やデプロイを支援するツールやライブラリの集合体です。 ここでいうサービスは自分たちで開発するマイクロサービスのこともあれば、既存のサービスやミドルウェアを指すこともあります。つまり単一の Web アプリが Redis や SQL Server に依存するといったケースでも .NET Aspire の恩恵を受けることが出来ます。 また .NET Aspire はアプリケーション開発フレームワークで
一般に老朽化したメインフレーム上で稼働する多くのアプリケーションは、プログラミング言語「COBOL」で構築されている。メインフレームのレガシーマイグレーション（レガマイ）を実施する際は、COBOLプログラムを別のインフラへ移行するのか、またはエンジニアの多いJavaなどに書き換えるのかを決めなければならない。いわゆる「リホスト」「リライト」「リビルド」の選択だ。 リホストはメインフレームで稼働中のCOBOLプログラムをほぼそのままオープンシステムへ移行する。COBOLプログラムはほぼ変更せずに稼働させることが多く、変更の必要があっても大規模な改修になることは少ない。移行コストを抑えて、メインフレームを使い続けるリスクを回避し、コストを削減することが主目的だ。NTTデータグループの岡田譲二技術革新統括本部システム技術本部ADM技術部ADM担当EGMグループ課長は「脱メインフレームだけを目指す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Doing RAG? Vector search is *not* enough
アプリケーションの動作を担保するテストをどう書くか - JX通信社エンジニアブログ
Unlocking the power of unstructured data with RAG
AWS re:Inforce 2024 Keynote での新発表まとめメモ - Qiita
Dataformワークフローをシェルスクリプトで動かす | DevelopersIO
マイクロサービスを作らない人による .NET Aspire の概要説明（普通に便利）
「JaBOL」だけではないレガマイの難題、データ移行に落とし穴