エージェンシー事業でリードデータエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3にログ転送
関数名、メソッド名、変数名でよく使う英単語のまとめ
プログラミングをしていると関数名、メソッド名、変数名をどうするか悩みます。 ロジックより命名に時間を費やすこともざらにあります。翻訳したり、一般的な命名規則なのかいつも検索して大変です。 よく使うサイトの内容をコピってメモしておく 関数名とメソッド名の違いについて よく使う英単語のまえに、いつもごっちゃにして使っているけど、定義はこんな感じ 「関数」と「メソッド」の違い 似ているところ どちらも何か（引数）を入れると処理をして何か（戻り値）を返してくれます。 違うところ やってること自体は大差ありません。概念としては違います。 メソッドはオブジェクト指向で登場する用語で、オブジェクトの動作を定義したものです。 まずオブジェクトありきなのですね。一方の関数は、オブジェクト云々は関係ありません。 個人的な使い分け Java で登場する関数は「メソッド」です。C 言語で登場する関数は「関数」と呼
OpenTelemetryの計装ライブラリ比較 for database/sql - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに CloudPlatform部のpddgです。GoにおけるOpenTelemetryの計装ライブラリ、特にdatabase/sqlパッケージのトレーシングを行うためのライブラリにはデファクトスタンダードと呼べるものがありません。本記事では、いくつかのサードパーティーライブラリの機能を比較しまとめました。採用したライブラリは実際に本番環境のサービスの計装に利用しています。 この内容は、2025年に開催されたサマーインターンシップにおいて、プラットフォーム（自社基盤）コースに参加して頂いた柳田さんにお手伝い頂いてまとめたものです。 実際に採用したライブラリを用いると、わずかなコード追加で以下の様なトレースが取得できるようになります。横棒が各ステップにかかった時間を表し、各ステップごとにその引数やメタデータを表示できます。障害発生時などにはこれらの情報を活用してアプリケーションの内部で実
Ace Your SQL Interview: Top 9 Must-Know Questions and Answers
SQL interview questions, especially if done during a live session, can be challenging; however, knowing in advanced which are the most common ones allows you to organize your thoughts and expose structured answers that will clearly show to your interviewer an high level of preparation. Based on my experience, these are the most common one you can’t miss if you want to increase a chance to ace your
OpenTelemetry 公式の Instrumentation ライブラリを使っていると、Requestsのspanの名前が "GET" だけだったり、 mysqlclient のspanが "SELECT" だけだったりします。 たとえばGrafanaでトレースを見ていると "SELECT" ばかりが何個も並んでいて、一つ一つクリックして attributes の db.statement を確認していかないとどのクエリを実行しているのか分かりません。非常に面倒です。 Flaskのspanであれば "GET /user/<id:int>" のように表示してくれるのに、なぜRequestsのspanの名前はtable名やpathを書いてくれないのでしょうか。それは OpenTelemetry の Semantic conventions でそう推奨されているからです。 HTTP spa
Assessing Claude Mythos Preview’s cybersecurity capabilities April 7, 2026 Nicholas Carlini, Newton Cheng, Keane Lucas, Michael Moore, Milad Nasr, Vinay Prabhushankar, Winnie Xiao Hakeem Angulu, Evyatar Ben Asher, Jackie Bow, Keir Bradwell, Ben Buchanan, David Forsythe, Daniel Freeman, Alex Gaynor, Xinyang Ge, Logan Graham, Kyla Guru, Hasnain Lakhani, Matt McNiece, Mojtaba Mehrara, Renee Nichol, A
The Go Blog Using go fix to modernize Go code Alan Donovan 17 February 2026 The 1.26 release of Go this month includes a completely rewritten go fix subcommand. Go fix uses a suite of algorithms to identify opportunities to improve your code, often by taking advantage of more modern features of the language and library. In this post, we’ll first show you how to use go fix to modernize your Go code
Weird Lexical Syntax
I just learned 42 programming languages this month to build a new syntax highlighter for llamafile. I feel like I'm up to my eyeballs in programming languages right now. Now that it's halloween, I thought I'd share some of the spookiest most surprising syntax I've seen. The languages I decided to support are Ada, Assembly, BASIC, C, C#, C++, COBOL, CSS, D, FORTH, FORTRAN, Go, Haskell, HTML, Java,
Parsing SQL - Strumenta
The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league of HTML: maybe you never learned it formally but you kind of know how to use it. That is great because if you know SQL, you know how to handle data. However
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
Write queries with Gemini assistance | BigQuery | Google Cloud Documentation
Send feedback Stay organized with collections Save and categorize content based on your preferences. Write queries with Gemini assistance This document describes how to use AI-powered assistance in Gemini in BigQuery to help you query your data with SQL queries and Python code. Gemini in BigQuery can generate and explain queries and code, complete queries and code while you type, and fix code erro
⚠️ AWSGoat Module 2 のネタバレあり はじめに AWSGost とは 攻撃方法の分類 インフラの料金 ラボ環境の構築 AWSGost リポジトリをフォーク Actions secrets でクレデンシャルを設定 GitHub Actions でデプロイ Module 2の大体の流れ Step 1. SQL Injection 解法 脆弱性があるコード Step 2. File Upload and Task Metadate リバースシェルの用意 待ち受け側 Step 3. ECS Breakout and Instance Metadata 現ユーザの権限を確認 リソースへのアクセスを試行 ケイパビリティを確認 (www-data ユーザ) コンテナ内でroot権限を取得 sudo可能なコマンドを確認 Vim経由でroot権限のシェルを取得 ケイパビリティを確認 (ro
In 2006 Microsoft conducted a customer survey to find what new features users want in new versions of Microsoft Office. To their surprise, more than 90% of what users asked for already existed, they just didn't know about it. To address the "discoverability" issue, they came up with the "Ribbon UI" that we know from Microsoft Office products today. Office is not unique in this sense. Most of us ar
非同期タスクの実行パラメータをAthenaで検索可能にする 〜障害調査を容易にする実装方法〜 - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、デスクシェルフを買ってからデスク周りがとてもスッキリして大満足しています😏 前回に続いて非同期タスク関連の取り組みを紹介します！ ところで、、、障害が発生したときの調査って大変ですよね？非同期で実行される処理なんかは特に原因の特定が難しいと思っています💦 そこで、今回は障害時の調査用に非同期タスクの実行パラメータを永続化し、Athenaから検索できるようにした仕組みを紹介します。 背景 前回紹介した「非同期タスクのメトリクス収集術」で非同期タスクの状態を確認できるようになりました。しかし、障害時にどんなパラメータで実行されたのかといった詳細な情報まではまだ把握できません。エラーログにしっかりと必要な情報を出力できていれば良いのですが、なかなかそうはなっていないのが現状です、、、。 また、実行パラメータには場合によっては個人
Gaudiy Tech Blog
この記事は#GauDev Advent Calendar 2025の15日目です。 はじめに こんにちは、Gaudiyでエンジニアをしている@mrskiroです。 私が所属するチームでは、新規事業の複数立ち上げに向けてより高速に開発を行える、AIネイティブな開発フローを模索していました。AI駆動開発というキーワードは盛り上がり始めていましたが、コード生成の話が中心で開発プロセス全体をどう回すかのベストプラクティスはまだ見当たりませんでした。 そんな中で出会ったのがAWSの提唱する「AI-DLC（AI-Driven Development Lifecycle）」です。この記事では、AI-DLCを実践したこの3ヶ月間の取り組みについて紹介します。 AI-DLCとは AI-DLC（AI-Driven Development Lifecycle）は、AWSが提唱した開発ライフサイクルの考え方です。
週刊Railsウォッチ: スライド『Rails 7.1をn倍速くした話』、Rails 7.1でMessagePackをサポートほか（20230502）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。RubyKaigi 2023のグルメ情報も出ましたね。 はてなブログに投稿しました #はてなブログ #rubykaigi ☕️Coffeehouse スポンサー & 松本グルメ情報🍴 - ESM アジャイル事業部 開発者ブログhttps://t.co/s0t8wkX6Yi — ESM, Inc. (@rubyagile) April 28, 2023 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日
Today, we’re releasing Instant SQL, a new way to write SQL that updates your result set as you type to expedite query building and debugging – all with zero-latency, no run button required. Instant SQL is now available in MotherDuck and the DuckDB Local UI. We built Instant SQL for a simple reason: writing SQL is still too tedious and slow. Not because of the language itself, but because the way w
Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y
There are many ways to store data in your applications. For example, in Cloudflare Workers applications, we have Workers KV for key-value storage and Durable Objects for real-time, coordinated storage without compromising on consistency. Outside the Cloudflare ecosystem, you can also plug in other tools like NoSQL and graph databases. But sometimes, you want SQL. Indexes allow us to retrieve data
The simplicity of Prolog
Back to homepage Nowadays the most popular programming languages are Python, Javascript, Java, C++, C#, Kotlin and Ruby, and the average programmer is probably familiar with one or more of these languages. It's relatively easy to switch from one to another (barring any framework specific knowledge that may be needed), since they are all imperative (and for the most part object-oriented) languages,
MySQLのバージョン間のいろんな差分を見れる MySQL Parameters というのがあるんだけど、SQL 構文の差分を見れるようにしてみた。 たとえば、8.0 の最初のリリースの 8.0.11 と最後のリリースの 8.0.37 の構文の差分はここから見れる。 https://mysql-params.tmtms.net/statement/?vers=8.0.11,8.0.37 ソースは help コマンドの結果（実際には mysql.help_topic テーブルから取得）。 たとえば ALTER EVENT はこんな感じ: mysql> help alter event; Name: 'ALTER EVENT' Description: Syntax: ALTER [DEFINER = user] EVENT event_name [ON SCHEDULE schedule]
Noble Numbat Release Notes Table of Contents Introduction New features in 24.04 LTS Known Issues Official flavours More information Introduction These release notes for Ubuntu 24.04 LTS (Noble Numbat) provide an overview of the release and document the known issues with Ubuntu and its flavours. For details of the changes applied since 24.04, please see the 24.04.2 change summary. Support lifespan
こんにちは。freeeでWebアプリケーションエンジニアをしている金山（@tkanayama_）です。 普段はいわゆるプレイングマネージャとして、freee人事労務というプロダクトの新機能開発を行っています。ですが今回は、そのメインの業務のかたわらで行った、データベースにまつわる小話を記事にしたいと思います。 モチベーション編: アプリケーション内にどんなデータがあるのか明確にしたい！ 補足: カラムコメント以外の方法の検討 実現方法編1: SQL文の検討 補足: Railsが提供しているAPIを活用する方法の検討 実現方法編2: マイグレーションファイルの作成 実現方法編3: マイグレーションの実行 おわりに モチベーション編: アプリケーション内にどんなデータがあるのか明確にしたい！ freee人事労務のアプリケーションのデータベースは300を超えるテーブルから構成され、そのカラム数を
The In-depth Guide to ActiveRecord load_async in Rails 7 Updated Mar 1, 2022 17 minute read Rails 7 introduces ActiveRecord load_async method that runs SQL queries asynchronously in the background thread. This seemingly simple change of just adding a single new method that takes no arguments has profound implications for database layer interactions. In this tutorial, we’ll deep dive into the intri
Release date: July 9, 2025 Update 1.102.1: The update addresses these issues. Update 1.102.2: The update addresses these issues. Update 1.102.3: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the June 2025 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some
Update 1.64.1: The update addresses these security issues. Update 1.64.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the January 2022 release of Visual Studio Code. There are many updates in this version that we hope you will like, some of the key highlights include: New Side Panel - Display more view
Lil: A Scripting Language
Lil: A Scripting LanguageLil is part of the technology that powers Decker, a multimedia creative tool inspired by HyperCard. Decker uses Lil for adding custom behavior to decks and the widgets within. Lil is designed to be learned in layers, but it is a richly multi-paradigm language which incorporates ideas from imperative, functional, declarative, and vector-oriented languages. on mode a do # li
crawshaw - 2025-06-08
How I program with Agents 2025-06-08 This is the second part of my ongoing self-education in how to adapt my programming experience to a world with computers that talk. The first part, How I program with LLMs, covered ways LLMs can be adapted into our existing tools (basically, autocomplete) and how careful prompting can replace traditional web search. Now I want to talk about the harder, and more
Sketch of a Post-ORM
I’ve been writing a lot of database access code as of late. It’s frustrating that in 2023, my choices are still to either write all of the boilerplate by hand, or hand all database access over to some inscrutable “agile” ORM that will become a crippling liability in the 2-3y timescale. This post is about how I want to use databases, from the perspective of an application server developer—not a DBA
After a few months of research and experimentation with running a heavily DB-dependent Go app, we’ve arrived at the conclusion that sqlc is the figurative Correct Answer when it comes to using Postgres (and probably other databases too) in Go code beyond trivial uses. Let me walk you through how we got there. First, let’s take a broad tour of popular options in Go’s ecosystem: database/sql: Go’s b
I feel like we need a few breakthroughs to drastically change how we develop software. And when I say breakthrough, I mean huge breakthrough. Something like a "structured programming" breakthrough, which completely changed how we think about programming. Here are some observations and ideas about that. Writing glue code and boilerplate is a waste 🔗 Most code I write doesn't do anything interestin
Updated 2024-09-17 to reflect updated PgBouncer support for protocol-level prepared statements 🐘 To start, I want to say that I’m appreciative that PgBouncer exists and the work its open source maintainers put into it. I also love working with PostgreSQL, and I’m thankful for the incredible amount of work and improvements that go into it as well. I also think community and industry enthusiasm aro
Django for Startup Founders: A better software architecture for SaaS startups and consumer apps
In an ideal world, startups would be easy. We'd run our idea by some potential customers, build the product, and then immediately ride that sweet exponential growth curve off into early retirement. Of course it doesn't actually work like that. Not even a little. In real life, even startups that go on to become billion-dollar companies typically go through phases like: Having little or no growth fo
Rill | The Open Table Format Revolution: Why Hyperscalers Are Betting on Managed Iceberg
Wondering why open table formats are suddenly booming? Why is AWS investing heavily in making Iceberg tables on S3, and why did Databricks pay a reported $2B to acquire Tabular? The answers might change how we think about data architecture. Historically, object storage like Amazon S3 or R2 was used as inexpensive, scalable storage for unstructured files, while structured data typically went to dat
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
OTLPのspan nameが情報量少なすぎる件 - methaneのブログ
Claude Mythos Preview \ red.anthropic.com
Using go fix to modernize Go code - The Go Programming Language
Patterns for Building LLM-based Systems & Products
やられAWS環境「AWSGoat」でペンテストを学習 - まったり技術ブログ
Lesser Known PostgreSQL Features
Instant SQL is here: Speedrun ad-hoc queries as you type
What's New in Emacs 28.1?
Making static sites dynamic with Cloudflare D1
MySQL Parameters で SQL 構文の差分を確認できるようにした - tmtms のメモ
Ubuntu 24.04 LTS (Noble Numbat) Release Notes
5,000カラムのコメントを一気に更新したい！ - freee Developers Hub
In-depth Guide to ActiveRecord load_async in Rails 7
June 2025 (version 1.102)
January 2022 (version 1.64)
How We Went All In on sqlc/pgx for Postgres + Go
Programming breakthroughs we need
PgBouncer is useful, important, and fraught with peril