5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
オープンソースらしくソフトウェアを設計する
This post is also available in the following languages. English, Korean こんにちは、出前館のプロダクトを担当しているヨンジェです。私は10余りのオープンソースプロジェクトをディレクションして開発し、チームで新しいソフトウェアを設計するときは、なるべくオープンソースへの移行可能性を念頭においています。今回の記事では、その過程で主にどのような点を強調しているかについて紹介します。 インターネットで見られるオープンソース関連記事のほとんどは、オープンソースの哲学について話したり、これから始める人向けにREADMEの書き方やライセンスの違いを説明したりするような記事が多いです。今回の記事では、ソフトウェアの構造や構成方法について説明したいと思います。また、オープンソース活動をする上で価値をおくべき部分とネーミングについても触れ
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte
Like a shot to your dome piece, I'm back to hit you with my annual roundup of what happened in the rumble-tumble game of databases. Yes, I used to write this article on the OtterTune blog, but the company is dead (RIP). I'm doing this joint on my professor blog. There is much to cover from the past year, from 10-figure acquisitions, vendors running wild in the streets with license changes, and the
はじめに 「オープンソースに挑戦したいけど、どんなプロジェクトを作ればいいかわからない…」そんな悩みを持っていませんか？ 本記事では、初心者・中級者・上級者・達人 の4つのレベルに分けて、合計 120個のオープンソースプロジェクトアイデア を紹介します。 それぞれのアイデアの詳細については折りたたんであります。興味がある内容については広げてみて機能要件や実装のポイント、拡張機能、学べることを見てみてください！ 自分のスキルレベルに合ったプロジェクトを見つけて、実際に開発に挑戦してみましょう！ 初心者向けプロジェクトアイデア 1. ToDoリストアプリ 概要 ToDoリストアプリは、ユーザーがタスクを追加・編集・削除し、完了状況を管理できるシンプルなアプリです。 初心者でも取り組みやすく、プログラミングの基礎となる CRUD（Create, Read, Update, Delete） の概念
Every System is a Log: Avoiding coordination in distributed applications | Restate
BlogEvery System is a Log: Avoiding coordination in distributed applications Building resilient distributed applications remains a tough challenge. It should be possible to focus almost entirely on the business logic and the complexity inherent to the domain. Instead, you need to review line-by-line and check: “what if the service crashes here?”, “what if the API we call here is temporarily unavai
OpenSearch 3.0 でMCPによるAgentとの連携を行ってみる - Taste of Tech Topics
はじめに こんにちは。データ分析エンジニアの木介です。 今回は、OpenSearch 3.0の最新リリースについての紹介と、新たに対応したMCP（Model Context Protocol）を用い外部リソースとOpenSearchの連携方法について解説していきます。 opensearch.org OpenSearchでのMCPの利用方法は、以下の2つの構成があります。 構成①：OpenSearchからMCPを利用する OpenSearch内でMCPクライアント/サーバーを構築し、ユーザーからの検索内容に応じてMCP経由でリソースを利用する方法。 構成➁：MCPサーバーからOpenSearchを呼び出す ユーザーがMCPクライアントを用意し、OpenSearch内で構築されたMCPサーバー経由でLLMからOpenSearch内のリソースを操作する方法。 はじめに OpenSearch 3.
Introduction⌗ Postgres queue tech is a thing of beauty, but far from mainstream. Its relative obscurity is partially attributable to the cargo cult of “scale”. The scalability cult has decreed that there are several queue technologies with greater “scalability” than Postgres, and for that reason alone, Postgres isn’t suitably scalable for anyone’s queuing needs. The cult of scalability would rathe
Real-world engineering challenges: building Cursor
Cursor is an AI-powered IDE which seems the most loved among engineers. In a survey we ran last year, Cursor was the most common answer to the question “what is your favorite editor with GenAI features that help with your work?”. Anysphere is the startup behind Cursor, founded in 2022, with the first version of Cursor released two years ago, in March 2023. Last week, Anysphere shared they’d raised
Go 1.22リリース連載 net, net/http, net/netip | フューチャー技術ブログ
The Gopher character is based on the Go mascot designed by Renée French TIG 真野です。Go1.22連載の8本目です。 Go 1.22 ライブラリのマイナーアップデートである net, net/http, net/netip を取り上げます。 アップデートサマリ net: TCPConnからUnixConnへのio.Copy() で、Linux’s splice(2)システムコールが使われ性能改善 #58808 net: WindowsでDNSリゾルバは-tags=netgo 付きでビルドすると、DNSクエリの前に%SystemRoot%\System32\drivers\etc\hosts から検索するようになる [#57757]https://github.com/golang/go/issues/57757)
Announcing Agent Payments Protocol (AP2) | Google Cloud Blog
Today, Google announced the Agent Payments Protocol (AP2), an open protocol developed with leading payments and technology companies to securely initiate and transact agent-led payments across platforms. The protocol can be used as an extension of the Agent2Agent (A2A) protocol and Model Context Protocol (MCP). In concert with industry rules and standards, it establishes a payment-agnostic framewo
AWS Open Source Blog Why AWS Supports Valkey Less than a week after Redis Inc. announced it was removing the open source license and pulling out of the Redis project, Redis contributors banded together to move the community to The Linux Foundation as the Valkey project. They did this almost immediately after the license change announcement went live, in response to community outcry on GitHub and o
このエントリはスターフェスティバル株式会社の スターフェスティバル Advent Calendar 2022 16日目記事でもあります。 みなさんは開発する時にどう考えていますか？ 大した内容ではありませんが、今回は開発をする上で 「どう考えて設計して表現していくか」、という永遠の悩みの中で 自分が複雑な物事に立ち向かう時の頭の中を少し書き出してみようと思います。 各カンファレンスなどで話しているものを結合したものではあります。 一緒に仕事をしたりしている方々にはお馴染みの話です 前半くらいは前提の話や分析の思考、 後半はイベント駆動などにおけるメッセージについて という流れになってます。 ちなみに自身はスターフェスティバルではアプリケーション全般の開発には関わっていますが、 主にデータ基盤やデータドリブンなマインドを伝播させていくことや、 データを使った戦略を立てながらのプロダクト作りや
Cover Photo by Alexander Shatov on Unsplash Netflix accounts for about 15% of the world's internet bandwidth traffic, serving over 6 billion hours of content per month to nearly every country in the world. Building a robust, highly scalable, reliable, and efficient backend system is no small engineering feat, but the ambitious team at Netflix has proven that problems exist to be solved. This artic
はじめに 2023年10月5日(木)にTrino / Presto Conference Tokyo 2023 (Online)が開催されました。本記事はイベントにて発表した内容をご紹介します。 社内の監視サーバについて さくらインターネットでは現在社内の各チームでPrometheus, Elastic Stack, Lokiなどの監視基盤を個別に運用しています。この状態では運用負荷が大きいためSRE室でログ基盤を提供することにより、運用の手間を減らすことや運用レベルを底上げしてコスト削減ができるのではないかと検討しています。既存のOSSでの運用も行ってみたものの、マルチテナント提供・ライセンス体系の問題など課題があったことからTrinoとIcebergでの開発を始めました。 Icebergとは Icebergはビッグデータ・データレイクを構築するためのストレージフォーマットです。データの
Tech Solvency: The Story So Far: CVE-2021-44228 (Log4Shell log4j vulnerability).
Log4Shell log4j vulnerability (CVE-2021-44228 / CVE-2021-45046) - cheat-sheet reference guide Last updated: $Date: 2022/02/08 23:26:16 $ UTC - best effort, validate all for your environment/model before use, unofficial sources may be wrong by @TychoTithonus (Royce Williams), standing on the shoulders of many giants Send updates or suggestions (please include category / context / public (or support
It was a wild year for the database industry, with newcomers overtaking the old guard, vendors fighting over benchmark numbers, and eye-popping funding rounds. We also had to say goodbye to some of our database friends through acquisitions, bankruptcies, or retractions. As the end of the year draws near, it’s worth reflecting and taking stock as we move into 2022. Here are some of the highlights a
業務で AWS Glue Schema Registry を使おうとしたけど、やっぱりやめたというお話。 Glue Schema Registry#What’s Schema Registry?#AWS Glue Schema Registry は2020年に発表された AWS の機能だ。 Control the evolution of data streams using the AWS Glue Schema Registry一方、私が最初に schema registry 的なものを見たのは Confluent の例。 Schema Registry の概要 - ConfluentAWS の Glue Schema Registry はこれより後のリリースであり、同等のものの AWS マネージド版といったところだろうか。 schema registry で何ができるかは Confl
The Art of Forking: Unlocking Scalability in Ruby - Closer to Code
Introduction The journey towards efficient parallelization in library development has often been based on using threads. As Karafka celebrates its eighth anniversary, it's become clear that while threads have served us well for many tasks, there's room to explore further. That's why I've decided to introduce forking capabilities into Karafka, aiming to offer another dimension of parallelization to
No matter what ranking system you look at, whether the TIOBE Index, the Popularity of Programming Language Index, RedMonk’s bi-annual language rankings, or GitHub’s yearly State of the Octoverse, Java has been sitting among the top three languages since shortly after its launch in 1995. To listen to the general scuttlebutt of the developer crowd over time, however, you might think that Java was in
TL;DR: A fast, free, and open-source Modern Data Stack (MDS) can now be fully deployed on your laptop or to a single machine using the combination of DuckDB, Meltano, dbt, and Apache Superset. This post is a collaboration with Jacob Matson and cross-posted on dataduel.co. Summary There is a large volume of literature, e.g., 1 and 2, about scaling data pipelines. “Use Kafka! Build a lake house! Don
Application modernization patterns with Apache Kafka, Debezium, and Kubernetes | Red Hat Developer
“We build our computers the way we build our cities—over time, without a plan, on top of ruins.” Ellen Ullman wrote this in 1998, but it applies just as much today to the way we build modern applications; that is, over time, with short-term plans, on top of legacy software. In this article, I will introduce a few patterns and tools that I believe work well for thoughtfully modernizing legacy appli
Me after years using python.Before starting this post, I want to acknowledge that soft and hard skills are equally important. Data people exist to deliver business value, or more broadly read facts from a pool of ever-growing data. But, even with a bunch of posts talking about soft skills, at the end of the day, we're being paid for the technical skills we have, and the ability we have to deliver
Kappa Architecture is Mainstream Replacing Lambda - Kai Waehner
Real-time data beats slow data. That’s true for almost every use case. Nevertheless, enterprise architects build new infrastructures with the Lambda architecture that includes separate batch and real-time layers. This blog post explores why a single real-time pipeline, called Kappa architecture, is the better fit. Real-world examples from companies such as Disney, Shopify, Uber, and Twitter explor
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Databases in 2024: A Year in Review
レベル別で紹介！オープンソースで挑戦できる120のプロジェクトアイデア集 - Qiita
Choose Postgres queue technology
Why AWS Supports Valkey | Amazon Web Services
現状と向き合ってシステムを考える時の頭の中をちょっとだけ - ytake blog
Netflix System Design- Backend Architecture
TrinoとIcebergでログ基盤の構築 | さくらのナレッジ
Databases in 2021: A Year in Review
Glue Schema Registry の導入を断念した話
Don’t call it a comeback: Why Java is still champ
Modern Data Stack in a Box with DuckDB
A non-beginner Data Engineering Roadmap — 2025 Edition