OpenTelemetry+Go 計装サンプル大全 with Cloud Trace ~意外なつまづきポイントを添えて~
はじめに こんにちは。クラウドエース株式会社で主にアプリケーション開発を担当している水野です。 今回は、Go 言語でトレース計装する際のサンプル集をご紹介します。 OpenTelemetry は、アプリケーションのオブザーバビリティを実現するための OSS です。 対象読者 手動計装は、アプリケーションコードを煩雑化してしまう可能性もあるため 「できるだけ最小限な構成で手軽に導入したい」という方もいると思います。 そんな方に すぐ活用できる！ような記事となっています。 使用技術 Golang OpenTelemetry Google Cloud Cloud Trace Cloud Logging Cloud Pub/Sub Cloud SQL 方針 アプリケーション実装は最小限にする（ライブラリの力をできるだけ借りる） 計装箇所 API (incoming, outgoing) http
Recent posts: 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netfl
【今一番話題のAIツール】ノーコードで高度なAIチャットボットを作れる『Dify』を徹底解説《初心者向け操作マニュアル＋制作事例7選付き》｜チャエン | 重要AIニュースを毎日発信⚡️
みなさん、こんにちは。 チャエンです！（自己紹介はこちら） ノーコードツールを過去にいくつか紹介してきましたが、今回のは本当にすごいです。何がすごいのかは、記事で詳しく紹介していきますがとにかく機能が多い。そのためできることの幅が広いのが特徴です。 個人開発に使えるだけでなく、チームでの開発や商用利用などなんでもできます🔥 🎉 Dify Embarks on a New Chapter! Dify's 'AI Workflow' is now available in both cloud and open-source versions. This update has been revamped by enhancing over 100,000 lines of code, and here’s what you can look forward to: 1️⃣ Develop
IntroductionInspired by the cross-functional cooperation promised by DevOps, platform engineering has begun to emerge in enterprises as an explicit form of that cooperation. Platforms curate and present foundational capabilities, frameworks and experiences to facilitate and accelerate the work of internal customers such as application developers, data scientists and information workers. Particular
GitHub - pixie-io/pixie: Instant Kubernetes-Native Application Observability
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Keeping Customers Streaming — The Centralized Site Reliability Practice at Netflix
By Hank Jacobs, Senior Site Reliability Engineer on CORE We’re privileged to be in the business of bringing joy to our customers at Netflix. Whether it’s a compelling new series or an innovative product feature, we strive to provide a best-in-class service that people love and can enjoy anytime, anywhere. A key underpinning to keeping our customers happy and streaming is a strong focus on reliabil
BPFAgent: eBPF for Monitoring at DoorDash - DoorDash Engineering Blog
Patrick RogersPatrick Rogers is a software engineer at DoorDash since early 2019. Initially a member of the merchant integrations and order platform teams, he now works on the Observability team with a focus on leveraging eBPF and distributed tracing data to improve understanding & reliability of DoorDash's distributed systems. Author's Linkedin As DoorDash experienced rapid growth over the last f
eBPF Summit Day One The first day of the eBPF Summit is a wrap and it certainly was an amazing day full of information about eBPF, the technology that is changing the shape of Linux networking, observability, and performance. If you missed the keynote and lightning talks from Day 1 you can watch the replay of the event in its entirety. Individual talks, along with their links, will be made availab
5分でわかる！Kubernetes/CloudNative Topics Cilium Projectから公開！ eBPFを用いてセキュリティの可観測性をもたらすTetragon こんにちは。サイバーエージェントの青山真也（@amsy810）です。 弊社のインフラ組織 CIU（CyberAgent group Infrastructure Unit）では、Kubernetesを用いて、「Kubernetes as a Service基盤」や「ML Platform」を実装・運用しています。そんなチームのメンバーで今月から、KubernetesやCloudNative関連の注目している技術や実際に利用しているプロダクトについて紹介していきます。 第1回目は、2022年初の新春企画で取り上げたeBPF関連のプロダクトでもあるTetragonについて紹介します。 eBPFとは？ eBPFは、カ
The Architecture of a Modern Startup | by Dmitry Kruglov | Nov, 2022 | Better Programming
workflow — all images by authorThe Tech side of startups can sometimes be very fluid and contain a lot of unknowns. What tech stack to use? Which components might be overkill for now but worth keeping an eye on in the future? How to balance the pace of business features development while keeping the quality bar high enough to have a maintainable codebase? Here I want to share our experience buildi
Get more out of Spanner with granular instance sizing | Google Cloud Blog
Cloud Spanner trims entry cost by 90%, offers sharper observability and easier querying Customers love Cloud Spanner because it gives them the benefits of relational semantics and SQL while also delivering the scale and availability of non-relational databases. Many of these customers want to move even more of their work to Spanner, and have requested smaller instance sizes to support development,
GitLab is moving to a three-tier product subscription model
GitLab is phasing out the Bronze/Starter tier Current Bronze/Starter customers have over a year to transition Transition discount offers are available to current customers GitLab Free continues to gain features, with over 450 in the last year GitLab will continue to have SaaS and Self-Managed options for each tier GitLab is phasing out the Bronze and Starter tiers and moving to a three-tier subscr
Meta, Google, Isovalent, Microsoft and Netflix Launch eBPF Foundation as Part of the Linux Foundation - Linux Foundation
4 MIN READ Meta, Google, Isovalent, Microsoft and Netflix Launch eBPF Foundation as Part of the Linux Foundation Maresa Fowler | 12 August 2021 Industry leaders come together to drive the growth of eBPF as a transformational technology to redefine networking, security, tracing and observability SAN FRANCISCO, August 12, 2021 – The Linux Foundation, the nonprofit organization enabling mass innovati
なぜ Mackerel は OpenTelemetry のラベル付きメトリックをサポートするのか - Mackerel ブログ #mackerelio
現在 Mackerel では、ラベル付きメトリックに対応するための開発を進めています。ラベル付きメトリックは、OpenTelemetry の仕様に準拠した Mackerel の新しい機能の名称であり、クエリを引く際には PromQL を使用できるといった特徴があります。 本日、この「ラベル付きメトリック機能」ベータ版テストの参加募集を開始します。詳細については後述いたしますので、まずはこの機能の背景についてご一読いただければと思います。 OpenTelemetry とは、メトリック・ログ・トレースなどのテレメトリーデータを収集し、任意のバックエンドへエクスポートすることを目指して標準規格を定めたオープンソースのプロジェクトです。詳しくは OpenTelemetry のドキュメントをご覧ください。 opentelemetry.io ホストやサービスのメトリックを収集するために、Mackere
TOPBOTS The Best of Applied Artificial Intelligence, Machine Learning, Automation, Bots, Chatbots Despite the challenges of 2020, the AI research community produced a number of meaningful technical breakthroughs. GPT-3 by OpenAI may be the most famous, but there are definitely many other research papers worth your attention. For example, teams from Google introduced a revolutionary chatbot, Meena,
はてなのサーバー監視サービス「Mackerel」、分散トレーシングを可能にする「Vaxila」の機能提供を開始 - プレスリリース - 株式会社はてな
株式会社はてな（代表取締役社長：栗栖義臣／本社所在地：京都市中京区）は、サーバー監視サービス「Mackerel」において、当社が2024年6月に事業譲受した監視プラットフォームサービス「Vaxila」とのサービス統合に向けた取り組みとして、「Vaxila」による分散トレーシングを可能にする「トレース」機能の提供を開始したことをお知らせします。本日2024年8月26日より、「Mackerel」のユーザーはどなたでも「Vaxila」をご利用いただけます。 「Mackerel」では、このたびの「Vaxila」の機能提供や2024年11月1日にリリースする「OpenTelemetry対応機能」のほか、従来型の「リソース監視」のためのサービスから、複雑化するシステムに対応できる「オブザーバビリティ」向上に貢献するサービスに進化するための、さまざまな機能リリースを予定しています。 サービスとしての進化
サービスメッシュとは なんのために？なにを解決する？: サービスメッシュは、大規模な組織でのマイクロサービスの適用によって顕在する開発・運用上の問題に対処するためのツールです: オブザーバビリティ: システム全体がネットワークをまたいでしまい複雑になり開発時のトラブルシューティング・運用時の障害解決までの時間が増加する問題 障害分離: 分散ネットワークでのベストプラクティスであるリトライやタイムアウト等の実装が必要な問題 セキュリティ: ネットワーク通信増加によるセキュリティリスクの増加。アプリケーション間の通信のアクセス管理の問題。 この3領域の問題に対処するために導入・利用されます。 ネットワーク通信に関わる問題への対処をアプリケーションから切り離してインフラ層で実装するため、プロダクト開発者はよりプロダクト開発に集中でき、またシステム全体で一貫性のある実装・設定を維持しやすいため運用
AWS Fargate, a serverless compute engine for containers, launches new platform version 1.4.0. This latest version enables several new Fargate features of which some are highlighted below. Unless otherwise noted, the new features discussed in this post are relevant to the native Fargate platform and are directly consumable by the Amazon Elastic Container Service (ECS) orchestrator. Fargate tasks no
If you’ve embarked on your site reliability engineering (SRE) journey, you’ve likely started using service-level objectives (SLOs) to bring customer-focused metrics into your monitoring, perhaps even utilizing Service Monitoring as discussed in “Setting SLOs: a step-by-step guide.” Once you're able to decrease your alert volume, your oncallers are experiencing less operational overhead and are foc
Sentry Profiling now supports Browser Javascript, React Native, and Ruby
Sentry Profiling now supports Browser Javascript, React Native, and Ruby Profiling is an essential component of a developer’s toolkit for identifying and addressing the thorniest performance bottlenecks. Whether you’re a backend developer looking to cut down cloud infrastructure costs, a frontend developer trying to speed up page load times, or a mobile app developer working to ensure smooth scrol
Author: Bill Mulligan - Isovalent Today the eBPF community is excited to announce the launch of the next version of eBPF, excelBPF™. Excel is the most widely used programming language in the world and underpins the functioning of many of the most critical institutions in the world. Bringing power of BPF to spreadsheets will enable millions of people to leverage this production proven technology, m
Making eBPF work on Windows - Microsoft Open Source Blog
eBPF is a well-known but revolutionary technology—providing programmability, extensibility, and agility. eBPF has been applied to use cases such as denial-of-service protection and observability. Over time, a significant ecosystem of tools, products, and experience has been built up around eBPF. Although support for eBPF was first implemented in the Linux kernel, there has been increasing interest
こんにちは、電通国際情報サービス デジタルイノベーション1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フローについて Fluent Bit設計前の準備 データパイプラインの理解 データの構造化について まとめ Fluent Bitについて FluentBitは、データ（メトリクス、ログ、それ以外の生情報など）をInput情報として収集し、加工処理したうえで任意の転送先に転送します。 クラウドサービスプロバイダを利用するうえでは、既に「システム」から「サービス」に転送する仕組みを用意していることが多い
ML Education at Uber: Frameworks Inspired by Engineering Principles
You’re seeing information for Poland . To see local features and services for another location, select a different city. Show more Introduction At Uber, millions of machine learning (ML) predictions are made every second, and hundreds of applied scientists, engineers, product managers, and researchers work on ML solutions daily. Uber wins by scaling machine learning. We recognize org-wide that a p
Awesome AWS Workshops¶ (Unofficial) Curated list of awesome workshops found around in the internet. As we all have been there, finding that workshop that you have just attended shouldn't be hard. The idea is to provide an easy central repository, in a collaborative way. Contributing¶ Your contributions are always welcome! Please take a look at the contribution guidelines first. We will keep pull r
Backend developer, productivity fan, likes the JVM, full text search, distributed databases & systems TLDR; Before joining Elastic my previous job was running a product search engine at a small b2b market place. I learned quite a few things, and especially, what I would do differently nowadays, given that search engines have evolved a lot in the last decade. This is the written form of a presentat
In this blog post, we will walk you through the reliability model of services running in our more than 200 edge cities worldwide. Then, we will go over how deploying a new dynamic task scheduling system, HashiCorp Nomad, helped us improve the availability of services in each of those data centers, covering how we deployed Nomad and the challenges we overcame along the way. Finally, we will show yo
Prometheusを超える？ VictoriaMetricsの魅力とは - RAKUS Developers Blog | ラクス エンジニアブログ
顔の濃さが唯一のアイデンティティのインフラエンジニア、m_yamaです。15カ月ぶり2度目の登場です。 去年、ラクスで先行技術検証を行っている「技術推進プロジェクト」で取り組んだ「スケーラブルな監視システム」について、1年たっぷり寝かせた熟成リリースとなります。お目汚し失礼いたします。 VictoriaMetricsとは？ VictoriaMetricsのメリット・デメリット VictoriaMetricsのメリット VictoriaMetricsのデメリット VictoriaMetricsの導入方法 1. VictoriaMetricsの構築 2. 監視対象にexporterをインストール 3. vmagentのセットアップ VictoriaMetricsの活用事例 コロプラ(colopl)の場合 Adidasの場合 CyberAgentの場合 VictoriaMetricsでログは見れ
Improving Distributed Caching Performance and Efficiency at Pinterest
IntroductionPinterest’s distributed caching system, built on top of open source technologies memcached and mcrouter, is a critical component of the production infrastructure stack. Pinterest’s cache-as-a-service platform is responsible for driving down application latency across the board, reducing the overall cloud cost footprint, and ensuring adherence to strict sitewide availability targets. To
GitHub - Dataherald/dataherald: Interact with your SQL database, Natural Language to SQL using LLMs
Query your relational data in natural language. | | Docs | Homepage Dataherald is a natural language-to-SQL engine built for enterprise-level question answering over relational data. It allows you to set up an API from your database that can answer questions in plain English. You can use Dataherald to: Allow business users to get insights from the data warehouse without going through a data analys
Home Home Guides Data types Tools Curated recipes FAQ Contributors What is observability¶ What it is¶ Observability is the capability to continuously generate and discover actionable insights based on signals from the system under observation. In other words, observability allows users to understand a system’s state from its external output and take (corrective) action. Problem it addresses¶ Compu
＼非公式／ Go Conference 2022 Spring スポンサー企業4社 アフタートークに2名登壇しました - BASEプロダクトチームブログ
2022/4/28(木)にオンラインで開催された「＼非公式／ Go Conference 2022 Spring スポンサー企業4社 アフタートーク」にBASEからも2名が登壇しました。 andpad.connpass.com イベントについて 今回登壇させていただいたイベントは先日開催された「Go Conference 2022 Spring」にスポンサーとして協賛していた4社で行われたイベントです。主催のANDPADさまお誘いありがとうございました。 gocon.jp 当日は弊社含めて次の4社（敬称略）のGopherの発表とパネルディスカッションが行われました。 株式会社Showcase Gig BASE株式会社 株式会社LayerX 株式会社ANDPAD （順番は当日の発表順） 当日のTwitterハッシュタグは#gocon2022_4sponsorでした。 BASEとGo Conf
Migrating from AWS App Mesh to Amazon ECS Service Connect | Amazon Web Services
Containers Migrating from AWS App Mesh to Amazon ECS Service Connect After careful consideration, we have made the decision to discontinue AWS App Mesh, effective September 30th, 2026. Until this date, existing AWS App Mesh customers will be able to use the service as normal, including creating new resources and onboarding new accounts via the AWS CLI and AWS CloudFormation. Additionally, AWS will
自分は技術書やビジネス書は基本デジタルで購入していますが、オライリーや技術評論社、翔泳社であればPDFを購入、その他の出版社であればKindleで購入というのが多かったです。 1、2年前にオライリーによる読み放題サービスO'Reilly Online Learning(旧Safari Books Online)が後述するACM経由なら安価で利用できることを知り、使い始めました。 結果的に前述の出版社（特にオライリー）から本を買うことが減り節約になっている他、使い勝手も中々優れていて今も継続して利用しています。 この記事では簡単にサービスのポイントと機能について紹介させていただきます。 興味を持たれた方は以下のページより10日間の無料トライアル申し込みが可能ですので、ぜひお試しください。 （前提）基本英語のみ。少しだけ日本語の本も オライリーの米国本社が提供するサービスという事もあり基本的に
Poor Disk Performance
Recent posts: 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netfl
Ciliumのkube-proxy置き換えをGKEで試してみた | GRIPHONE ENGINEER'S BLOG
SREの徳田です。 今回はCiliumのv1.7からGAになったKubernetes without kube-proxyのタイトルで出てる、Ciliumによるkube-proxyの置き換えの機能をGKE上で試してみようと思います。 Ciliumとは こちら の記事の後半を見てみると若干書いてあります😌 要はBPFを使いこなし、Blazing Performanceで処理するぞ💪というProductです。 概要についてはこの記事からそれるのでリンクだけおいておきます。 https://cilium.io/ クラスタの準備 それではGKEのクラスタの準備をしましょう。 google-cloud-sdk とGCPに対しての認証とプロジェクトの指定は終わらせているものとします。 CLUSTER_NAME=cilium-cluster CLUSTER_ZONE=asia-northeast1-
Cursor Directory
Python8TypeScript7React6Next.js4React Native4Vite3C#3Meta-Prompt3Expo3JavaScript2FastAPI2Unity2Game Development2API2Function2Tailwind2Astro1Viem v21Wagmi v21Standard.js1SwiftUI1Swift1Laravel1PHP1Ruby1Rails1Microservices1Serverless1Flask1Django1Web Development1Vue.js1Node.js1Critique1Reflection1Trajectory Analysis1WebShop1Acting1Tailwind CSS1three.js1React three fiber1Julia1DataScience1Data Analyst
Source maps in Node.js
Contributed by Benjamin Coe, who works on JavaScript client libraries at Google, is a collaborator on Node.js, and was the third engineer at npm, Inc. Photo by Soloman Soh from PexelsOf the 21,717 respondents to the 2019 State of JavaScript Survey, ~60% said that they spend time working in an alternate flavor of JavaScript, this is up from ~21% in 2016. Increasingly, when someone writes JavaScript
監視からオブザーバビリティへ
概要 先日弊社の監視運用をMackerelからDatadogへ切り替えました。その時監視だけでなく、OpenSearchによるログ集約運用も見直しそちらもDatadogにまとめました。 Datadogは前の会社でも使っていましたが、すでに導入済みで特に私自身使う機会がなかったので今回の導入に向けて色々とDatadogの導入方法や監視そのものの運用について色々と調べてみました。 そのなかでオブザーバビリティという用語が気になりましたので、私が調べて感じた事、AWSで実践できるワークショップの紹介も兼ねて紹介いたします。 オブザーバビリティとは 日本語訳では可観測性とも紹介され観察する能力という意味合いになります。何を観察するか。エンジニアがシステムやプロダクトをリリースした後の運用でログの取得やCPU使用率、パフォーマンスデータの確認など多くの指標を取得すると思います。 これらを取得する目的
2022/02/17(木)、18(金)で開催されたデブサミ2022に関する、現時点で公開資料とTwitter アカウントリンクをまとめました。 よろしければご活用ください。 はじめに 登壇者名は敬称略させていただいています。 スライドについては、ご本人がツイートで展開されていたり、スライドサービスにアップロードされているものを記載。 Twitter アカウントについては、多くの方はデブサミ公式サイトの紹介ページに記載 or 資料記載がありましたので、そちらから引用させていただきました。 そちらに記載がなかった方については、別途分かった方のみ記載。 資料について、見つけられなかった or 元々資料を使用していない 方についてはレポート記事を見つけられた方のみ、そのリンクを記載しています。 （ご本人の記事の場合は、本人記事という表記） リンクの間違い等ありましたらコメントいただけると助かります
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CPU Utilization is Wrong
CNCF Platforms White Paper
eBPF Summit Day 1 Recap
Cilium Projectから公開！ eBPFを用いてセキュリティの可観測性をもたらすTetragon | gihyo.jp
2020’s Top AI & Machine Learning Research Papers
AWS App MeshとIstioの比較 - クリエーションライン株式会社
AWS Fargate launches Platform Version 1.4
Setting SLOs for services -- SRE | Google Cloud Blog
Announcing eBPF 2.0: excelBPF™
Fluent Bitを利用したログルーティング - 入門編 - 電通総研 テックブログ
Awesome AWS Workshops - Build On!
Implementing a modern E-Commerce Search
How we use HashiCorp Nomad
AWS Observability Best Practices
オライリーによる読み放題サービスO'Reilly Online Learningの活用
Developers Summit 2022 公開資料・Twitterリンクまとめ