週刊Railsウォッチ: form_withのmodelオプションへのnil渡しが非推奨化、Dockerfileでjemallocが有効にほか（20240221前編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。 情報IIの教科書、普通にscikit-learnで機械学習してるし、クラスタリングしてるし、SQLite3でRDBMSしているし、やばいんですよ https://t.co/AQ9oXPHVU5 pic.twitter.com/XsDutAhLC8 — ところてん (@tokoroten) February 14, 2024 面白いからみんなも斜め読みするといいよhttps://t.co/x2fuiVwBXH — nishio hirokazu (@nishio) February 15, 2024 つっつきボイス:「そういえば高校の情報IIは選択科目だったかな」「情報Iが必須でしたっけ」「国公立大学入試も最近は共通テストって言うみたいですね」「いろいろ変わってきているな〜」「教えられる先生どのぐらいいるのか心配...」 令和４年度より、新しい高等学校学
[アップデート]Amazon CloudWatch Metric Streamのコンソールで、New Relicなどの製品に対して、データ連携可能なクイックセットアップがサポートされました | DevelopersIO
[アップデート]Amazon CloudWatch Metric Streamのコンソールで、New Relicなどの製品に対して、データ連携可能なクイックセットアップがサポートされました はじめに Amazon CloudWatch Metric Streamのコンソール上で、５つのサードパーティ製品を対象に、メトリクスを送信するクイックセットアップがサポートされました。 CloudWatch Metric Streamのコンソール上で、「サードパーティ製品」「宛先のURL」「APIキー」を指定すると連携が可能です。 セットアップすると、Kinesis Data FirehoseやS3バケット、IAM ロールが自動作成されます。 対象の製品は以下の５つです。 Datadog Dynatrace New Relic Splunk Observability Cloud SumoLogic
![[アップデート]Amazon CloudWatch Metric Streamのコンソールで、New Relicなどの製品に対して、データ連携可能なクイックセットアップがサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
How Netflix Really Uses Java
Transcript Bakker: I'm going to talk about how Netflix is really using Java. You probably know that Netflix is really just about RxJava microservices, with Hystrix and Spring Cloud. Really, Chaos Monkeys are just running the show. I'm only half getting here because a few years ago, this was actually mostly true, maybe except the Chaos Monkeys. This stack was something that we were building on in t
Road to SRE NEXT@福岡に参加してきたのと、LT発表しました #srenext - stefafafan の fa は3つです
Mackerel Drink Up 出張版＠福岡に参加してきた #mackerelio - stefafafan の fa は3つです に続いて、翌日福岡で開催されたRoad to SRE NEXT@福岡に参加しました。 sre-lounge.connpass.com Road to SRE NEXT とは？ 元々SRE NEXTという東京で開催されている大きめのイベントがありますが（自分はまだ参加したことはありません）、東京にとどまらず地方のSREコミュニティも活性化したいというものだそうです。 blog.sre-next.dev 「Road to SRE NEXT」は、SREの普及とコミュニティの活性化を目的としたイベントシリーズです。このイベントは、SRE NEXT 2024の運営メンバーによって計画されています。イベントの主な目的は、地方におけるSREコミュニティの発掘と支援、SR
New Amazon CloudWatch log class for infrequent access logs at a reduced price | Amazon Web Services
AWS News Blog New Amazon CloudWatch log class for infrequent access logs at a reduced price Amazon CloudWatch Logs announces today a new log class called Infrequent Access. This new log class offers a tailored set of capabilities at a lower cost for infrequently accessed logs, enabling customers to consolidate all their logs in one place in a cost-effective manner. As customers’ applications conti
2024 年 1 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 | Amazon Web Services
Amazon Web Services ブログ 2024 年 1 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 2024 年 1 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。 動画はオンデマンドでご視聴いただけます。 また、過去の AWS Black Belt オンラインセミナーの資料及び動画は「AWS サービス別資料集」に一覧がございます。 YouTube の再生リストは「AWS Black Belt Online Seminar の Playlist」をご覧ください。 AWS SAW – セルフサービスなトラブルシューティングと運用の自動化 Amazon Elastic Kubernetes Service(Amazon EKS) 編 AWS SAW(AWS Support Automat
Best practices for scaling AWS CDK adoption within your organization | Amazon Web Services
AWS DevOps Blog Best practices for scaling AWS CDK adoption within your organization Enterprises are constantly seeking ways to accelerate their journey to the cloud. Infrastructure as code (IaC) is crucial for automating and managing cloud resources efficiently. The AWS Cloud Development Kit (AWS CDK) lets you define your cloud infrastructure as code in your favorite programming language and depl
The ability to record and see everything happening across your web applications is essential when building resilient and highly available systems. All of your events—from application logs to errors to user behavior—contain data that could be useful to you and your team. When you have a central place to access all this information, finding issues and their root causes becomes easier because you hav
クラウドネイティブ環境においてセキュリティを確保するための包括的なアプローチとして、GartnerはCNAPP(Cloud Native Application Protection Platforms)を提唱しました。本稿では、クラウドネイティブセキュリティ対策として多くの機能を兼ね備えたCNAPPについての近年の動向をお伝えしていきます。 はじめに 皆さん、SANS[i]はご存知でしょうか。SANSは情報セキュリティ分野に特化した世界トップレベルのセキュリティ研究・教育機関で、ニュースダイジェストや脆弱性情報の発信、トレーニングコースの提供などを世界各国で行っています。このSANSがクラウドセキュリティに関するホワイトペーパーとして、「Cloud Security Foundations, Frameworks, and Beyond」[ii]を2023年8月にリリースしています。 2
AWS Well-Architected Framework がアップデート(2024年6月27日)されたので変更点を Well-Architected Tool で比較してみた | DevelopersIO
AWS Well-Architected Framework がアップデート(2024年6月27日)されたので変更点を Well-Architected Tool で比較してみた いわさです。 定期的にアップデートされる AWS Well-Architected Framework ですが、今朝直近のアップデートのアナウンスがされました。 前回変更されたのは 2023 年 10 月 3 日です。今回のアップデートは 2024 年 6 月 27 日版となります。 アナウンスによると、変更点として次のように記載されています。 The Framework updates provide more recommendations for AWS services, observability, generative AI, and operating models. We also refresh
Announcing updates to the AWS Well-Architected Framework guidance | Amazon Web Services
AWS Architecture Blog Announcing updates to the AWS Well-Architected Framework guidance We are excited to announce the availability of an enhanced AWS Well-Architected Framework. In this update, you’ll find expanded guidance across all six pillars of the Framework: Operational Excellence, Security, Reliability, Performance Efficiency, Cost Optimization, and Sustainability. In this release, we upda
Open sourcing Pingora: our Rust framework for building programmable network services
Open sourcing Pingora: our Rust framework for building programmable network services02/28/2024 Today, we are proud to open source Pingora, the Rust framework we have been using to build services that power a significant portion of the traffic on Cloudflare. Pingora is released under the Apache License version 2.0. As mentioned in our previous blog post, Pingora is a Rust async multithreaded framew
Browser Rendering API GA, rolling out Cloudflare Snippets, SWR, and bringing Workers for Platforms to all users
Browser Rendering API GA, rolling out Cloudflare Snippets, SWR, and bringing Workers for Platforms to all users04/05/2024 This post is also available in 简体中文, 繁體中文, 日本語, 한국어, Deutsch, Français and Español. Browser Rendering API is now available to all paid Workers customers with improved session managementIn May 2023, we announced the open beta program for the Browser Rendering API. Browser Render
NTTドコモにおける Leminoの大規模ライブ配信を支えるアーキテクチャ（第一回） | Amazon Web Services
Amazon Web Services ブログ NTTドコモにおける Leminoの大規模ライブ配信を支えるアーキテクチャ（第一回） 本稿では株式会社NTTドコモ（以下、docomo）において、映像配信サービス『Lemino』の開始にあわせて配信基盤を再構築し、同時視聴ユーザが数百万規模のライブ配信を実現した取り組みについて、全4回に分けてご紹介します。この取り組みについて概要をご覧になりたい方は導入事例ページもご覧ください。 第一回 適切なデータストアの選定とアーキテクチャの見直し 1.はじめに docomoの『Lemino』は、2015 年から提供していた『dTV』をリニューアルする形で誕生した映像配信サービスです。 既存システムにとらわれず、新機能を素早く提供するとともに大規模なライブ配信を実現するために、データストアを改めて選定し、全てのアーキテクチャを見直しました。 dTV では
envoyにおける分散トレーシングの導入でオブザーバビリティを向上させた話 - freee Developers Hub
はじめまして、2023/6からfreeeのEnabling SREチームに所属している大木竜勝(ryu)です。 この記事はfreee Developers Advent Calendar 2023 - Adventar 3日目です。 この記事ではenvoyの分散トレーシングを用いてオブザーバビリティの向上を実現した取り組みについての記事になります。 背景 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) クラスタ上にアプリケーションが載っておりその構成としてはenvoyが前段に存在し、後段に各アプリケーションPodが存在する構成となっています。 freeeにおける基本的なPod構成 上記の構成においてクラスタの単位はfreee会計やfreee人事労務といったプロダクト毎にクラスタが分かれている構成となっていま
An easy look at Grafana architecture Delve into Grafana's architecture in this article, where I strive to simplify complex concepts. Explore the components that make up Grafana and gain a clear understanding of how they work together to create a seamless monitoring and visualization experience. What is Grafana? Grafana is an open-source platform for monitoring and observability, designed to visual
この記事は Go Advent Calendar 2023 7 日目の記事です。 こんにちは。ARIGATOBANK バックエンドエンジニアの富樫です。 私たちのチームでは、バックエンドシステムのすべてを Go 言語で構築しています。これまでロギングライブラリとして主に zap を利用してきましたが、最近 Go 1.21 で追加された log/slog を本番環境の一部サービスで利用し始めました。 この記事では、log/slog を開発や本番環境へ投入するにあたってカスタマイズした実装の詳細について共有します。 log/slog とはGo 1.21 で標準ライブラリに加わった log/slog は、構造化ロギングをサポートするログパッケージです。 slog package — log/slog — Go Packages 基本的な使い方はこんな感じです。 package main impo
Over the past few months, I have been thinking a lot about workflows to automatically and dynamically improve LLM applications using production data. This stems from our research on validating data quality in LLM pipelines and applications—which is starting to be productionized in both vertical AI applications and LLMOps companies. (I am always very thankful to the teams in industry who find my wo
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
お手伝いの@helloyukiです。最近tokioの提供するtracingに関していろいろ調べごとをしました。こうしたクレートを十分に使いこなすにはどうすればいいかを考える上で、自分なりに考えがまとまってきたので記事にしたいと思います。 なお、筆者はRust以外のプログラミング言語でのオブザーバビリティ関連の事項についてはまったくわかりません。Rust以外の事情は考慮しない記事となっている点にご注意ください。 目次 tracingとは オブザーバビリティ、テレメトリ、構造化ログ オブザーバビリティ テレメトリ 構造化ログ tracingを使う 核となる概念を掴む スパン、イベント、サブスクライバを使ってみる 実際のWebアプリケーションで使用する Tips フィールドの設定 構造化ログと非構造化ログの切り替え まとめ 参考 tracingとは tracing is a framework
OpenSearch Expands Leadership Beyond AWS | Amazon Web Services
AWS Open Source Blog OpenSearch Expands Leadership Beyond AWS The OpenSearch project has achieved another milestone, launching the inaugural OpenSearch Leadership Committee, in December 2023. The committee is another step toward open governance in which a broad community of users, contributors, and committers is included in a publicly visible and accessible process that determines an open source p
LLMに新たな知識を習得させる方法は3種類あります。LLM全体の再学習、LLM一部の再学習、Promptに情報を埋め込むになります。今回はPromptに情報を埋め込む、RAGについて解説します。 ライター：荒牧 大樹 2007年ネットワンシステムズ入社し、コラボレーション・クラウド製品の担当を経て現在はAI・データ分析製品と技術の推進に従事。最近では次世代の計算環境であるGPU・FPGA・量子コンピュータに注目している。 【更新日】2023/11/8 はじめに Chat-GPTに代表される、LLMに最新の情報やクローズド情報を返してほしい場合に、取りうる手段が3種類あります。 LLM全体の再学習 新規データを加えたデータセットでLLMをゼロから再学習します。コストは膨大となります。 LLMの一部の再学習 Fine Tuningと呼ばれる手法で、LLMの一部を新規データで再学習します。1.の
EngineeringMeasuring Git performance with OpenTelemetryUse our new open source Trace2 receiver component and OpenTelemetry to capture and visualize telemetry from your Git commands. When I think about large codebases, the repositories for Microsoft Windows and Office are top of mind. When Microsoft began migrating these codebases to Git in 2017, they contained 3.5M files and a full clone was more
Evaluate the reliability of Retrieval Augmented Generation applications using Amazon Bedrock | Amazon Web Services
AWS Machine Learning Blog Evaluate the reliability of Retrieval Augmented Generation applications using Amazon Bedrock Retrieval Augmented Generation (RAG) is a technique that enhances large language models (LLMs) by incorporating external knowledge sources. It allows LLMs to reference authoritative knowledge bases or internal repositories before generating responses, producing output tailored to
Sometimes debuggers and profilers are obviously broken, sometimes it's subtle and hard to spot. From my flame graphs page: (Click for original SVG.) This is pretty common and usually goes unnoticed as the flame graph looks ok at first glance. But there are 15% of samples on the left, above "[unknown]", that are in the wrong place and missing frames. The problem is that this system has a default li
AWS FireLensでECSコンテナのログをS3とCloudWatch logsに出力する - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 18日目の記事②です。 🎄 17日目 ▶▶ 18日目記事① ▶▶ 本記事 ▶▶ 19日目 🎅 こんにちは。梅原です。 ECSコンテナのログは通常CloudWatch logsに出力されます。長期保管用としてS3にも出力したいといったこともあると思います。複数サービスへ出力したいときに使うのがログドライバーの1つであるAWS FireLensです。 今回はnginxのログをAWS FireLensを使ってS3とCloudWatch logsにログを出力してみます。 fluent bitのロゴはhttps://github.com/fluent/fluent-bit/blob/master/fluentbit_logo.pngより引用 ECSコンテナのログについて AWS FireLensとは AWS FireLensを使うときの方法
Next.js 14.1
module.exports = { cacheHandler: require.resolve('./cache-handler.js'), cacheMaxMemorySize: 0, // disable default in-memory caching }; Using this configuration when self-hosting is important when using container orchestration platforms like Kubernetes, where each pod will have a copy of the cache. Using a custom cache handler will allow you to ensure consistency across all pods hosting your Next.j
GitHub - streamdal/streamdal: Client-side observability using Wasm
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
Project announcement by OpenTelemetry maintainers In 2023, OpenTelemetry announced that it achieved stability for logs, metrics, and traces. While this was our initial goal at the formation of the project, fulfilling our vision of enabling built-in observability for cloud native applications requires us to continue evolving with the community. This year, we’re proud to announce that exactly two ye
OpenTofu正式リリース！GCPやレガシーコード改善も｜Productivity Weekly (2024-01-17号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-01-17 単独号です。 今回が第 139 回目です。過去の記事はこちら。 news 📺 OpenTofu Announces General Availability HashiCorp 社のプロダクト Terraform をフォークした OSS、OpenTofu がついに正式リリースされました 🎉 半年前に HashiCorp が Terraform などの主要 OSS プロダ
Links Python ExamplesJS ExamplesYouTubeLast week we highlighted LangGraph - a new package (available in both Python and JS) to better enable creation of LLM workflows containing cycles, which are a critical component of most agent runtimes. As a part of the launch, we highlighted two simple runtimes: one that is the equivalent of the AgentExecutor in langchain, and a second that was a version of t
Introduction eBPFは、Linuxカーネル対して動的に機能を拡張する技術で、 カーネルで独自のプログラムを安全に実行することができます。 これらのプログラムは任意のポイントに設定可能で、さまざまなタイミングで 実行できます。 eBPFは、カーネル再構築なしでカーネルの動作をカスタマイズすることができるため、 近年いろいろな用途に使われています。 今回はBCC/bpftoolで少しeBPFを使ってみた後、 Aya(eBPF用Rustフレームワーク）を使ってXDPのサンプルをつくってみます。 eBPF? eBPFはExtended Berkeley Packet Filterの略で、 もともとはLinuxでデータパケットを効率的にフィルタリングするために 開発された技術ですが、現在はその機能が拡張されて、 カーネルのコード変更やモジュール追加なしで 独自のプログラムをカーネルで実
![[Rust] AyaでeBPFプログラムをつくってみる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/439e3d5c33b146a7b0364ddf311293b0d9ff13f3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_eBPF.png)
AWS Graviton4 is the most powerful and energy-efficient AWS processor to date for a broad range of cloud workloads AWS Trainium2 will power the highest performance compute on AWS for training foundation models faster and at a lower cost, while using less energy Anthropic, Databricks, Datadog, Epic, Honeycomb, and SAP among customers using new AWS-designed chips LAS VEGAS--(BUSINESS WIRE)-- At AWS
本記事執筆時点のopentelemetry-go-instrumentationはWork in Progress(v0.8.0-alpha)となっています。その後大きく変わっている可能性にご注意を。 自動計装とは？OpenTelemetryを中心とした分散トレーシングでは、Contextを伝播したりMetrics, Logs, Tracesを出力したりするための計装(Instrumentation)をアプリケーションに施す必要があります。この作業はアプリケーションに手を加える必要があり手間です。そこで計装を自動化する、つまりアプリケーションのコードに手を加えずに実現する方法がJavaなどで実現されています1。 しかしGoはJavaやPythonなどとは違って、マシンコードにネイティブにコンパイルされます。そのため実行時にコードを追加することができません。少なくとも自分はGoでの自動計装は
Cloudflare acquires Baselime to expand serverless application observability capabilities
Cloudflare acquires Baselime to expand serverless application observability capabilities04/05/2024 Today, we’re thrilled to announce that Cloudflare has acquired Baselime. The cloud is changing. Just a few years ago, serverless functions were revolutionary. Today, entire applications are built on serverless architectures, from compute to databases, storage, queues, etc. — with Cloudflare leading t
Applied LLMs - What We’ve Learned From A Year of Building with LLMs
A practical guide to building successful LLM products, covering the tactical, operational, and strategic. Also published on O’Reilly Media in three parts: Tactical, Operational, Strategic. Also see podcast. It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. And they’re getting better and cheaper every ye
MLOps roadmap 2024
The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap
Tracing Tenant Activity for Multi-Account SaaS with AWS Distro for Open Telemetry | Amazon Web Services
AWS Partner Network (APN) Blog Tracing Tenant Activity for Multi-Account SaaS with AWS Distro for Open Telemetry By Tomo Sakatoku, Principal Partner Solution Architect – AWS By Peter Yang, Sr. Partner Solution Architect – AWS SaaS Factory When developing a multi-tenant software-as-a-service (SaaS) solution, you need to ensure the solution can cater to different tenant profiles and dynamic workload
Data Observability の概要
本記事は、某コミュニティで Data Observability について議論するために書き下したメモです。もし Data Observability について議論されたい方は気軽にコメントください。 概要 Data Observability を直訳するとデータの可観測性。あくまでデータを観測できるようにする技術分野であって、 Data Observability すなわち、データ品質ではない。 本来の意味合いは、外部から観測可能な出力を使って、複雑なシステムの内部状態や振る舞いを観測可能にすること。それにより、対象システム（あるいはデータ）をより理解できるようにする。よく理解できるようにした結果、データの品質やパフォーマンスの最適化などの取り組みを楽にできる場合がある。ただし、ツールやサービスを入れると自動的に実現できるわけではない。 語源は制御工学分野の Observability
OpenTelemetry Observability運用の実例 Lunch LT (2024/04/10 12:00〜)
お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。 2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。 お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Shipping Rails logs with Kamal and Vector
CNAPPとは？変化を続けるクラウドネイティブセキュリティ対策
An easy look at Grafana architecture
Go 1.21 で追加された log/slog を本番環境に実戦投入しました
Data Flywheels for LLM Applications
Grafana BeylaはeBPFを通じて自動計測によるオブザーバビリティを提供する
Rustでオブザーバビリティを実現するには - paild tech blog
RAGを使ってLLMでも最新情報や企業内情報にも対応する | ネットワンシステムズ
Measuring Git performance with OpenTelemetry
The Return of the Frame Pointers
OpenTelemetry announces support for profiling
LangGraph: Multi-Agent Workflows
[Rust] AyaでeBPFプログラムをつくってみる | DevelopersIO
AWS Unveils Next Generation AWS-Designed Chips
eBPFを使ったOpenTelemetryのGo自動計装ライブラリを調べる