フォルシアでは複数のアプリにおいてKubernetesが用いられています。 参考:https://www.forcia.com/blog/001519.html しかしながら、デプロイ周りについてはまだまだ仕組み化がされておらず、いい感じにデプロイできる仕組みはないかと調べていると「GitOps」というワードが出てきました。 勉強がてら（結構こすられたネタだとは思うのですが）GitOpsを実際に構築してみた学習記録を記したいと思います（筆者は1ヶ月前まではKubernetes何それ状態でした）。 GitOpsとは Weave社が提唱した概念です。 https://www.weave.works/technologies/gitops/ GitOps can be summarized as these two things:An operating model for Kubernetes
AWS CLI で EBS ボリュームタイプを gp2 から gp3 に変更してみた #reinvent | DevelopersIO
コンバンハ、千葉（幸）です。 先日、EBS ボリュームタイプを gp2 から gp3 に変更することを想定したエントリを書きました。 変更によるコストメリットが出るので、特に制約がなければどんどん変えていきたいです。とは言えコンソールから一つずつ変更していくのも手間だな……と思い、 AWS CLI を使用した時にどのようなコマンドを叩くことになるかを確認してみました。 スクリプト化までは至っていませんが、その部品として参考にしてもらえればと思います。 使用する AWS CLI バージョン 2.1.11 を使用しています。 % aws --version aws-cli/2.1.11 Python/3.7.4 Darwin/19.6.0 exe/x86_64 prompt/off 途中まで 2.0.48 を使用していたのですが、aws ec2 modify-volumeコマンドで--thro
The Kubernetes Handbook – Learn Kubernetes for Beginners
Kubernetes is an open-source container orchestration platform that automates the deployment, management, scaling, and networking of containers. It was developed by Google using the Go Programming Language, and this amazing technology has been open-source since 2014. According to the Stack Overflow Developer Survey - 2020, Kubernetes is the #3 most loved platform and #3 most wanted platform. Apart
Kubernetes Configuration Management with CUE | Mercari Engineering
This article is a part of Developer Productivity Engineering Camp blog series, brought to you by Hideto Miki (@micnncim) from the Platform DX Team Preface The Platform Developer Experience (DX) team provides a ton of internal products for internal developers, most of whom develop microservices, to allow them to focus their business. The overview is explained in the previous article Developer Exper
sqlc generate は何をしているのかメモ
[2023-09-11 追記] 以下のブログの方が分かりやすいので、そちらを読むことをお勧めします。 sqlc internals - 薄いブログ 最近、個人開発で Go のアプリケーションからデータベースを操作するために sqlc を使っている。sqlc は SQL で書いたスキーマのファイルから sqlc generate コマンド一つで Go の構造体を、クエリのファイルから型安全な Go の SQL クライアントを生成することができる。1 私は普段の仕事で ORM が提供するメソッドやクエリビルダを使って SQL を組み立てている。ORM は便利ではあるが、最終的に実行される SQL は可読性が低くてデバッグしづらいことが多い。そのため「最初から SQL を書けば良いのでは…？」と考えるようになり、初めて sqlc を見たとき自分の好みに合うツールと確信した。 使い方は簡単で便利な
This post is about the awesome Rust-based cross-platform CLI ecosystem which I’ve discovered recently. Meet the main characters: shell: nushell prompt: starship terminal multiplexer: zellijversus my old stack: shell: zsh plugin manager: oh-my-zsh / antigen prompt: powerlevel10k terminal multiplexer: tmuxwhich is a basic and very common CLI stack to be found at /r/unixporn subreddit (at this point
How does StackAid work for my project?See for yourself. Copy and paste your package.json or edit the one below to get a breakdown of how your dependencies would be funded. { "name": "@stackaid/web", "version": "0.1.0", "dependencies": { "@datadog/datadog-api-client": "^1.0.0", "@fortawesome/fontawesome-svg-core": "^6.1.2", "@fortawesome/free-brands-svg-icons": "^6.1.2", "@fortawesome/free-regular-
Pluto : Kubernetes apiVersion の「非推奨と削除」を検出する - kakakakakku blog
Pluto を使うと Kubernetes マニフェストの apiVersion に対して deprecated（非推奨）と removed（削除）を検出できる．警告自体は Deprecated API Migration Guide | Kubernetes を見れば確認できるし，kubectl apply コマンドを実行したときにも表示されるけど，Pluto は実行前に確認できて便利！パイプラインに組み込むのも良し！ github.com セットアップ Pluto CLI は macOS なら Homebrew を使えば簡単にセットアップできる．今回は現時点で最新となる Pluto v5.10.2 を前提とする． $ brew install FairwindsOps/tap/pluto $ pluto version Version:5.10.2 Commit:0070fa70364
Using container image support for AWS Lambda with AWS SAM | Amazon Web Services
AWS Compute Blog Using container image support for AWS Lambda with AWS SAM At AWS re:Invent 2020, AWS Lambda released Container Image Support for Lambda functions. This new feature allows developers to package and deploy Lambda functions as container images of up to 10 GB in size. With this release, AWS SAM also added support to manage, build, and deploy Lambda functions using container images. In
LocalStack と samlocal コマンドで SQS x Lambda 構成をローカル環境で実行する - kakakakakku blog
開発中に AWS Lambda 関数をローカル環境で実行するなら AWS SAM CLI の sam local invoke -e event.json コマンドを使えば良く，また AWS Lambda 関数のベストプラクティスに載っている Lambda ハンドラーをコアロジックから分離します。 を意識して実装すれば，単体テストを軸に動作確認を進めることもできる． とは言え，実際に AWS Lambda 関数のイベントソースマッピング（トリガー設定）を確認したいこともあり，今回は AWS SAM を使って構築する Amazon SQS キューと AWS Lambda 関数の組み合わせを samlocal コマンドを使って LocalStack にデプロイして動作確認をしてみた．結果的に期待した通りに動いた❗️ ＼( 'ω')／ LocalStack 便利すぎ〜 🚀 アーキテクチャ図
OpenAPI定義書レビューの効率化: プルリク時にブランチ名をパスとしたURLでプレビューする | DevelopersIO
はじめに OpenAPI定義書のレビュー、どうしていますか？ OpenAPI定義書の修正を含んだコードレビューでは、以下のような方法が一般的かと思います。 プルリク作成時にyamlのコードを見る ローカルでソースを取り込み、VSCodeの拡張機能などでプレビューする 今回は作業の手間を減らすため、プルリク作成時にブランチ名をパスとしたURLでAPI定義書のプレビューが見れる構成を作ってみました。 達成したいイメージ 実際の動作を紹介 1. OpenAPI定義書の修正のプルリクを作成 以下のようなOpenAPI定義書の修正を行い、 ブランチ名 feature/add-users でプルリクを作成します。 openapi: 3.0.0 info: version: 1.0.0 title: Sample API description: A sample API to illustrate O
A comprehensive guide to managing secrets in your Terraform code
One of the most common questions we get about using Terraform to manage infrastructure as code is how to handle secrets such as passwords, API keys, and other sensitive data. For example, here’s a snippet of Terraform code that can be used to deploy MySQL using Amazon RDS: resource "aws_db_instance" "example" { engine = "mysql" engine_version = "5.7" instance_class = "db.t2.micro" name = "example"
Overview Overview Understand The Basics Core Concepts Getting Started Operator Manual User Guide Developer Guide FAQ Security Considerations Support Roadmap Releases ⧉ Blog ⧉ Overview¶ What Is Argo CD?¶ Argo CD is a declarative, GitOps continuous delivery tool for Kubernetes. Why Argo CD?¶ Application definitions, configurations, and environments should be declarative and version controlled. Appli
2022年3月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 今回も面白いブログがいっぱいありました。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、DevelopersIOのブログを読むとAWSさん公式とはまた違った知見や解説、面白さがありますの
Announcing AWS IoT Greengrass 2.0 – With an Open Source Edge Runtime and New Developer Capabilities | Amazon Web Services
AWS News Blog Announcing AWS IoT Greengrass 2.0 – With an Open Source Edge Runtime and New Developer Capabilities I am happy to announce AWS IoT Greengrass 2.0, a new version of AWS IoT Greengrass that makes it easy for device builders to build, deploy, and manage intelligent device software. AWS IoT Greengrass 2.0 provides an open source edge runtime, a rich set of pre-built software components,
Node.js — Node v23.0.0 (Current)
2024-10-16, Version 23.0.0 (Current), @RafaelGSS We’re excited to announce the release of Node.js 23! Key highlights include: Enabling require(esm) by default for Node.js applications Removing support for Windows 32-bit systems Stabilizing the node --run command Enhancements to the test runner, including glob pattern support for coverage files Node.js 23 will replace Node.js 22 as the ‘Current’ re
こんにちは、CX事業本部の若槻です。 Amazon Athenaでは、Glueのテーブルタイプの一つであるViewを使用することにより、実行するクエリを単純化したり、動的に変わるクエリを固定のクエリで実行するようにすることができます。 Working with Views - Amazon Athena このViewテーブルはAthenaでCREATE VIEWクエリを使用することにより作成できますが、AWS CLIのglue create-tableコマンドを使用して作成することも可能です。 create-table — AWS CLI 1.18.219 Command Reference 今回は、AWS GlueのViewテーブルをAWS CLIのglue create-tableコマンドで作成してみました。 やってみた まず最初に以降のコマンド実行で使用する変数を定義しておきます。
![[AWS Glue]ViewテーブルをAWS CLIで作成してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
Cloud9 で SAM を利用し AWS サービス毎の請求額を毎日 Slack に通知する | DevelopersIO
Cloud9 を利用して AWS のサービス毎の料金を毎日 Slack に通知する仕組みを作成しました。 コーヒーが好きな emi です。 AWSサービス毎の請求額を毎日 Slack に通知するため、以下のブログ AWSサービス毎の請求額を毎日Slackに通知してみた を見ながら設定しようとしたのですが、手元の Windows 11 端末に AWS CLI、AWS SAM CLI、Python などの開発環境を整えるのが面倒…！！と思いました。 そこで、AWS Cloud9 を使って手軽に一時的な開発環境を構築し、AWS Serverless Application Model (SAM) でサーバレス通知システムを構築しました。 AWS Serverless Application Model (SAM) とは AWS SAM は、サーバーレスアプリケーション構築用のオープンソースフレー
Front-End Web & Mobile AppSync adds support for AWS WAF This article was written by Brice Pellé, Principal Specialist Solutions Architect, AWS AWS AppSync is a fully managed service that allows you to deploy Serverless GraphQL backends in the AWS cloud. With AppSync, you can have GraphQL backends that connect to multiple data sources, and that scale and grow with your usage. Whether you are just g
こんにちは。ゲーソル新屋です。 今までAWS CDKのデプロイメントポリシーの最小権限について考えたことはなく、なんかCDKがいい感じにやってくれてるんだろうくらいに思っていたのですが（実際そうですが） AWS CDK Security And Safety Dev Guideを読んでみて、AWS CDKデプロイメントで登場するロールとポリシーとその最小権限について、いくらか理解できた部分があるので、それを共有します。 ※本記事はCDKv2であることを前提にしています。 TL;DR CDKはCloudFormationがAWSリソースの変更をデプロイする アクター（開発者または自動システム）はデプロイをしない CloudFormationはアクターから CloudFormationExecutionRole というロールをPassRoleされ AdministratorAccess でデプ
Introducing kube-burner, A tool to Burn Down Kubernetes and OpenShift
This is the first part of a blog series dedicated to explaining what this new tool is, and how the OpenShift PerfScale (Performance and Scalability) team uses it to perform scalability tests in OpenShift. Wait, what is this kube-burner thing? Kube-burner is a tool designed to stress different OpenShift components basically by coordinating the creation and deletion of k8s resources. Along this blog
AWSマネジメントコンソールで実際にデータベースを作成すると、Console-to-Codeの画面でもcreateDBInstanceという操作が表示されます。 これでCLIコマンドやCloudFormation YAMLの生成準備は完了です。 それでは実際にCloudFormation YAMLの生成をしてみます。 CLIコマンドやCloudFormation YAMLを生成したい操作を選択後、「CFN YAMLを生成」ボタンを押下します。 ボタンを押下すると、操作に応じたCLIコマンドやCloudFormation YAMLが生成されます。 それでは生成されたものを見ていきます。 CLIコマンド aws rds create-db-instance --engine "postgres" --engine-version "16.3" --engine-lifecycle-suppor
August 23, 2022 This article was contributed by Jordan Webb Docker and other container engines can greatly simplify many aspects of deploying a server-side application, but numerous applications consist of more than one container. Managing a group of containers only gets harder as additional applications and services are deployed; this has led to the development of a class of tools called containe
GKEのPodからTokenRequestProjectionで発行されたOIDCのID Tokenを使用してAWSのRoleにAssumeRoleしてみる | GRIPHONE ENGINEER'S BLOG
GKEのPodからTokenRequestProjectionで発行されたOIDCのID Tokenを使用してAWSのRoleにAssumeRoleしてみる この記事は GRIPHONE Advent Calendar 2021 2日目の記事です。 SREの徳田です。 GKEのTokenRequestで発行されたID Tokenって外から検証できるんだっけ・・？という疑問から色々探していたところ、OpenID Connect Discoveryまで実装されており外部からID Tokenの検証が可能だったため、これを活用して今回はAWSのRoleにAssumeRoleしてみようと思います。 TL;DR TokenRequestProjectionでTokenをマウントAWSでOIDC Identity Providerの設定とそこからAssumeRoleできるIAM Roleの作成Provi
Laravelで作る、OpenAPIによるAPIリファレンス自動生成 with GitLab CI - OPTiM TECH BLOG
こんにちは。AI・IoTサービス開発部の青木です。 Laravelの最新バージョンに追いつけていない系エンジニアです。 今回はOpenAPIの導入をLaravelでやっていきたいと思います。 序盤はドキュメントをなぞるような形となってしまいますが、後半はそれらをGitLab CIでPagesに登録し マージされたらAPIリファレンスが自動更新されるような仕組みを作りたいと思います。 利用するOSS laravel.com vyuldashev.github.io 今回メインで利用させて頂くOSSはこちらです。 providersとして登録し、スキーマの定義を行えば自動でスキーマを出力してくれる便利なツールとなります。 導入 vyuldashev.github.io Installation You can install the package via composer: composer
これは、LAPRAS Advent Calendar 2022の8日目の記事（代理投稿）です また、この記事を書き始める前に眺めていたらたまたまいいタイミングで空いていたので、Go Advent Calendar 2022 の22日目にもエントリーしたいと思います なにこれ LAPRAS株式会社でSREをしていますyktakaha4と申します 🐧 このたび、Gitのリポジトリを検索し、コントリビューター毎に今稼働しているSLOCに応じて日本地図を塗り分けして可視化する Kunitori というCLIをGoを使って作りましたので、そのご紹介と学んだことを残したいと思います ✍ Kunitoriで生成した日本地図 作った理由 突然ですが、みなさんの一番好きなGitHubの画面はどこでしょうか 私は /graphs/contributors です 各コントリビューターがリポジトリにどの程度コミ
EC2インスタンスのユーザーデータ内のdnfコマンドやyumコマンドが失敗する場合の緩和策を考えてみた | DevelopersIO
ユーザーデータでパッケージのインストールをしようとすると失敗するんだが こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスのユーザーデータでdnfコマンドやyumコマンドが失敗したことはありますか? 私はあります。 具体的にはユーザーデータでdnf upgradeやdnf install パッケージ名を実行すると、以下のようにRPM: error: can't create transaction lock on /var/lib/rpm/.rpm.lock (Resource temporarily unavailable)とログが出力されます。 $ dnf upgrade -y --releasever=latest Amazon Linux 2023 repository 30 MB/s | 23 MB 00:00 Amazon Linux 2023 Ker
【初心者向け】AWS CDK 入門！完全ガイド
AWS CDK ☘️ はじめに 本ページは、AWS に関する個人の勉強および勉強会で使用することを目的に、AWS ドキュメントなどを参照し作成しておりますが、記載の誤り等が含まれる場合がございます。 最新の情報については、AWS 公式ドキュメントをご参照ください。 👀 Contents 1. AWS CDK とは 1.1. 公式ドキュメント 1.2. 学習リソース 1.3. ワークショップ 1.4. 導入のメリット 1. 型安全性によるエラー検出 2. コード再利用による品質向上とコスト削減 3. 開発生産性の向上 4. インフラとアプリケーションコードの統合 5. スケーリングとガバナンスの強化 1.5. CloudFormationとの違い 補足：ボイラープレートコードについて 2. AWS CDKの基礎 2.1. AWS CDK の構成要素 2.1.1. App 2.1.2. St
JSer.info #727 - TypeScript 5.8がリリースされました。 Announcing TypeScript 5.8 - TypeScript TypeScript 5.8では、conditional return typeの改善、require(esm)の対応、--module node18を追加が行われています また、Node.jsの--experimental-strip-typesと合わせた設定をする--erasableSyntaxOnlyフラグの追加、--libReplacementフラグの追加なども行われています。 erasableSyntaxOnlyオプションは、次の機能を禁止することで型を取り除くだけで、JavaScriptとして実行できるTypeScriptのコードを書くための設定です。 enum declarations namespaces and
Introducing AWS CloudFormation modules | Amazon Web Services
AWS Cloud Operations & Migrations Blog Introducing AWS CloudFormation modules If you’ve used AWS CloudFormation, you’ve probably experienced times when you are trying to build applications and want to deploy resources with best practices defined. As you work on your templates, you might be curious about which resource properties to configure and which values to use to follow those best practices.
Java ベースの Kubernetes オペレーターを使用した Amazon EKS での Kubernetes RBAC と IAM の統合 | Amazon Web Services
Amazon Web Services ブログ Java ベースの Kubernetes オペレーターを使用した Amazon EKS での Kubernetes RBAC と IAM の統合 はじめに Kubernetes ネイティブアプリケーションは、Kubernetes クラスターにデプロイされ、Kubernetes API と kubectl などのクライアント側ツールの両方を使用して管理されるアプリケーションです。Kubernetes オペレーターは、etcd データベースクラスターや Prometheus モニタリング/アラートシステムなど、重要な Kubernetes アプリケーションをデプロイするための抽象概念です。このようなアプリケーションに必要なドメイン固有の知識を持つカスタムリソースとコントローラを使用して Kubernetes 機能を拡張するメカニズムを提供します。
こんにちは、メディアサービス開発部サービス分析課の佐藤です。推しTRPGはD&D5版です。今年4月に入社し、事業横断データ基盤を構築しています。 今回はブックウォーカー社内でデータ基盤を構築するにあたって身につけたAWS関連の知識、主にRDSのexport snapshot to S3、Glue Job、AWS Serverless Application Model （以下SAMと略します）周りについて書いていきます。 背景 手法1. 定期的なデータ抽出 手法2. 外部接続 手法3. Change Data Capture システム構成の詳細 Export Snapshot to S3 AWS Glue Job Step FunctionsとEvent Bridge SAMとCI/CD 最終成果物とシステム運用 課題 parquetのデータ型 データの更新頻度 最後に 背景 株式会社ブッ
CloudFormationのDynamic referencesとAWS SAMのAutoPublishAliasを組み合わせた動作を確認してみた | DevelopersIO
先日の下記アップデートを活用すれば、Lambda LayersとLambdaのデプロイをスッキリできそうだったので、実際に試してみました。 以前、AWS SAMでAutoPublishAliasを使った際の動作を試してみたので、本記事でもAutoPublishAliasを使った際の動作を確認します。 おすすめの方 AWS SAMでDynamic referencesを使いたい方 AutoPublishAliasとLambda LayerとLambdaのデプロイについて知りたい方 最初に結論 Lambda Layersのみを更新すると、Lambda Layersは更新された しかし、Lambdaの新バージョン発行とエイリアス更新はされなかった 環境 項目 バージョン 3つのCloudFormationスタックを作成する 3つのCloudFormationスタックを作成します。 Lambda
Introduction Pkl(ぴっくる)はAppleが開発した、 OSSのconfig file生成用プログラミング言語です。 条件式やループなどの基本構文に加え、クラス・継承・抽象化などの プログラミング言語機能も使えます。 pklファイルからJSON形式やYAML形式などの各種設定ファイルが出力可能で、 CLIツールや各言語のライブラリやプラグインとして使えます。 ※Pklの詳細については公式や紹介記事をご確認ください。 現状想定されているユースケースとしては、 下記のものがあります。 Generating Static Configuration(静的構成ファイル生成) 設定ファイルのgenerate機能です。 Pklで記述したコードをJSON、YAML、XML、プロティリスト形式で出力できます。 Application Runtime Configuration(アプリランタイ
![[小ネタ] Pklをビルド時に実行する[Rust] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dd5670c7677ae91c06d8d1435b350baf9e3cff8a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Frust-logo-1200x600-1.png){kind=logo}
こんにちは。枡川です。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2022』の8日目のエントリです。 このブログリレーは、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って基本的な部分を見つめ直してみよう、解説してみようというコンセプトで実施しております。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2022年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 8日目のテーマはCodeBuildです。 はじめに さっそく身も蓋もない話から始まるのですが、CodeBuildに入門する際は下記AWS BlackBeltが非常にわかりやすくまとまっていま
Preview environments per Pull Request using AWS CDK and Github Actions
Preview environments per Pull Request using AWS CDK and Github Actions TL;DR The code is 👉 here 👈. The rest of this post gives information and context about it. 📖 Table of contents 👋 Introduction 🎯 Target ✅ Prerequisites ☁️ AWS Architecture CDK File structure cdk.json bin/app.ts lib/awesome-stack.ts CLI yarn bootstrap yarn deploy yarn destroy 🤖 Github automation Github Deployments API Github
Release pnpm 10 · pnpm/pnpm
pnpm link behavior updated: The pnpm link command now adds overrides to the root package.json. In a workspace: The override is added to the root of the workspace, linking the dependency to all projects in the workspace. Global linking: To link a package globally, run pnpm link from the package’s directory. Previously, you needed to use pnpm link -g. Related PR: #8653 Secure hashing with SHA256: Va
SAM CLIを使ってLambda向けのコンテナイメージをビルド&デプロイしてみた #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 以下のブログでお伝えしたようにLambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 Lambdaの周辺ツールである、SAM CLIが既にコンテナイメージのパッケージに対応していたので、早速SAM CLIを使ってコンテナイメージ作成〜デプロイまで試してみました。 やってみる SAM CLIのバージョンアップ まずSAM CLIを最新化しておきましょう。 $pip install --upgrade aws-sam-cli $sam --version SAM CLI, version 1.13.1 現時点では1.13.1が最新版でした。 プロジェクトの作成 準備ができたのでsam initしてプロジェクトを初期化します。 $sam init 対話形式で色々と聞かれますが、パッケージ形式に関する選択肢が増えていることが分か
Spring Batch on Kubernetes: Efficient batch processing at scale Introduction Batch processing has been a challenging area of computer science since its inception in the early days of punch cards and magnetic tapes. Nowadays, the modern cloud computing era comes with a whole new set of challenges for how to develop and operate batch workload efficiently in a cloud environment. In this blog post, I
Great ExpectationsでBigQueryのデータ品質を監視する | フューチャー技術ブログ
1. はじめにこんにちは、フューチャーでアルバイトをしている板野です。 Great Expectationsというツールを使って、表形式データの品質をバリデーションする流れをご紹介します。 MLOpsを推進するにあたりMLモデルの監視が必要となってきています。その中でも、MLモデルに入出力されるデータ品質をバリデーションすることは重要な監視事項の1つです。 ML監視についての概要や意義については、こちらの記事で詳しく述べられているのでぜひご覧ください。 2. Great Expectationsの概要 ※公式サイトロゴ Great Expectations（GX）はデータ品質監視ツールの1つで、表形式データの品質監視ができます。GXはOSSであり、Pythonライブラリとして提供されています。 予めデータに対し、Expectationと呼ばれる「データのあるべき姿」を定義しておき、監視対象
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitLab CI + ArgoCDでk8sのGitOpsを試してみる
The modern Linux CLI stack
StackAid - Fund all your open source dependencies
Argo CD - Declarative GitOps CD for Kubernetes
[AWS Glue]ViewテーブルをAWS CLIで作成してみた | DevelopersIO
AppSync adds support for AWS WAF | Amazon Web Services
AWS CDK でデプロイするときの最小権限について考えてみる | DevelopersIO
Console-to-Codeが一般提供開始になりました！ | DevelopersIO
The container orchestrator landscape [LWN.net]
リポジトリへの貢献量に応じて日本を手中に収めるCLIを作った
2025-03-06のJS: TypeScript 5.8(erasableSyntaxOnly)、Next.js 15.2、Lynx
いくつものDBからデータをかき集めるには - BOOK☆WALKER inside
[小ネタ] Pklをビルド時に実行する[Rust] | DevelopersIO
AWS再入門ブログリレー2022 AWS CodeBuild編 | DevelopersIO
Spring Batch on Kubernetes: Efficient batch processing at scale