タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Mercari advent calender の21日目を担当します@sanposhihoです。現在大学の学部4回生で、メルカリでは内定者インターンとして、メルカリのホーム画面などのバックエンドを担当するチームに所属しています。 また、最近は個人的にKubernetesやその周辺のOSSにコントリビュートをしていて、特にKubernetesのコントロールプレーンのコンポーネントのうちの一つであるkube-scheduler周りを触ってることが多いです。 後で詳しく説明しますが、kube-schedulerはPodをどのNodeで実行するかを決定しているコンポーネントです。NodeAffinityや比較的新しいものだとPod Topology Spread Constraintsなど、Podのスケジュールの制約を指定できる機能も基本的にこのkube-schedulerに実装されています。
はじめに Kubernetes において、Pod を配置するための Node を決定する手続きをスケジューリングと呼び、デフォルトのクラスタでは kube-scheduler がその責務を担っています。本記事ではこの kube-scheduler のソースコードを時系列に沿って追いつつ、どのようなロジックで Pod を配置する Node が決定されるのかを解説します。 なお、本記事は Kubernetes の内部実装について学ぶ勉強会 Kubernetes Internal #3 の補足資料を意図して執筆されました。本文中で参照しているソースコードのバージョンは v1.19.4 です。 Kubernetes Internal #3 録画 スケジューラの概要 ソースコードを読むに先立つ予備知識として、スケジューリングの大まかな流れと Scheduling Framework の概要に触れてお
↑ ↓ Go Scheduler Introduction Compilation and Go Runtime Primitive Scheduler Scheduler Enhancement GMP Model Program Bootstrap Creating a Goroutine Schedule Loop Finding a Runnable Goroutine Goroutine Preemption Handling System Calls Network I/O and File I/O How netpoll Works Garbage Collector Common Functions Go Runtime APIs Disclaimer This blog post primarily focuses on Go 1.24 programming langu
お疲れさまです。とーちです。 Amazon EventBridge Scheduler という新機能が発表されました! EventBridge は好きなサービスの一つなので見逃せないアップデートです。早速触ってみましたので、共有したいと思います。 EventBridge Scheduler かんたんまとめ タイムゾーンを指定して 定期的または1回限りのタスクを実行することができる 決められた時間に起動するだけでなく特定の時間枠のどこかで起動といったことも可能(RDS 等にあるメンテナンスウィンドウのイメージ) 270 以上の AWS サービスをターゲットとしてサポート、EventBridge ルールでは直接呼び出せなかったものも呼び出せる 既存の「EventBridge ルール」とは別物 EventBridge ルールとの違いについて 先程も記載した通り、EventBridge ルールとは
この記事はMercari Advent Calendar 2022の21日目の記事です。 こんにちは。メルカリのPlatform Infraチームで働いている @sanposhiho といいます。 個人的にKubernetesやその周辺のOSSにコントリビュートをしていて、特にKubernetesのコントロールプレーンのコンポーネントのうちの一つであるスケジューラー周りを触ってることが多いです。 この記事では、現状のスケジューラーにおける拡張性の課題と、スケジューラーに現代の汎用バイナリとも言えるWasm(WebAssembly)ランタイムを通した拡張性を持たせることができるのかどうかを検証してみます。 Kubernetes Scheduler とは スケジューラーはPodをどのNodeで実行するかを決定しているコンポーネントです。 その時の様々なリソースの状況を見たり、ユーザーが指定した
AWS Instance Scheduler は、Amazon Elastic Compute Cloud (Amazon EC2 オンデマンドインスタンス) および Amazon Relational Database Service (Amazon RDS) インスタンスのスタートと停止のスケジュールを設定することにより、AWS リソースコストを管理するのに役立つソリューションです。 また、定義済みのスケジュールに基づいてリソースをスタートおよび停止させることで、運用コストの削減にも役立ちます。例えば、企業は、AWS Instance Scheduler を使用して、定義済みのスケジュールに基づいてインスタンスを自動的にスタートおよび停止することができます。EC2/RDS/Aurora Clusters が必要とされる時間帯 (例: 月曜日から金曜日の午前 9 時から午後 5 時) が
AWS Compute Blog Introducing Amazon EventBridge Scheduler Today, we are announcing Amazon EventBridge Scheduler. This is a new capability from Amazon EventBridge that allows you to create, run, and manage scheduled tasks at scale. With EventBridge Scheduler, you can schedule one-time or recurrently tens of millions of tasks across many AWS services without provisioning or managing underlying infra
Two years ago more or less I started my journey in Linux. I was scared at first and I didn’t know where to start from. But then I decided to buy a book - and what a book! - in order to follow a path. Along the way, I integrated the material with up-to-date documentation from kernel.org and source code. In the meantime, I started to learn C a bit so that I also could have played with what I was lea
こんにちは、インフラストラクチャーグループのyjszkです。2月から入社しました。 リブセンスにはバッチをECSとEventBridge Ruleで動かしている実装があります。EventBridge Ruleがなかなかの曲者で、UTCでしか時間を指定できません。 UTCで指定されたルールはいつ動くのかがわかりづらいですし、JSTでは1つのルールで済んだものがUTCでは2つ以上に分割されてしまうこともあります。 例えば、JSTで特定の曜日に10分ごとに実行するタスクがあるとします。 */10 * * * 0-3,5-6 * これがUTCだと3つになります。これはなかなかつらいです。 0/10 0-15 ? * 4 * 0/10 15-0 ? * 5 * 0/10 * ? * 1-3,6,7 * 一方、2022年11月にリリースされたAWSの新機能EventBridge Schedulerでは
Like many Go developers my applications are usually deployed in containers. When running in container orchestrators it’s important to set CPU limits to ensure that the container doesn’t consume all the CPU on the host. However, the Go runtime is not aware of the CPU limits set on the container and will happily use all the CPU available. This has bitten me in the past, leading to high latency, in t
[アップデート] Amazon EventBridge Schedulerは、最後のタスク呼び出し完了時に、スケジュールを自動的に削除できるようになりました はじめに Amazon EventBridge Schedulerは、最後のタスク呼び出しの完了時に自動的にスケジュールを削除する設定ができるようになりました。 EventBridge Scheduler は、タイムゾーンを指定して 定期的または1回限りのタスクを実行することができるサービスです。 サービス詳細は、以下をご参照ください。 今回のアップデートで嬉しいポイントは、EventBridge Schedulerでスケジュールを設定した場合、従来は、自分でスケジュール設定を削除する必要がありましたが、自動で削除できるようになった点です。 これにより、運用が楽になります。 ただし、後述しますが、定期的なスケジュールの場合でも自動で削
こんにちは、上野です。 Amazon EventBridge Schedulerと呼ばれる、従来からあるEventBridgeルール(スケジュール)のパワーアップ版のような機能が発表されました。機能概要はAWSさんのブログがわかりやすいです。 aws.amazon.com 従来のEventBridgeルールからのパワーアップしたポイントとしてあるのが、Targetsの数が大きく増えたことです。新しいEventBridge Schedulerでは、270以上のサービスの6,000以上のAPIに対応しています。AWSが用意しているAPIはほぼすべてTargetsとして指定し実行できるということですね。 これがあれば、EC2の停止処理(もちろん起動も)EventBridge Schedulerだけで実装できます。やり方を見ていきます。 従来のEC2自動停止/起動方法 Instance Sched
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
今回の記事までにいくつかCloud Workflowsの記事を書いた GCPのCloud Workflowsを試す - notebook swfz.hatenablog.com Cloud Workflowsでランタイム引数のデフォルト値を設定する - notebook swfz.hatenablog.com これらで行ったことをもとに今回はテーマを決めてワークフローを作ってみる 今回の題材は「Togglの特定プロジェクトの前日分の作業時間をPixelaにPUTする」 細かなサンプルを作る 基本的な動かし方は前回までの記事でわかったので一連の流れの中から切り出せるものを切り出してサンプルとして実行できるようにする 実行時に引数を渡せるようにする デフォルト値も指定可能にする(前回の記事があるので今回は割愛) 昨日の日付文字列を取得する関数を呼び出す あらかじめ適当な関数を作ってデプロイして
中文版本 Ruby 3 Fiber SchedulerI wrote an article in July 2020, Ruby 3 Fiber changes preview (in Chinese), and followed up by another post in August A Walkthrough of Ruby 3 Scheduler. Ruby 3 has updated lots of versions during these months, including ruby-3.0.0-preview1 ruby-3.0.0-preview2 and ruby-3.0.0-rc1, which makes lots of improvements to the Fiber Scheduler API. But as I mentioned before, what
皆さん、こんにちは ! ソリューションアーキテクトの佐藤裕介です。 皆さんは「AWS ソリューションライブラリ」をご存知でしょうか ? AWS ソリューションライブラリには、AWS を用いた構成の参考となる AWS ソリューションリファレンスアーキテクチャ、AWS CDK を用いて複数の AWS サービスを組み合わせて構築する際にに利用できる AWS Solutions Constructs、AWS パートナーによる AWS ソリューションコンサルティングサービス、そして、今回紹介する AWS Instance Scheduler が含まれる AWS ソリューション実装 が含まれています。 AWS ソリューション実装では、世界中のユーザーが直面する一般的な問題の解決策を提供しています。AWS ソリューション実装は AWS CloudFormation のテンプレートが提供されており、お客様
Overview I’ve decided to start a series of blog posts to cover some details about scx_rustland, my little Linux scheduler written in Rust that runs in user-space. This project started for fun over the Christmas break, mostly because I wanted to learn more about sched-ext and I also needed some motivation to keep practicing Rust (that I’m still learning). In this series of articles I would like to
特定の時間だけは CloudWatch アラームによる通知を止めたい コンバンハ、千葉(幸)です。 CloudWatch アラームによるモニタリングを行っている環境で、特定の時間だけは発報してほしくないということがあるかと思います。 夜間帯は対応できる人がいないとか、特定の定期バッチで負荷が上がる(そしてシステム稼働には影響がでない)ことがわかっているのでそれは抑止したいとか、定常作業中はステータス監視を止めたい、といったシチュエーションを想定しています。 スクリプトを組んで定期的に CloudWatch アラームを無効化/有効化したり、CloudWatch アラーム→ SNS トピック→ Lambda 関数→ SNS トピックという構成にして時間判定を行う処理を挟んだりというやり方が思いつきますが、作り込みをせずに済ませたいことが多いでしょう。 CloudWatch メトリクスの Met
あ、またRDS停止し忘れた…。 こんにちは!AWS事業本部のおつまみです。 皆さん、検証用に立てたRDSを停止し忘れた経験はありますか?私は何度もあります。 RDSは料金が比較的高いため、停止し忘れると辛いですよね。 ユーザーガイドにも記載されている通りRDSは一度停止しても、7日後に自動的に起動されてしまいます。 DB インスタンスは最大 7 日間停止できます。7 日後に DB インスタンスを手動で起動しなかった場合、DB インスタンスは自動的に起動されます。これにより、必要なメンテナンスの更新が遅延することはありません。 これまではLambdaとEventBridgeルールを組み合わせて、停止処理を実装する必要がありました。 実装方法はこちらのAWS公式サイトより紹介されています。 しかし、先日リリースされたAWSの新機能「Amazon EventBridge Scheduler」を使
順に確認します。 Publisher/Subscriber(Pub/Sub)型 Pub/Sub型では、Publisherがメッセージブローカーにメッセージを送信(publish)すると、メッセージブローカーは購読(subscribe)しているすべてのSubscriberにメッセージをプッシュ(ブロードキャスト)します。 EventBridge Rules(イベントパターン) がこのメッセージングモデルを採用し、メッセージブローカーとして機能します。 1:多なFan Out処理が可能です。 Amazon SNS もこのメッセージングモデルです。 Producer/Consumer 型 Producer/Consumer 型では、Producer がメッセージブローカーにメッセージを送信し、Consumerはメッセージブローカーをポーリングしてメッセージを受信します。 EventBridge
3 行まとめ scheduler.yieldが Chrome115 から origin trial で試せるように scheduler.yieldを使うと長いタスクを分割できる scheduler.yieldではユーザーのインタラクション以外のタスクが割り込まない Long task の問題とタスクの分割 ブラウザのメインスレッドを占有するような実行時間が長いタスク(Long task)は、そのタスクが実行されている間に何かしらのインタラクションがあっても、タスクが終わるまでブラウザはインタラクションに対応できません。 クリックしても長いタスクが終わるまではクリックのタスクは実行されない こういった長いタスクを分割することで、インタラクションなどの優先度の高いタスクに対応することができます。これは Core Web Vitals の指標であるInteraction to Next Pain
概要 会社で使っているEC2はSavings Plansを採用していてオンデマンドで使うよりも安い料金でEC2を利用しています。 ただそれでもEC2の数が段々と増えていて、当初の予想よりもコンピューティングリソースの消費が大きくなりEC2の利用料が大きくなってきました。 そこで検証環境のEC2の稼働時間を減らし、コンピューティングリソースの消費を抑えることでEC2の利用料を節約しようと思いました。 前職では先輩が作成したLambdaで21:00~翌9:00の時間帯は自動でシャットダウンする仕組みができており、当初はそれを真似しようと思いましたがInstance Schedulerなるものを今の会社のリーダーから教わりました。 今回はInstance Schedulerを実際に使ってみてどういったものなのか試してみました。 Instance Schedulerについて 先にお話しするとIns
ログイン読み込んでいます…
I'm working on an application that needs the ability to schedule tasks. Many applications have a similar need, but requirements can vary greatly. Advanced cases might require persistence and distribution, typically depending on external systems (like a database or queue) to do much of the heavy lifting. My needs are simpler: I don't have a huge variety of tasks or a high number of them. Thread-Per
Combine.framework(以下Combineと略)は非同期の処理を扱うため どのスレッド(主にメインスレッドかそれ以外か)で処理を実行するのかが大切です。 全てをメインスレッドで実行すれば 画面が固まって ユーザの操作を阻害してしまうため アプリが使われなくなってしまう要因の一つにもなってしまいます。 今回はCombineとスレッドの関係を管理するための Schedulerの基本や動作について学んだことを書きます。 主に下記の記事を参考にしました。 https://www.vadimbulavin.com/understanding-schedulers-in-swift-combine-framework/ CombineにおけるSchedulerの役割 SchedulerはCombineが 「いつ」 「どこで」 機能するかを決めます。 「いつ」 アプリが起動しているOSの現在
EventBridge Scheduler の場合 ※ CloudFormation テンプレート全体は本文最後を参照 EventBridge Schedulerでスケジューラーを作成する場合、 AWS::Scheduler::Schedule タイプを利用します。 EventBridge Rule より詳細なスケジュール設定に対応しており、ウィンドウ指定のためのフィールド(FlexibleTimeWindow) など新たなフィールドが追加されています。 Type: AWS::Scheduler::Schedule Properties: Description: Recurring StepFunctions Schedule ScheduleExpression: rate(30 minutes) FlexibleTimeWindow: Mode: FLEXIBLE MaximumWi
Amazon/楽天のブラックフライデーで例年通り散財した、@kojiisdです。 今回、光学30倍ズーム、という謳い文句に惹かれて、10年ぶりくらいにパナソニックのコンデジを買ってしまいました。 これから写真を撮るのが楽しみになりそうです(^^ みなさんは散財しましたか? さて、アクロクエストでは、エンジニアたちが仕事の中で気になっていたことを調査・検討・検証した際に、 その内容を社内勉強会でフィードバックしています。 今月は12月ということで、そのような調べたことを、アドベントカレンダーとしてブログに公開していくことにしました~! 初日はタイトルにもあるとおり、「Amazon EventBridge Schedulerの使いどころを整理してみた」です。 Amazon EventBridge Schedulerとは AWSでイベント/スケジュールドリブンな処理の管理、というとAmazon
はじめに やりたいことは? 同一プロジェクトのリソース操作を定期的に実行したい(例:SecretManager上のシークレット取得) その処理は部外者が勝手に実行しては困る ということで、↑こんな感じの Cloud Functionsでサービスアカウントのみ実行可能なAPIを作成して Cloud Scheduerで定期的にそのAPIを実行する というのをやります。 追記/修正 初版ではCloud Loggingへの書き込みロール追加で記載していましたが、ロール追加なしでログ追加できていたため、シークレットへのアクセスに修正しました。 GUI説明を削除しました。 IAM認証付きCloudFunctions シークレット取得処理を実行するために、CloudFunctionsを利用する。 Cloud Functionsで関数を作成するとき、その関数の呼び出しに対して認証の有無が選択できる。 認証
EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ
この記事は Autify アドベントカレンダー2021の2日目のためのブログエントリです。Autify の中の人(Autify のカスタマーサクセスエンジニアをしています)よりお届けしています。 qiita.com Autify では、テストプランを利用することで、定期的にテストを自動実行させることが可能です。 設定画面は上記のようなものになっており、これ以上の内容でのスケジュール設定は、Autify 単体では行わせることはできません。 こんなとき、システム運用などの経験が少しある方であれば、「例えば cron のようなことができれば...」といったことを思い浮かべるかもしれません。 e-words.jp ただ、シンプルに cron を利用しようとすると、「それを実行するサーバーがいるよね」「どうやって準備しよう」「運用どうしよう」......とかとか、考えなければいけないことがいくつかあ
こんにちは。AWS事業本部コンサルティング部に所属している今泉(@bun76235104)です。 先日Amazon EventBridge SchedulerによるCloudFrontのキャッシュクリアを自動化するしくみを実装してみました。 Amazon EventBridge Schedulerはスケジュール実行に特化した機能を提供してくれるもので、さまざまなサービスのAPIと連携しています。 使い道はいろいろと考えられますが、これまでLambdaを介して実行していた一部のしくみを以下のように代替可能です。 従来のEC2停止の自動化イメージ ※ 以下処理の場合Lambda以外でもSSMによる自動化なども可能です EventBrdige SchedulerによるAPI実行のイメージ 弊社でもさまざまな遊び方有用な使い道が考えられています。 その中で比較的ランニングコストが気になるRDSのD
まだプレビュー版ではありますが、Cloud Run Jobsを利用すると、簡単にコンテナで動かせるcronジョブを設定することができて超便利なので紹介してみます。 疑問: 通常のCloud RunでもScheduler利用出来るのでは? 出来ます。ただし、HTTPエンドポイントを独自で用意してあげたり、PubSubと連携する必要があり、若干の面倒くささがあります[1]。 しかし Cloud Run Jobsを利用すると Scheduler(Cron)からCloudRunアプリ直接実行することが出来る のでとても手軽にCron実行が出来るのです。 実際にどうやるか ちなみにこの記事で書く内容は、ほぼCodeLabsの Cloud Run ジョブを使ってみる から抜粋した内容になりますので、一から試して理解したい方はこちらをご参照ください。 なお、アプリケーションの詳細や権限設定については割愛
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く