Pythonで非同期でタスクを実行して、モニタリングする環境をDockerで構築する｜shimakaze_soft
Pythonで非同期処理をやる場合はceleryを使うのが定番です。今回はceleryを試しに動作させるための環境をDockerを使って簡単に作る方法をご紹介いたします。 コード自体はQiitaにある参考資料のものをそのまま持ってきています。参考源は一番下に載せておきます。 今回はdocker-composeを使用して、動作に必要なコンテナを作っていきます。 ※関係ないですが、画像は野菜のセロリを使用しています。画像はテキトウにに選びました・・・ 使用するツール類今回は以下の3つを使用します。それぞれ別なコンテナで動作させるため、本番の運用などでは、別々なサーバーで動作させることを想定しています。 ・redis (キューを動作させるためのKVS) ・celery (Pythonのタスクキューサービス、別なプロセスで動作させる) ・flower (celery内にあるタスクを監視するためのツ
Sagemaker Serverless Inference (まだPreview)で独自のアルゴリズムで学習した骨格検知モデルをリアルタイム推論してみた | DevelopersIO
Sagemaker Serverless Inference (まだPreview)で独自のアルゴリズムで学習した骨格検知モデルをリアルタイム推論してみた せーのでございます。 先日、骨格検知のスタンダードでもあるOpenposeを変更して軽くしたアルゴリズム「Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose」をSagemakerコンテナに注入して学習したモデルを使って推論処理をしてみました。 今日はこのアルゴリズムを去年のRe:Invent 2021で発表されたばかりの新機能「Sagemaker Serverless Inference」を使ってサーバレス化してみたいと思います。 Sagemaker Serverless Inferenceとは Sagemaker Serverless Infer
Chapter 1: Down the rabbit hole To start this journey I'll cover some backstory on the Flutter stack and how it works. What you probably already know: Flutter was built from the ground up with its own render pipeline and widget library, allowing it to be truly cross platform and have a consistent design and feel no matter what device its running on. Unlike most platforms, all of the essential rend
Kaigi on Rails _2021_ new
0:00 座談会 - 五十嵐邦明さん・伊藤淳一さん・安川要平さん 56:57 Kaigi on Rails 2021 の紹介 59:00 Railsのソースコード読みはじめて変わったこと - 酒井駿さん 1:04:21 Rails で気をつけたいセキュリティのハナシ - Masuyamaさん 1:10:00 Rubyのコミュニティのすゝめ - IdeEiseiさん 1:14:54 それVIEWでできるよ！ - Masato Moriさん 1:19:57 Timeout にご用心 - Fumiaki MATSUSHIMAさん 1:25:30 Railsエンジニア育成教材づくりの一山を越えて - Yuuki Ishibashiさん 1:29:54 Rails 7のimport mapsサポートに対する思いを語る - 中島 滋さん 1:35:20 computed_model gem, pb-s
またちょっと Gist に書き捨ててたコードが増えてきたので供養ブログをしばらく書いていこうかと。 (今年はまだ少な目。一人アドベントカレンダーな量にはならず。) 配列の共変性 悪名高いんですが、C# のというか、.NET の配列は共変だったりします。 // ↓.NET 的に許されていはいるものの、 items[0] = new Base(); が例外を起こすので今となってはあんまり使いたくない機能。 // 意図的に使うことはめったにないものの… Base[] items = new Derived[1]; // これは問題ない items[0] = new Derived(); // これも問題ない。 Base に Derived を代入するのは安全。 Base item = items[0]; // これがダメ。 // 実行時例外が出る。 items[0] = new Base();
スクリプトを記述 Quick Startのサンプルを利用します。 今回はデータのimportとクエリを試してみます。 Quich Startの内容と、Glueジョブ設定を組み合わせた以下のスクリプトを設定します。 import sys from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from pyspark.sql.session import SparkSession from awsglue.context import GlueContext from awsglue.job import Job ## @params: [JOB_NAME] args = getResolvedOptions(sys.argv, ['JOB_NAME']) spark = Sp
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reverse engineering Flutter apps (Part 1)
共変配列事故
AWS上でApache Hudiを動かす | DevelopersIO