はてなブックマーク

この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイ

この楽しい農場の絵には、いくつかの間違いが隠れています。一緒に探してみましょう。 1. 空に浮かぶ雲の中に、おかしな形の雲がありますね。 2. 農場の看板に"Saizeruya Fara"と書かれていますが、おそらく"Saizeruya Farm"の間違いでしょう。 3. トラクターに乗っている人の足が不自然に描かれています。 4. 野菜畑で働く人の中に、手に何か変なものを持っている人がいます。 5. バーベキューをしている人たちの中に、食べ物ではないものを焼いている人がいるようです。 6. テーブルの上に置かれた食べ物の中に、おかしなものが見えます。 7. 農場の建物の屋根が歪んでいる部分があります。 8. 背景の山の形が不自然なところがあります。 9. 農場の入り口付近に、場違いな物が置かれています。 10. 野菜畑で働く人たちの服装に、おかしなものが見受けられます。 こういった小さな

この記事を2行で S3の署名付きURLと同じことが、Lambdaの関数URLにもできます Lambdaの署名付きURLを使えば、APIGatewayの29秒タイムアウトを超えてLambdaを実行できます 何が嬉しいの？ AIのように時間のかかる処理を、Lambdaだけで処理できます 署名付きURLなので、Cognito + APIGatewayのような認証がそのまま使えます どうやって？ Lambdaの関数URLはAPI Gatewayの29秒タイムアウト制限の影響を受けない S3の署名付きURLと同じ認証方法が、Lambdaの関数URLでも使える ※サービスはLambdaだけ、ライブラリもboto3の標準機能だけで実現できます このあたりの事情を説明（APIGatewayのタイムアウト制限とは？） AWSのLambdaは、15分かかる処理までは受け付けることができます。 ただ、APIGa

Pydanticに6行書き加えるだけで、ArgumentParserと同じ使い方ができるから便利よ、という小ネタPythonArgumentParserpydantic この記事について Pythonのバリデーター（Pydantic）を、Pythonの引数のパーサーとして使う方法を紹介します 何が嬉しいの？ Pydantic以外のOSSライブラリは不要です Pythonファイルに渡された引数を検証、型変換させることができます Pydanticで定義を書くだけでよいため、ArgumentParserよりも楽です IDEの補完が効くようになります 方法 BaseModelを継承したクラスに、以下の関数を書き加えます @classmethod def parse_args(cls): parser = ArgumentParser() for k in cls.schema()["propert

はじめに この記事では、JSON形式でスキーマを定義して、PyDanticのクラスを作成する方法を2つ紹介します。 型名と引数を書いたJSONをPyDanticのクラスに変換する JSONSchema形式で書いたJSONをPyDanticのクラスに変換する どういうメリットと、どういうメリットがあるの？ JSONで定義するメリットとしては、定義をアプリの外部に置くことができるので、 利用者の数が変わる昼と夜で閾値を変えたい クラウド側に定義ファイルを置きたい といった要望があった時に対応できることが考えられます。 デメリットとしては、IDEから定義が全く見えないせいで自動補完が効かず、ツールとしての恩恵を受けにくいことです。 型名と引数を書いたJSONをPyDanticのクラスに変換する この方法では、スキーマには、 型の名前(キー名: type, str型) Fieldクラスに渡す引数(

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この記事について 結論を 1 行で Cloudflare R2 で API Gatewayを置き換えると、 Web サービスの開発が劇的に安くなるかもしれない 対象読者 AWS、特に S3 を知っている、または聞いたことがある 個人開発～やや小規模な Web・IoT サービスを開発している 記事の内容を簡単に説明すると 2022 年 9 月に『AWS S3 互換のサービス』として Cloudflare の R2 が一般公開された できること＆使い方は S3 とほぼ同じ ただし料金体系が異なる R2 は S3 互換だが、S3 らしい利用方法をしても安くならない ストレージの料金設定が 1 つしかなく、ログの保管用途だと高い S3 と同じ用途で使うなら、連携の良さを捨ててまで乗り換えるメリットはない 一方で、S3 らしくないことをさせるのなら衝撃的に安い 書き込みの無料利用枠が S3 の約 5

概要 目的：数GB分の複数ファイルをS3から取得、Lambdaで1つのzipファイルにまとめる 環境：AWS Lambda, S3, Java8（どの言語でもできますが、サンプルの都合でJavaを使います） 実現方法：無圧縮zip, S3マルチパートアップロード機能 構成の概要 実現すること こんな要件があったとします。 数GB分のファイルがS3に配置されていて、それを1つのzipファイルにまとめたい。 既存機能の都合でVPCやECSは使えないため、LambdaとS3だけで実現したい。 一見すると単純ですが、（普通は）実現できない構成です。 参考：要件の構成をSAMのYAMLファイルにしたもの（クリックで開きます） AWSTemplateFormatVersion: "2010-09-09" Transform: AWS::Serverless-2016-10-31 Description

この記事について ウマ娘プリティーダービーが明日の2/24から公開されることになり、ゲーム攻略サイトの「元の競走馬の勝率をもとにしたリセマラランキング」が話題になりました。 どうせなら機械学習を使ってリセマラランキングを予想してみたくなりました。 考え方、予想の手順、予想の結果を技術ブログとして残します。 予想の方法 実際の競走馬の成績と性質をもとに、機械学習でクラスタリングをします。 強くならない特定のキャラクター（例：ハルウララ）の所属するクラスタを低く、アニメで人気のあるキャラクタが集まったクラスタを高く評価して、ランキングを作ります。 実行環境： Windows 10, Python 3.8.3 ライブラリ： numpy==1.20.1 sklearn==0.24.1 pandas==1.2.2 ※データを作る時に、javaのjsoapを使っています。 機械学習の結果：できあがった