お近づきになりたい人向けシリーズです。 いろいろなトピックを詰め込みましたが、「これら全部を知らないといけない」のようなつもりではなく、いろいろなことを知るきっかけになったらいいなという気持ちなので、あまり身構えずにちょっとずつ読んでもらえたらうれしい気がします。 まえがき 予備知識 規格 用語 精度という語について 記法 表現について 有限値の表現について エンコードについて 丸めについて よくある誤差や勘違いの例 0.1 = 1 / 10? 0.1 + 0.2 = 0.3? 整数の誤差 Rump’s Example 基本的な誤差評価 用語に関して 実数の丸め 有理数の丸め 基本演算の丸め 差について 複数回の演算 補題たち 桁落ちについて Re: Rump’s example 融合積和 数学関数に関する式の計算 誤差の削減に関して 総和計算 数学関数の精度について 比較演算について 雑
結婚式のエンドロールを当日作った話
結婚のお礼と報告 でちょこっと書いた結婚式エンドロールをその場で作ってみたのお話 注意事項# 結婚式のエンドロールを自作したりするには結婚式場の協力が必須です。 作り出す前に式場に必ず確認を取りましょう。 PCからそのままプロジェクトにだせばいいじゃん！と思い込むのだめです(自戒) 動機# エンドロールを式場にお願いしようと思ったら高かったので、最近のイケてるサービスとか適当にガッチャンコすれば作れると思った。 今は反省している。 全体の構成# LINE Botに参加者から画像投稿を投げてもらう S3に保存すると同時に投稿者情報をDynamoDBに保存 投稿された画像にDynamoDBの投稿者情報から名前を追記 画像を全部結合して動画化し、事前に生成したエンドロールで必要な部分を結合 式の最後に流してもらう 全体の構成はこんな感じです。 サーバーレスアーキテクチャのお勉強がてら作ろうとした
技術部の笹田（ko1）と遠藤（mame）です。クックパッドで Ruby (MRI: Matz Ruby Implementation、いわゆる ruby コマンド) の開発をしています。お金をもらって Ruby を開発しているのでプロの Ruby コミッタです。 本日 12/25 に、ついに Ruby 3.0.0 がリリースされました。一昨年、昨年に続き、今年も Ruby 3.0 の NEWS.md ファイルの解説をします。NEWS ファイルとは何か、は一昨年の記事を見てください（なお Ruby 3.0.0 から、NEWS.md にファイル名を変えました）。 プロと読み解く Ruby 2.6 NEWS ファイル - クックパッド開発者ブログ プロと読み解くRuby 2.7 NEWS - クックパッド開発者ブログ Ruby 3.0 は、Ruby にとってほぼ 8 年ぶりのメジャーバージョンア
Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices | Amazon Web Services
AWS News Blog Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices Organizations are adopting microservices architectures to build resilient and scalable applications using AWS Lambda. These applications are composed of multiple serverless functions that implement the business logic. Each function is mapped to API endpoints, methods, and resources using s
Amazon Web Services ブログ ECS のアプリケーションを正常にシャットダウンする方法 この記事は Graceful shutdowns with ECS を翻訳したものです。 — はじめに Amazon Elastic Container Service (Amazon ECS) を利用することで、お客様はさまざまな方法でコンテナ化されたアプリケーションを柔軟にスケールできます。リクエストの急増に対してタスクをスケールアウトすることも、コスト削減のためにタスクをスケールインすることもできます。ECS ではさまざまなデプロイの選択肢があり、ローリングデプロイ・ブルー/グリーンデプロイ・カナリアデプロイなどがサポートされています。さらに、ECS では柔軟なコンピューティングの選択肢が用意されています。Amazon EC2 のオンデマンド/スポットのキャパシティ上や、マネージ
Amazon CodeWhispererでどの程度コーディングが効率化できそうか試してみた - Taste of Tech Topics
ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
【Python 3.12】型ヒント機能がいつの間にか進化していたので、慌ててキャッチアップする - ABEJA Tech Blog
ABEJA でプロダクト開発を行っている平原です。 先日、バックエンドで使っているGo言語のお勉強しようと「go言語 100Tips ありがちなミスを把握し、実装を最適化する」を読んでいました。その中でinterfaceは（パッケージを公開する側ではなく）受け側で定義するべきという記述を見つけてPythonでも同じことできないかと調べていると（PythonではProtocolを使うとうまくいきそうです。）、どうやら型ヒント機能がかなりアップデートされていることに気づき慌てて再入門しました。（3.7, 3.8あたりで止まってました。。） この記事では、公式ドキュメントを見ながら適当にコードを書き散らし、どの機能はどこまで使えるのか試してみたことをまとめてみました。 docs.python.org 環境 Python: 3.12.1 エディタ: Visual Studio Code Pylan
はじめに Claude Sonnet 4はコーディングが得意だけでなく、ほかのAIより人間性豊かで会話していて深い哲学的な気づきを得られる。そのため、技術的なところだけでなくプライベートのことも含めていろいろ話している。 ただ、ChatGPTと異なりメモリ機能を備え付けではないので、正直物足りないことも多かった。 Claude Desktop では MCP を使えるので、自分で MCP を作ればツール自作できるということに気づいた。そこでローカルで簡易的なメモリ機能を実装してみたら、個人的にとても感動した。 ＊全体的に個人的感想が多く含まれてます。すみません。 実際に何ができるようになったか まず、どんなことができるようになったか見てもらった方が早いと思う。 私はなぜLocal Memory MCPを作ったかを聞いたら 記憶をベースにかなり詳細な理由を述べてくれた。 AWSが出した新しいA
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます。 # DynamoDB ログデータ格納用
900行のコードをノーミスで出力するClaude 3.5 Sonnet (New) やるなお主｜平岡憲人（ノーリー）
こんにちは！ ノーリーです。ClaudeやChatGPT、Gemini使ってますか？ 今朝リリースされた、Claude 3.5 Sonnet (New)のコード生成能力を味う記事です。 では、まったり参りましょう！ １．公式情報Claude 3.5 Sonnetは、コーディング能力において大きな進化を遂げたAIモデルだそうです。このモデルの新機能と改善点は以下の通りです。 強化されたコーディング支援: Claude 3.5 Sonnetは、JavaScriptやPythonなどの様々なプログラミング言語でコード生成する能力に優れています。簡単なコード補完から複雑な問題解決シナリオまで対応可能で、開発プロセスを大幅に効率化できます。 問題解決能力の向上: HumanEvalベンチマークで64%の問題を解決する能力を示し、前バージョンのClaude 3 Opusの38%から大幅に向上しました。
CloudFormation 一撃で EC2 の Blue/Green Deployment の CodePipeline を構築する | DevelopersIO
準備 CodeCommitに以下をプッシュします。 なお、CodePipelineによる自動デプロイではファイル上書きデプロイを設定できないので、必要に応じて appspec.ymlで元のファイルを削除するように対応します。 ソースコード(index.html, hello.conf) appspec.yml (本稿では beforeInstall.sh を利用) ちなみに、index.html や hello.conf の素材は こちら を使っています。 参考 ## appspec.yml version: 0.0 os: linux files: - source: ./hello.conf destination: /etc/nginx/conf.d/ - source: ./index.html destination: /usr/share/nginx/html/ hooks:
「500年後に日本人が佐藤だけになる」という試算の問題と改善 - ill-identified diary
この記事の要約 はじめに 問題点の要約 (追記) 先行研究について GARCH(っぽい)モデルによるシミュレーション シミュレーション前の理論分析 選択的夫婦別姓との比較 (追記) ゴルトン゠ワトソン分枝過程について 使用するデータ シミュレーションの技術的な補足 乱数生成について GARCHモデルの結果 シミュレーションの追試 より複雑なシミュレーションについて 男女別 世代重複 創作苗字 三親等の婚姻禁止ルール より高度な人口学的モデル 結論 2024/4/22: 先行研究とゴルトン゠ワトソン分枝過程の解説の追記 2024/4/23: 多数の言い回しのおかしい箇所の校正 2024/4/24: グラフ上の記載ミスとグラフ描画コードを修正 この記事の要約 先日報道された「500年後に日本人が佐藤だけになる」という試算の内容に違和感を覚えた. 資料を確認してみると, 大きな問題のある方法で試
概要 はじめに Qlibの試用 動作条件 使用したrequirements.txt データの取得 予測の実施 出力 図示 ソースコード バックテストでのポートフォリオ分析 リスク分析、分析モデル おわりに 概要 本記事では、Qlibを使用して、機械学習パイプライン環境を構築する第一歩について述べる。 はじめに このブログの趣旨としては、当初は「戦略作成」→「戦略検証」→「戦略稼働」→「成果の評価」→「戦略へフィードバック」といったサイクルを管理できるような自動トレーディングシステムを作ることを考えていた。 最近、すこし株取引から離れていたのだが、最近になってまたやり始めようかなと思い、色々と現在の状況を調べはじめた。 その中で、MicrosoftのリポジトリにQlibというものがあるのを見つけた。これが2020年の8月から作られたもので、現在でもメンテされており、もしかするとこれがやりたい
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの近藤です。普段はZOZOMATやZOZOGLASS、ZOZOFITなどの計測技術に関わるシステムの開発、運用に携わっています。 計測プラットフォーム開発本部では、複数のプロダクトを運用していますが並行して新しいプロダクトも開発しています。SREチームでは増え続けるプロダクトの運用負荷に対して改善は行っていますが、さらなるプロダクトの拡張に備えてZOZOFITの開発運用を別チームへ移管することになりました。移管作業の中でAWSリソースを別チームが管理するAWSアカウントへ移行する作業が発生することになりました。本記事では移行時に遭遇した課題と、その課題の解決に至るまでの取り組みをご紹介します。 目次 はじめに 目次 背景・課題 調査 ユーザ移行Lambdaの作成 簡易ダイアグラム フローチャート ユーザ移行Lambdaの処理
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
はじめに 従来のフレームワークにおける課題 Optunaの設計思想 optunaの理論 Define-by-run APIの理論と実装 サンプリングアルゴリズムの理論 効率的な枝刈り（Pruning）メカニズム 分散最適化の理論とアーキテクチャ ストレージバックエンド トライアルの同期と非同期実行 実際のユースケースと性能評価 ベンチマーク評価の理論的枠組み TPEとCMA-ESの組み合わせによる性能向上 実世界での応用例 システムの拡張性と実装の詳細 カスタムサンプラーの実装 カスタム枝刈り手法の実装 実装上の最適化とパフォーマンスチューニング データベースアクセスの最適化 メモリ使用量の最適化 並列処理の効率化 ハイパーパラメータ探索の最適化 実践的な使用方法とベストプラクティス 探索空間の設計 目的関数の設計 計算リソースの最適配分 実装例 高度な機能とカスタマイズ マルチ目的最適化
AWS Lambda warms up your functions, such that 50%-85% of Lambda Sandbox initializations don't increase latency for users. In this article we'll define Proactive Initialization, observe its frequency, and help you identify invocations where your cold starts weren't really that cold. July 13, 2023 This post is both longer and more popular than I anticipated, so I’ve decided to add a quick summary: T
AWS News Blog New for App Runner – VPC Support With AWS App Runner, you can quickly deploy web applications and APIs at any scale. You can start with your source code or a container image, and App Runner will fully manage all infrastructure including servers, networking, and load balancing for your application. If you want, App Runner can also configure a deployment pipeline for you. Starting toda
Over the course of my Spring 2020 semester at Harvey Mudd College, I developed a self-hosting compiler entirely from scratch. This article walks through many interesting parts of the project. It’s laid out so you can just read from beginning to end, but if you’re more interested in a particular topic, feel free to jump there. Or, take a look at the project on GitHub. Table of contents What the pro
アルゴリズムトレード入門 ~ python で自動取引を始めてみる ~ - GMOインターネットグループ グループ研究開発本部
はじめに こんにちは、次世代システム研究室のT.I.です。 みなさま、本日もお仕事お疲れ様です。今回は楽して儲けたい(?)というテーマで株式や為替などの自動取引について紹介したいと思います。過去にも同様のテーマでのブログはありますが、いったん初心にかえって１から入門編として始めたいと思います。AIで自動取引というと小難しい数学を駆使して応用すると思われるかもしれませんが、実は簡単な計算の組み合わせだけで出来るので実際に手を動かして感覚を掴んでいただければと思います。 Pythonでゼロ(?)から始める自動取引 データ収集 まず、最初にデータを準備する必要があります。為替レートや株価などは様々なsiteで公開されていますが、一旦 download したり、少々手間ですよね。python library の１つである、pandas_datareader を利用すると、簡単に様々なデータソースか
python_modules.pdf
Python3 OpenCV / Pillow / pygame / Eel / PyDub / NumPy / matplotlib / SciPy / SymPy / gmpy2 / hashlib, passlib / Cython / Numba / ctypes / PyInstaller / curses / tqdm / JupyterLab / json / psutil / urllib / zenhan / jaconv Copyright © 2017-2025, Katsunori Nakamura 2025 8 19 Python ‘ .py’ Python Python Windows PSF Python py .py Enter macOS Linux PSF Python python3 .py Enter Anaconda Prompt Python p
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
AWS Step Function承認フローをAWS Step Functionsのワークフローから呼び出して多段階承認フローを作成する方法(AWS Systems Manager Automation ＆ Amazon EventBridge編) - NRIネットコムBlog
小西秀和です。 AI技術の急速な進化に伴い、従来の業務プロセスを見直す必要性が高まっています。 特に、多段階承認フローのあり方について、新しい視点からアプローチしたいと考え、この記事を執筆しました。 これまで多段階承認フローは、しばしば冗長で効率が悪いと批判されてきました。しかし同時に、専門知識や権限を持つ人間が最終判断を下す重要な場でもあります。 そこで私は次のような理由から、将来的に生成AIを多段階承認フローに組み込むことを見据え、AWS Step Functionsを活用した多段階承認フローシステムを試作してみました。 APIを介して承認フローをシステム化することで、人間と生成AIの間で意思決定プロセスを柔軟に切り替えられる 初期段階では人間が承認を行い、生成AIの能力が十分と判断された場合に段階的にAIへ移行できる 生成AIの判断に不安がある場合や、最終確認が必要な場合は、人間が承
Index 挨拶＆背景の話 構成 実装 感想 1. 挨拶 & 背景の話 こんちには、アプリケーションエンジニアで働いてます。キムでございます。 この前、運用してるアプリケーション内で発生するとあるエラーを検知する処理を入れたことがあります。 そこまで素晴らしい構成ではないが、この構成を作るときに、なかなか私と似てる状況の例文がなくてここに少しでも似てる悩みがある方に役に立てれば…と思って記録して残します。 2. 構成 前提条件 Cloudwatch Logsを使う FILTER機能はすでに別処理で動いてる 必ずリアルタイムでキャッチアップする必要はない １日１回のアラームぐらいでも構わない 要するに、Filterがすでに他のもので機能してるので、追加でなにかしたくて今回の構成を作りました。 正直Filterをもう少し汎用的に改善して運用することもいい案になったかもしれませんが、このような使
今更ですが今年の2月に spaCy 3.0 が公開されました。 3.0 で導入された新機能の中で目玉と言えるのは、やはり Hugging Face Transformers (以下、単にTransformers) のサポートや PyTorch, Tensorflow との連携になるでしょう。今回はその辺りを実際に学習を動かしながら紹介したいと思います。 1. はじめに 今回は今年の2月に公開された spaCy 3.0 の話です。 spaCy は第4回でも紹介しましたが、研究者向けというよりは自然言語処理アプリ開発者向けのオープンソース自然言語処理ライブラリになります。日本語を含めた様々な言語の学習済みモデルが存在しており、 spaCy をインストールして、学習済みモデルをダウンロードするだけで、分かち書き、品詞や依存関係の推定、単語や文の類似度の判定など様々な機能を使用することができます。
Solving Quantitative Reasoning Problems With Language Models
Solving Quantitative Reasoning Problems with Language Models Aitor Lewkowycz∗, Anders Andreassen†, David Dohan†, Ethan Dyer†, Henryk Michalewski†, Vinay Ramasesh†, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur∗, Guy Gur-Ari∗, and Vedant Misra∗ Google Research Abstract Language models have achieved remarkable performance on a wide range of tasks that require
Terraform実行ユーザー用の最小権限の原則を支援するPike触ってみた | フューチャー技術ブログ
はじめにTIG 真野です。Terraform連載2025の2日目です。 Pikeを触ってみた記事です。 PikeとはPike は James Woolfendenさんによって開発されたTerraformのコードを静的解析し、その terraform apply に必要な最小権限の原則に則ったIAMポリシーを生成するツールです。直接 .tf のコードをスキャンするというところが、良さそうと思ったポイントです。 Terraformを用いてインフラ構築する際には、強めの権限（本来は不要であるサービスの作成権限など）を付与して行うことが多いと思います。そのため、万が一のセキュリティ事故や誤操作で思いがけない結果に繋がる懸念がありました。しかし、最小権限の原則を忠実に守ろうとすると難易度・対応コストが高くなるため、ある程度割り切った運用を採用することが多いように思えます（もちろん、開発時は大きめを許
先日ちょっとしたAPIをLambdaとAPI Gatewayを使って作ったので、これを機会に最近の弊社のLambda構築状況について書きたいと思います。 TL;DR あるいは まとめ LambdaはECRによるイメージで起動。こうすることで、開発はイメージを作るところまで、インフラはイメージから後、というように分業できる aws-lambda-powertoolsはいいぞ API GatewayはOpenAPIをterraformに読み込ませることで簡単に設定できる Lambdaのruntime Lambdaは2020年12月からコンテナイメージをサポートしました。これは、ECRに置かれたコンテナイメージをLambdaが読み込んで起動する、というものです。 弊社ではLambdaは基本的にこのコンテナイメージからの起動で構築しています。 コンテナイメージを使う利点は以下の2つです。 コンテナ
Containers Graceful shutdowns with ECS February 2023: Parts of this blog are no longer accurate. Following enhancements to the ELB integration for ECS services, tasks running on Fargate Spot will be deregistered from a target group if it receives a spot termination notice before a SIGTERM is issued to the Task. Introduction Amazon Elastic Container Service (Amazon ECS) gives customers the flexibil
Simplify serverless development with console to IDE and remote debugging for AWS Lambda | Amazon Web Services
AWS News Blog Simplify serverless development with console to IDE and remote debugging for AWS Lambda Today, we’re announcing two significant enhancements to AWS Lambda that make it easier than ever for developers to build and debug serverless applications in their local development environments: console to IDE integration and remote debugging. These new capabilities build upon our recent improvem
Lambdaのログに特定のキーワード（ErrorやWarning）があるとき、Slackに通知する仕組みを作りました。 Lambdaにエラーが発生したとき、CloudWatch AlarmとChatbotでエラーを通知する仕組みはよく作ります。 しかし、Lambdaのエラーだけではなく、特定のキーワードを含む内容を通知したい場合もあります。 Lambda自体をエラーにできないが、Errorログがあるとき Lambda自体は正常だが、Warningログがあるとき というわけで、Lambdaのログに特定のキーワードがあるとき、Slackに通知する仕組みを作ってみました。 おすすめの方 Lambdaのログに特定キーワードがあるとき、Slack通知したい方 CloudWatch Logsのサブスクリプションフィルターを使いたい方 全体構成図 CloudWatch Logsのサブスクリプションフィル
Monitoring is a Pain
And we're all doing it wrong (including me) I have a confession. Despite having been hired multiple times in part due to my experience with monitoring platforms, I have come to hate monitoring. Monitoring and observability tools commit the cardinal sin of tricking people into thinking this is an easy problem. It is very simple to monitor a small application or service. Almost none of those approac
クラウドでは、利用者による物理メディアの破棄（消磁や破砕）はできません。今回は、クラウド環境で利用者が行えるデータ破棄の方法（Cryptographic Erase：暗号化消去）をためしてみました。 こんにちは、nkhrです。 オンプレ環境では、データ漏洩（第三者による意図しないデータ取得）を防ぐために、メディア破棄の統制を行っていると思います。クラウドでは、利用者による物理的なメディア破棄が行えないため、統制を行う場合は別の方法を考える必要があります。 クラウド環境で利用できるデータ破棄の方法として、「Cryptographic Erase（CE:暗号化消去）」があります。 今回は、下記のブログで紹介されている暗号化消去（CE）を試してみました。暗号化消去は、NIST 800-88にも記載されている方法です。 クラウドにおける安全なデータの廃棄（Amazon Web Service ブロ
Ruby: "uselessシンタックスシュガー"シリーズ「引数のforwarding」（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: “Useless Ruby sugar”: Argument forwarding 原文公開日: 2023/11/24 原著者: zverok 日本語タイトルは内容に即したものにしました。段落編成を若干変更し、訳文の一部に強調を加えています。 forwarding（転送）は本記事では英ママとしました。anonymousは「無名」としました。 参考: プロと読み解くRuby 2.7 NEWS - クックパッド開発者ブログ 本記事は、最近のRubyで出現した"無用な"（さもなければ物議を醸す）構文要素を扱うシリーズ記事の一環です。本シリーズの目的は、そうした機能を擁護することでも批判することでもなく、その機能が導入された理由、設計、そして新構文を使うコードに与える影響を分析するための一種の「思考のフレームワーク」を皆さんと共有すること
【祝GA】 Lambda ExtensionsでLambdaのログをGCPのCloud Loggingに送信してみた | DevelopersIO
CX事業本部@大阪の岩田です。先日Lambda ExtensionsがGAされました(東京リージョンはまだですが)。Lambda ExtensionsはLambdaのモニタリング、可観測性、セキュリティ、ガバナンスのための運用ツールをLambdaに統合する機能で、Lambda実行環境のライフサイクルと連動して外部のサードパーティ製品に直接ログやメトリクスを送信するといったことが可能です。 パブリックプレビュー自体は半年以上前から利用できる状態だったのですが、これまでちゃんと触れていなかったので自分の理解を深めるために簡単なExtensionを実装してみようと思い立ちました。何を作るか考えたのですが、今回はLambdaのログをGCPのCloud Loggingに送信するExtensionを作ることにしました。なおLambdaのランタイムにはPython3.8を利用しています。 Lambda
はじめての自然言語処理 文章ベクトル化モデルと ResNet50 で CLIP 風のモデルを作る | オブジェクトの広場
今回は前回の文章ベクトル化モデルを使って CLIP 風のモデルを作ります。CLIP は画像とテキストを同じ多次元ベクトル空間にエンコードするモデルで、テキストによる画像検索や Zero shot での画像分類が可能です。簡素化された（非公式）実装が公開されているので、日本語で動かして見ましょう。 1. はじめに 今回は前回の文章ベクトル化モデルを使って CLIP 風のモデルを作ります。CLIP1 は OpenAI が発表した画像とテキストを同一多次元ベクトル空間にエンコードするモデルで、テキストによる画像検索や Zero shot での画像分類が可能です。 オリジナルの CLIP は (画像,テキスト) の 4 億ペアを使い、バッチサイズ 32,768 でスクラッチから学習したようなので、とても Colab では動かせません。また公式実装2も公開されていますが、こちらは事前学習済みのモデル
Amazon EventBridge を利用した Amazon Elastic Container Service Anomaly Detector | Amazon Web Services
Amazon Web Services ブログ Amazon EventBridge を利用した Amazon Elastic Container Service Anomaly Detector この記事は Amazon Elastic Container Service Anomaly Detector using Amazon EventBridge を翻訳したものです。 この記事は Ugur KIRAと Santosh Kumar によって投稿されました。このコンセプトは大規模な ECS クラスターの管理に関する Skyscanner UKとの議論から生まれました。 Amazon EventBridge はサーバーレスのイベントバスで、独自のアプリケーション、統合された SaaS (Software-as-a-Service) アプリケーション、AWS サービスからのデータを使用し
Training a reinforcement learning Agent with Unity and Amazon SageMaker RL | Amazon Web Services
Artificial Intelligence Training a reinforcement learning Agent with Unity and Amazon SageMaker RL Unity is one of the most popular game engines that has been adopted not only for video game development but also by industries such as film and automotive. Unity offers tools to create virtual simulated environments with customizable physics, landscapes, and characters. The Unity Machine Learning Age
perf の Python インタプリタを利用して KVM Exit/Entry のレイテンシを分析する - NTT docomo Business Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2024 2 日目の記事です。 perf の Python インタプリタを使って KVM Exit/Entry のレイテンシを計測してみます。 はじめに KVM の仕組み CPU トレースを取得する perf をビルドする Python コードを書く 独自スクリプトを用いて perf.data を集計する まとめ 参考文献 はじめに こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は仮想マシンの性能解析やトラブルシューティングなどに取り組んでいます。 perf は Linux のパフォーマンス解析に有用なツールです。 perf を使うことで、パフォーマンスカウンタの値を読んだり、プロファイリング、トレーシング
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
浮動小数点型の算術とお近づきになりたい人向けの記事 - えびちゃんの日記
プロと読み解く Ruby 3.0 NEWS - クックパッド開発者ブログ
ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services
GPT in 60 Lines of NumPy | Jay Mody
Claude Desktopに記憶を与えるLocal Memory MCPを自作してみて感動した話
Qlibを使った機械学習パイプライン環境の構築 投資の取引戦略最適化と機械学習モデル作成の省力化を目指して - 株のシステムトレードをしよう - 1から始める株自動取引システムの作り方
MFA設定必須のCognitoのクロスアカウントマイグレーションについて - ZOZO TECH BLOG
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
optunaの理論 - tomtom58’s blog
Understanding AWS Lambda Proactive Initialization
New for App Runner – VPC Support | Amazon Web Services
Kalyn: a self-hosting compiler for x86-64
AWS Lambdaを使って特定ログを通知する - Qiita
はじめての自然言語処理 spaCy 3.0 で Transformer を利用する | オブジェクトの広場
最近やってるLambdaとAPI Gatewayの開発方法の話
Graceful shutdowns with ECS | Amazon Web Services
LambdaのErrorとWarningログをSlackに通知する | DevelopersIO
AWSで安全なデータ破棄の仕組みを構築してみた | DevelopersIO