並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 36 件 / 36件

新着順 人気順

JMESPathの検索結果1 - 36 件 / 36件

  • awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店

    最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio

      awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
    • 【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO

      こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス

        【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
      • Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ

        はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報(今回の話に関係ある部分のみ)は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。

          Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
        • pip freezeして作られたであろう requirements.txt をどうにか整理する話

          ECシステム開発チームのいまづです。 みなさん pip install してますか? いやまあ pip 自体は使うにしても、依存管理は最近なら rye だろうとか uv 使おうぜとか聞こえてきますけれども、自社サービスを開発し続けていると、古くから存在し続けるリポジトリがあって、それらには requirements.txt しかないという状況がありまして。 今回はそれを整理したよ、というお話です。 残念ながら便利ツールで一気に解決できたというお話ではありません。 バージョン指定込みの requirements.txt 開発において人が必要と判断したものを単に追記していっただけの requirements.txt というのは扱いやすいですよね(バージョンを固定できていないという点を無視すれば)。 djnago python-dateutil requests boto3 みたいなやつです。

            pip freezeして作られたであろう requirements.txt をどうにか整理する話
          • EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO

            EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた 定期起動・停止するEC2インスタンスをタグで指定したい こんにちは、のんピ(@non____97)です。 皆さんは定期起動・停止するEC2インスタンスをタグで指定したいなと思ったことはありますか? 私はあります。 EventBridge SchedulerでStopInstancesやStartInstancesを定期実行することで、簡単にEC2インスタンスを定期起動・停止させることが可能です。 ただし、どちらのAPIもインスタンスIDを指定する必要があります。 インスタンスIDを指定するとなると、対象となるインスタンスが増えた場合やリストアした際にインスタンスIDが変更となった場合など都度EventBridge Schedulerのペイロ

              EventBridge SchedulerとStep Functionsで指定したタグが付与されているEC2インスタンスを定期的に起動・停止させてみた | DevelopersIO
            • [アップデート] Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました #AWSreInforce | DevelopersIO

              [アップデート] Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました #AWSreInforce Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました。 Inspector Scan API を利用して詳細を確認できます。 こんにちは! AWS 事業本部コンサルティング部のたかくに(@takakuni_)です。普段は趣味で Amazon Inspector の追っかけをしています。 フィラデルフィアで開催されている AWS re:Inforce 2024 に参加しています。 Keynote や What's new の裏側で Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようにな

                [アップデート] Amazon Inspector SBOM Generator が Dockerfile の設定不備を検出するようになりました #AWSreInforce | DevelopersIO
              • AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 | DevelopersIO

                AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今回はAWS LambdaのPythonパッケージのランタイムを調べてみたのでご紹介します。 なおバージョン等は本日時点での内容となっておりますのでご注意ください。 検証したパターン 以下のランタイムとAWSが提供しているLambdaレイヤのいくつかの組み合わせで検証しました。 ランタイム : Python 3.7 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.8 レイヤ : なし レイヤ : AWS SDK for Pandas レイヤ : SciPy ランタイム : Python 3.9 レイヤ

                  AWS LambdaのPythonランタイムとAWSが提供するLambdaレイヤのPythonライブラリを調べてみた。 | DevelopersIO
                • CIS Benchmarks — Ansible Lockdown

                  Introduction Automated Security Benchmark - Auditing and Remediation MindPoint Group’s (MPG) Ansible-Lockdown Overview Why should this role be applied to a system? What is security hardening? CIS Overview What is CIS? What do the CIS roles do? Control Severities STIG Overview What is STIG? What do the STIG roles do? Control Severities What is provided? How is this written? Development Process Life

                  • AWS Lambda 関数 (Python) の import 時間を計測しよう / -X importtime オプション or 環境変数 PYTHONPROFILEIMPORTTIME - kakakakakku blog

                    AWS Lambda の初期化フェーズ (INIT) は「10秒」に制限されている.例えば,AWS Lambda 関数の「ベストプラクティス」を意識してハンドラ外に実装した処理が長くなったり,AWS Lambda 関数 (Python) で機械学習系のライブラリなどを多く import しようとして遅くなり,結果的に INIT のタイムアウトが出てしまうことがあったりする. INIT_REPORT Init Duration: 10020.95 ms Phase: init Status: timeout AWS Lambda 関数 (Python) で import の最適化をするためには「そもそもどの import が遅いのか」を確認したく,import の前後に計測用のログを仕込むこともできるけど,Python 3.7 から使える -X importtime オプション(もしくは環境

                      AWS Lambda 関数 (Python) の import 時間を計測しよう / -X importtime オプション or 環境変数 PYTHONPROFILEIMPORTTIME - kakakakakku blog
                    • [Ansible / AAP / AWX] EEのコンテナイメージ作成にAnsible Builderは必ずしも必要ないかを確認してみた (小ネタ) - zaki work log

                      AAPやAWXでジョブ実行に必要なExecution Environments(EE)を作るために通常はAnsible Builderを使ってコンテナイメージをビルドするが、要件を満たせばDockerfileを直接書いて自前でビルドしても動くのでは…と思ったので確認してみた。 結論としては、以下が入っていれば最低限動作した。 Ansible Core プラス必要なAnsible Collection Ansible Runner SSHクライアント sshpass (パスワード認証の場合) Ansible BuilderではRHEL系コンテナしか使えない(夏にv3対応したときにいろいろ試したがRHEL系以外はダメだった)が、お試しでDebian系…もいいかと思ったけど、せっかくなのでAnsible利用時にあまり使われず(個人の感想)、イメージサイズがより小さいAlpine Linuxでビル

                        [Ansible / AAP / AWX] EEのコンテナイメージ作成にAnsible Builderは必ずしも必要ないかを確認してみた (小ネタ) - zaki work log
                      • コマンドライン(CLI)でOCIを操作する

                        コマンドライン(CLI)でOCIを操作する クラウドの管理を簡単にしたいなら、コマンドラインツールのOCICLIを試してみましょう。APIを直接コールするよりもずっと簡単に、スクリプトを使ってクラウドのコンポーネントを操作できます。 チュートリアル一覧に戻る : Oracle Cloud Infrastructure チュートリアル これまでのチュートリアルでは、Oracle Cloud Infrastructure(OCI) をコンソールを通して利用してきましたが、OCIにはこれらの操作をRESTfulなウェブサービスを通して実行するためのAPIと、それを呼び出す **コマンド・ライン・インタフェース(CLI) ** が用意されています。 この章では、手元の Windows PC 環境にCLIをインストールしてOCIの基本的な操作を行う手順を通じて、APIとCLIの動作について理解を深め

                          コマンドライン(CLI)でOCIを操作する
                        • LambdaでRuntime.ImportModuleErrorが発生した時の対処 | iret.media

                          1. 概要 2. Runtime.ImportModuleErrorの対処方法 3. Lambda開発環境の構築方法 4. Lambdaにコードをデプロイする3つのポイント — 4.1. ポイント1: デプロイパッケージの作成 — 4.2. ポイント2: Handler名を指定する — 4.3. ポイント3: ランタイムのバージョンを指定する 5. 参考資料 概要 今回は、LambdaでRuntime.ImportModuleErrorが発生した時の対処方法をまとめます。LambdaでImportに関する情報は典型的かもしれませんが、私の場合はインターネット上の情報だけではエラーを解決できず、調査に時間が掛かりました。今後の方のために、本記事にまとめたいと思います。 本記事では、先ずRuntime.ImportModuleErrorを対処するための3つのポイントを記載しております。 そして

                            LambdaでRuntime.ImportModuleErrorが発生した時の対処 | iret.media
                          • Amazon Bedrock使ってみた | InsurTech研究所

                            Amazon Bedrockが9月末にGAされていたのですね。今頃気づきました・・・ ここ最近は、Hugging Faceで公開されたLLMをローカルPCで動かして遊んでいたのですが、公開されていないけど性能の良いLLMもずっと気になっており、それらがAmazon Bedrock経由でAPIアクセスできると聞いて、遅ればせながら「使ってみた」です。 なお、LLMで何をして遊んでいたのか気になった方は以下を参照ください。 Amazon Bedrockとは? Amazon Bedrock は、Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにする完全マネージド型サービスです。 https://aws.amazon.com/jp/bedrock/ とてもシンプルでわかりやすいですね。特長を箇条書きにするとこんな感じです。 フルマネ

                              Amazon Bedrock使ってみた | InsurTech研究所
                            • JSONオンラインの編集とフォーマット

                              このオンラインツールを使用すると、JSON形式を簡単に作成、編集、表示、検証できます。 両方のパネルを同時に使用して、使用可能なさまざまなビューとモードを切り替えることができます。 JSON編集ツールは、Google Chrome、Mozilla Firefox、Safari、Opera、Microsoft Edge、Microsoft Internet Explorer 11など、ほとんどの利用可能なWebブラウザーと互換性があります。 JSOnエディターにはさまざまなモードとビューがあります。ツリーモードビューでは、要素と値の追加、変更、移動、複製、編集、配列とオブジェクトの並べ替え、JMESPathクエリによるJSONの変換、色の動的セレクターによる色の選択が可能です 、コンテンツの検索と強調表示、JSONスキーマの検証などを行います。 コードモードでは、JSONのフォーマットと圧縮

                              • Pythonのパッケージマネージャ「uv」を試してみたら爆速だった - Qiita

                                ❯ time pip install -r requirements.txt Collecting fastapi==0.109.2 (from -r requirements.txt (line 1)) Obtaining dependency information for fastapi==0.109.2 from https://files.pythonhosted.org/packages/bf/97/60351307ab4502908d29f64f2801a36709a3f1888447bb328bc373d6ca0e/fastapi-0.109.2-py3-none-any.whl.metadata Downloading fastapi-0.109.2-py3-none-any.whl.metadata (25 kB) Collecting alembic==1.13.1

                                  Pythonのパッケージマネージャ「uv」を試してみたら爆速だった - Qiita
                                • Pythonで使用できるJSONのクエリ言語「JMESPath」のインストール

                                  Pythonで使用できるJSONのクエリ言語、ライブラリ「JMESPath」のインストールについて解説しています。 「JMESPath(https://github.com/jmespath/jmespath.py)」は、JSONドキュメントから要素を抽出する方法を宣言的に指定できるライブラリです。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。(Windows10)(pythonランチャーでの確認) ■JMESPathをインストールするJMESPathをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install jmespath起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Python Versio

                                    Pythonで使用できるJSONのクエリ言語「JMESPath」のインストール
                                  • poetry の依存関係でエラーが発生した場合の対処

                                    例を出した方がわかりやすいので、poetry と s3fs のバージョン競合を例にする (2021年5月に書いているので、場合によっては再現はしない可能性があります) Copy$ poetry add boto3 Using version ^1.17.69 for boto3 Updating dependencies Resolving dependencies... (0.5s) Writing lock file Package operations: 5 installs, 0 updates, 0 removals • Installing jmespath (0.10.0) • Installing urllib3 (1.26.4) • Installing botocore (1.20.69) • Installing s3transfer (0.4.2) • Instal

                                      poetry の依存関係でエラーが発生した場合の対処
                                    • PHP7.4からPHP8.1へバージョンアップした - EC2(Amazon Linux2)/ Nginx

                                      $ sudo yum update -y 読み込んだプラグイン:extras_suggestions, langpacks, priorities, update-motd amzn2-core | 3.7 kB 00:00:00 依存性の解決をしています --> トランザクションの確認を実行しています。 ---> パッケージ kernel.x86_64 0:4.14.301-224.520.amzn2 を インストール ---> パッケージ kernel-headers.x86_64 0:4.14.299-223.520.amzn2 を 更新 ---> パッケージ kernel-headers.x86_64 0:4.14.301-224.520.amzn2 を アップデート ---> パッケージ kernel-tools.x86_64 0:4.14.299-223.520.amzn2 を

                                        PHP7.4からPHP8.1へバージョンアップした - EC2(Amazon Linux2)/ Nginx
                                      • 既存のコンテナイメージをdistrolessイメージを使って改善する

                                        はじめに この記事では既存のコンテナイメージをdistrolessイメージを使って改善していく記事です。 主な内容としては実践したときのメモを中心に書きます。 (忘れやすいことなど)誤りなどがあれば書き直していく予定です。 今回利用したソースコードは以下のリポジトリにあります。 https://github.com/ymd65536/distroless_docker_image 環境 今回は以下の環境で動作確認を行っています。そのほかの環境で動かす場合の参考にしてください。 MacBook Apple Sillicon M1 Sonoma 14.0 Rancher Desktop v1.7.0 Python Python 3.9 ※まずは、Rancher Desktopをインストールしてください。 ※Python3.9と記載していますが、dockerイメージにおけるPythonです。 既

                                          既存のコンテナイメージをdistrolessイメージを使って改善する
                                        • AmazonLinux2において、aws cliのバージョンを1から2へ変更する方法について - セキュリティ専門企業発、ネットワーク・ログ監視の技術情報 - KnowledgeStare(ナレッジステア)

                                          当記事では、AmazonLinux2において、aws cliのバージョンを1から2へ変更する方法について記載します。 前提 当記事の説明はすべて東京リージョンにて生成されたEC2インスタンスにて実施した事項となります。 EC2インスタンス生成直後の状態からコマンドにてaws cliバージョン2に変更されたかどうか確認するまでの内容を記載しています。 EC2インスタンスの生成方法につきましては説明を割愛します。 当記事は下記リンクの記載内容を参考に作成しています。 https://docs.aws.amazon.com/cli/latest/userguide/install-linux-al2017.html https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-linux.html 変更方法について 用意したAmaz

                                            AmazonLinux2において、aws cliのバージョンを1から2へ変更する方法について - セキュリティ専門企業発、ネットワーク・ログ監視の技術情報 - KnowledgeStare(ナレッジステア)
                                          • AWS SQS デッドレターキューのメッセージを一括削除 - Qiita

                                            デッドレターキューのメッセージを全削除するシェルスクリプトを作ってみた。 デッドレターキューに限ったことではないのですが、やりたかったこととしては、デッドレターキューにあるメッセージを全削除することだったので、このタイトルです。 (通常のキューのメッセージを全削除することはそうそうないかなと思って) やりたかったこと(背景) SQSを使ったアプリケーションの開発中に、テストで登録したSQSのメッセージがデッドレターキューに溜まってしまった場合に、まとめて消してしまいたい時がある。 AWSマネジメントコンソールで手動でポチポチ削除していたのだが、数が多いとそれなりに面倒。 メッセージの中身をデバッグ用などに取っておきたい場合もあるので、削除する前にJSONファイルに出力しておきたい。 どのファイルに所望のメッセージが格納されているかわかるように、識別可能なキー項目をメッセージから取得してファ

                                              AWS SQS デッドレターキューのメッセージを一括削除 - Qiita
                                            • 使っているマシンの環境|カレーちゃん

                                              @currypurin 今日か明日から環境構築をしようとしています。 可能であれば ubuntu cudaのverと使用しているフレームワークを教えていただきたいです。 複数可能だとは思いますが、カレーさんのブログ等を参考にしていきたいので… — 山本康平 (@IKIRIEI) June 11, 2019 Ubuntu$ cat etc/os-release NAME="Ubuntu" VERSION="16.04.4 LTS (Xenial Xerus)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 16.04.4 LTS" VERSION_ID="16.04" HOME_URL="http://www.ubuntu.com/" SUPPORT_URL="http://help.ubuntu.com/" BUG_REPORT_URL="htt

                                                使っているマシンの環境|カレーちゃん
                                              • AWSにPandasライブラリを拡張できるライブラリ「awswrangler」のインストール

                                                AWSにPandasライブラリを拡張できるライブラリ「awswrangler」のインストールについて解説しています。 「awswrangler(https://aws-sdk-pandas.readthedocs.io/en/stable/)」は、Pandasライブラリの機能をAWSに拡張できるライブラリです。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。(Windows10)(pythonランチャーでの確認) ■awswranglerをインストールするawswranglerをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install awswrangler起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用してお

                                                  AWSにPandasライブラリを拡張できるライブラリ「awswrangler」のインストール
                                                • 間違って EC2 インスタンス起動しっぱなしにしてしまったので、起動してるか確認するスクリプトを作成した - Qiita

                                                  コマンド詳細 aws ec2 describe-instances というコマンドですべての EC2 インスタンスの情報を取得します。 --query 'Reservations[*].Instances[*].{InstanceId:InstanceId, Name:State.Name}': JMESPath を使用して、InstanceIdとState.Name(インスタンスのIDと状態名)を抽出します。 --output table: 出力フォーマットをテーブル形式に指定します。 実行結果 コマンドを実行すると、以下のようなテーブル形式の出力が得られます。 --------------------------------------- | DescribeInstances | +---------------------+--------------+ | InstanceId

                                                    間違って EC2 インスタンス起動しっぱなしにしてしまったので、起動してるか確認するスクリプトを作成した - Qiita
                                                  • JSON Schema で簡単にバリデーションを実装できる Powertools for AWS Lambda (Python) の Validation - kakakakakku blog

                                                    Powertools for AWS Lambda (Python) の「Validation」を使うと AWS Lambda 関数に渡されたイベント情報のバリデーションを JSON Schema に沿って実現できる.例えば,必須パラメータ・文字数制限・ENUM・正規表現などをチェックできる👌 Powertools for AWS Lambda (Python) 自体は Tracer / Logger / Event Source Data Classes などをよく使うけど,Validation は今まで活用できてなく,試してみたらとても便利だったので,今回試した結果を簡単にまとめておく \( 'ω')/ docs.powertools.aws.dev 検証環境 今回は AWS SAM を使って Amazon API Gateway (REST API) と AWS Lambda 関数

                                                      JSON Schema で簡単にバリデーションを実装できる Powertools for AWS Lambda (Python) の Validation - kakakakakku blog
                                                    • [アップデート] Amazon Inspectorがプログラミング言語のパッケージマネージャーからインストールしたパッケージの脆弱性を検出できるようになりました | DevelopersIO

                                                      [アップデート] Amazon Inspectorがプログラミング言語のパッケージマネージャーからインストールしたパッケージの脆弱性を検出できるようになりました npmやpipでインストールしたパッケージの脆弱性を検出したいな こんにちは、のんピ(@non____97)です。 皆さんはAmazon Inspectorがプログラミング言語のパッケージマネージャーからインストールしたパッケージの脆弱性を検出できるようになりましたでnpmやpipでインストールしたパッケージの脆弱性を検出したいなと思ったことはありますか? 私はあります。 従来Amazon Inspectorで検出できる脆弱性はyumやdnf、aptなどのOSのパッケージマネージャーでインストールされたパッケージのみでした。 本日、アップデートによって追加されたディープインスペクションなる新機能にて、プログラミング言語のパッケージ

                                                        [アップデート] Amazon Inspectorがプログラミング言語のパッケージマネージャーからインストールしたパッケージの脆弱性を検出できるようになりました | DevelopersIO
                                                      • AWS Config アグリゲータにて高度なクエリ無しで複数AWSアカウントのリソース情報取得を試してみた | DevelopersIO

                                                        AWS Config アグリゲータの高度なクエリに対応していないリソースタイプの情報取得について、サンプルコマンドのポイントをまとめました。 こんにちは!コンサル部のinomaso(@inomasosan)です。 AWS Config アグリゲータで、Advanced Queryに対応していないリソース情報取得を取得するためのサンプルコードを作成してみました。 試行錯誤していくなかで色々と気づきがあったので、ブログにまとめていきます。 まずはサンプルコード 取り急ぎ試されたい方は、こちらのサンプルコードをご利用ください。 以下のパラメータは適宜変更してから、CloudShell等のAWS CLIを実行できる環境でお試しください。 アグリゲータ名 --configuration-aggregator-name hoge リソースタイプ --resource-type AWS::EC2::La

                                                          AWS Config アグリゲータにて高度なクエリ無しで複数AWSアカウントのリソース情報取得を試してみた | DevelopersIO
                                                        • Claude3を使ってパワポ資料を読み込む処理をLambda関数上で実行してみた | DevelopersIO

                                                          はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT(OpenAI API)をはじめとしたAIの言語モデル(Large Language Model:以下、LLM)を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が(当然ながら)得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation(以下、RAG)という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力(プロンプト)に付け加えて渡すことで、ユーザが欲しい

                                                            Claude3を使ってパワポ資料を読み込む処理をLambda関数上で実行してみた | DevelopersIO
                                                          • AWS のタグを jq, JMESPath, Jsonnet でいい感じに取り扱う話 - estie inside blog

                                                            estie SRE の sugitak です。今日はね、 JSON を扱っていこうと思います。 何の記事? 手元で bash や zsh を使っていると、環境変数ってこういう形ですよね。ペアで扱います。 Environment=production Product=estie ... DD_ENV=production ところが AWS はこういうふうに保持しています。これは人間の目に優しくないので、できれば手元と同じく Key=Value っぽい形で取り扱えたら嬉しいな。そのように思っているわけです。 [ { "Key": "Environment", "Value": "production" }, { "Key": "Product", "Value": "estie" }, ... { "Key": "DD_ENV", "Value": "production" } ] これを j

                                                              AWS のタグを jq, JMESPath, Jsonnet でいい感じに取り扱う話 - estie inside blog
                                                            • amazon comprehendをPHPで動かす - Qiita

                                                              はじめに 個人開発しているwebアプリで機械学習による自然言語処理を使った機能を実装するため、phpからamazon comprehendを使えるようにしましたが、なかなか苦戦したのでやり方を残しておきます。 対象者 amazon comprehendを外部からweb apiのように使いたい人 結論 phpから感情分析が行えるようになりました <?php require 'vendor/autoload.php'; use Aws\Comprehend\ComprehendClient; $client = new ComprehendClient([ 'region' => 'ap-northeast-1', 'version' => 'latest' ]); $result = $client->detectSentiment([ 'LanguageCode' => 'ja', //

                                                                amazon comprehendをPHPで動かす - Qiita
                                                              • pipのコマンド操作とオプション一覧|サラトガ牧場

                                                                最近、pip や pipenv のコマンドを使う機会が増えてきたので pip コマンドについてまとめてみました。 pip は依存関係に引っ掛かることも多いですが、ここは慣れですね。 ヘルプ ヘルプは –help か -h になります。 $ pip --help Usage: pip <command> [options] Commands: install Install packages. download Download packages. uninstall Uninstall packages. freeze Output installed packages in requirements format. list List installed packages. show Show information about installed packages. check Ver

                                                                  pipのコマンド操作とオプション一覧|サラトガ牧場
                                                                • [アップデート] CloudFormationのカスタムリソースのタイムアウト値を設定できるようになりました | DevelopersIO

                                                                  抜粋 : Custom Resource Providers なお、AWS CDKにおけるカスタムリソース作成時の推奨はCustom Resource Provider Framework(custom-resources.Provider)です。Custom Resource Provider Frameworkの使用方法は以下記事をご覧ください。 Lambda関数で実行するコードは以下のとおりです。 ./lib/src/lambda/imdsv2/index.py import boto3 from botocore.exceptions import ClientError import cfnresponse ec2_client = boto3.client("ec2") def lambda_handler(event, context): print("Received ev

                                                                    [アップデート] CloudFormationのカスタムリソースのタイムアウト値を設定できるようになりました | DevelopersIO
                                                                  • NocoBaseワークフローで外部APIのレスポンスを扱う | DevelopersIO

                                                                    こんにちは、栁澤です。 今回はNocoBaseワークフローで外部のAPIを叩き、そのレスポンスを取り扱ってみます。 困っていたこと ワークフロー標準のHTTPリクエストノードでは外部のAPIにリクエストを送ることは出来ますが、そのレスポンスを利用することができません。 今回は、「JSON query」ノードを組み合わせて、入力されたメールアドレスを元にSlackAPI: lookupByEmailを叩き、そのレスポンスから必要な情報を取得・抽出し、コレクションに登録してみます。 どう対応すればいいの? Plugin: workflow-json-queryを有効にする 商用プラグインであるworkflow-json-queryを有効にします。 こちらのプラグインを使うには商用プラグインライセンスを購入する必要があります。 コレクションを用意する 結果の登録先となるコレクションを用意します。

                                                                      NocoBaseワークフローで外部APIのレスポンスを扱う | DevelopersIO
                                                                    • 【Python】テストで AWS サービスを簡単にモックアウトできる「moto」のインストール

                                                                      テストで AWS サービスを簡単にモックアウトできる「moto」のインストールについて解説しています。なお、モックアウトは、製品やシステムのプロトタイプ開発段階で使用される試作品のことを指しています。 「moto(https://github.com/getmoto/moto)」は、AWS インフラストラクチャに基づいたテストを簡単にモックアウトできます。なお、Pythonのバージョンが3.7以上でのインストールが必要。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。(Windows11) ■motoをインストールする motoをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install moto 起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今

                                                                        【Python】テストで AWS サービスを簡単にモックアウトできる「moto」のインストール
                                                                      • Embedded Pythonの使い所は?

                                                                        Python流行ってますよね。(一時は圧倒的な支配力のあったJavaも、O社に買われてライセンスが云々とか言われ始めた頃からブレーキが掛かってしまった気がします。) Pythonの魅力の一つがパッケージで様々な機能が提供されていることがあげられるかなと思っています。 私もこれまでPythonのコードをそこそこ書いてきました。実のところ、ここ1年では間違いなくObject ScriptよりPythonのほうが書いた量が多いです。Excelのドキュメントがそれらよりも遥かに多いのは何とかしたいところですが😅 IRISと連携するため$ZF(-1)を使ってPythonプログラムをコールしているものもあります。 IRIS 2021.2からPythonがIRISにEmbedded Pythonとして組み込まれたということで、どのように使えるかを試してみました。 なお、使用した環境は以下です。 OS:

                                                                        • python-lambda-local を試してみる - labunix's blog

                                                                          ■python-lambda-local を試してみる 余分な工程を減らすことが目的 後でgit管理出来るよう、PEP 8に準拠したソースをローカルに保持しておく コードを書く←ここ Zipでひとつにまとめてアップロード サンプルイベントをインプットにして Lambda 関数をテスト実行 CloudWatch Logs でログを確認してデバッグ ■まずは仮想環境(venv)に入る $ mkdir lambda-local && cd lambda-local $ python3 -m venv venv $ source venv/bin/activate $ pip --version pip 23.0.1 from /home/bookworm/lambda-local/venv/lib/python3.11/site-packages/pip (python 3.11) ■pytho

                                                                            python-lambda-local を試してみる - labunix's blog
                                                                          1