シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
結婚式のエンドロールを当日作った話
結婚のお礼と報告 でちょこっと書いた結婚式エンドロールをその場で作ってみたのお話 注意事項# 結婚式のエンドロールを自作したりするには結婚式場の協力が必須です。 作り出す前に式場に必ず確認を取りましょう。 PCからそのままプロジェクトにだせばいいじゃん！と思い込むのだめです(自戒) 動機# エンドロールを式場にお願いしようと思ったら高かったので、最近のイケてるサービスとか適当にガッチャンコすれば作れると思った。 今は反省している。 全体の構成# LINE Botに参加者から画像投稿を投げてもらう S3に保存すると同時に投稿者情報をDynamoDBに保存 投稿された画像にDynamoDBの投稿者情報から名前を追記 画像を全部結合して動画化し、事前に生成したエンドロールで必要な部分を結合 式の最後に流してもらう 全体の構成はこんな感じです。 サーバーレスアーキテクチャのお勉強がてら作ろうとした
FastAPI入門 - モダンなPythonフレームワークの特性をチュートリアルで手軽に学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
FastAPI入門 - モダンなPythonフレームワークの特性をチュートリアルで手軽に学ぶ PythonのWebフレームワークとしていま注目を集めるFastAPIは、シンプルにコードが書けるだけでなく、パフォーマンスが高いWebアプリケーションのバックエンドサーバーが構築可能です。同フレームワークの勘所をPythonスペシャリストの杜世橋さんが、初心者向けのハンズオン、そしてより実践的な画像への自動タグ付けサービス実装をとおして解説します。 FastAPIはいま非常に注目されているPythonのWebフレームワークの1つです。Flaskのようにシンプルに書ける一方でPythonのType Hintの機能をうまく活用し、HTTPのリクエスト/レスポンスをPythonの関数の引数/戻り値とシームレスにマッピングして非常に効率的に開発ができるのが最大の特徴です。非同期処理にも対応していてその名
【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog
はじめに RAGとは 構成図 作成リソース Lambda 1. PDFから文書抽出&Embedding取得Lambda 2. 回答作成用Lambda AWS SAM テンプレート Streamlit 動作確認 まとめ はじめに こんにちは堤です。 Amazon BedrockがGAとなり、AWS内で完結してLLMアプリケーションを構築できるようになりました。 試しにRAGアプリケーションを作成してみようと思いましたが、現状AWSでRetrievalするデータソースを作成しようとすると、Amazon OpenSearch Serverless やAmazon Kendraを使用するしかありません。これらのサービスを使うのはコストもそれなりにかかり少しハードルが高いなーと思っていたら以下のブログを見つけました。 aws.amazon.com 構成図を見ると分かるように、S3にembedding
OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ
はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
RaspberryPi 3 Model B+でIoT監視カメラをつくる（その７ カメラのAI化） | そう備忘録
追加インストール機械学習の為にGoogeのTensorFlow関連のモジュールを追加インストールした。 Edge TPUランタイムのインストール以下のコマンドでラズパイにEdge TPU（Tensor Processing Unit）ランタイム（スタンダード版）のインストールを行った。 尚、本来はCoral USB Acceleratorの様なEdge TPUユニットをラズパイに接続して機械学習を行うのが理想なのだろうが今のIoT監視カメラにCoral USB Acceleratorを追加すると外箱を作り直さないといけないのと、そこそこの値段がするので（１．５万円ぐらい）ラズパイ単体でTensor Flow Liteを動かすことにしている。 この為、最後の行のlibedgetpu1-stdのインストールは今回のプログラムをラズパイ単体で動かすだけであれば不要なのだが、今後Coral USB
この記事は、Slack Advent Calendar＆JX 通信社 Advent Calendarの最終日です。 メリークリスマス！ 素敵なクリスマスをお過ごしでしょうか。取締役の小笠原(@yamitzky)です。 突然ですが、みなさん、ダークモードは好きですか？ ダークモードは昨今のソフトウェアのトレンドで、Slack のデスクトップ版も今年の 9 月にダークモードに対応しました。 slackhq.com しかし Slack をダークモードに設定すると、透過背景・黒文字なカスタム絵文字が見づらいという問題がありました。Slack が仕事のワークフローの中心にある JX 通信社にとって、これは死活問題です。 そこで、Slack の闇の魔術(ダークモード)に Python で対抗し、これらの絵文字が見えるようにしたいと思います！ 方針 基本方針は簡単です。黒背景に黒文字だと見づらいのが原因
Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun
2024春アニメ(3/20現在) Qiitaでは直接`usemap`属性が使えないのでCodePen経由ですが、クリックで公式サイトを開けます。↓ See the Pen yLOQNKZ by Cartelet Cydius (@cartelet-cydius) on CodePen. 9/25追記 うずらインフォさん本人Twitterにてうずらインフォさんスタイルのフォーマットでのアニメリストの公開を控えてほしい旨のツイートがありましたので、本記事掲載当初よりのサンプルの一枚を除いて、以後公開するアニメリストはオリジナル？のデザインのものとしたいと思います（寄せてはいますが）。 うずらインフォさんスタイル風の画像が欲しい場合は掲載のプログラムを実行してください。 9/27追記 こちらからColab上で生成できます。 例のアニメリスト自動生成スクリプト #はじめに 皆さんはうずらインフォさ
こんにちは。Merpay Advent Calendar 2019 の24日目は、メルペイ Machine Learning チームの @yuhi が機械学習における解釈性についてお送りします。 目次 機械学習における解釈性とは なぜ解釈性が必要なのか 1. サービスを提供する事業者としての説明責任 2. 推論結果に対する社内外の関係者の理解 3. モデルのデバッグ、精度改善 どのようなアプローチがあるのか SHAPについて サマリ 基本的なアイディア 問題設定 説明可能モデルに対して満たしてほしい性質 説明可能モデルを求める SHAPの実装について 最後に References 機械学習における解釈性とは 深層学習をはじめとする機械学習分野の発展に伴って、これまでにないユニークなサービスが開発され、また多くの業界において業務が効率化、高度化されつつあります。メルペイでも機械学習を用いて、
データドリフトを簡単検知！Pythonライブ...
本番環境のモデル精度が低下する現象をドリフトと呼びます。特にデータ由来をデータドリフトと呼びます。 機械学習はデータから入力情報と予測対象の関係性を推定する手法です。そのため、前提となる入力情報の性質が変化すると（データドリフト）、予測精度が低下します。 データドリフトの検知は機械学習のサービスを運用する上で非常に重要ですが、ドリフト検知を含まない機械学習プロジェクトも多いのではないでしょうか。 本記事では、ドリフト検知が簡単にできるPythonライブラリのEvidentlyをご紹介します。Evidentlyを使えば、簡単にドリフト検知が可能です。 では、本題に入っていきましょう。 目次 データドリフトとは Evidently データセットとモデルの準備 データドリフトのレポート出力 レポートの内容確認 まとめ データドリフトとは 収集されるデータの性質が変化することをデータドリフトと呼び
「ごめん、同級会にはいけません」 強烈なインパクトを持つこのCM。 これが大好きなので、同級会に誘うと 「今、シンガポールにいます」と 返事を返してくれるLineBotを作ってしまいました。 さらに、ドヤァ感をよりいっそう高める仕様をいろいろモリこみ、 地図には残らなくても、使った人の記憶に残る仕事にしたいと思います！ クソアプリ Advent Calendar 2019 の４日目です。 と、書くまでもなくタイトルから漂うクソアプリ感 使い方： ① 同級会を開く ② おもむろにLineを立ち上げ「綾乃、いまどこ？」と聞く ③ 「ごめん、同級会にはいけません～～～以下略」と返信が来る ④ 「え、シンガポールだって」という感じでみんなでのぞきこむ 実行した時の様子： ※親切に、シンガポールの地図を示してくれる（地図に残る仕事） 他にも形態素解析などの無駄な機能を満載。 LineBot作成のノウ
Tensorflow Data Validationを用いた機械学習用データセットの検証方法 - DATAFLUCT Tech Blog
こんにちは！nakamura（@naka957）です。本記事では、TensorFlowの拡張機能であるTensorFlow Data Validationを用いたデータセット検証を行う方法をご紹介します。 データセット検証とは、機械学習モデルの構築時に使う訓練データと運用データの間の違いを調べることです。訓練データと運用データの性質に違いが存在すると、モデル精度の悪化に繋がります。そのため、構築したモデルの精度監視だけでなく、より前工程となるデータセット時点での検証も非常に重要になります。特に、データセットサイズが大きくなるほど、手作業での検証が困難となるため、効率的で自動化された検証方法が求められてきます。 データセット検証を行うライブラリは様々ありますが、今回は機械学習の実装フレームワークとして特に有名なTensorFlow系のライブラリを用いて行います。 では、早速始めていきます。
はじめに 2年ほど前，私はGANというものに出会って感銘を受け，Qiitaで『SushiGAN 〜人工知能は寿司を握れるか？〜』というちょっと釣りっぽいタイトルの記事を書きました．中身はChainerのexampleにあったDCGANの実装を寿司の画像で学習させてみるというもので，下のようなモード崩壊気味の寿司画像を作って満足していました． あれから2年あまりが経ち，画像生成の技術は驚くべき発展を遂げました1．StyleGAN，そしてStyleGAN2が登場し，すぐには見分けがつかないほどの品質で1024x1024の人の顔の画像が生成できるようになりました [1]．そのインパクトは凄まじく，"This Person Does Not Exist"を皮切りに，GANで生成したリアルな偽物のサンプルをランダムに表示するWebサイトがちょっとした流行になりました．いくつか例を挙げると，次のような
GPTのAPIとText2Speechを組み合わせてAIとの会話体験を実装してみる | DevelopersIO
はじめに OpenAIのDevDayで発表されたText2SpeechのAPIを使ってみたいと思います。Text2Speechとは簡単にいうとテキストの読み上げ機能です。 日本語を読ませる場合、まだ少し英語訛りですが、なかなか人間っぽい発音を行います。 今回はこのText2SpeechのAPIを使って遊んでみたいと思います。 なにを作るのか？ 先程記載したように、Text2Speechでは発話を行うことができます。 この特徴とGPTの会話ができる特性を組み合わせれば、会話っぽいことができるのではないかと思い実装してみました。 今回は試験的に実装を行うため、GPTには「動物博士」としてのロールを与えて動物の雑学を教えてもらいました。 完成形は以下のような動画になります。Text2Speechを利用しているため音声ONの状態での閲覧を推奨します。 発音が英語話者っぽくなっていることや漢字を稀に
[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams（以降、KVS）への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz
![[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d9513cdfe28fb7a746a548b7f81ff7ebb44ba22/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-transcribe.png)
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） | DevelopersIO
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） はじめに Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 Amazon Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 エージェントが介在しない、「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」の場合、録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、KVSにメディアデー
はじめにディープラーニングモデルを作成した後、できるだけ簡単にAPIとして利用できる形にしたいというモチベーションの元、サーバーなしにコードを実行することができるLambdaと簡単にAPIを作成できるAPI Gatewayの構成でそれを実現しました。 今回は入力を画像、出力は予測結果としてjsonを返すとします。つまり、できるものは以下のようなものを期待します。（デモは物体認識） curlで画像をPOSTすると、 $ curl -H "Content-Type: image/png" --data-binary "@input/test_small.png" -X POST https://○○○.execute-api.ap-northeast-1.amazonaws.com/default/lambda-test以下のようにjsonが返ってきます。 "[{\"box\": {\"x\"
ローカルマルチモーダルを簡単に使えるAPIを公開。LLaVA-Next(旧1.6)でAPIサーバを構築｜めぐチャンネル
簡単に使えるAPIサーバがほしい前述のように、時間も無いということで、画像アップロードとチャット機能だけに縛った簡単なAPIサーバを実装しています。LLaVAのオリジナルコードにはChatの過去ログ機能もあるので有効に活用します。 LLaVA-NEXTの導入GiyHubからクローンします。 git clone https://github.com/haotian-liu/LLaVA.git cd LLaVA環境に合わせて構築Install Packageに従えば簡単に環境は構築できるはずです。トレーニングはしないのでadditional packagesは不要です。 conda create -n llava python=3.10 -y conda activate llava pip install --upgrade pip # enable PEP 660 support pip
BigQuery では本当にトランザクション処理がサポートされていないのか確認してみた | DevelopersIO
こんにちは、みかみです。 RDBMS など多くのデータベースでは、複数の SQL をひとまとめで実行し、途中でエラーが発生した場合に実行前の状態に自動でロールバックしてくれる、トランザクション処理をサポートしています。 トランザクション処理 ｜ Wikipedia トランザクション (transaction) ｜ 「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典 BigQuery のドキュメントには、以下の記載がありました。 各 DML ステートメントは、暗黙のトランザクションを開始します。つまり、成功した各 DML ステートメントの終了時に、ステートメントによる変更が自動的にコミットされます。複数ステートメントのトランザクションはサポートされていません。 引用：データ操作言語 | BigQuery ドキュメント やりたいこと BigQuery は 本当に複数 SQL
Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 | DevelopersIO
Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 はじめに 以前、Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 ただし、ConnectからKVS経由で音声ファイルS3バケットに保存すると、録音した音声と異なる音声が時折含まれていました。 調査した結果、以下の記事でも同じ現象に言及しておりました。その記事では、KVSからメディアデータを取得する際にGetMediaAPIではなくGetMediaForFragmentListAPIを利用することで、この問題が解消されたと書かれてい
[AWS IoT] RaspberryPiからMQTTで画像をS3にアップロードしてみました | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 今回は、AWS IoTのメッセージブローカーを経由して、MQTTでRaspberryPiからS3に画像を送信する仕組み試してみました。 この仕組みでは、デバイス側に、S3アクセスのためのクレデンシャル情報は必要ありません。 また、送信先となるS3のバケット名やファイル（プレフィックス）名は、デバイス側で指定する仕組みとしてみました。 想定する利用場面以下のとおりです。 RaspberryPiに接続したカメラで動画を撮影 動画をフレーム単位で送信 IoT Coreでは、ルールでLambdaを起動しS3に蓄積 S3の画像ファイルを動画ファイルにマージする なお、赤色の点線内は、今回、未実装です。RaspberryPiからは、予め用意された画像ファイルを読み込んで送信しています。 2 画像ファイル 送信に使用した画像ファイルです。 先日行ってきた
![[AWS IoT] RaspberryPiからMQTTで画像をS3にアップロードしてみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9fdf277e5e3da9b9ad5eb3751b2220bf7849aa7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-iot-core.png)
Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 | DevelopersIO
Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 はじめに この記事では、Amazon ConnectとKinesis Data Streams（以下、KDS）を用いて、エージェントが介在しなくても、ユーザーの発話を録音する方法を紹介します。 Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 例えば「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」のように、エージェントが介在しない場合、通常の録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、Kinesis Video Streams（以降、KVS）にメディアデータを
【アップデート】S3に対するGetリクエストのレスポンスをLambdaで加工するS3 Object Lambdaが利用可能になりました | DevelopersIO
CX事業本部＠大阪の岩田です。2021/3/18付けのアップデートでS3に対するGetリクエストのレスポンスをLambdaで加工するS3 Object Lambdaという機能が利用できるようになりました。 S3 Object Lambdaとは？ S3に対するGETリクエストをトリガーにLambdaを起動し、レスポンスを自由に加工できる機能です。例えば以下のようなユースケースが想定されています。 行のフィルタリング 画像の動的なリサイズ 機密データのマスク この機能を利用するには、S3アクセスポイントをラップした「オブジェクト Lambda アクセスポイント」が必要になります。クライアントが「オブジェクト Lambda アクセスポイント」経由でオブジェクトのGETを試行するとLambdaが起動し、Lambdaによってカスタマイズされたレスポンスが返却されるという流れになります。 S3アクセス
Stripe Payment Linksを使ってリンクやQRコード画像で買い物できるようにする | DevelopersIO
Stripe Payment Linksを使ってリンク支払いを試してみました。Stripe Billingで月額支払いを実現しています。リンクURLからQRコード画像を動的に生成できるようにしました。手数料や消費税についてもご紹介しています。 最近自治体のホームページをよく見る、あかりです。 前回副業の新規事業でオンラインフィットネスサービスを始めたんですが、もっと便利に簡単に支払いができるようにならないか色々探していたんです。そしたら、リンクをクリックするだけとか、QRコードを読むだけで買い物できるようにできそうだってことで、今回試してみたいと思います。 Stripe Billingによる定額支払い時の手数料と消費税を再確認する 業務要件 サービス：オンラインフィットネス 価格：月額11,000円（税込み） ※2021年4月1日から総額表示の義務化がスタートしました。 リンクをクリックし
入門 Python 3 第2版
データサイエンスやウェブ開発、セキュリティなど、さまざまな分野で人気を獲得してきているPython。本書は、ベストセラー『入門 Python 3』の6年ぶりの改訂版で、プログラミング初級者を対象としたPythonの入門書です。プログラミングおよびPythonの基礎から、ウェブ、データベース、ネットワーク、並行処理といった応用まで、実践を見据えたPythonプログラミングをわかりやすく丁寧に説明します。Python 3.9に対応し、f文字列などの新機能も追加され大幅にボリュームアップしました。Pythonの機能をひと通り網羅し、リファレンスとしても便利です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ペ
はじめに こんにちは。(株) 日立製作所の Lumada Data Science Lab. の諸橋 政幸です。 最近、AI技術の進歩により、様々なタスクが効率化されています。その中でも、「ChatGPT」 は自然言語処理の分野で革新的な成果を上げており、大きな注目を集めています。 今回は、このChatGPTを活用してarXiv論文の要約を生成する簡易ツールを作成してみたので、そのプロセスを共有します。本記事の構成は以下のとおり。 ChatGPTにやりたいことを伝えてみる 生成コードを修正して期待通り動くようにする ツール名も考えてもらう とにかく 「ChatGPTに積極的に頼る！」 をコンセプトにして作りました。 土日に趣味でやったのでツールのレベルや実用性については深く考えないでください！ その前に自己紹介（＋本のアピール） 私は日立製作所で顧客課題をデータ分析を使って解決する業務を行
Lambdaのログに特定のキーワード（ErrorやWarning）があるとき、Slackに通知する仕組みを作りました。 Lambdaにエラーが発生したとき、CloudWatch AlarmとChatbotでエラーを通知する仕組みはよく作ります。 しかし、Lambdaのエラーだけではなく、特定のキーワードを含む内容を通知したい場合もあります。 Lambda自体をエラーにできないが、Errorログがあるとき Lambda自体は正常だが、Warningログがあるとき というわけで、Lambdaのログに特定のキーワードがあるとき、Slackに通知する仕組みを作ってみました。 おすすめの方 Lambdaのログに特定キーワードがあるとき、Slack通知したい方 CloudWatch Logsのサブスクリプションフィルターを使いたい方 全体構成図 CloudWatch Logsのサブスクリプションフィル
こんにちは、みかみです。 やりたいこと GCS に配置してあるファイルデータを、BigQuery に差分ロードしたい 重複チェックキーを指定して、キー重複レコードは後からロードするデータで上書きしたい ロード処理でエラーが発生した場合には、ロード前の状態にロールバックしたい（ロード前の状態を担保したい） 前提 GCS へのアクセスおよび BigQuery へのデータロードには、Python クライアントライブラリを使用します。 Python クライアントライブラリ実行環境およびクライアントライブラリで使用するサービスアカウントは準備済みです。 今回は、環境準備不要ですぐにクライアントライブラリが使える CLOUD SHELL を使用しました。 Cloud Shell の使用 ｜ Cloud Shell ドキュメント データを準備 以下のテストデータ生成ツールで確認用のデータを作成し、Big
0. はじめに 前回に引き続き連載ネタ第2弾です。 今回は前回の成果物を使ってPythonでGUIアプリを作成してみようと思います。 TkinterというPythonの標準GUIライブラリでもいいのですが、はっきり言ってPySimpleGUIの方がいいと感じたので、今回はPySimpleGUIを使用したGUI作成をやっていきます。 【第1回】Pythonで簡単に日本語OCR ※前回記事 【第2回】PythonでオリジナルGUIアプリを作成 ←今回はこの記事 【第3回】Pythonで作成したアプリをexe化して配布する 動作環境 OS : Windows10 pro Python : 3.8.3 PySimpleGUI ：4.55.1 Tesseract : 5.0.0 (OCR部分) pyocr : 0.8 (OCR部分) jupyter notebook 1. どんなアプリを作る？ 前
pandasの拡張モジュールである pandas_datareaderを使うと、株価、為替レート等のデータを簡単に取得できるのでやってみました。 pandas-datareaderとは Web上の様々なソースにアクセスできるPythonライブラリの1つです。元々はpandas.ioというPandasの一部だったのですが、Pandasの0.19.0からサポートされなくなったらしく、pandas-datareaderが独立したライブラリとなったようです。 インストール 上述したとおり、既存のPython環境にPandasが入っていれば使えるわけではないのでインストールが必要です。 pip install pandas-datareader 取得可能なデータ一覧 Version 0.9.0時点では、以下のサイトからデータを取得できるようです。 Tiingo IEX Alpha Vantage E
AWS Lambda + Docker + TensorFlowを使ってサクッと推論APIをつくる - aptpod Tech Blog
みなさま、こんにちは。研究開発グループと製品開発グループ に兼務で所属しております、きしだです。aptpod Advent Calendar 2020 11日目を担当します。今回は機械学習に関わるエンジニア向けに、最近AWSがリリースしたAWS Lambdaの新機能を利用して、サクッと推論APIを作るネタをご紹介します。 aws.amazon.com 推論をすばやくAPI化する意義 その前に、推論箇所をAPIとしてすばやく用意できる必要性について簡単に触れたいと思います。 機械学習関係の案件では、お客様側も理解できるKPIを立てることが非常に重要視されています。例えば「モデルの正解率を〜にしたい」や「モデルの動く速さを〜にしたい」などですね。これらの具体的な数値はお客様と議論を重ね、お互いにしっくりくる数値に落とし込む必要があるのですが、これがとてもむずかしいのです。なぜでしょうか。 お客
この記事を読んでできるものは以下の通りです 画像を選択して表示するビューアー パラメータを渡して画像処理を行う 画像処理した画像を表示する PySimPleGUIの基本的な説明に関しては、Tkinterを使うのであればPySimpleGUIを使ってみたらという話を参考にしてください 検証環境 windows10 macOS(catalina) Python3.7 ライブラリー tkinter PySimpleGUI Pillow きっかけ 上の画像を作られた、アスキーアートを自動生成するの記事を見かけて、実際に動かすと面白かったのですが、画像とアスキートにする文字の大きさが固定だったのでその部分にUIをつけてみました。 変換のアルゴリズム自体は元の記事のをお借りしていまています。asci_art_transform.pyファイルが該当します。 画像の表示自体は公式のDemo_Img_Vie
[GCP] Cloud Deployment ManagerでCloud Functionsをデプロイしてみた | DevelopersIO
Google Cloud Deployment ManagerでCloud Functionsのデプロイをやってみました。Cloud Functionsにコードをデプロイするため、Pythonテンプレートを利用してCloud BuildでCloud StorageへのZIPファイルのアップロードを実装しています。 事前準備 Cloud Deployment Managerでリソースをデプロイする際にgcloudコマンドを使用します。gcloud CLIはCloud SDKをインストールすることで利用できるようになります。Cloud SDKの導入方法は次のブログが参考になりました。 環境 項目 内容 ディレクトリ構成 ディレクトリ構成は以下の通りです。Cloud Functionsのソースコードと構成ファイルやPythonテンプレートを分けています。 ・ ├─ src │ ├─ hello-
![[GCP] Cloud Deployment ManagerでCloud Functionsをデプロイしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/12ff051e47579f5bd123668c6a9e87000e5bec27/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Fgcp-eyecatch-deployment-manager_1200x630.png)
plotlyで画像を簡単に分析してみます 環境 python==3.8 plotly==4.10.0 scikit-image==0.17.2 requests==2.24.0 Pillow==7.2.0 matplotlib==3.3.2 よくある画像の扱い まずpillowつかっていきます import matplotlib.pyplot as plt from PIL import Image import requests import io url = 'https://upload.wikimedia.org/wikipedia/commons/thumb/0/00/Crab_Nebula.jpg/240px-Crab_Nebula.jpg' img = Image.open(io.BytesIO(requests.get(url).content)) plt.figure(f
声をPythonに聴かせて（マイクから入力した声をWhisperに、何度でも認識させよう） - nikkie-ftnextの日記
はじめに ういっすういっすういっすー！✌️ ぱー🖐 nikkieです。 シオン・プロジェクト、Whisper章の続編です。 観測範囲ではいろんな方がWhisperを触られてますね〜。 Whisperを使えば短いコードで音声ファイルを書き起こせます！ 今回は「音声ファイルではなく、マイクから入力した音声は書き起こせるの？」という疑問にアプローチします。 目次 はじめに 目次 前回のシオン・プロジェクト！：環境構築 動作環境 結論：Whisperはマイクからも音声認識できます！ 「何度でも認識させよう」のモチベーション マイクから入力した音声の認識、既存のアプローチ マイクから入力した音声の認識、提案したいアプローチ 音声データの渡し方を調査：transcribeメソッドは何をしているのか whisper.load_model whisper.model.Whisper.transcribe
Cloud Vision APIを用いて車のナンバープレートをマスキングしてみる - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の事前トレーニング済みの API のひとつである Cloud Vision API を用いて車のナンバープレートをマスキングする処理をご紹介します。 はじめに Vision AI Vision API 事前確認でわかったこと 構成図 準備 ディレクトリ構成 main.tf gcf_source_code/detect_car main.py requirements.txt gcf_source_code/detect_license_plate main.py requirements.txt 動作検証 検証データ 実行 Cloud Vision API と Cloud Functions でナンバープレートをマスキング はじめに Vision AI Vision AI とは、Google Cloud 上で画像や動画から分
はじめに 以下のポストの通りStability AIが「Japanese Stable CLIP」を公開されたので、画像の内容を感情分析ようにしたい & ほかからでも使えるようにAPIを実装しました バックエンドのGPUサーバーレスには、最近ハマっているModalを使っていきます Modalを使ってLCMを使ったdiscordコマンドを実装した内容は以下で書いています！ 環境 Modal Python3.10 ライブラリ modal 実装 Modal側で動くAPIを実装します from modal import Stub, web_endpoint import modal stub = Stub("clip_api") emotions = [ "喜び", "悲しみ", "怒り", "驚き", "恐怖", "愛情", "幸福", "落胆", "焦燥", "安心", "羨望", "憎悪",
インストール無しにWEBブラウザで動作するPython環境"Pyodide"を使ってみた - Qiita
Pyodideとは WebAssembly技術を用いてWEBブラウザ上でPython3を動かすことができる素晴らしいソフトウェアです。WEBブラウザでPyodideを簡単に体験できるサイトが用意されており、これは面白そうだと思いました。 WEBエディタAceとの組みあわせ 本来のPyodideの目的はWEBブラウザ上でのPythonでの科学計算だと思いますので、エディタとしてはIodideのようにグラフ表示の要求優先度が高そうです。 とはいえ、コンソール上で単純にPythonが動くだけでも応用は利きそうだと思いましたので、今回はPythonコードを記述するエディタとしてAceを利用します。 simple版コードは下記のようになります。Aceエディタの領域とPyodide実行ボタンを縦に並べて、JavaScript内で初期化、実行するだけです。実行ログはF12キーで出るブラウザのコンソールを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
闇の Slack 魔術に対抗する Python 防衛術 - JX通信社エンジニアブログ
【Python】例のアニメリスト風の画像を自動生成する。 - Qiita
機械学習における解釈性について | メルカリエンジニアリング
今シンガポールにいますLineBotを作成し、記憶に残る仕事をしたい物語 - Qiita
SushiGAN2 〜この寿司は実在しません〜 - Qiita
AWS Lambda+API Gatewayでディープラーニングモデルを簡易API化する方法｜せいしん
ChatGPTと協創！arXiv論文要約ツールを作ってみた - Qiita
LambdaのErrorとWarningログをSlackに通知する | DevelopersIO
BigQuery にデータを差分ロード（UPSERT）する方法まとめ | DevelopersIO
【PySimpleGUI】PythonでオリジナルGUIアプリを作成 - Qiita
pandas_datareaderを使ってデータ取得をいろいろ試してみる | DevelopersIO
PySimpleGUIで画像処理ビューアーを作る - Qiita
【plotlyで画像分析いろいろ】plotlyで動的な可視化をする【python,画像】 - Qiita
Japanese Stable CLIPを使って画像の感情判断ができるAPIをModalを使って実装する