サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
tasotasoso.hatenablog.com
S3イベント→SNS→SQSの構成を試した。 SQSの先にはLambdaが繋がっているようなイメージ。 意外と設定をズバリ書いてくれいてる文献がなかったのでまとめる。 設定手順 S3バケットの作成 イベントを起こすS3バケットがなければ、バケットを作成する。 SNSの設定 SNSでトピックを作成する。 このとき、アクセスポリシーにS3のイベントを検知するための権限設定をすることを忘れない。 アクセスポリシーは以下の公式ドキュメントを参考にするとよい。 チュートリアル: 通知 (SNS トピックまたは SQS キュー) のバケットを設定する - Amazon Simple Storage Service 以下のjsonは上記ドキュメントの「ステップ 2: Amazon SNS トピックを作成する」の3の引用。 "SNS-topic-ARN"、"bucket-name"、"bucket-own
久しぶりにdigdagを使うことになったら、完全に全てを忘れていたので、pythonとの連携方法を再確認した。 以下のdigdagドキュメントのLanguage API - Pythonの挙動を抜粋して確認した。 Language API - Python — Digdag 0.10.0 documentation ディレクトリ構成 windows環境でやったので、以下のような感じ。tree /Fの結果の抜粋。 C:. │ workflow.dig └─tasks │ __init__.py digdagのワークフロー定義ファイル pythonは>pyの行のフォーマットで呼び出す。 .でパッケージ構造を指定する。 workflow.dig +step1: py>: tasks.MyWorkflow.step1 +step2: py>: tasks.MyWorkflow.step2 pyth
S3へのファイルのアップロードを自動化したかったので、pythonからboto3を使って行う方法を調べた。 要件としては、 ・ファイル(オブジェクト)を上げたい ・CacheControlなどメタデータをつけたい。 s3.Bucket("bucket_name").put_object()を使ってアップしたいのやが、 取れる引数に Body=b'bytes'|file って書いてあるのに、fileを上げてる人が全然いない。 文字列なんか上げてもおもんないやん!ということで頑張って調べた。 Credentialsの設定 まずはaws cliをインストールして.aws/credentialsを作成する。 詳細は下記を参考。 AWS S3にPythonで画像ファイルアップロードする方法 - Qiita 設定があっているか確認する。 #cliで操作するアカウントがちゃんとあってるか確認。 #コンソ
PythonでAESの暗号化を学んだのでメモ。 やりたいこと C#で暗号化されたものをPythonで再現する。 c#の暗号化クラスを使ってみた(AES,RSA) - Qiita PythonでAESの暗号化を行う CBCモードで行うAESにより暗号化するサンプルコードは、以下が参考になる。 pycryptodome.readthedocs.io PyCryptodomeを選択した理由は、Developers.IOから、PyCryptodomeがよさそうだったため。 AES対応のPython暗号化ライブラリを比較検証してみた | Developers.IO 実験 サンプルコードを参考に、鍵とinitialization vectorを指定して、暗号が再現できるか確認する。 ※initialization vectorは本当は固定しないが、今回は実験のため固定する。 from base64 i
最近、機械学習のジョブを回すのにGoogle Colabを利用しているのですが、日によってGPUメモリ周りの挙動が異なるので調べて見ました。 Google ColabではGPUが無料で割り当ててもらえます。ただ、日によってGPUメモリの割り当てが異なるような挙動をします。 例えば、作ったモデルで学習をして、テストデータを流してみようとすると、昨日は動いたのに、今日はresourceexhaustederrorを吐かれて止まるとか...。 ジョブ開始時点でメモリを確認すると良さそう 調べると、ちょくちょく気にしている人がおり、stackoverflowを中心に報告が上がっていました。 ja.stackoverflow.com 以下のコードのように、ジョブの実行前にメモリの割当量を確認しておくと良さそうでした。 #上記URLから引用 !ln -sf /opt/bin/nvidia-smi /u
AWSでは可視化に関するサービスが充実している。 例えば、センサーデータなどをモニタリングしたい場合はKibanaやQuickSightなどで可視化すれば良い。 一方で、もっと泥臭いこと、例えば収集したデータから算出したデータを使って、独自のレポートやHTMLなどをほぼリアルタイムで作成したい時がある。 これをなんとかAWSを使ってできないかと思い試行錯誤した。 今回は第一歩として、S3にデータをPUTしたことをトリガーにLambdaでHTMLを作成してみた。 イメージとしてはこんな感じ。 コードはgithubに。 github.com S3へのPUTの準備 まず、boto3でS3にPUTするデータを作成する。 とりあえずdata.txtとかにしとく。 #data.txt HTML Generation Success!!! 続いて、S3にPUTするスクリプトを作成する。 import b
PyTorchで画像処理を始めたので、torchvisions.transformsを使った前処理について調べました。 pytorch.org torchvisions.transformsとは Composeを使うことでチェーンさせた前処理が簡潔にかけるようになります。また、Functionalモジュールを使うことで、関数的な使い方をすることもできます。 Transforms are common image transformations. They can be chained together using Compose. Additionally, there is the torchvision.transforms.functional module. Functional transforms give fine-grained control over the trans
Kinesis Analyticsを使ってみたので、使い方をまとめる。センサーからIoTでデータを受信し、ニアリアルタイムで処理して、DynamoDBに格納するところまで。 システム概要 Kinesis Data Streamの作成 ストリーム名の決定 シャード数の決定 AWS IoTの設定 エッジサーバーに対応するモノの作成 ルールクエリステートメントで監視するトピックの設定 受信したデータの送信先の設定 Kinesis Data Analyticsの設定 Sourceの設定 Real time analytics用のSQLの作成 Destinationの設定 DynamoDBへの格納 Kinesis Data StreamからDynamoDBへのLambdaの設定 (おまけ)センサー用のデバイスの準備 結果 感想 各種ガイド システム概要 下図のシステムを作成した。 今回作成したシステ
このページを最初にブックマークしてみませんか?
『tasotasoso.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く