はてなブックマーク

やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive

はじめに 今まで、 Kinesis Data Streams + AWS Lambda Amazon SQS+ AWS Lambdaのバックエンド、 Amazon SNS + Amazon SQS + AWS Lambda といったアーキテクチャをお客様のアプリケーションの中に組み込んできた中で、よくやっていたのが、Lambda Functions内で処理すべきデータか判断する、あるいは、判断を後に任せてとりあえず全部処理したり、不要なデータをスキップしたりしていました。これは、従量課金制のLambdaに対して、本来、処理対象ではないはずの不要なデータを投入し処理し、AWSサービス利用料、処理時間等に多少なりとも影響があったと思います。 当記事では、その課題の改善につながる、2021/11にリリースされたKinesis Data Streams, Amazon DynamoDB Strea

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

hori$ brew cask install google-cloud-sdk Updating Homebrew... ==> Auto-updated Homebrew! Updated 2 taps (homebrew/core and homebrew/cask). ==> New Formulae libvdpau xcb-util-cursor ==> Updated Formulae Updated 107 formulae. ==> Updated Casks Updated 319 casks. ==> Deleted Casks gfortran openxcom Error: Calling brew cask install is disabled! Use brew install [--cask] instead. hori$ brew install --c

はじめに Amazon API GatewayのmTLS機能リリースに絡めて、以下の3つの記事を書きましたが、書いている中で私がTLSの証明書や、その検証がどう行われているのか、また、CAの証明書の更新期限が近づいた時の運用がどうなるのか？等、PKIの基本がわかっている方なら、あっさりと「そこ、なやむの？」といわれそうな部分ではありますが、色々復習しながら検証を進めました。 Amazon API GatewayでmTLSを試してみた。(1/2) Amazon API GatewayでmTLSを試してみた。(2/2) ACMのPrivate CAを利用した場合のAmazon API GatewayのmTLS構成を試してみた。 サマリ ルートCAや中間CAの秘密鍵が再生成されなければ、証明書更新（期限切れに備えた更新を想定）はクライアント証明書による接続に影響なし 期限切れしたCA証明書に署名

はじめに 特に金融系のAPI等、より強固な認証を求められるIoTデバイス等からの認証を行う際にはクライアント証明書による認証を求められることがあるかと思います。当記事では、Amazon API Gateway（執筆時点ではRegionalおよび、HTTP API限定）によるmTLS（Mutual TLS authentication）について構成を試したので記載したいと思います。 当機能に関するドキュメントとしてこちらを参考にして構築しました。 なお、当記事は2020年3月にGAしたHTTP APIをベースに記載しており、従来からあるREST APIについては検証・記載しておりません。 （この記事30分くらいの検証と2時間くらいの執筆かな~と持っていたら、苦労したことに書きましたが、自分の構成管理ミスで思ったより手間取りました。そして証明書のチェーン（中間CA）も作ろうと思ってまだ作れてな

1.はじめに 先日公開したこちらの記事では、AWS AppConfigの使いどころについて考えを書いてみました。サービスに対して安全に設定を注入するツールとしてAWS AppConfigは適したサービスだと考えています。 とはいえ、AWS AppConfig以外にもアプリケーションが設定情報を取得する方法はいくつかあります。当記事では、そのあたりを整理したいと思います。 2. サマリ 設定情報のライフサイクルを考慮した格納先の決定が重要 安全なデプロイを推進する場合はAWS AppConfig シークレット情報が必要な場合はParameter Store or Secrets Manager 3.アプリケーションの設定情報とは アプリケーションを動かす上で必要な情報は様々あります。例えば、AWS Lambdaのようなサービスを利用すると、「インフラ」という部分をAWSのマネージドなサービス

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. 初めに 皆さん、AWS AppConfigを利用されていますか？ AWS AppConfig は 2019年12月にリリースされた機能で、こちらのブログが出た際には私は記事を何度も読み直し、一番の売りは何だろう？他のデータストア(例えば、DynamoDBやParameter Store）に設定情報を格納するのと何が違うのだろう？と考えたものです。 ちなみに、AWS Configとは違います。AWS AppConfigについて取り扱う記事です。AWS ConfigはAWS リソースの設定状況を記録するサービスで変更を検知し記録するも

はじめに 当記事はAWS Lambda関数の呼び出し方を改めて確認する(1)の続きとしてLambda関数の呼び出し方のパターンを詳細に整理し確認していくものです。 前述の記事では、WebアプリケーションのバックエンドとしてLambdaを実装した場合の例で呼び出し方としてご紹介しました。Lambda関数の基本的な呼び出し方（起動方法）としては、AWS CLI/AWS SDK/AWSサービスのとの連携という形でご説明しました。当記事では、Lambda関数がLambda関数を呼び出す場合について記載したいと思います。特にVPCと絡めて整理します。 サマリ Lambda関数にはVPC内リソースにアクセスするLambda関数がある VPC内リソースにアクセスするLambda関数が別のLambda関数を呼び出す際(※1)にはPublic（インターネット経由）でLambdaのエンドポイントにアクセスする

はじめに AWS Lambdaを皆さんどのようにお使いですか？ 数msで終わるような軽量の処理から、900秒まで(2019年12月12日現在）の処理までプログラムを実装して簡易な設定をすればすぐ動作させることができて非常に便利なサービスだと思います。そのAWS Lambda関数の呼び出し方（起動方法）について改めて確認したいと思い、記事を書いてみました。なお、当記事ではWebアプリケーションのバックエンドとして動作するLambdaを例にLambda関数がどう呼び出されるのか説明し、こちらの記事ではVPCと絡めて確認しています。 サマリ 様々な方法でLambda関数を起動することが可能だが、リクエスターにはIAMポリシーまたは、Lambda関数のアクセス許可ポリシーによる許可が必要 同期で応答を受け取る方式と非同期で受付のみをし別プロセスで受け取る方式がある 呼び出す際には、AWS Lamb

はじめに 2019年11月から12月5日までに発表されたAWS Lambdaに関する新機能の中で、以下の二つを取りあげて構成方法とテストした結果についてまとめたいと思います。 AWS Lambda Supports Destinations for Asynchronous Invocations (非同期呼び出し時の結果出力先を指定できるようになった件) [AWS Lambda Now Supports Maximum Event Age and Maximum Retry Attempts for Asynchronous Invocations] (https://aws.amazon.com/about-aws/whats-new/2019/11/aws-lambda-supports-max-retry-attempts-event-age-asynchronous-invoca

はじめに この投稿はFujitsu Advent Calendar 2016の２３日目の記事です。 Advent Calnderなる面白そうなものが盛り上がっていると聞いて急いでQiitaに登録しました。 普段はアプリのプロト開発等を行なっています。 仕事柄ネットワーク畑の人が周りに多くて「スマホアプリを作ってみたいんだけど今度教えてよ！」ってよく言われます。箱を開けて見ると大体の人が下記の二つで壁を感じているようです。 ・ 環境を作るのに挫折した ・ プログラミングはちょっと苦手 そんな方でも大丈夫！ぜひ記事を読みながらトライして下さい。 ※本記事で紹介する内容はネイティブでの開発ではありません。 環境準備 なんといってもこいつが大変です。Android studioやeclipseのダウンロードに何時間かかるんだよって話で、インストール終わったと思ったらメモリが足りなくてすぐに固まるな