数理最適化Advent Calender 2023の13日目の記事です。この記事では、数理最適化を含むシステムにおいて問題解決の対象であるドメインの知識をどのように扱うかについて、現時点での私の考えをまとめています。数理最適化またはソフトウェア設計のいずれかを知っている方ですと、読みやすい記事になっているかと思います。 概要 ドメインの問題を解決する最適化システムでは、ドメイン知識が必要でありシステムの複雑性を増す要因となりえます。 最適化システムにおいてドメイン知識を適切に扱うための手段として、ソフトウェア設計手法、特にドメイン駆動設計が有効ではないかと考えました。 具体例として配送計画問題を取り上げて、Pythonによる実装例を紹介します。 この記事では、数理最適化を単に「最適化」、数理最適化を用いたシステムを「最適化システム」と呼ぶことにします。 はじめに はじめに、簡単な自己紹介と

はじめに Dolt ( https://github.com/dolthub/dolt ) とは、RDBのデータやスキーマの情報をgitのようにバージョン管理できる OSS です。 様々な場面でデータを活用することが多くなる中で、品質の高いデータ作成やマスタデータの保守などデータマネジメントがより重要になってきています。ソースコードの管理については確固たる方法がある一方で、データ管理については、一般的な RDB システムを使ってもDBのシステム内でデータの管理を行うことは難しく、実際にはシステムとは別のドキュメントなどに記載したスキーマやデータのメタデータなどの情報をバージョン管理することが多いのではないでしょうか。 Doltでは、実際のデータに対してコミットやプッシュなどのgitのコマンドを使うことができます。これにより、ソースコードを管理するのと同様にデータの構成管理を行うことができま

CloudFormationでSecurityGroupのRef関数を使った時にハマったので、その備忘録です。 Ref関数におけるSecurityGroupの戻り値はセキュリティグループIDとは限りません。 VPCの設定し忘れにはお気をつけて。 CloudFormationでSecurityGroupのRef関数を使った時にハマったので、その備忘録です。 やりたかったこと Ref関数を使った、SecurityGroupのグループIDアウトプットです。 Outputs: SecurityGroupEc2: Value: !Ref SecurityGroupEc2 実際に起こったこと SecurityGroupのグループID、どこいった？？？グループ名が表示されている？？？ 間違えたこと VpcIdの設定を忘れました。 --- AWSTemplateFormatVersion: '2010-0

はじめに 前回の記事ではLambdaとAPI Gatewayを組み合わせてREST APIを作成する手順について紹介しました。 今回はあらかじめ作成したLambdaを、新たに作成したVPC内に配置する手順について紹介します。 VPCとは Amazon Virtual Private Cloud (VPC) では、リソースの配置、接続性、セキュリティなど、仮想ネットワーク環境を完全に制御することができます。最初のステップは、VPC を作成することです。次に、Amazon Elastic Compute Cloud (EC2) や Amazon Relational Database Service (RDS) インスタンスなどのリソースを追加できます。最後に、アカウント、アベイラビリティーゾーン (AZ)、リージョンを超えて、VPC 同士の通信方法を定義することができます。以下の例では、各リ

はじめに 前回の記事ではAWS Lambdaの概要と、コンソールから関数を作成・変更・デプロイする方法を紹介しました。 しかしながら、実際の開発現場ではローカル環境で関数を開発・検証の上デプロイしたいと思います。 そこで今回は、ローカルでLambdaを実行する環境構築とデプロイ方法について紹介します。 AWS CLIのインストール 今回は最終的にローカルからAWSにデプロイを行います。 そのためにAWSのCLIを端末にインストールしましょう。 下記はHomebrewを使った例ですが、他のツールを使っている場合はそちらを使用しても構いません。

はじめに 今回はタイトルにもある通りAWS Lambdaについて自分の学習メモも兼ねて記事にしたいと思います。 ※初心者による、初心者向けの記事ですので文中の認識間違いなどの指摘をいただけますと幸いです。 前提 MacOS Dockerが利用できる AWSのアカウントは作成済み JSの知識がある AWS Lambdaとは 上記のページには以下のような記載があります。 AWS Lambda はサーバーレスコンピューティングサービスで、サーバーのプロビジョニングや管理、ワークロード対応のクラスタースケーリングロジックの作成、イベント統合の維持、ランタイムの管理を行わずにコードを実行できます。Lambda を使用すれば、実質どのようなタイプのアプリケーションやバックエンドサービスでも管理を必要とせずに実行できます。コードを ZIP ファイルまたはコンテナイメージとしてアップロードするだけで、La

はじめに ご覧いただきありがとうございます。阿河です。 最近「サーバレスな構成を複数のアカウントにデプロイする」機会があり、設定ミス/労力の軽減をするためにテンプレート化することは大切だなと改めて実感しました。 以前の記事でCloudFormationで基本的なシングル構成を構築するをテーマとして書きましたが、今回はサーバレス版ということでAWS SAMをテーマに記事を書こうと思います。 対象者 AWSを運用中 構築管理の手間を省きたい サーバレス構成に興味がある 概要 手作業で「API Gateway + Lambda」構成を作成 AWS SAMで「API Gateway + Lambda」構成を自動構築する リソース確認/動作検証 各種ドキュメントを参考に進めていきます。 1. 手作業で「API Gateway + Lambda」構成を作成 事前準備 S3バケットの作成 Cloud9環

はじめに こんにちは、みかみです。データインテグレーション（DI）部に所属しています。 分析基盤などのデータまわりを主に扱う部署なので、ふだん業務で API Gateway を使うことはあまりないのですが、以前、勉強会のセッション内容に啓発されて触ってみたことがありました。 APIを使うアプリ開発のdev環境にAPIGatewayを立てたらすごくいいと思った話 ｜ Developers.IO 当時でも、初めて触る API Gateway の環境構築の簡単さに驚きましたが、ひさしぶり（2年以上ぶりでした。。）に触ってみたら、さらに使いやすくなっててびっくりしました！ 前回つまずいたのが、API Gateway の、リクエストとレスポンスのマッピング設定。 マッピングテンプレートを登録する必要があり、テンプレートの書き方とかよく分からず。。 API Gateway コンソールを使用したリクエス

ざっと比較表を見るとalembicが圧倒的ですね。 実際Flaskによく使われるFlask-migrationもalembicをwrapしたものであり、Flaskに次ぐ軽量フレームワークのFastAPIも公式はalembicを推奨しています(https://fastapi.tiangolo.com/ja/tutorial/sql-databases/#alembic-note) 現時点においてはalembicとsimple-db-migrateが二大勢力といった感じでしょうか。 ですのでこの記事では主要な二つのPython Migration Toolであるalembicとsimple-db-migrateを比較していこうと思います！ それではまずalembicから使い方とメリデメを見ていきましょう！ alembic Alembic is a database migrations too

ご挨拶 タイトルの通りLambdaからRDSへ接続してみたので記事を書いていきます。 最近業務でLambdaを使用することが増えてきたので勉強になればと思いやってみました。 やること LambdaでプライベートサブネットにあるRDS MySQLに向けてSQLを実行して実行結果を確認します。 今回RDSの作成はCloudFormationを使用しています。 事前にプライベートサブネットを二つ作成しています。 以下の手順で進んでいきます。 Lambda関数の作成 IAMロールの編集 RDSの作成 LambdaをRDSに接続できるように設定 テスト実行 構成図 参考にしたサイト チュートリアル: Amazon VPC の Amazon RDS にアクセスする Lambda 関数の設定 pymysqlのドキュメント やってみる 1. Lambda関数の作成 マネジメントコンソールからLambdaへ

GET APIを作る時の教訓 GETリクエストに情報が必要な時は、パスパラメータか、クエリパラメータで指定する GETリクエストに情報が必要な時は、GET以外のmethodを検討する まずいAPIを作ってしまった。 それは、GETリクエストにデータを必要とするものだ。postmanでしっかりテストも行った。レスポンスは200が返って来たし、求めているデータも返ってきた。 JavaScriptからこれをリクエストした時に問題が発生した。 発生した事象 フレームワークにはReactを使っていた。APIのGETリクエストを送信する処理は、SWRを使う予定だった。公式ドキュメントを読んでデータの持たせ方を探してみたが、見当たらない。怪しい匂いが少ししていたが、そこまで重要に捉えていなかった。 以下のようなコードでリクエストしたら500が返ってきた。 import axios from 'axios

こんにちは、ちゃりおです。 LambdaでRDSに接続したいことがありました。 備忘録がてらやり方を書いてみます。 AWS SAMとは AWS SAMはAWS CloudFormationテンプレート言語の拡張機能であり、サーバーレスアプリケーションをより高いレベルで定義できます。関数の役割の作成などの一般的なタスクを抽象化し、テンプレートの作成を容易にします。 AWS SAMはAWS CloudFormationによって直接サポートされており、AWS CLIおよびAWS SAM CLIを介した追加機能が含まれています。 引用 Tools for Working With AWS Lambda AWS SAMを使うとサーバレスアプリケーションを簡単に作れます。 SAM CLI準備 AWS CLIが必要なのでインストールします。 $pip3 install awscli --upgrade

はじめにはじめまして。開発部の春日と申します。2020年の10月末に入社し、記事執筆時点ではエンジニア歴４ヶ月目の見習いエンジニアです。 冬も終わりにさしかかり、春が近づいてきました。私は花粉症持ちなので一足先に耳鼻科に行き点鼻薬と点眼薬を確保してきました。花粉症持ちの方はともにこの春を耐え抜きましょう。。 昨年末から始まったエンジニアブログの第３弾として、僭越ながら私が担当することになりました。 本記事ではAWS SAMでVPC内LambdaからVPC外Lambdaを呼び出すための設定について解説したいと思います。 AWSサービスについてまず最初にAWSサービスのLambda、VPC、SAMについて説明します。 Lambdaはサーバーレスアプリケーションサービスの一つです。自身でサーバーを立ち上げて管理することなく、「実行したい処理」のみを意識して開発することができます。 VPCはAWS

普段、インフラを構築する機会が滅多にないけど、最近VPC Lambdaを構築する機会があったので、色々学んだ事をメモしておく。 やりたかったこと Lambdaからピアリングで他のVPCにあるAPIとの接続 Lambdaからインターネット経由で外部APIとの接続 本記事の内容 Lambdaを置くPrivateサブネットのCIDR設計 Privateサブネットからの疎通確認 SessionManager越しのSSHアクセス 背景 今までLambdaをVPC内に置く必要はなかったが、LambdaからVPCピアリングでAPIにリクエストする必要が出たのでLambdaをVPCのサブネットに含む構成に変えることになった。 ネットワーク構成は以下の図の通り。 Lambdaからインターネット経由で外のAPIにアクセスする必要もあるためPublicサブネット内にNATインスタンスを用意している。 Lambd

はじめに alembicはSQLAlchemyの著者によって作成されたデータベースマイグレーションツールです。PythonのWebフレームワークであるFastAPIがDBのマイグレーションの仕組みを持っていないため、DBのマイグレーションをするためにalembicを使います。 alembicはマイグレーションファイルを自分で書く方法のほかに、テーブル定義の変更を自動で読み取ってマイグレーションファイルを自動生成することができます。とても便利な機能なのですが、実際にやってみようとしたところ苦戦したので、備忘録として残しておきます。 環境 MySQL 5.7 Python 3.9.13 alembic 1.8.1 fastapi 0.79.0 PyMySQL 1.0.2 SQLAlchemy 1.4.39 uvicorn 0.18.2 ディレクトリ構成 alembicに関係があるところだけ抜粋

Python3 で MySQL に接続するドライバ いくつもあって、どれがいいのか？ ぐぐって以下のようなものが出てきたので調べてみました。 mysql-connector mysql-connector-python mysql-connector-python-repackaged mysql-connector-python-rf PyMySQL 環境 OS Ubuntu Linux 20.04 ja MariaDB mysql Ver 15.1 Distrib 10.3.25-MariaDB, for debian-linux-gnu (x86_64) using readline 5.2 Python 3.8.5 MariaDBは以下のように設定しました 「MariaDB on Ubuntu18.04 LTS (also Ubuntu20.04 LTS)」 https://qii