EC2 Instance Connect Endpoint ( EICE )を使ってローカルからインスタンスにアクセス - Qiita
背景 RDSでAuroraDBを作ったが、そのDB操作をローカルから実行したい。でもDBは基本的にプライベートサブネットにあるからローカルと接続するにはそれ用の踏み台サーバー作らなきゃいけないか… と、思っていたらつい最近EC2 Instance Connect Endpointっていうサービスが出たらしい。 EC2 Instance Connect Endpoint（EICE）とは 公式ではこう説明されている。 「EC2 Instance Connect Endpointを使用すると、インスタンスにパブリック IPv4 アドレスを持たせることなくインスタンスに接続できます。TCP をサポートする任意のインスタンスに接続できます。」 つまりEC2上のインスタンスへのアクセス用エンドポイントを簡単に設置できるようになった。 例えばプライベートなRDSをローカルから操作することもできる。しかも
WSL2で同じディストリビューションの仮想マシンを複数作成する。 - Qiita
はじめに WSL2のUbuntuを触っていたとき、ふとVirtualBoxなどのように同じOSの仮想マシンを複数作成するにはどうするのだろうと思い、調べてやってみたことを残します。 WSLでの仮想マシンの作成 WSLで使えるディストリビューションを入手するにはMicrosoft Storeにアクセスし、インストールしたいディストリビューションを探し、「入手」ボタンを選択すればインストールされますが、一度入手してしまうと、再度同じディストリビューションを入手しようとしても以下のように「起動」ボタンしかなく、インストール済みであると表示されるため、同じディストリビューションで複数の仮想マシンを使うことができなくなっています。 しかし、wsl.exeのヘルプを見てみると、以下のようなimport、exportの引数があることから、できないわけではないようなのでやってみます。 Linux 用 Wi
GitHub Copilotの威力（日本語からソースコード自動生成） - Qiita
概要 「GitHub Copilot」を使用して、日本語からソースコードを半自動生成させてみました。 また、しばらく試行してみて、Copilotの活用シーンを整理しました。 Copilotとは 2020年5月にイーロン・マスク氏らが関わっているAIの非営利団体OpenAIによって、自然言語モデルGPT-3が発表されました。このモデルは、生成された文章が、人間が書いたのかAIが書いたのか区別できないほど高精度なモデルということで当時、話題になりました。 OpenAIではGPT-3をカスタマイズし、自然言語からソースコードを生成するCodexモデルを開発していましたが、OpenAIとGithubが提携したことによって、Githubで公開されている数十億行のコードを学習させることができるようになり、より高精度なソースコードを生成させることが出来るようになりました。 そして、2021年6月29日に
WSL2+asdf+venvでのpython環境構築メモ - Qiita
はじめに メモ兼共有用 実行環境 windows11 + WSL2で実行 VSCode + Remote WSLが入っていることを前提 ubuntu20.04でも基本は同じ(WSL2インストールパートを飛ばしてください） 実際の使用方法 先に使い方を書いときます # 作業するディレクトリの作成 mkdir myproject cd myproject # pythonのバージョンの設定 # asdf install python <使用するバージョン> asdf local python <使用するバージョン> # 仮想環境の作成 python -m venv .venv source .venv/bin/activate # パッケージのインストール pip install <packagename> # 実行 python <実行するファイル名> WSL2のインストール WSL2とは
RESTful APIのHTTPステータスコード設計 - Qiita
RESTfulなAPIでは、以下の理由によりAPIの処理結果は適切なHTTPステータスコードを利用することが推奨されている。 適切なHTTPステータスコードを返さないと、レスポンスボディの中身を解析して処理結果を判定する必要がある HTTPの標準仕様を使うことで、HTTPステータスコードから処理結果を判定することができる HTTPの標準仕様を使うことで、APIを利用する第三者にとっても理解しやすくなりバグの混入を減らすことができる ほとんどのHTTPクライアントライブラリはHTTPステータスコードを見てリクエストが成功したか、失敗したかを判別している ※ステータスコードは一律200で処理結果をレスポンスボディで表現するようなことはしてはいけない。例えば、API側で内部エラーが発生し本来であれば500(INTERNAL SERVER ERROR)を返さなければいけないところを、200で返して
Amazon EventBridge API Destinationを使って外部API呼び出しを非同期的かつレートリミット内に収まるように行う(Slackで実装) - Qiita
Amazon EventBridge API Destinationを使って外部API呼び出しを非同期的かつレートリミット内に収まるように行う(Slackで実装)GoAWSSlackEventBridge この記事はPTAのアドベントカレンダー24日目の記事です。 概要 EventBridgeのAPI Destinationという機能を使うと、外部API呼び出しを非同期的に実行できる。 APIのレートリミット内に収まるように自動的に調整してくれる。 SlackのAPIで実験してみました。 EventBridge API Destinationとは EventBridge API Destinationは、EventBridgeのターゲットにHTTP APIの呼び出しを指定できる機能です。 以下の特徴があります。 自動リトライ DLQにも対応 3種類の認証方式に対応 APIのレートリミット内
GitHub Copilot導入後、初めて使う時。(豊富な使用例付き) - Qiita
※GitHub Copilotが長いコードを提案してきた時、ショートカットキーの「単語単位で受け入れる」を使用すると便利です。 ※ インライン候補をトリガーするとは提案が表示される場所ならばどこでも GitHub Copilot が動きます。 例えば、提案が表示される場所からカーソルが動かしてしまっても、カーソルを元の場所に戻してトリガーコマンドを使うと提案が表示されます。 ※ インライン候補をトリガーするはデフォルトのキー設定では動きません。：Windows で確認 自分でキーボードショートカットキーを設定する必要があります。（これは自分の環境だけかもしれません。） 導入後（課金後） 導入後に何をしていいのか？何が出来るのかがよくわからなかったので調べてみた。 環境 Windows10 GitHub Copilot (導入 1年契約 or 1月契約) VSCode VSCode Insi
Amazon S3 Presigned URLのアクセス制御を深堀りする - Qiita
はじめに S3へのアクセスを制御するために様々な機能がありますが、これらはIAMのアクセス制御と混同して考えられることが多く、両方の機能の関連について、質問を非常に多く受けています。 以前に S3のアクセス制御はまずシンプルに捉えて対応すべき という記事を書きましたが、この記事に書いたように、S3バケットポリシーとIAMポリシーには以下のような違いがあります。 S3バケットポリシーは、S3側で、エンティティから行われるアクセスの制御 IAMポリシーの場合、エンティティ側で、S3に対して行うアクセスの制御 このように、両者では設定箇所および制御する操作の矢印の方向が異なります。 基本はこの2つでS3バケットやオブジェクトに対するアクセス制御を行いますが、この2つに加えて、全く異なるアクセス制御の要素が加わることがあります。 その代表例と言える 「Presigned URL」 を今回は取り上げ
AWSのメッセージングサービス SQS、SNS、EventBridge の主な機能比較 - Qiita
EventBridge スケジュールに従って実行する Amazon EventBridge ルールの作成 配信先のサービス SQS Amazon SQS での Lambda の使用 Lambda SNS Application-to-Application(A2A)配信先 Kinesis Data Firehose Lambda SQS HTTP/S Application-to-Person(A2P) 配信先 Email / SMS 通知 Mobile Push 通知 AWS Chatbot EventBridge Amazon EventBridge ターゲット Lambda関数 EC2インスタンス Kinesis Data Streams のストリーム Kinesis Data Firehose の配信ストリーム CloudWatch Logs ロググループ ECS タスク Syst
【実務でもよく使う】SQS × Lamda × EventBridgeで実現する非同期&バッチ処理の基本 - Qiita
概要 応答速度の改善を目的にシステムに非同期処理を組み込むことはよくあることかと思います。AWSでもSQSを利用することで比較的簡単にジョブキュー処理を実現することができます。一方で、バッチ処理との組み合わせも踏まえると、AWSのサービスの選択肢は複数存在するため分かりにくいです。 そこで、本記事では以下を整理してみました。 本記事で得られる内容 非同期処理のメリット・デメリット AWSで非同期処理・バッチ処理を実現する方法 実際にSQS × lamda × EventBridgeの組み合わせでサンプルアプリを作成 知識整理編 まず、前提となる基礎知識や非同期処理・バッチ処理を実現するために必要なAWSリソースを簡単に整理してみます。ここで紹介する内容は概要に留めるため、より詳細を知りたい方はAWSの公式ドキュメントやBlackBelt等の資料をご確認ください。 非同期処理 非同期処理とは
Google社のテクニカルライティングの基礎教育資料がとても良かったので紹介したい - Qiita
はじめに エンジニアにとって、仕様書などの技術的な文章を書くこと（テクニカルライティングとも言います）は避けて通れません。ただ20年来多くのエンジニアの方々と同僚として接してきて思うことは、エンジニアの方の中には「文章を書く」ということに苦手意識がある方が一定数いるということです。 でもこの「テクニカルライティング」のスキルは、才能というよりは一種の「技能」だと思うんです。ある一定の原理原則を理解して実践を繰り返すことで、必ず一定レベルで習得できるものだと著者は信じています。 もしこのテクニカルライティングの原理原則をまだ体系的に学習したことがない、または過去学習したが改めて再学習したいという方に、お勧めのコンテンツを見つけたのでご紹介します。 https://developers.google.com/tech-writing Every engineer is also a write
CloudFront+API Gateway構成ではHostヘッダに気をつけよう - Qiita
TL;DR CloudFrontのオリジンにAPI Gatewayを追加したい時には、 Origin Request Policyにて、AllViewerの設定で全てのヘッダをバイパスするように設定するとエラーとなる。 原因はCloudFront向きのHostヘッダの情報をAPI Gatewayにそのままバイパスしてしまうため。 はじめに よく知られていることですが、API Gatewayは内部的にCloudFrontの仕組みを利用しているため、 レスポンスデータのキャッシュやスケーラビリティの確保については、CloudFrontをユーザー側で用意しなくても、 CloudFrontのメリットを受けられるようになっています。 しかしながら、例えば WAFによるアクセス制限の仕組みを利用したい キャッシュ設定をより細かく設定したい (Maximum TTL, Minimum TTL、Inval
WSL2上にDockerをインストールする - Qiita
概要 上記でインストールしたWSL2上にDockerをインストールする 環境 Windows10 バージョン21H1(OSビルド19043,1826) $ cat /etc/os-release NAME="Ubuntu" VERSION="20.04 LTS (Focal Fossa)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 20.04 LTS" VERSION_ID="20.04" HOME_URL="https://www.ubuntu.com/" SUPPORT_URL="https://help.ubuntu.com/" BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/" PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/term
軽量DDDでもやったほうがいい理由、けどやらない理由 - Qiita
記事のターゲット DDD（ドメイン駆動設計）に興味がある人 DDD系の本読んだけど掴み所がないなと思った人 戦術的DDD（軽量DDD）を取り入れようとしている人 戦術的DDD（軽量DDD）とは ドメイン駆動設計の文脈で語られる技術的要素のみを取り入れる設計手法です Google検索などで引っかかる情報の多くは技術的要素の内容です （過去記事でも部分的にまとめていますので興味があれば是非） レイヤードアーキテクチャの視点 ValueObjectという考え方 Serviceクラスの意義と勘所 「技術的要素のみ？DDDってそういうものじゃないの？」と思ったかも知れません DDDの本質は問題解決のための手法なので、技術的要素はその一つでしかないのです 完璧じゃなくても軽量だけでもいい DDDに関わらず、プログラミング含めたテクノロジーも問題解決のツールの一つです そのツールが万能になるとき、問題は
テーブル設計書とER図を常に最新化して社内公開(CI/CD) - Qiita
概要 私が自社で担当しているサービスにはテーブルが大量にありますが、テーブル設計書とER図はあまりなく、あっても陳腐化しているケースが大半でした。 なので、テーブル設計書とER図を常に最新化して社内公開する仕組みをGitHub ActionsとSchemaSpyとPrivate GitHub Pagesを用いて作ってみました。 参考までにソースや設定情報も掲載いたします。 環境 データベース：MySQL（他製品でもソースを変えたらいけそう） ソース管理：GitHub スキーマファイル：Railsのstructure.sql（サービスコンテナ内のDBに対象テーブルと同等のテーブルを用意できたらOK） 全体イメージ テーブル設計書とER図を常に最新化して社内公開する処理は新規作成した設計書用リポジトリ内で完結させ、サービス用リポジトリへの影響がないようにしてます。 成果物 ①テーブル更新の通知
Github Actionsの使い方メモ - Qiita
Github Actions をワークフロー内で使う方法についてすぐに見返すための備忘録 Github Action を作るためのメモはこちら => Github Action の作り方メモ ドキュメント GitHub Actions について - GitHub Docs Workflow syntax for GitHub Actions - GitHub Docs Expressions - GitHub Docs Contexts - GitHub Docs 使用制限、支払い、管理 - GitHub Docs Environment variables - GitHub Docs ワークフローの定義 リポジトリに次のディレクトリを作成し、その中にYAML形式で定義する。 .github/workflows/ YAMLファイルは名前は自由。複数OK。 ワークフローの構造 ワークフローを
GitHub Actionsで複数Job間でデータを共有する方法 - Job outputs - Qiita
GitHub ActionsはJobごとに別々のGitHub Actions Runnerで実行され、つまり別々のOSで実行されるのでJob間でデータを共有するには工夫が必要となる。 解決策の１つにArtifactsのUpload/Downloadがあって、少々面倒ではあるが、他に手っ取り早い方法もなさそうだしこれでよいだろうという理解だった。 残念ながら今のところGitHub ActionsにはJob間で共有可能なグローバルスコープの変数はなく・・・ ArtifactsのUpload/DownloadによるJob間のデータ共有する方法 共有したいデータをファイルに書き出しactions/upload-artifactでArtifactとしてアップロードし、別のJobでactions/download-artifactを使ってそのArtifactを読み込みデータを取得する 詳しくはこちらを
workflow_dispatch の使い方、使い所 - Qiita
name: workflow_dispatch sample 1 on: workflow_dispatch: jobs: printLog: runs-on: ubuntu-latest steps: - name: print log run: echo "Hello!" デフォルトブランチにマージします。GitHub上で確認すると、Actions タブからワークフローにアクセスすることができ、手動実行できるようになっています。また、ワークフローを実行するブランチを選択できるようにもなっています。 Run workflow ボタンから実行してみます。 無事実行できました。 実行時にデータを付与したい 今度は、ブランチを選択できるだけではなく、挨拶する人の名前を実行時に指定できるようにします。workflow_dispatch に続けて inputs を定義します。 name: work
[python/boto3] Amazon Athenaの同時実行数制御のため、実行中件数を取得してみた - Qiita
[python/boto3] Amazon Athenaの同時実行数制御のため、実行中件数を取得してみたPythonboto3Athena Amazon Athenaは素晴らしいサービスです。 もうSQLはAthena以外では書きたくない。。。 だって、index貼らなくていいし、重い重い処理かけてもDBサーバーごと落ちたりしない（注意：タイムアウトはあります。）から、効率考えずに書きたいクエリをかける！ MySQLだと、2000万件とかセレクトしに行ったらどうしよう、とか。 スロークエリになって他の処理に影響与えてしまわないかな、とか。心配事が尽きないです。。。 その点、Athenaはインフラのリソース気にしなくてクエリ投げ放題なんて、天国のSQLです！！ だから、ぜひ、使い倒したいところです。 ただ、同時実行数がデフォルトだと、たった20しかありません！（BigQueryは100なのに
![[python/boto3] Amazon Athenaの同時実行数制御のため、実行中件数を取得してみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3f1b0f8e3b60e7c8fe45d8337e3b6cd51788708/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJTJGYm90bzMlNUQlMjBBbWF6b24lMjBBdGhlbmElRTMlODElQUUlRTUlOTAlOEMlRTYlOTklODIlRTUlQUUlOUYlRTglQTElOEMlRTYlOTUlQjAlRTUlODglQjYlRTUlQkUlQTElRTMlODElQUUlRTMlODElOUYlRTMlODIlODElRTMlODAlODElRTUlQUUlOUYlRTglQTElOEMlRTQlQjglQUQlRTQlQkIlQjYlRTYlOTUlQjAlRTMlODIlOTIlRTUlOEYlOTYlRTUlQkUlOTclRTMlODElOTclRTMlODElQTYlRTMlODElQkYlRTMlODElOUYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWE3MjI2ZjdmZGI4MGFmOTk4YjQ3M2JmZjI2OTRkMjgw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBlc2lrbSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDMwNGVkMjFkMGNhNjJmZjgzODQ0M2ZlOGE3YmIwNjc%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D84cae977f9ac8730fe3243eeaca65d35)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
macOS Catalina から Proxy 経由で SSH 接続する - Qiita
