shunmatsuのブックマーク / 2021年5月24日

shunmatsu id:shunmatsu

2021年5月24日のブックマーク (7件)

[小ネタ] プライベートサブネットのインスタンスにAWS Systems Manager セッションマネージャーでSSHしてみたくなって | DevelopersIO
[小ネタ] プライベートサブネットのインスタンスにAWS Systems Manager セッションマネージャーでSSHしてみたくなっておはようございます、もきゅりんです。発端はこちらの記事でした。 AWS Systems Manager セッションマネージャーでSSH・SCPできるようになりましたプライベートサブネットでやってみたいゾ、と思ったところ、思わぬところでコケたので、、万が一同じような方が現れた場合に備えて、まとめておきます。コケた理由としては、下記記事タイトルのまんまなのですが、そういうことでした。学習しました。。 [AWS] VPC Endpoint で S3 にアクセスするときはリージョン指定に注意が必要な件もう理解した方は、大丈夫です、話は既に済んだも同然です！！どゆこと？？という方はお進み下さい。目次目次 1 Systems Manager 用 VP
shunmatsu 2021/05/24
aws_SSM

aws_S3
リンク
Amplify ライブラリを使って既存の AWS バックエンドと簡単に統合してみる - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
Amplify な皆様、こんにちは ! ソリューションアーキテクトの鈴木貴博と申します ! AWS Amplify を使い、フルスタックなアプリケーションを開発されているお客様のよくある課題として、こういった課題がよくあると思います。バックエンドの構築は AWS クラウド開発キット (CDK) や AWS CloudFormation を利用したいので、Amplify CLI は使用しないフロントエンドチームとバックエンドチームが別れているため、フロントエンドチームからはバックエンドリソースの構築は行えないようにしたいが、Amplify Libraries を使って簡単に AWS Amplify のバックエンドリソースと統合したい既に構築済みの AppSync、Cognito 等のリソースがあるので、Amplify Libraries を使ってサクッとバックエンドと統合したい Amp
shunmatsu 2021/05/24
aws_Amplify
リンク
AWS IAM Role権限のポリシー - grmn's blog
環境によってはIAMのフル権限がもらえないので、ロール周りの設定ができるポリシーを作成してアタッチしてもらう。 Resourceは適宜変更。 { "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor0", "Effect": "Allow", "Action": [ "iam:CreateInstanceProfile", "iam:DeleteInstanceProfile", "iam:List*", "iam:DeletePolicy", "iam:CreateRole", "iam:DeleteRole", "iam:AttachRolePolicy", "iam:PutRolePolicy", "iam:AddRoleToInstanceProfile", "iam:CreatePolicy", "iam:P
shunmatsu 2021/05/24
aws_IAM
リンク
AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しました | フューチャー技術ブログ
はじめにこんにちは。TIG DXチームの村瀬です。 AWS Glue利用していますか？ ETL処理をする上で大変便利ですよね。しかしながら開発に必要不可欠な開発エンドポイントが少々お高く、もう少し安価に利用できればなーと思っていたところ、さすがAWSさん素敵なリリースをしてくれました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/08/aws-glue-releases-binaries-of-glue-etl-libraries-for-glue-jobs/ AWS Glueとは過去のこちらの記事もご参考ください。 5TB/日のデータをAWS Glueでさばくためにやったこと（概要編 5TB/日のデータをAWS Glueでさばくためにやったこと（性能編）ローカルPCの環境を汚さない為に作業を開始する前に確認したところ、Glu
shunmatsu 2021/05/24
aws_Glue
リンク
AWS Glueの開発環境の構築(2021) | フューチャー技術ブログ
概要AWS Glueの環境構築は過去の記事にあるのですが、公式のDockerイメージが案内されているので改めて、構築してみます。過去の類似する内容の記事 AWS Glueの単体テスト環境の構築手順 AWS Glueの開発エンドポイントがそこそこお高いのでローカル開発環境を用意しましたなお、Glueの公式イメージでもJupyter Notebookは利用できるのですが、使い勝手を考慮し、Jupyterlabに差し替えています。手順 Dockerfile作成 docker-compose.yml作成動作確認 DockerfilePySparkのオプションを設定しつつ、gluepysparkを実行していますが、gluepysparkがPySparkのwrapperになっているため、こちらの設定で問題なく動作しています。 Dockerfile# ベースとなる公式イメージ FROM amaz
shunmatsu 2021/05/24
aws_Glue
リンク
nohupを使ってsshログアウト後もシェルスクリプトを動かす - Qiita
sshログウアウトするとなぜ止まるのか sshログインしている状態でバックグランドでシェルスクリプトを実行すると、sshdのログインシェル(bash)の子プロセスとしてシェルスクリプトが実行されます。 # プロセスの親子関係を確認 $pstree init─┬─agetty ├─atd ├─auditd───{auditd} ├─crond ├─dbus-daemon ├─dhclient ├─6*[mingetty] ├─ntpd ├─rngd ├─rpc.statd ├─rpcbind ├─rsyslogd───3*[{rsyslogd}] ├─2*[sendmail] ├─sshd───sshd───sshd───bash───pstree # バックグラウンドで./batchを実行 $./batch.sh & # batch.shはsshdの子プロセスのbashプロセスの子プロセス
shunmatsu 2021/05/24
プロセス

シェルスクリプト

bash

nohup

ssh
リンク
bashシェルスクリプトの記述の仕方に関するメモ書き - Qiita
はじめに bashシェルスクリプトの記述の仕方に関するメモ書きです。ファイル入出力やパイプライン処理を中心にシェルが得意なのはファイル入出力やパイプライン処理なので、複雑な構文はできるだけ使わず、これらの使用を中心としたコードを書きます。 PATH コマンドごとにフルパスを変数に格納するなどは手間なので、必要な環境変数$PATHをexportしておきます。それでも必要な場合はフルパスを変数に格納しておきます。標準出力、標準エラー出力のリダイレクト標準出力(1)、標準エラー出力(2)はデフォルトは画面になっています。それ以外にエラーメッセージを定義する場合、標準エラー出力(2)にリダイレクトします。
shunmatsu 2021/05/24
bash

シェルスクリプト
リンク
- 2021年5月25日
- 2021年5月24日
- 2021年5月23日