はてなブックマーク

Atheaのクロスアカウントを試した自分メモ データ所有アカウント：999999999999 Athenaクエリするアカウント：666666666666 6666..でAthenaクエリ 9999..にGlueカタログやS3のオブジェクト 権限設定 S3権限 【データ所有アカウント操作】 "データ所有アカウント"のAthenaでクエリされるS3バケットのバケットポリシーを以下のようにして、"Athenaクエリアカウント"からのアクセス許可しておく { "Version": "2012-10-17", "Id": "Policy1620910711847", "Statement": [ { "Sid": "Stmt1620910644611", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::666666666666:root"

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ただのやってみた系で個人の感想です。 はじめに 対象リソースはAurora, DDB, EBS, EC2, EFS, FSx, RDS, Storage Gateway などありますが今日はEBS(ただ、考え方や基本操作はRDSでもEC2でも同じです) ここではタグをbackup:trueで付けているEBSを対象としました。試す場合はタグを付けておいてください。 途中からEC2とRDSも同じタグを付けて、本文修正したので若干画面キャプチャがアレですが、EBSを軸に見てもらえればだいじょぶです。 AWS Backup ではバックアップ対象

前編でS3からRedshiftにロードする際の準備を行いました。 ここでは、Glueを使ってS3からRedshiftへのロードを行います。 作成される構成は以下です。 前提 前提の構成は以下です。 VPC、セキュリティグループ、ルートテーブル、Redshiftを作成しておく "Glueの使い方的な㉔(S3からRedshiftにロード_準備編)"(以後㉔と書きます)を実施した後の作業とします。未実施の場合は先に㉔を実施しておいてください。 Redshift関連情報 クラスタ名：se2-gluetest-dwh データベース：db ユーザー：admin パスワードxxxx(任意) "Glueの使い方的な①(GUIでジョブ実行)"(以後①とだけ書きます)のIAMロール、クローラー、入力データを使います。まだの場合は作っておいてください。 ・IAMロール:test-glue ・クローラー：se2_

QuickSightのEmbedのフロー こんな感じかな。自分用メモ userArnでいろいろな認証を指定することができサポートしているようだ GetDashboardEmbedUrl UserArn Amazon QuickSightユーザーのAmazonリソースネーム（ARN）。QUICKSIGHTIDタイプで使用します。 これは、次のいずれかとして認証されたアカウント内のすべてのAmazon QuickSightユーザー（リーダー、作成者、または管理者）に使用できます。 Active Directory（AD）ユーザーまたはグループメンバー 招待された非フェデレーションユーザー SAML、OpenID Connect、またはIAMフェデレーションを使用したフェデレーションシングルサインオンを通じて認証されたIAMユーザーとIAMロールベースのセッション。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

データカタログへの権限制御する Lake Formationは、データカタログにきめ細かな権限制御ができます。 ユーザーごとに、データカタログのDatabaseへのテーブル追加を禁止したり、あるカラムを非表示にしたり、実行できるSQLを制限したりできます。やってみます。 S3パス s3://test-lf01/in00 Database名 lf01 テーブル名 test1 テスト用IAMユーザー test_user1 CSVファイルをS3にアップ ファイル名:person.csv s3://test-lf01/in00 に以下のCSVファイルをアップ スキーマは以下を想定 name(string) date(string) storeid(string) accountnumber(string) データカタログ作成 Database作成 Lake Formationの画面で左側メニューか

TL;DR ここで遊べます. リポジトリはこちら 操作方法 カーソルキー (左下右) または A, S, D : 移動 上キーまたは W : ハードドロップ J : 左回転 K : 右回転 R または U : ホールド 一応おまけでスマホでも操作できるようにしてありますが PC 推奨です. ARE も現代的な T-Spin も無いストイックなやつを目指して作りました. (しかしホールド機能は付けたかったので付けました) きっかけ 普段フロントエンドの開発をすることは少ないのですが, 遅ればせながら最近になってぼちぼち情報に触れるようになり, 自分も勉強してなんか書いてみようかなという気持ちになったのが昨年末あたり. ちょうどその頃なぜかたまたま Classic Tetris World Championship (CTWC) の動画1をよく見る日々が続いており, テトリスでも作って自分で遊

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 受験背景 職業プログラマではないが、大学でコンピューターサイエンスを学んだわけではないので勉強がてら受験してみた。 基本情報技術者を飛ばして応用情報から受験したのは、無勉強状態で基本情報の過去問を解いたところ合格点だったため （今思えばたまたま合格点だっただけで、これが地獄の始まりだった） ちなみに疑似言語は表計算を解いた。 1回目受験の時点で、python,JavaScriptの基本的な部分,C言語は入門書を一回読んだ程度の理解度。 受験結果 1回目 試験をなめて一夜漬けで挑戦。 使用教材：応用情報技術者合格教本 結果：午前が47/8

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は更新をやめました。見てくださったみなさんありがとうございました!!!(もしかしたら再開するかもですが)。20210324 Glueのすぐ使えそうな操作 1.Glueの使い方的な①(GUIでジョブ実行) GUIだけでcsv->parquet変換処理してAthenaで見たい時 2.Glueの使い方的な②(csvデータをパーティション分割したparquetに変換) 元データにタイムスタンプが入ってるデータを、パーティションによるディレクトリ構成にしてデータ配置とフォーマットなど変換したい時 3.Glueの使い方的な③(CLIでジョブ

Python 3 エンジニア認定基礎試験とは？ 一般社団法人Pythonエンジニア育成推進協会が実施している民間試験。 基礎文法が出題され、試験時間60分で40問中70%以上正解で合格 受験料1万円（税別）　＊学生は半額 CBTによるPCを使ったテストですぐに結果が出る 教材はオライリーの「Pythonチュートリアル 第4版」(私の受験時は3版でした） 私の勉強法 前提として私は職業プログラマではなく、raspberry piで遊んだり、ちょっとしたツール作ったり、aws lambdaでちょっとしたものを動かす程度の知識。 pythonは辻真吾さんの「pythonスタートブック」と柴田淳さんの「みんなのpython」で学習しました。 とりあえず、（当時の）教材の「Pythonチュートリアル 第3版」購入。 現在の教材である「Pythonチュートリアル 第4版」の内容はほぼwebでみれます。

どこかからの願い 中国でもFacebookで"いいね"したいじゃないですか～(ほんとは違う理由だけど・・) ということでVPN & Proxyサーバーを作ることにしました。 入れるのはxl2tpd,openswan,squidでございます。 とにかくさっさと作る必要があったので、簡単な方法でいきます。 ぷらっとふぉーむ 環境はAWSで AMIはなぜかCentosだとうまくいかなかったので(多分自分の問題・・)AmazonLinuxで amzn-ami-hvm-2015.03.0.x86_64-gp2 前準備 iptables 止める SELINUX 止める この辺を入れておく

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

家でも会社でも同じ環境で勉強したいのでVPSを借りてみる。 全くの初心者なので詰まりまくりです。おかしなところあればご指摘ください。 環境 VPS 借りたのはさくらインターネットのVPS2Gプラン、詳細は以下とこちら。 メモリ:2G ディスク容量:200GB CPU:仮想3コア リージョン:石狩 OS:CentOS6.5（最初から入っていたのでとりあえず） ツール Putty WinSCP やること ドットインストールさんのさくらVPS入門にしたがって初期設定をすすめていきます。 初期設定 作業用ユーザーの作成 & 設定 鍵認証の設定 SSHの設定 Firewallの設定 Webサーバーの設定 とりあえずここまで頑張ります。 初期設定 インストールされているアプリケーションをまずは最新にします。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

PHPは色んな便利標準関数があって助かります。 そんな中でも、配列のマージ（合体）で希望通りの動きを実現するまでに 結構時間がかかってしまったのでメモ。 こちらも参考にしましたので、合わせてご覧ください。 前提 多次元配列 キーは数字・文字混合で、変化させない（これが厄介でした） 配列$beforeを元として、$artisanをマージする キーが$beforeになく$artisanにあるものは単純に加える キー$beforeにも$artisanにもあるものは、$artisanの値で上書きする 結果は出来る限り$afterに（$beforeや$artisanを変える形になっても良し） こんな配列を想定する $before = array( '0' => 0, '1' => array( '0' => 0, '1' => 1, ), '2' => 2, 'string' => 'string'

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?