サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Pixel 9
goodbyegangster.hatenablog.com
「既存のActiveDirectory側にあるユーザー情報にて、AWSコンソールにログインする」て奴を試してみます。具体的には、以下資料に記載されているADFSとIAM SAML ID Providerを利用した方法となります。 Enabling Federation to AWS Using Windows Active Directory, ADFS, and SAML 2.0 環境 Active Directory Domain Service Windows Server 2019 Active Directory Federation Service Windows Server 2019 Domain ServiceもFederation Serviceも、既に構築されているものとして作業をしています。 構成 イメージです。 今回の手順で設定する情報たちです。 Active D
SquidのProxyサーバを何年ぶりくらいに構築することになったので、その時の内容をメモしておきます。 環境 インストール デフォルト設定の確認 ACLタグ http_accessタグ http_portタグ cache_dirタグ coredump_dirタグ refresh_patternタグ キャッシュ機能の無効化 1.以下をsquid.confに書く 2.squid.confからcache_dirタグをコメントアウト Squidへの認証処理の追加 1.httpd-toolsのインストール 2. htdigestコマンドにて、ユーザファイルの作成 3."squid.conf"の編集 接続確認 ログファイル関連 作成されたsquid.conf 環境 Amazon Linux 2 Squid 3.5.20 インストール 何はともあれ、squidをインストールしてこないと始まらないので、
Cluster Autoscalerとは、 The cluster autoscaler on AWS scales worker nodes within any specified autoscaling group. It will run as a Deployment in your cluster. との事で、EKS Worker Nodeの数をいい感じに管理してくれるものです。各種ドキュメントを参考に、利用方法を確認します。 AWS - Cluster Autoscaler GitHub - Cluster Autoscaler 環境 Kubernetes(EKS) 14.9 eksctl 0.13.0 Cluster Autoscalier v1.14.7 EKS Clusterの用意 eksctlを利用して、EKS Clusterを作成します。 Master Nodeの作
テーブルやインデックスで必要となるメンテナンス処理についての備忘。 調べた結論だけまとめておくと、下記といった感じでした。 auto vacuumを有効にしておく(デフォルトで有効) かつ、適当な頻度でauto vacuumされていることを、定期的に確認する indexの断片化状態を定期的に確認する 必要であれば、indexを再構築してあげる テーブルのvaccum PostgreSQLデータベースはバキューム処理として知られている定期的な保守を必要とします。 PostgreSQL - 定常的なバキューム作業 PostgreSQLのvacuumコマンドは以下の理由により定期的にそれぞれのテーブルを処理しなければなりません。 1. 更新、あるいは削除された行によって占められたディスク領域の復旧または再利用。 2. PostgreSQL問い合わせプランナによって使用されるデータ統計情報の更新。
ローカルのWindows PC上Dockerにて、JupyterLabのコンテナ環境を作成します。コンテナはdocker composeにて管理します。公式の参考サイト。 Jupyter Docker Stacks JupyterLabについて JupyterLabとは、Jupyter Notebookの後継ツールとのことです。 JupyterLab will eventually replace the classic Jupyter Notebook. Throughout this transition, the same notebook document format will be supported by both the classic Notebook and JupyterLab. JupyterLab - Overview 環境 Windows10 Pro 10.0.
自己署名証明書をPowershellで作成できるようなったらしく、最近ではそいつを使うのが一般的みたいです。その方法の備忘録。WEBサーバで利用できるSSL証明書を作成します。 Powershellバージョン Windows 10 Include Windows Server 2016 Include Windows Server 2019 Include 実行方法 管理者権限でPowershellプロンプトを起動して、以下コマンドを実行しています。 自己署名証明書を作成して、ローカルPC内に証明書を格納します。有効期限は30年後です。 > $cert = New-SelfSignedCertificate ` -Type SSLServerAuthentication ` -Subject "sample.com" ` -DnsName "sample.com" ` -CertStore
Amazon Elastic Kubernetes Service(EKS)で、Kubernetes Clusterを、eksctlを利用して作成します。 環境 eksctl 0.12.0 EKS(kubernetes) 1.14.9 eksctlのインストール 素のkubernetesでは、kubeadmあたりを利用するのでしょうが、EKSのClusterを管理するためのCLIとして、eksctlが用意されています。 eksctl is a simple CLI tool for creating clusters on EKS - Amazon’s new managed Kubernetes service for EC2. eksctl.io インストールします。 $ curl --silent --location "https://github.com/weaveworks/e
1コンテナ上で、nginxとfluentdを動かした話。 どうして複数プロセスを起動してはいけないの Dockerコンテナではプロセスを1つだけ起動させる、とは有名なContainerベストプラクティスですが、これはどうしてでしょう。いろいろ理由があると思いますが、明確な技術的理由として、DockerではCMDオプションやENTRYPOINTオプションで起動したプロセスがコンテナ上のPID1になるからだ、と思っています。 試しに、nginxのコンテナを起動してプロセスを確認してみると、PID1は、nginxのmaster processとなっています。 $ docker run --rm -d --name nginx nginx $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 1d4d0754f57a n
nginxにて、IPアドレスを用いてアクセス制限する方法を、以下3パターンで記載します。 ClinetIPにてアクセス制限を行う方法 ロードバランサー等を経由している通信で、ClinetIPにてアクセス制限を行う方法 ロードバランサー等を経由している通信で、経路途中の機器のIPにてアクセス制限を行う方法 環境 nginx version: nginx/1.15.12 1.ClinetIPにてアクセス制限を行う方法 nginx.configの、serverやlocationコンテキストにて、 allow や deny ディレクティブでIPアドレスを指定します。 Module ngx_http_access_module 以下の例では、指定したバーチャルホストにて、 223.XXX.XXX.XXX のみアクセスできるサイトとなります。 server { listen 8000; server_
ECSのタスク定義をCloudFormationで書いていて、ハマったところがあったのでメモしておきます。 事象 タスク定義内のコンテナ定義にて、LogConfigurationの値をawslogsにしたところ、作成されたタスク定義を起動しても、コンテナ起動に失敗してしまう。 詳細 ECSのログ出力設定には幾つかの方法が用意されていますが、基本的には awslogs の設定を利用すると便利です。これは、コンテナ上の標準出力/エラー出力の内容を、CloudwatchLogsに連携してくれる、という設定となります。 なお、awslogsの設定を利用するには、ECSコンテナエージェントのバージョンが1.9.0以降である必要があります。 で、CloudFormationのテンプレートですと、コンテナ定義部分に以下みたく記載します。 LogConfiguration: LogDriver: "aws
Redshiftにおいて、DBユーザ向けに、あるスキーマ内にあるオブジェクト(tableとかviewとか)に対する権限を付与しようとした場合、今まで以下のSQLを利用していました。 GRANT SELECT ON ALL TABLES IN SCHEMA schema_name TO GROUP db_user_group; しかし、このSQLでは このGrant文を実行した後に作成したテーブルには、権限が反映されない という問題があります。(あります、というか、そんな事知らずに運用していました。。。) この事を考慮して ALTER DEFAULT PRIVILEGES文 を利用すべきとなります。これは、PostgreSQL 9.0から利用できる機能で、Redshiftでも利用できます。公式ドキュメントはこちらです。 ALTER DEFAULT PRIVILEGES - Amazon Re
Aurora PostgreSQLにて、監査ログを取得する設定を実施します。 環境情報 Aurora PostgerSQL 9.6.9 今回利用するpgauditを利用した監査ログ取得方法は、バージョン9.5以降でないと利用できません。 pgauditについて RDSでも、Auroraでも、Postgreで監査ログを出力する方法は、オンプレのPostgreSQLと同じく pgaudit を利用することになります。 pgauditについては、こちらのslideshareの資料を参考。 監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性 from Ohyama Masanori www.slideshare.net githubのページはこちら。 GitHub - pgaudit/pgaudit: PostgreSQL Audit Extension こんな感じに紹介さ
Redshiftには、マテリアライズド・ビューを作成する方法は用意されていません。Redshiftはデータウェアハウス向けに設計されたデータベースであるが故、以下の様な理由により、その機能を用意していないのだと考えています。 データウェアハウスは、恒常的にデータ挿入/更新は発生せず、主に夜間処理にて1日1回更新される マテリアライズド・ビューのような、実データが射影されたVIEWを利用したいのであれば、夜間処理の更新時に Create Table ... As Select ... のように、もう1つテーブルを作ってしまえば補える 一方でRedshiftには、同時実行クエリ数の上限は、15個推奨という問題もあります。WEB上のダッシュボードサイトにKPIを表示させ、大多数のユーザに参照してもらう、といった利用を想定した場合に、あっさり上限数を超過してしまうという問題があります。 そういった
株価のローソク足チャートを描いてみます。これを描いてみたかったので、D3.js触ってみたんですよね。D3.jsには「TechanJS」というファイナンス用のライブラリが存在しており、これを利用することで簡単にチャートを作成できます。 TechanJSのギャラリー。いろんな表やオシレーターのサンプルがあります。 Gallery · andredumas/techan.js Wiki · GitHub このライブラリを利用しなくともD3.jsだけでローソク足チャートは作成できますが、まあライブラリ使ったほうが圧倒的に楽ですよ。ということで、以下のようなチャートを作成してみました。昨年末のトヨタ自動車のチャートです。青い線は25日線です。 前回の投稿を参考に、Rails上でチャートを描画してみます。 RailsでD3.jsを使う - goodbyegangsterのブログ コントローラの作成 「
D3.jsはいろんなグラフを描けるJavaScriptのライブラリですね。柔軟性は高いけど、その分学習コストも高いとの噂。描画できるグラフサンプルはこちら。 Gallery · d3/d3 Wiki · GitHub これをRails環境で利用してみます。環境です。 Rails 5.0.1 D3.js 4.4.1 こちらを参考にしています。 http://dotinstall.com/lessons/basic_svg http://dotinstall.com/lessons/basic_d3js D3.jsとRuby on Railsで棒グラフを表示してみる | Developers.IO しかしながら、以下のスライドによりますと、昨年D3.jsのメジャーバージョンアップが行われ、web上に見つけられる情報はほとんどがVer3のものになるため、大分古い情報になってしまったらしいです。ガ
Rails開発用にvimの環境を整えようと思います。 今年、vimのメジャーバージョンアップがあったんですね。知りませんでした。せっかくなので、新しいバージョンを利用しようとvimアップグレード作業をしたのですが、これがかなりしんどかった。たかだかvimをインストールするだけで、こんなに大変だったとは。 環境情報は以下です。 CentOS 7.2 vim 8.0.134 pyenv利用環境 rbenv利用環境 rootで作業してます。 現行vimをアンインストール まず、現行でインストールされているvimを確認。 # vim --version VIM - Vi IMproved 7.4 (2013 Aug 10, compiled Jun 10 2014 06:55:55) 入っているのは7.4の古いバージョンなので、これをアンインストール。尚、アンインストールされる際に、依存の関係でs
Elasticsearchを運用する上で、細かい初期システムパラメータについてもメモしておきます。CentOS7でElasticsearchのバージョンは2.4.1です。 基本的にマニュアル通りです。 Configuration | Elasticsearch Reference [2.4] | Elastic ES_HEAP_SIZE Javaで利用するヒープサイズの設定。デフォルトでは最小256MB、最大1Gになってます。 ES_HEAP_SIZEのパラメータで設定できます。 最大でも実メモリの半分サイズ、または32GB以下にすべきとのこと。 Limiting Memory Usage | Elasticsearch: The Definitive Guide [2.x] | Elastic Choosing a Heap Size There are two rules to app
Elasticsearchの検索結果をcsvで取得できると良いのに、と思っていたところ、jqってコマンドがあるんですね。 Linux系のコマンドラインで利用できるコマンドで、jsonをsedとかawkとかgrepみたいにできるやつらしいです。 公式サイトはこちら。 jq こちらのサイトでは、マニュアルを日本語訳してくれています。 軽量JSONパーサー『jq』のドキュメント:『jq Manual』をざっくり日本語訳してみました | Developers.IO まず、インストール方法は以下です。モジュールをダウンロードしてくるだけですね。 # wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64 -O /usr/local/bin/jq # chmod +x /usr/local/bin/jq # jq
このページを最初にブックマークしてみませんか?
『goodbyegangsterのブログ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く