はてなブックマーク

What's？ pipを使ってモジュールインストールを行う際に、その環境がオフラインだったりするとちょっと困ります。 そうなると、pip downloadでモジュールを事前にダウンロードしておいて、実際の環境ではローカルインストールを行うことになるわけですが。 Installing from local packages このダウンロードを行うのがなかなか面倒だったので、pipコマンドの結果から自動生成するようにしてみました、という話です。 pip downloadを使うと、Pythonのモジュールをローカルにダウンロードできます。 できるのですが、特になにも指定せず実行すると「pipを実行した環境で選ぶべきモジュール」を選定します。 この場合、wheelのようにパッケージにプラットフォームの情報が含まれるようなものは、pip downloadを実行する環境とpip installを実行す

TL;DR Amazon ElastiCache for Redisにおいて利用すべきエンドポイントは、ノードの数やクラスターモードが有効かどうかで異なる シングルノードの場合 ノードのエンドポイント（Endpoint）を読み書きのオペレーションに使う PrimaryEndpointでもいい気も クラスター構成の場合 クラスターモードが有効の場合は、ConfigurationEndpointを使う クラスターモードが無効の場合は、書き込みにはPrimaryEndpointを、読み込みにはReaderEndpointを使う Amazon ElastiCache for Redisのドキュメントをさらっと読んでみても、どういう時にどのエンドポイントを使うのかがよくわからなかったので、ちゃんと読み込んでみようかなと。 で、その情報を整理するのが、このエントリの目的です。 Amazon Elast

TL;DR シェル（例えばbash）上でCtrl-Cなどを実行すると、プロセスに対してシグナルが送られる プロセスは、受け取ったシグナルに対して応答するだけ 多くのものは、そのまま終了する シグナルは、ハンドリングすることができる SIGKILL除く シェル（というか端末）上で、どんな操作を行うとシグナルを送ったりすることができるのかは、sttyコマンドで確認できる 必ずしもシグナルが送られるわけではない（Ctrl-Dなど） ということについて、つらつらと書いてみようかなと。 Ctrl-Cを使うと実行中のプロセスを停止できたりしますが、あれはシグナルを送ってるんですよ、という話。 Ctrl-Zだと、サスペンドになりますね。 Ctrl-Dだと、bashが終了しますね。あれはなんなんでしょう？ 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are

What's？ AWS FireLensについて、知っておきたかったので軽く調べてみました、と。 AWS FireLensとは？ AWS FireLensとは、2019年9月に発表された、Amazon ECSで使用できるログルーターのことです。 Firelens の発表 – コンテナログの新たな管理方法 タスク定義の中に含めてサイドカーとして配置しつつ、他のコンテナからはログドライバーとして使用します。 カスタムログルーティング AWS FireLensからは、Amazon CloudWatch LogsまたはAmazon Kinesis Data Streams、Amazon Kinesis Data Firehose、そして別のFluentdやFluent Bitに転送することができます。 以下のタスク定義サンプルは、Firelens の発表 – コンテナログの新たな管理方法からの抜粋

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

TL;DR Pythonで形態素解析をしたい mecab-python3も良いが、MeCabを入れたりするのは避けたい 要は、pipで完結させたい Janomeを使うのがいいのではないだろうか Janome Pythonで実装された、形態素解析器だそうです。 Janome 作者様は、Apache Luceneのコミッターをされていらっしゃいますね。 APIリファレンスは、こちら。 Janome API reference 以下の特徴を持つようです。 Python 2.7または3.3以上で動作 Tokenizerを使った、形態素解析ライブラリ janomeスクリプトを使用したコマンドラインでの実行が可能 デフォルトの辞書はmecab-ipadic-2.7.0-20070801 ユーザー定義辞書の利用 mmapのサポート Graphvizファイルの作成 Analyzerフレームワーク（expe

TL;DR 周知のとおり（？）、AWS SESが東京リージョンで使えるようになりました 東京リージョンでSMTP認証情報を使う時のパスワードはシークレットアクセスキーを変換して使います 米国東部（バージニア北部）リージョンなら署名バージョン2で変換 アジアパシフィック （東京）リージョンなら署名バージョン4で変換 Amazon SES　東京リージョン対応のお知らせ Amazon SESとSMTP Amazon SESでSMTP送信を行うためには、SMTP認証用のIAMユーザーを作成する必要があります。 Amazon SES SMTP 認証情報の取得 SMTP認証で使うユーザー名とパスワードは、作成したIAMユーザーのアクセスキーID、シークレットアクセスキーを変換したものになります。 ここで作成したIAMユーザーを使い、smtp-cliを使ってメール送信を行ってみたいと思います。 smtp

What's？ Amazon S3をファイルシステムとしてマウントできたらなぁと思って少し調べたら、s3fsというのが有名だということがわかりまして。 なんですけど、手元の環境ではs3fsでは上手くいかなかったので、Goofysに変えてみたところうまくいったので、こちらで試してみました。 Goofys Goofys Goofysは、Amazon S3バケットをファイルシステムとしてマウントできるソフトウェアです。Goで実装されています。 s3fsよりもパフォーマンスが良いことが売りなようですが、s3fsの紹介を読むと代わりにPOSIX互換性は落ちるようです。 goofys - similar to s3fs but has better performance and less POSIX compatibility s3fs / Reference 環境 今回の環境は、こちらです。

TerraformでEC2を作った後に、security_groupsの指定方法でインスタンスの再作成になってしまった話AWSTerraform What's？ Terraformを使ってEC2を立てる時に、条件によってデフォルトのセキュリティグループを作る・作らないみたいな制御を入れていたら、妙な挙動をされたので困ったという話。 結論としては、EC2の定義に指定していたセキュリティグループの指定に使う属性が誤っていたのですが。 やりたかったこと こんな感じに、変数でセキュリティグループを与えたら指定のものを使い、そうでなければデフォルトのセキュリティグループを作成する、みたいなことをやろうとしました。 variable "my_security_groups" { type = list(string) default = [] } resource "aws_security_grou

What? やりたいこと。 AWS Fargateを使って、クラスタを作る コンテナのログは、Amazon CloudWatch Logsに送る 以上のことを、Terraformで実現する というのを書いていきます。 環境 利用するTerraformと、AWS Providerのバージョンです。

Terraformで、Systems Manager（Session Manager）でアクセスできるようにしたEC2インスタンスを構築するAWSTerraform TL;DR AWS Systems Managerを使って、EC2インスタンスにSSH鍵なしでアクセスできるようにしたい そのための環境を、Terraformで構築する AWS Systems Managerを利用するためには、EC2にAmazonSSMManagedInstanceCoreポリシーを含むIAMインスタンスプロファイルを付与する必要がある AWS Systems Manager AWS Systems Managerとは、AWSインフラリソースの運用の役立つサービスです。 AWS Systems Manager AWS Systems Managerの機能は、こちら。 Systems Manager の機能 ま

TL;DR Redis Sentinelを使用することで、レプリケーションを構成したRedisのマスター障害時に、フェイルオーバーが可能になる レプリカがマスターに昇格するが、クライアントからのアクセスを切り替える方法はRedis Sentinelは提供しない いわゆる、VIP的なものはない マスター、レプリカのアクセス先の切り替えは、別途考える必要がある マスター、レプリカの他に、Sentinelというプロセスが必要になる Redis Sentinelを構成するには、最低5つのRedisプロセスが必要 マスター × 1 レプリカ × 1 Sentinel × 3 Sentinelプロセスが3つを下回る構成とすることは推奨されない 誤検知防止のため、QUORUMを使用する スケールアウトもしたい、という場合はRedis Clusterを検討する Redis Sentinelは、Redisに

TL;DR CentOS上で、mod_jkを使ってApache、Tomcatを連携させる mod_jkのビルドにはapxsが必要 CentOSの場合、apxsはhttpd-develでインストールできる mod_jkは共有メモリを使うので、SELinuxに阻まれることがあるので注意 というわけで、この記事ではCentOS上にインストールしたApache、Tomcatをmod_jkを使って連携させてみます。 mod_jk mod_jkとは、Tomcatプロジェクトが開発している、Webサーバーとの接続プラグインのひとつです。 The Apache Tomcat Connectors: mod_jk, ISAPI redirector, NSAPI redirector Configuring mod_jk for the Apache HTTP Server mod_jkはApacheをター

TL;DR Docker Composeで起動したコンテナのログを、Amazon CloudWatch Logsに送るようにしたい 要するに、AWS環境で起動したコンテナのログを集約したい AWS上のコンテナサービスの話は、ここでは置いておく Dockerのlogging driverでAmazon CloudWatch Logs用のドライバがあるので、それを使用するようにdocker-compose.ymlに設定する Dockerのlogging driver Dockerコンテナには、ログをどこに出力するかを設定できる、logging driverの仕組みがあります。 Configure logging drivers デフォルトは、json-file logging driverで、これはホスト側の/var/lib/docker/containers/[コンテナID]/[コンテナID

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?