はてなブックマーク

Pythonで日本語を使っていたら、下記のような日本語の文字コードエラーが発生しました。 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-7: ordinal not in range(128) 解決策をまとめます。 原因正確に理解しているかわからないのですが、一応簡単に調べました。 Python3では、デフォルトで ANSI_X3.4-1968 というエンコード方式が標準入出力で使われているようです。 >>> import sys, io >>> sys.stdout <_io.TextIOWrapper name='<stdout>' mode='w' encoding='ANSI_X3.4-1968'> これはASCII型に変換してくれるものですが、 日本語は非ASCII文字日本語の結合を

AWS CLIで、作業内容に合わせてIAMユーザを複数利用したい時があるかと思います。 例えばS3のバケット操作のみ許可されたIAMユーザや、Terraform実行用に複数のサービスの操作権限が付与されたユーザを用意したり、要所でクレデンシャルの情報を切り替えたりしたいわけです。 認証情報の管理と切り替え方法をメモします。 defaultの認証情報を設定aws configure コマンドを実行し、アクセスキーとシークレットキー、その他必要な情報を入力することで設定ができます。コマンド実行後、ホームディレクトリの .aws ディレクトリにクレデンシャルの情報が記録されます。 # ~/.aws/credentialsの中身 [default] aws_access_key_id = xxxxxxxxxx aws_secret_access_key = xxxxxxxxxx # ~/.aws/

Dockerのコンテナをぽいぽい上げ下げしていると、どんどんイメージが溜まってディスク容量を圧迫してしまうというのはよくある話です。 dockerには運用管理者向けのコマンドとして prune というものが用意されているのですが、結構制限が強いコマンドなので、かゆいところに手が届かない時もしばしばあります。 # コンテナのお掃除 # Dockerが自動で判断して、停止中のコンテナを吹き飛ばす docker container prune # イメージのお掃除 # Dockerが自動で判断して、起動中のコンテナと紐づいていないイメージを吹き飛ばす docker image prune # イメージ、ボリューム、ネットワークなど、全てお掃除 docker system prune この問題を解決するスマートな方法がありましたのでまとめます。 spotify/docker-gcSpotifyのナ

ブラウザを使うオペレーター業務や運用の自動化に、seleniumというフレームワークがよく使われています。 PCにインストールされたブラウザをプログラミングで直接操作できるようになり、とても便利です。 今回、このseleniumを使って試したいことがあって、CUIでも手軽に扱える環境をdockerで構築しました。その知見をシェアします。 ディレクトリ構成下記はディレクトリ構成です。 . ├── app │   └── test.py ├── docker-compose.yml └── selenium.dockerfile selenium.dockerfiledocker hubにseleniumのイメージがありました。しかしnode.jsの使用に限定されているようだったので、Python用にdockerfileを書くことにしました。 FROM python:3.7-alpine EN

スライド資料やgitリポジトリのREADMEなどに、説明用の画像としてgifアニメーションを差し込みたいケースはよくあると思います。 Macでは画面の動画撮影機能が標準で備わっていて、資料の作成に便利です。 デスクトップ画面の動画撮影shift + command + 5 でデスクトップ画面の動画を撮影できます。 撮影した動画は.mov形式にて、デスクトップに自動で保存されます。 .mov→.gifへの変換説明動画としてスライドに貼り付けたり、gitのREADMEに載せたりしたいわけですが、.mov形式だと容量が大きく、貼り付けもできません。 なので、.gif形式のアニメーションファイルに変換します。 ffmpegのインストール動画変換にffmpegというツールがよく使われているようです。brewなら下記のコマンドでインストールできます。 brew install ffmpeg 変換方法#

Certbotで取得したSSL/TLS証明書の更新を自動化していました。 いや、そのつもりだったのですが、cronがうまく実行していないことに気づいたため、調査することにしました。 というわけでcronジョブのログ調査方法についてメモします。 cronの実行状況の確認cronで指定したジョブが実行されているか確認するには、 /var/log/ 配下にある cron ファイルを見ます。 less /var/log/cron しかしこのファイルには実行ログしか残っていません。 ジョブの実行結果を確認するには別途ファイルに出力されるよう設定する必要があります。 cronの実行結果を保存する方法cronで設定したジョブの実行結果を、指定したファイル名で出力させます。 crontab -e で開き、次のような感じで設定します。 0 * * * * /usr/local/bin/myjob > /va

こんにちは、Web 系エンジニアの Hoda です。 エンジニアにとっての開発環境はほとんどの場合 Vagrant や Docker で事足りると思いますが、機械学習で画像解析をしたり、GUI が必要な場面が稀にあります。 私もとある所属会社の課題で画像処理を行うことになりましたので、GUI で操作できる環境を VirtualBox で用意しました。 VirtualBox は初期設定のままだと重くてとても使いにくいのですが、少しでも快適に動作するようにセットアップ手順をまとめたのでご紹介します。 事前準備VirtualBox のインストールVirtualBox のホームページから、使用している OS に対応したパッケージをダウンロードし、インストールします。 OS イメージのダウンロード使いたい OS のイメージファイルをダウンロードしておきます。ちなみにこの記事では Ubuntu を利用

dev環境で構築したコンテナをそのままstgとprd環境に移行したいと目論んでいます。 というわけで、dockerで作成したコンテナのバックアップを保存したり、別の環境で読み込む方法を試しました。手順をまとめます。 コンテナをバックアップする方法コンテナをバックアップする方法は2つあります。 docker save を使う方法と、 docker export コマンドを使う方法です。 docker saveでバックアップする場合の手順次の順にコマンドを実行します。 コンテナをimageに落とし込んで（commit）imageをtarファイルに圧縮（save）別の環境でtarファイルをロード（load）docker save を使う場合、一旦コンテナをイメージとして保存する必要があります。 docker commitでコンテナをイメージに変換下記コマンドで、指定したコンテナをイメージに変換し