はてなブックマーク

これは、なにをしたくて書いたもの？ 現在のJavaは、コンテナ環境下ではホスト側ではなくコンテナにリソース制限がかけられていればそちらの値を見るように なっています。 これはどこの値を見ているのかな？というのを確認してみたくなりまして。 なお、自分にはcgroupに関する知識はほぼありません。あくまで、Javaがどこの情報を見ているか？という観点で 追っています。 JDK-8146115 Javaも以前はホスト側のCPU数やメモリサイズを参照していたのですが、JDK-8146115（およびそのバックポート）が 入ってからはコンテナに割り当てられたCPU数やメモリサイズを見るようになりました。 https://bugs.openjdk.java.net/browse/JDK-8146115 Java 10以降、Java 8については8u191以降で対応しています。 デフォルトでこの機能は有効

これは、なにをしたくて書いたもの？ AWS Lambdaを動かすのに、以前LocalStackを使ってNode.jsで作成した関数を動かしてみました。 LocalStackを使って、AWS Lambdaを試してみる - CLOVER🍀 今回は、ちょっとPythonで作成してみたいと思います。 お題 お題も前のエントリと似たようなもので、ペイロードで与えられたパラメーターを含めて、メッセージを返却する関数を作成します。 pipでインストールするパッケージも利用します。 環境 LocalStackは、Docker Composeで起動。LocalStackは、「192.168.0.3」というホストで動作しているものとします。 docker-compose.yml version: "3" services: localstack: image: localstack/localstack:0

これは、なにをしたくて書いたもの？ Linuxで、メモリの断片化に関する情報が見れるようなので、少し調べてみました。 情報は、このあたりをベースにしています。 The /proc Filesystem — The Linux Kernel documentation proc(5) - Linux manual page Ubuntu Manpage: proc - プロセスの情報を含む擬似ファイルシステム ちなみに、今回は断片化の様子を確認したという話ではなく、あくまで情報の取得方法を見ているだけです。 環境 今回の確認環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.3 LTS

これは、なにをしたくて書いたもの？ Linuxにおけるリソース制御といえば、ulimitです。 limits.conf(5) - Linux manual page /etc/security/limits.confファイルや/etc/security/limits.dディレクトリ内に[任意の名前].confファイルを作成して nofileなどの値を設定すればOKです。 ですが、systemd制御下で動作するプロセスはこの事情が違います。前々からなんとなく知ってはいましたが、 自分で設定したことがなかったので試しておくことにしました。 環境 今回の環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu

これは、なにをしたくて書いたもの？ これまで、Node.jsのインストールにはずっとnodebrewを使っていました。 Node.jsを管理したくて、nodebrewをインストールする - CLOVER🍀 GitHub - hokaccha/nodebrew: Node.js version manager 開発が止まっていることはなんとなく知っていましたが、それでも特に困ることはなかったのですが。 そろそろ他のものに乗り換えておこうかな、と思いまして。 nodebrewを選んだ時にも見ていたのですが、今ならnvmなんでしょうね。 GitHub - nvm-sh/nvm: Node Version Manager - POSIX-compliant bash script to manage multiple active node.js versions というわけで、今回はnvmをイ

これは、なにをしたくて書いたもの？ Linux環境でWindowsアプリケーションを動かせるソフトウェアとして、Wineというものがあるそうです。 今回、このWineをUbuntu Linux 20.04 LTS、18.04 LTSにインストールしてみます。 WineHQ - Run Windows applications on Linux, BSD, Solaris and macOS Wine もともとの名前は、"Wine Is Not an Emulator"だったそうです。 Wineは、LinuxやmacOS、BSDなどのOSで、Windowsアプリケーションを実行できる互換レイヤーです。 仮想マシンやエミュレーターとは異なり、Windows内部のロジックをエミュレーションするのではなく、Windows API呼び出しを POSIX呼び出しに変換することで、他の方法に比べてパフォ

これは、なにをしたくて書いたもの？ MySQL 8.0のCharset utf8mb4で使えるCollationについて、ちょっと見ておこうかなと思いまして。 具体的には、「MySQL徹底入門 第4版」の「11.2 Collation」に書かれている文字比較およびソートについて自分で 確認してみたいと思います。 MySQL徹底入門 第4版 MySQL 8.0対応 作者:yoku0825,坂井 恵,鶴長 鎮一,とみたまさひろ,深町 日出海,福山 裕大,班石 悦夫,山﨑 由章発売日: 2020/07/06メディア: 単行本（ソフトカバー） utf8mb4でのCharsetとCollation MySQLのCharsetとCollationに関するドキュメントは、こちらです。 MySQL :: MySQL 8.0 リファレンスマニュアル :: 10 文字セット、照合順序、Unicode MySQ

これは、なにをしたくて書いたもの？ Goはapt（＋PPA）でインストールしているのですが、他のバージョンが使いたくなる時もあったりします。 Ubuntu · golang/go Wiki · GitHub こういう時はどうしたらいいのかな？と思ったのですが、Go自体が複数バージョンのGoをインストールする方法をドキュメントに 書いていますね。 Managing Go installations - The Go Programming Language 調べている過程でgvmやgoenvというのも見つけましたが、こちらはあまり更新されていなさそう。 GitHub - moovweb/gvm: Go Version Manager GitHub - syndbg/goenv: Like pyenv and rbenv, but for Go. gvmは、SDKMANが名前を変えた理由だった

これは、なにをしたくて書いたもの？ Terraformに対するテストコードを書くのに、Terratestというものが使えるというようなので。 こちらを試してみようかな、と。 Terratest Terratestとは、インフラストラクチャーをテストするためのパターン、ヘルパー関数を提供するGoのライブラリです。 Terratest | Automated tests for your infrastructure code. GitHub - gruntwork-io/terratest: Terratest is a Go library that makes it easier to write automated tests for your infrastructure code. ドキュメントとGoDdocは、こちら。 Documentation terratest · pkg.

これは、なにをしたくて書いたもの？ Goのエラー処理に関する情報を見ているとxerrorsというものがよく出てくるので、1度見ておこうかなと思いまして。 xerrorsパッケージ xerrorsパッケージは、Goのエラーハンドリングのためのパッケージです。 xerrors · pkg.go.dev GitHub - golang/xerrors このパッケージの提案内容は、こちら。 Proposal: Go 2 Error Inspection これが標準パッケージ、errorsに取り込まれたのがGo 1.13のようです。 errors - The Go Programming Language errorsパッケージについては、以前このエントリで試してみました。 Goのエラーに関するAPIを学ぶ - CLOVER🍀 xerrorsパッケージが持っている機能のうち、ほとんどのものはerr

これは、なにをしたくて書いたもの？ Goを使って、データベースにアクセスするコードを書いてみたいなぁと思いまして。 sqlパッケージ Goでデータベースにアクセスするには、sqlパッケージを使うようです。 sql - The Go Programming Language sqlパッケージは、SQL（ライクな）データベースにアクセスするための、汎用インターフェースを提供するパッケージだそうです。 Package sql provides a generic interface around SQL (or SQL-like) databases. 基本的な使い方は、こちらを参照。 SQLInterface · golang/go Wiki · GitHub そして、sqlパッケージのインターフェースを実装したドライバーは、こちらの一覧で確認できます。 SQLDrivers · golang

これは、なにをしたくて書いたもの？ そろそろ、少しずつGoを扱ってみようかなぁと思いまして。 The Go Programming Language 触ったことがないので、今回はとりあえず簡単にインストーとエディタの設定くらいをやります。 環境 今回の環境は、こちらです。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.1 LTS Release: 20.04 Codename: focal $ uname -srvmpio Linux 5.4.0-58-generic #64-Ubuntu SMP Wed Dec 9 08:16:25 UTC 2020 x86_64 x86_64 x86_64 G

これは、なにをしたくて書いたもの？ Javaの暗号用の乱数ジェネレーター（RNG / Random Number Generator）として、とてもよく使われるSecureRandomですが。 SecureRandom (Java SE 11 & JDK 11 ) ここで指定されるアルゴリズムなどの情報を、あんまりちゃんと見たことがないなぁと思いまして。 1度、調べてみようかと。 ちょっとだけ。 環境 今回の環境は、こちらです。 $ java --version openjdk 11.0.9.1 2020-11-04 OpenJDK Runtime Environment (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04, mix

これは、なにをしたくて書いたもの？ Goにおける、アサーションなどの機能を提供するtestifyというライブラリがあるのを知りまして。 こちらを少し試しておきたいな、と。 testify testifyは、以下の機能を提供するライブラリです。 アサーション モック テストスイート向けの機能 GitHub - stretchr/testify: A toolkit with common assertions and mocks that plays nicely with the standard library testingパッケージを使い、go testでテストをするというのは通常のGoのテストと変わりません。 testing - The Go Programming Language APIドキュメントはこちら。 testify - GoDoc 今回は、アサーションとテストスイート

Java 8以降になってAPIドキュメント以外をあまり見ていなかったのですが、いろんなドキュメントが見やすくなって いるんだなぁと。 JDK 11ドキュメント - ホーム で、こちらのドキュメントがちょっと気になりまして。 ガベージ・コレクションのチューニングの概要 Java 8の頃に比べると、だいぶ差が。 Java Platform, Standard Edition HotSpot Virtual Machineガベージ・コレクション・チューニング・ガイド, リリース8 どうしてこのあたりを見ているかというと、Java 9以降でデフォルトになったG1GCですがどれくらいのヒープサイズ以上が 目安なのか、どこかに書いてあったかなぁということで探してみたと。 書いてありました。 最大10GBまたはそれ以上のヒープ・サイズ(Javaヒープの50%超がライブ・データで占められている)。 ガベー

これは、なにをしたくて書いたもの？ Elasticsearchクラスタのシャード数やノード数を算出する時の考え方についていろいろ調べたので、メモをしておこうかなと。 Elasticsearchクラスタでのシャード数とノード数を計算する 基本となるのは、以下のブログエントリでしょう。 How many shards should I have in my Elasticsearch cluster? | Elastic Blog こちらに、シャードひとつあたりのサイズについての考え方が書かれています。 ヒント： 小さなシャードは小さなセグメントとなり、結果としてオーバーヘッドが増えます。そのため、平均シャードサイズは最小で数GB、最大で数十GBに保つようにしましょう。時間ベースのデータを使用するケースでは、シャードサイズを20GBから40GBにするのが一般的です。 20〜40GBにするのが、

これは、なにをしたくて書いたもの？ 以前MicroK8sを試す時に、よくわからないままsnapコマンドでMicroK8sをインストールしたのですが、またsnapを見る機会が できたので、1度ちゃんと調べてみようかなと思いまして。 Snappy？ Snappyとは、Ubuntu Linuxの開発元であるCanonicalが開発したパッケージ管理システムです。 Snappy - Wikipedia Snappyで管理されるパッケージのことをSnapと呼ばれ、操作には「snap」というコマンドを使用します。 Linuxのパッケージ管理システムといえば、特にUbuntu Linuxであればaptやdebパッケージを思い浮かべますが、こちらは様々な Linuxディストリビューションで使えることと、パッケージが自己完結型であることが特徴です。 サポートされているLinuxディストリビューションは、こち

これは、なにをしたくて書いたもの？ Quakusでコマンドラインアプリケーションを作れそうな感じのガイドがあったので、試してみようかなと。 Quarkus - Command Mode Applications Picocli向けのExtensionもあるようです。 Quarkus - Command Mode with Picocli なのですが、こちらはexperimentalということと、先にシンプルな方からかなということで今回はパス。 環境 今回の環境は、こちらです。 $ java --version openjdk 11.0.7 2020-04-14 OpenJDK Runtime Environment (build 11.0.7+10-post-Ubuntu-2ubuntu218.04) OpenJDK 64-Bit Server VM (build 11.0.7+10-po

これは、なにをしたくて書いたもの？ Filebeatを見ていて、パイプラインやモジュールを覚えようと思うと、Ingest Nodeを知らなければいけないなぁと思い。 ちょっと、Ingest Nodeを試してみることにしました。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.3 LTS Release: 18.04 Codename: bionic $ java --version openjdk 11.0.4 2019-07-16 OpenJDK Runtime Environment (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3) OpenJDK 64-Bit Serve

これは、なにをしたくて書いたもの？ ちょっとしたPythonの勉強がてらに、TCPのEcho Server／Clientを書いてみようと。 Pythonでの、ネットワークプログラミングの基礎を覚えてみる感じで。 お題 文字通り、PythonでTCPでEcho Server／Clientを書くわけですが、特にサーバー側は以下の条件を満たすように作成します。 受け取ったメッセージに対して「Reply: 」を付与して返す 同時に複数の接続を扱える（ひとつの接続を相手にしている間、他の接続の処理を一切行えない、という状況にしない） 停止はCtrl-c クライアントの条件は、起動引数で受け取ったメッセージを送って、サーバーから受け取ったメッセージを標準出力に 書き出して終了、とします。 作成方法は、以下の3つ（＋α）で行うようにします。 ブロッキングIO＋スレッドプール ノンブロッキングIO asy

これは、なにをしたくて書いたもの？ ちょっと前から、picocliというJavaでのコマンドラインアプリケーション向けのフレームワークがあるのが気になっていまして。 picocli - a mighty tiny command line interface これまでJavaのコマンドラインアプリケーション向けのライブラリなどといえば、こちらを使っていました。 args4j parent - Args4j Commons CLI – Home 個人的にはargs4jをよく使っていましたね。 picocliもかなり良さそうなので、1度試しておこうかなと。 picocli 繰り返しますが、Javaのコマンドラインアプリケーション向けのフレームワークです。 picocli - a mighty tiny command line interface GitHub - remkop/picocli

これは、なにをしたくて書いたもの？ オープンソースのエラートラッキングシステムとして、Sentryというものがあるということを知り、ちょっと試してみようかなと。 Sentry | Error Tracking Software — JavaScript, Python, PHP, Ruby, more SentryはSaaSとしても使えるのですが、自分でローカルに構築することもできるようです。 Self-Hosted Sentry - Docs Dockerイメージでインストールするのが推奨されているようなので、今回はこちらを使ってローカルにSentryを導入してみたいと思います。 Installation with Docker - Docs Sentryとは？ Sentryは、オープンソースのエラートラッキングシステムです。 Sentry | Error Tracking Softwa

これは、なにをしたくて書いたもの？ TCPのKeep-Aliveについて、なんとなく知ってはいたものの、自分でちゃんと確認したことがなかったので1度見てみようかなと 思いまして。 TCP Keep-Alive Keep-Aliveという言葉は、その言葉が適用される文脈で変わったりしますが、今回はTCPのKeep-Aliveを対象とします。 TCPのKeep-Aliveは、アクティブなTCPソケットに対して、通信相手がまだ健在か確認するためのものです（Keep-Alive）。 Keep-Aliveについては、RFCが存在します。 RFC 1122 - Requirements for Internet Hosts - Communication Layers Requirements for Internet Hosts -- Communication Layers TCP通信時にTCPソ

これは、なにをしたくて書いたもの？ Dockerコンテナ内で解析などの作業をする必要が出た時に、コマンドなどが入っていないDockerイメージが相手の場合は どうすればいい？という時の選択肢のひとつとして、BusyBoxが使えそうな気がしたので。 BusyBox Case 例えば、以下のようにDebianのDockerイメージを使った時に、デフォルトではpsやmpstatなど、調べものをする際に 使いたいコマンドが入っていません。 $ docker container run -it --rm --name debian debian:stretch root@f28f50fe47ca:/# ps bash: ps: command not found root@f28f50fe47ca:/# wget bash: wget: command not found root@f28f50fe