はてなブックマーク

これは、なにをしたくて書いたもの？ Spring BatchとBean Validationを組み合わせて、Itemのバリデーションをしたり、NGになったItemをスキップできたりするというので ちょっと試してみようかなと。 Spring BatchとBean Validation Spring BatchでBean Validationが使えることはドキュメントに書かれているわけですが、ItemProcessorの用途のひとつとして登場します。 Item processing / Validating Input BeanValidatingItemProcessorというItemProcessorが提供されているので、こちらを使って実現するようですね。 BeanValidatingItemProcessor (Spring Batch 4.3.5 API) Springのバリデーション

これは、なにをしたくて書いたもの？ 現在のJavaは、コンテナ環境下ではホスト側ではなくコンテナにリソース制限がかけられていればそちらの値を見るように なっています。 これはどこの値を見ているのかな？というのを確認してみたくなりまして。 なお、自分にはcgroupに関する知識はほぼありません。あくまで、Javaがどこの情報を見ているか？という観点で 追っています。 JDK-8146115 Javaも以前はホスト側のCPU数やメモリサイズを参照していたのですが、JDK-8146115（およびそのバックポート）が 入ってからはコンテナに割り当てられたCPU数やメモリサイズを見るようになりました。 https://bugs.openjdk.java.net/browse/JDK-8146115 Java 10以降、Java 8については8u191以降で対応しています。 デフォルトでこの機能は有効

これは、なにをしたくて書いたもの？ AWS Lambdaを動かすのに、以前LocalStackを使ってNode.jsで作成した関数を動かしてみました。 LocalStackを使って、AWS Lambdaを試してみる - CLOVER🍀 今回は、ちょっとPythonで作成してみたいと思います。 お題 お題も前のエントリと似たようなもので、ペイロードで与えられたパラメーターを含めて、メッセージを返却する関数を作成します。 pipでインストールするパッケージも利用します。 環境 LocalStackは、Docker Composeで起動。LocalStackは、「192.168.0.3」というホストで動作しているものとします。 docker-compose.yml version: "3" services: localstack: image: localstack/localstack:0

これは、なにをしたくて書いたもの？ Linuxで、メモリの断片化に関する情報が見れるようなので、少し調べてみました。 情報は、このあたりをベースにしています。 The /proc Filesystem — The Linux Kernel documentation proc(5) - Linux manual page Ubuntu Manpage: proc - プロセスの情報を含む擬似ファイルシステム ちなみに、今回は断片化の様子を確認したという話ではなく、あくまで情報の取得方法を見ているだけです。 環境 今回の確認環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.3 LTS

これは、なにをしたくて書いたもの？ Linuxにおけるリソース制御といえば、ulimitです。 limits.conf(5) - Linux manual page /etc/security/limits.confファイルや/etc/security/limits.dディレクトリ内に[任意の名前].confファイルを作成して nofileなどの値を設定すればOKです。 ですが、systemd制御下で動作するプロセスはこの事情が違います。前々からなんとなく知ってはいましたが、 自分で設定したことがなかったので試しておくことにしました。 環境 今回の環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu

これは、なにをしたくて書いたもの？ これまで、Node.jsのインストールにはずっとnodebrewを使っていました。 Node.jsを管理したくて、nodebrewをインストールする - CLOVER🍀 GitHub - hokaccha/nodebrew: Node.js version manager 開発が止まっていることはなんとなく知っていましたが、それでも特に困ることはなかったのですが。 そろそろ他のものに乗り換えておこうかな、と思いまして。 nodebrewを選んだ時にも見ていたのですが、今ならnvmなんでしょうね。 GitHub - nvm-sh/nvm: Node Version Manager - POSIX-compliant bash script to manage multiple active node.js versions というわけで、今回はnvmをイ

これは、なにをしたくて書いたもの？ Spring Frameworkには、タスク実行とスケジューリングの機能があります。 Task Execution and Scheduling 今回は、タスク実行にフォーカスして見ていきたいと思います。 具体的には、TaskExecutorとThreadPoolTaskExecutor、@Asyncアノテーションを扱います。 Task Execution Spring FrameworkのTask Execution…タスクの実行に関するドキュメントは、こちらです。 Task Execution and Scheduling Spring Frameworkでは、JavaのExecutorを抽象化したTaskExecutorを提供しています。 The Spring TaskExecutor Abstraction Java SE環境であってもJava

これは、なにをしたくて書いたもの？ Linux環境でWindowsアプリケーションを動かせるソフトウェアとして、Wineというものがあるそうです。 今回、このWineをUbuntu Linux 20.04 LTS、18.04 LTSにインストールしてみます。 WineHQ - Run Windows applications on Linux, BSD, Solaris and macOS Wine もともとの名前は、"Wine Is Not an Emulator"だったそうです。 Wineは、LinuxやmacOS、BSDなどのOSで、Windowsアプリケーションを実行できる互換レイヤーです。 仮想マシンやエミュレーターとは異なり、Windows内部のロジックをエミュレーションするのではなく、Windows API呼び出しを POSIX呼び出しに変換することで、他の方法に比べてパフォ

これは、なにをしたくて書いたもの？ MySQL 8.0のCharset utf8mb4で使えるCollationについて、ちょっと見ておこうかなと思いまして。 具体的には、「MySQL徹底入門 第4版」の「11.2 Collation」に書かれている文字比較およびソートについて自分で 確認してみたいと思います。 MySQL徹底入門 第4版 MySQL 8.0対応 作者:yoku0825,坂井 恵,鶴長 鎮一,とみたまさひろ,深町 日出海,福山 裕大,班石 悦夫,山﨑 由章発売日: 2020/07/06メディア: 単行本（ソフトカバー） utf8mb4でのCharsetとCollation MySQLのCharsetとCollationに関するドキュメントは、こちらです。 MySQL :: MySQL 8.0 リファレンスマニュアル :: 10 文字セット、照合順序、Unicode MySQ

これは、なにをしたくて書いたもの？ Goはapt（＋PPA）でインストールしているのですが、他のバージョンが使いたくなる時もあったりします。 Ubuntu · golang/go Wiki · GitHub こういう時はどうしたらいいのかな？と思ったのですが、Go自体が複数バージョンのGoをインストールする方法をドキュメントに 書いていますね。 Managing Go installations - The Go Programming Language 調べている過程でgvmやgoenvというのも見つけましたが、こちらはあまり更新されていなさそう。 GitHub - moovweb/gvm: Go Version Manager GitHub - syndbg/goenv: Like pyenv and rbenv, but for Go. gvmは、SDKMANが名前を変えた理由だった

これは、なにをしたくて書いたもの？ Terraformに対するテストコードを書くのに、Terratestというものが使えるというようなので。 こちらを試してみようかな、と。 Terratest Terratestとは、インフラストラクチャーをテストするためのパターン、ヘルパー関数を提供するGoのライブラリです。 Terratest | Automated tests for your infrastructure code. GitHub - gruntwork-io/terratest: Terratest is a Go library that makes it easier to write automated tests for your infrastructure code. ドキュメントとGoDdocは、こちら。 Documentation terratest · pkg.

これは、なにをしたくて書いたもの？ ApacheのMPMの設定…接続数やプロセス数、スレッド数まわりの設定をちょいちょい見る割には覚えていられないので、 1度ちゃんと見ておこうかなということで。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.2 LTS Release: 20.04 Codename: focal $ uname -srvmpio Linux 5.4.0-65-generic #73-Ubuntu SMP Mon Jan 18 17:25:17 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux Ubuntu Linux 20.04 LTSです。 こちらにApacheをイン

これは、なにをしたくて書いたもの？ 記事や書籍などで、以下のような記述を見かけます。 $ go build -ldflags '-X main.xxxx=....' この-ldflagsと-Xの指定でプログラム内の値を変えているようなのですが、「変えられます」という情報以外のことを あまり見かけないので調べてみることにしました。 環境 今回の環境は、こちらです。 $ go version go version go1.16 linux/amd64 Go 1.16ですね。 まずは試してみる Goのプロジェクトを作成。 $ go mod init sample go: creating new go.mod: module sample こんなプログラムを用意。 main.go package main import ( "fmt" ) var ( Message = "Hello World

これは、なにをしたくて書いたもの？ Terraformを使っていて、 output "xxx" { value = resource_a.this.xxx } output "yyy" { value = resource_a.this.yyy } output "zzz" { value = resource_a.this.zzz } ... といった感じで、あるリソースやモジュールのOutputを頑張って並べていくのが面倒だなぁと思い…調べてみたら、 Terraform 0.12からこれを一括で設定できるようになっていたみたいです。 ドキュメントに書いてないじゃないですかっ、気づかないよ！ Output Values - Configuration Language - Terraform by HashiCorp Resource and module object values R

これは、なにをしたくて書いたもの？ Goのエラー処理に関する情報を見ているとxerrorsというものがよく出てくるので、1度見ておこうかなと思いまして。 xerrorsパッケージ xerrorsパッケージは、Goのエラーハンドリングのためのパッケージです。 xerrors · pkg.go.dev GitHub - golang/xerrors このパッケージの提案内容は、こちら。 Proposal: Go 2 Error Inspection これが標準パッケージ、errorsに取り込まれたのがGo 1.13のようです。 errors - The Go Programming Language errorsパッケージについては、以前このエントリで試してみました。 Goのエラーに関するAPIを学ぶ - CLOVER🍀 xerrorsパッケージが持っている機能のうち、ほとんどのものはerr

これは、なにをしたくて書いたもの？ Goを使って、データベースにアクセスするコードを書いてみたいなぁと思いまして。 sqlパッケージ Goでデータベースにアクセスするには、sqlパッケージを使うようです。 sql - The Go Programming Language sqlパッケージは、SQL（ライクな）データベースにアクセスするための、汎用インターフェースを提供するパッケージだそうです。 Package sql provides a generic interface around SQL (or SQL-like) databases. 基本的な使い方は、こちらを参照。 SQLInterface · golang/go Wiki · GitHub そして、sqlパッケージのインターフェースを実装したドライバーは、こちらの一覧で確認できます。 SQLDrivers · golang

なんと このブログですが、書き始めてから10年経っていたようです。 最初に書いたのは2011年5月14日で、「今日から開設。」とまったくやる気がなさそうな1本目から始まっているのですが。 続けて10年経ったということに、今年になって「どれくらい続けてるの？」と聞かれて気づいてしまいました。 たぶん、聞かれてなかったら気づいてないですね。 このブログでは、実際の自分の勉強の記録以外ほとんど書いてきていないのですが、こういう区切りっぽい年くらい たまにはいいかなぁということで。 振り返りを兼ねて、つらつらと書いてみましょう。自分が「どうしてだっけ？」というのを考えながら書いています。 もう数年経った時に、自分で見返したらどう思うでしょうね？ ブログを始めた理由 自分の勉強のために始めました。 当時、本を読んだり、本やWebを見ながらコードを書いていても、どうも身につかないことに悩んでいて。 文

これは、なにをしたくて書いたもの？ Terraformで、同じ種類のProviderであってもエイリアスを使って異なる構成のProviderとして定義し、適用するリソースや モジュールに応じてどのProviderを使うか選択することができます。 Provider Configuration / alias: Multiple Provider Configurations Resources / provider: Selecting a Non-default Provider Configuration Modules / Providers Within Modules 機能としてあることは知っていたのですが、使ったことがなかったので、今回試してみることにしました。 お題 MySQL Providerを使って、データベースを作ることにします。 Provider: MySQL - Te

これは、なにをしたくて書いたもの？ そろそろ、少しずつGoを扱ってみようかなぁと思いまして。 The Go Programming Language 触ったことがないので、今回はとりあえず簡単にインストーとエディタの設定くらいをやります。 環境 今回の環境は、こちらです。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.1 LTS Release: 20.04 Codename: focal $ uname -srvmpio Linux 5.4.0-58-generic #64-Ubuntu SMP Wed Dec 9 08:16:25 UTC 2020 x86_64 x86_64 x86_64 G

これは、なにをしたくて書いたもの？ Terraformのリソースの依存関係を出力できないのかな？と思ったのですが、terraform graphコマンドでGraphvizのdot形式で出力可能な ようなので、1度試してみることにしました。 Command: graph - Terraform by HashiCorp terraform graph 正確には、Terraformの定義ファイルの構成または実行計画を、可視化するコマンドです。 Command: graph - Terraform by HashiCorp graph Create a visual graph of Terraform resources グラフを作成するディレクトリを指定して実行するようで、省略するとカレントディレクトリを対象にして処理を行うようです。 「terraform graph」のヘルプを見てみると、

これは、なにをしたくて書いたもの？ Javaの暗号用の乱数ジェネレーター（RNG / Random Number Generator）として、とてもよく使われるSecureRandomですが。 SecureRandom (Java SE 11 & JDK 11 ) ここで指定されるアルゴリズムなどの情報を、あんまりちゃんと見たことがないなぁと思いまして。 1度、調べてみようかと。 ちょっとだけ。 環境 今回の環境は、こちらです。 $ java --version openjdk 11.0.9.1 2020-11-04 OpenJDK Runtime Environment (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04) OpenJDK 64-Bit Server VM (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04, mix

これは、なにをしたくて書いたもの？ Goにおける、アサーションなどの機能を提供するtestifyというライブラリがあるのを知りまして。 こちらを少し試しておきたいな、と。 testify testifyは、以下の機能を提供するライブラリです。 アサーション モック テストスイート向けの機能 GitHub - stretchr/testify: A toolkit with common assertions and mocks that plays nicely with the standard library testingパッケージを使い、go testでテストをするというのは通常のGoのテストと変わりません。 testing - The Go Programming Language APIドキュメントはこちら。 testify - GoDoc 今回は、アサーションとテストスイート

これは、なにをしたくて書いたもの？ サーバーが対応しているSSL／TLSプロトコルを確認する方法はないかな？と思って、ちょっと調べてみました。 OpenSSLを使えば良いみたいです。 ただ、調べられるのはOpenSSLが利用できるプロトコルの範囲で、ですが。 環境 今回の環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.1 LTS Release: 20.04 Codename: focal $ uname -srvmpio Linux 5.4.0-54-generic #60-Ubuntu SMP Fri Nov 6 10:37:59 UTC 2020 x86_64 x86_64

Java 8以降になってAPIドキュメント以外をあまり見ていなかったのですが、いろんなドキュメントが見やすくなって いるんだなぁと。 JDK 11ドキュメント - ホーム で、こちらのドキュメントがちょっと気になりまして。 ガベージ・コレクションのチューニングの概要 Java 8の頃に比べると、だいぶ差が。 Java Platform, Standard Edition HotSpot Virtual Machineガベージ・コレクション・チューニング・ガイド, リリース8 どうしてこのあたりを見ているかというと、Java 9以降でデフォルトになったG1GCですがどれくらいのヒープサイズ以上が 目安なのか、どこかに書いてあったかなぁということで探してみたと。 書いてありました。 最大10GBまたはそれ以上のヒープ・サイズ(Javaヒープの50%超がライブ・データで占められている)。 ガベー

これは、なにをしたくて書いたもの？ Elasticsearchクラスタのシャード数やノード数を算出する時の考え方についていろいろ調べたので、メモをしておこうかなと。 Elasticsearchクラスタでのシャード数とノード数を計算する 基本となるのは、以下のブログエントリでしょう。 How many shards should I have in my Elasticsearch cluster? | Elastic Blog こちらに、シャードひとつあたりのサイズについての考え方が書かれています。 ヒント： 小さなシャードは小さなセグメントとなり、結果としてオーバーヘッドが増えます。そのため、平均シャードサイズは最小で数GB、最大で数十GBに保つようにしましょう。時間ベースのデータを使用するケースでは、シャードサイズを20GBから40GBにするのが一般的です。 20〜40GBにするのが、

これは、なにをしたくて書いたもの？ 以前MicroK8sを試す時に、よくわからないままsnapコマンドでMicroK8sをインストールしたのですが、またsnapを見る機会が できたので、1度ちゃんと調べてみようかなと思いまして。 Snappy？ Snappyとは、Ubuntu Linuxの開発元であるCanonicalが開発したパッケージ管理システムです。 Snappy - Wikipedia Snappyで管理されるパッケージのことをSnapと呼ばれ、操作には「snap」というコマンドを使用します。 Linuxのパッケージ管理システムといえば、特にUbuntu Linuxであればaptやdebパッケージを思い浮かべますが、こちらは様々な Linuxディストリビューションで使えることと、パッケージが自己完結型であることが特徴です。 サポートされているLinuxディストリビューションは、こち

これは、なにをしたくて書いたもの？ Quakusでコマンドラインアプリケーションを作れそうな感じのガイドがあったので、試してみようかなと。 Quarkus - Command Mode Applications Picocli向けのExtensionもあるようです。 Quarkus - Command Mode with Picocli なのですが、こちらはexperimentalということと、先にシンプルな方からかなということで今回はパス。 環境 今回の環境は、こちらです。 $ java --version openjdk 11.0.7 2020-04-14 OpenJDK Runtime Environment (build 11.0.7+10-post-Ubuntu-2ubuntu218.04) OpenJDK 64-Bit Server VM (build 11.0.7+10-po

これは、なにをしたくて書いたもの？ Filebeatを見ていて、パイプラインやモジュールを覚えようと思うと、Ingest Nodeを知らなければいけないなぁと思い。 ちょっと、Ingest Nodeを試してみることにしました。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.3 LTS Release: 18.04 Codename: bionic $ java --version openjdk 11.0.4 2019-07-16 OpenJDK Runtime Environment (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3) OpenJDK 64-Bit Serve