はてなブックマーク

動作確認環境 Java 11 Spring Boot 2.5.5 一定量以上のoffsetや意図しないSortによる問題 一定量以上のoffset Spring Bootによるpage, sizeへの制限 Spring BootのPageableをControllerの引数にセットすればpage, size等のクエリパラメータを解釈してPageableにセットしてくれる。 OutOfMemoryを防ぐために、Spring Bootのデフォルト設定でsizeに2,000件以上設定しても2,000件になるようになっている（docs.spring.ioか日本語訳spring.pleiades.ioのspring.data.web.pageable.max-page-sizeを参照）。つまりPageableの1ページの件数はセーフガードが入ってる。 しかしpageには上限の設定がない。確かにJav

まずは結論から SpringのDIコンテナに管理してもらいたいクラスが、自分で作成しているクラスなのか、それとも外部のライブラリ（サードパーティのライブラリ）のクラスなのかによって、@Componentを使うか@Beanを使うか変わる。 @Componentとは @Compnentは、Spring BootでWebのMVCアプリを作成するときに使用する@Controller, @Service, @Repositoryと同様に、SpringのDIコンテナに管理させて@AutowireなどでDIできるようにしたいクラスにつける。 @Controller等はMVCの文脈上で特化したクラスにつけられるのに対して、@Componentはそれら以外の特化していないクラス全般に付与するだけで、基本的には同じ。 @Beanとは @Beanも同様にSpringのDIコンテナに管理させたいものにつける点は同

Elasticsearchで全文検索する際にmatchとmatch_phraseの違いがはっきり身についていないのでまとめてみる。 version: Elasticsearch 7.5 matchクエリ matchクエリを使うといわゆる曖昧検索ができる。matchクエリに渡した文字列はanalyzeされてから検索に使用される。 例えばtitleというフィールドに「2021年春に発売される新着本の特集!!NEW!!」という文字を保存していたとして、「2021春」で検索できるかどうかを考えてみる。 GET sample-index/_search { "query": { "match": { "title": "2021春" } } } 解析されたクエリはORで検索される indexをkuromojiで形態素解析されるように設定したので、「2021春」は「2021」と「春」に形態素解析される

(正規表現)のように正規表現を()で括ると、マッチした値を参照できるようになる。捕捉グループ、capturing groupと呼ばれ、大体のプログラミング言語の正規表現ライブラリで対応している。 sedだと、\1, \2, ... という記法で後方参照できる。 Rubyだと、正規表現内では \1, \2, ... という記法で後方参照でき、マッチ処理が終わったあとであれば$1, $2, ... という特殊変数によって n 番目の括弧にマッチした文字列を参照できる。 Javaだと、String#replaceAllで置換するなど $1, $2, ... という記法で後方参照でき、Matcherでマッチ処理をする場合はマッチ処理が終わったあとにMatcher#group(int n)で n 番目の括弧にマッチした文字列を参照できる。 Awkでは以下のようにマッチした値を参照する。 awk 'm

標準出力をgzipしてファイルを保存している場合など、元のファイルのサイズがわからないときに、伸長して圧縮率を確認したいときがある。 gzip -l, gzip --listを使うと説明されることが多いが、gzip -lには以下のバグがあるため利用しないほうがいい。 gzip 形式では、入力サイズは 2^32 の余りで表現されるため、 --list オプション による表示では、圧縮前のファイルが 4GB 以上の場合、圧縮前のサイズや圧縮率が 正しく表示されない。 引用元: https://linuxjm.osdn.jp/html/GNU_gzip/man1/gzip.1.html 実際に伸長するとDISK容量が足りなくなるおそれがあるので、標準出力に伸長して、wc -cに流すことでバイト数を取得する。 標準出力に伸長する方法は以下の通り3つほどある。下に行くほどおすすめ。gzipではcom

Fluentdの監視項目 Fluentdの監視をしたい項目は四つ。 port監視 バッファーに蓄積されているキューの数が上限に達していないか バッファーに蓄積されている合計サイズが上限に達していないか 再送を試みた回数が上限に達していないか 1のport監視はTCP通信であればZabbixの「シンプルチェック」で簡単に確認できる。 net.tcp.service[tcp,,24224] in_monitor_agentプラグイン 2, 3, 4を監視する方法として、in_monitor_agentプラグインを使用する。 https://docs.fluentd.org/v1.0/articles/in_monitor_agent 以下のようなsyslogからAmazon CloudWatch Logsにログを転送する設定があるとする。 <source> @type syslog port

最後に改行がある場合は以下の通り問題ない。 $ printf 'test\ntest\n' test test $ printf 'test\ntest\n' | wc -l 2 wc -lは改行の数を数えるため、最後に改行がないと本当の行数より1少ない数を返してしまう。 $ printf 'test\ntest' test test$ $ printf 'test\ntest' | wc -l 1 対策としては、grep -c ''で空文字に合致する行数を求めることで代用したり、awkのENDとNRを活用したり、sedの現在の行数を出力する=と最終行$を活用したりする方法がある。 $ printf 'test\ntest' | grep -c '' 2 $ printf 'test\ntest' | awk 'END{print NR}' 2 $ printf 'test\ntest'

Python venv環境設定 Pythonのvenv環境を作るには以下のようにpython3.6 -m venv <venv_dir_name>としたあとにsource <venv_dir_name>/bin/activateすればいい。 $ python -V Python 2.7.5 $ which python /bin/python $ cd project_directory $ python3.6 -m venv venv $ ls venv $ source venv/bin/activate $ python -V Python 3.6.5 $ which python /full_path_to_project_directory/venv/bin/python venv環境から出るためには、deactivateとターミナルに打つ。 direnvによるvenv acti

IAM認証 + Cognito IAM認証とCognitoを組み合わせる方法。CognitoがIAMを返して、そのIAMに基づいて、API GatewayはLambdaを実行しようする。 API Gatewayのリソースメニューにあるメソッドリクエストの設定で「認証」に「AWS_IAM」を選択してデプロイする。 Cognitoで認証するユーザは、「登録されているユーザ」と「登録されていないゲストユーザ」の二種類に大きく分けられる。会員と非会員で実行できるAPIを分けるなどに使える。登録されていないゲストユーザを使うときは以下の画像のように「認証されていないIDに対してアクセスを有効にする」にチェックをつける。 登録されているユーザ Cognitoユーザープールを使用するのであれば、ユーザープールのアプリクライアントを設定し、フェデレーティッドアイデンティティの認証プロバイダーに記載する。

Jinja2のWhitespace Control Python 3.6.5 Jinja 2.10 Jinja2でforやifを使ってテンプレートを書くと、出力される文字列に空行が多く入ってしまう。これはforやifのみが書いてある行にある改行も出力されてしまうから。 Jinja2にはWhitespace Controlという機能があり、この出力を制御できる。 Whitespace Controlでは+と-記号を使うのだが、空行削除の目的では-をforやifにつける。e.g. {%- if ... %} -をつける場所は4か所あり、どこにつけるかによって挙動が変わる。具体的に出力を見るほうが理解しやすいため、4か所それぞれに-をつけて出力を見ていく。 for文でのWhitespace Control挙動確認 用意したのは以下の通り何も設定しない場合と4パターン。 #!/usr/bin/en

プログラムからJSONを出力する場合、Object内のkeyの順番が固定されている保証はない。二つのJSONを比較したい場合、出力のたびにkeyの順番が違うとdiffを使ってもうまく比較できない。 jqのオプションで--sort-keysオプションを使用すると、各オブジェクトのkeyを並び替えて出力してくれるため、JSONをjqで整形したうえでdiffするといい。 --sort-keys / -S: Output the fields of each object with the keys in sorted order. $ diff <(./JSON出力プログラム | jq . --sort-keys) <(./JSON出力プログラム | jq . --sort-keys)

はじめに Bashでのファイルの読み込み、変数への格納、一時的な環境変数について、forよりもwhile readを使うと便利な点を記載する。 例題として、以下のCSVファイルを読み込んで各列を変数に格納する。 id1,sh id2,bash forを使う場合 forを使うと以下のようになる。 for i in `cat csv` do key=`echo $i | cut -d, -f1` val=`echo $i | cut -d, -f2` echo "$key => $val" done # 出力結果 #id1 => sh #id2 => bash while readを使う場合 while + readに一時的な環境変数を用いると、もっと簡潔に書ける。 while IFS=, read key val do echo "$key => $val" done < csv readの

複数タブに対応していないシステムを、JavaScriptを使って複数タブ禁止にする方法。 ※IEの新規セッションから開いた場合はOK HTML5のWebStorageを使う。 【動作タイミング】画面load直後、一定周期（250msec位） 【動作内容】タブ単位でタブを閉じるまで記憶してくれるsessionStorageにタブIDを記憶させ、ブラウザ全体で記憶してくれるlocalStorageのタブIDと比較して、有効なタブかどうかを判定する。セッションと画面表示内容を一致させるため、タブの有効性は後勝にする。 // ID発番フラグ var issuedAlready = false; function forbidMultiTab() { var TAB_ID = "tabID"; var sesTabID = sessionStorage.getItem(TAB_ID); var lc

前提 パブリックIPを持つサーバ iptablesで疎通設定をしている AWSのセキュリティグループのようにサーバの外側で別途疎通設定をしていない 動作確認versionは以下の通り。 CentOS 7.5 Docker version 18.03.1-ce 問題 docker run -p ホストOSポート:Dockerポートのように-pでポート設定を行うと、Dockerがiptablesに追加設定を行う。 Nginxを起動して確認する。ホストOSはiptablesで80ポートを社内からのみ許可しているとする。NginxをDockerで起動すると、80ポートが想定外に社外からアクセスできてしまうことを確認する。 docker run -it -d --privileged --name nginx -p 80:80 centos:centos7 /sbin/init docker exe

AUTO_INCREMENTはINSERTするたびにカウントアップして発番してくれるが、ON DUPLICATE KEY UPDATEを使用してINSERTではなく既存行のUPDATEになった場合もカウントアップされてしまう。実際にINSERTしている行数はたいしたことがないのに、ON DUPLICATE KEY UPDATEされる回数が多いせいで、AUTO_INCREMENT値が大きくなってしまい、INTなどの比較的小さい型にしていた場合にAUTO_INCREMENTが上限値に達してしまう。 以下のテーブルをもとにINSERTされていないのにAUTO_INCREMENT値が増えていることを実際に確認する。 mysql> CREATE TABLE on_dup_autoinc (id INT AUTO_INCREMENT PRIMARY KEY, ukey CHAR(1) UNIQUE K

ファイル入れ替えにおいてmvは使用してはいけない サーバにローカル端末で更新した設定ファイル等をアップしてからmvで所定のファイルに移動させると、権限や所有者が変わってしまうことがある。 cpコマンドを--preserveオプションや--no-preserveオプションをつけずに実行し、上書きすると、timestampは更新されるものの、権限や所有者は元のファイルのまま保たれる。 つまり、ファイル入れ替えにおいてmvは使用してはいけない。 サンプルを用いてmv, cpをファイルの入れ替えでどのように使うべきか、また、なぜ権限等が変わってしまうのかを記載する。 mvではなくcpを使う /usr/local/bin/test.shを~/test.shと入れ替える、という例を題にmvではなくcpを使う方法を書く。 ORIGINAL=/usr/local/bin/test.sh UPDATED=~

はじめに CentOS 6とCentOS 7とAmazon LinuxではデフォルトのI/Oスケジューラに違いがあるため、ioniceコマンドを実行するときやパフォーマンスチューニングをするときに注意が必要だ。 各OSでのデフォルトI/Oスケジューラ CentOS 6ではI/Oスケジューラはcfqになっている。CentOS 7ではdeadlineに変更された。（https://access.redhat.com/solutions/32376） In RHEL 7, the deadline IO scheduler is the default IO scheduler for all block devices except SATA disks. For SATA disk, the default IO scheduler is cfq. Amazon Linuxではnoopになっ

はじめに SSHを通してリモート先でコマンド実行するには、ssh $remote "$command $option"というようにsshの最後にコマンドを書く。コマンド部分をくくるクォーテーションと、コマンド内部でクォーテーションを使用した時のエスケープについて書く。 クォーテーションが必要ない場合 ls /var/tmpのような簡単なコマンドであれば、実行コマンドをシングルクォーテーションやダブルクォーテーションでくくる必要はない。 $ remote=192.168.0.3 $ ssh $remote ls /var/tmp test1 test2 クォーテーションが必要な場合 複数のコマンドをつなぐ時 &&や;で複数のコマンドを実行したりする場合は、クォーテーションでくくらなくてはいけない。 $ ssh $remote 'hostname && hostname' server2 se

HTTPS通信のリバースプロキシ フロントのApacheやNginxでHTTPS通信を受けてSSL終端し、バックエンドのアプリケーションへプロキシするとする。アプリケーションでリダイレクトをしようとすると、HTTPS通信をしてほしいのにLocationヘッダにHTTP通信が指定されてしまうことがある。 Jenkinsをバックエンドのアプリケーションにおいた場合を想定し、ApacheとNginxでの解決方法をそれぞれ記載する。 Apache HTTPS通信を正しくリバースプロキシするための方法は三つある。 <VirtualHost *:443> ServerName ci.example.com SSLEngine on （略） ### 方法1 # <Location /jenkins> # ProxyPass http://localhost:8080/jenkins nocanon #

はじめに シェルスクリプトでSQLのJOINを実現する方法について、王道のjoinコマンドと、awkを使った方法をそれぞれ考えてみる。 またSQLのGROUP BYもawkで実現してみる。 前提 今回使用するデータとして、以下の商品マスタと注文トランザクションを用意する。 # products(pid, pname, price)表 $ cat products p1 pencil 100 p2 pen 200 p3 eraser 150 # orders(oid, pid(FK(products.pid), cnt)表 $ cat orders o1 p1 3 o1 p2 2 o2 p1 3 o2 p3 1 joinコマンドでJOIN SQLのJOINと同等の働きをするコマンドがその名の通りjoinコマンドである。 SELECT oid, pid, pname, cnt FROM pro

ポート枯渇 WEBサーバがデータベースやKVSや他のAPIサーバに大量に接続するなどしている場合、特に接続をコネクションプーリングしていない場合、TCPコネクションの状態が通信終了間際の状態であるTIME_WAITでいっぱいになり、ポート枯渇してしまう状態への対応をまとめる。 TIME_WAITでいっぱいでローカルポート数の残りが少ないかどうかはnetstat -antp | wc -lで使用ポート数を見ればわかる。ただし、WEBサーバ自身が80ポートや443ポートで接続を受け付けている部分は除かなくてはいけない。ポート枯渇で問題になるのは、自サーバから他のサーバへ接続するときに使用するポートのことで、80/443ポートは接続を受けている側なのでプロセス数の上限やファイルディスクリプタの上限が問題になる。ulimit -u, ulimit -nでそれぞれ上限を確認する。スレッド数の上限はc

df -hを実行してディスク容量がいっぱいになったことを確認し、duを使ってディスク容量を無駄に使っているファイルを探そうとしたが、大きなディスク容量を使用しているファイルがなかった。ルートディレクトリの容量をdu -shx /で確認した結果とdf -hの結果が大きく異なっていた。 ※du -shxの-x, --one-file-systemは、duの引数としてルートディレクトリを指定しているために「違うファイルシステムの物も大量に集計に入ってしまうのを防ぐ」目的で入れているオプション。mountされている追加のディスクがmnt1とmnt2だったら、--excludeオプションを使ってdu -sh --exclude="/mnt*" /でもいいが、-xオプションのほうが短く書ける。 $ df -h | head -2 Filesystem Size Used Avail Use% Moun

find -newermt '日付 時刻'で指定した日付時刻より新しく更新された(不等号は > であり、指定した日付時刻は含まない)ファイルを検索できる。 -newermt以外にも-newerat,-newerctが使用でき、それぞれ mtime,atime,ctimeに対応している。 $ find ./* -newermt '20150806 10:59' また -newer ファイル名 で指定したファイルより新しく更新されたファイルを検索できる。 これも-newer以外に-anewer,-cnewerが存在し、mtime,atime,ctimeに対応している。 $ find ./* -newer samplefile ある日付時刻からある日付時刻までを検索しようとすると、-newerXYと否定形の! -newerXYを並べて書き、and条件とすることで実現できる。 # '2015080

お題 複数行の文章を任意の箇所に挿入するワンライナーを書く ファイル中の任意の箇所、例えば複数行にわたる正規表現にマッチした箇所の下に、複数行の文章を挿入するとき、Rubyのワンライナーでどのように書くかを考えてみる。またsedでの対処法も考えてみる。 今回編集するファイル名はtest.shとする。test.shにはあるif文が書かれた箇所があり、そのif文の下にもう一つif文を入れたいとする。 test.sh #!/bin/bash (略) if [ $cond = http ]; then port=80 fi (略) 挿入したいコード if [ $cond = https ]; then port=443 fi 期待する編集後のファイル #!/bin/bash (略) if [ $cond = http ]; then port=80 fi if [ $cond = https ];

du -sh /tmp とすると、/tmp 以下の合計容量が取得できるが、/tmp 以下にあるディレクトリごとの容量を取得するには、ちょっとした小手先のテクニックが必要となる。 ※-sは総計を表示するオプション -hは容量を適当な単位で表示するオプション 結論はdu -sh /tmp/*/ あるいはdu -h --max-depth=1 /tmpであるが、よく使用するのは「今いるディレクトリ以下の各ディレクトリごとの容量」なので、それをメインで書き、説明していく。 du -sh ./*/ # 以下でも可 du -sh */ # あるいは du -h --max-depth=1 なぜ ./*/ になるのか？（./*は実質、*と同じ意味なので、*/でも可だが、出力されるディレクトリ名の先頭に./がつくかどうかの違いがでる。） まず*だけだと、ファイルも含めた全てを指すことになる。 下の実行結果