バッチ処理などで大量のレコードを処理するときはカーソルベースページネーションを使う - mrk21::blog {}
バッチ処理などで大量のレコードを処理するときは、少しづつ取得して処理するためにページネーションを用いるのが一般的だが、このときオフセットベースページネーション(一般的なページネーション)を使ってはいけない。 たとえば以下のように有効期限の切れたファイルの情報を格納するレコードを削除するときを考える。 i = 0 n = 100 now = Time.zone.now loop do records = UploadedFile.where('expired_at <= ?', now) records = records.limit(n).offset(n * i) records = records.to_a break if records.empty? records.each do |record| record.file.delete # S3等にアップロードしてあるファイルを削
RubyのRegexp.escapeを使って簡易的なワイルドカードによるマッチングをする - mrk21::blog {}
例えばログ出力をテストしたい時があり、時刻などは無視したい場合があるが、これを正規表現を使ってマッチングしようとすると正規表現において特別な意味を持つ文字のエスケープが大変で見にくいのでワイルドカードのような簡易的な表現にしたい。 actual = <<~EOS [INFO] [2024-07-04T10:00:00Z] message1 [ERROR] [2024-07-04T10:00:01Z] #<StandardError: error> /path/to/file1:10:in `initialize' /path/to/file2:3:in `hoge' /path/to/file3:5:in `foo' [INFO] [2024-07-04T10:00:02Z] message3 EOS expected = Regexp.new(<<~EOS, Regexp::MULTIL
TypeScriptではリテラルの型指定にはキャストではなくsatisfiese演算子を使う - mrk21::blog {}
よく以下のように、キャスト{} as Tを使ってリテラルに型指定をしているコードを見る。 type User = { id: string; name: string; }; const value1 = { user: {} as User, }; しかし、このコードは型安全ではなく、存在しないプロパティがある場合や必要なプロパティが不足している場合であってもエラーにならない。そのため嘘の型情報を付与してしまい、実質的に型安全でなくなる。 これを防ぐために以前はliteralという簡単なヘルパー関数を作って対応していた。 type User = { id: string; name: string; }; function literal<T>(value: T): T { return value; } const value2 = { user: literal<User>({ id
React Select を使ったコンポーネントのテストをする - mrk21::blog {}
react-select という複数選択やoptionにサムネイルを追加したりできる高機能なselectを提供するライブラリがある。 OptionSelector.tsx: import { useCallback } from 'react'; import Select from 'react-select'; export type Option = { value: string; label: string; }; export const options: Option[] = [ { value: '1', label: 'Option 1' }, { value: '2', label: 'Option 2' }, { value: '3', label: 'Option 3' }, ]; type Props = { value: Option | undefined;
Docker 25.0 でヘルスチェックに start-interval オプションが追加された - mrk21::blog {}
Docker にはヘルスチェック機能があるが、25.0 で start-interval オプションが追加された。 The options that can appear before CMD are: --interval=DURATION (default: 30s) --timeout=DURATION (default: 30s) --start-period=DURATION (default: 0s) --start-interval=DURATION (default: 5s) --retries=N (default: 3) ... start interval is the time between health checks during the start period. This option requires Docker Engine version 25.0
RubyのENV.fetch()で空文字列の時もデフォルト値を使うようにする - mrk21::blog {}
Rubyには、指定された環境変数の値を読み込み、存在しなければデフォルト値を返すENV.fetch()というメソッドがある。Railsなどでは設定ファイルで環境変数から値を読み込むのによく使う。 config/database.yml: default: &default pool: <%= ENV.fetch("RAILS_MAX_THREADS") { 5 } %> しかし、たとえば指定された環境変数が空文字列だったりすると、デフォルト値ではなく空文字列が返されてしまう。 HOGE='' ruby -e 'puts ENV.fetch("HOGE"){1}' #=> これは direnv の .envrc や Docker Compose の compose.yaml で環境変数を指定していたりすると起きがちである。 .envrc: export HOGE= compose.yaml:
年齢の算出 - mrk21::blog {}
年齢の算出は簡単にできるかと思いきや、少々面倒臭い。これは、閏年というものが存在するためである。そのため以下のような単純な時間のdiffで算出しようとすると年を重ねる日時が1日ほどズレる場合がある。 const today = new Date(2010, 2, 10); // 2010-03-10 const birthday = new Date(2000, 2, 10); // 2000-03-10 const diff = today.getTime() - birthday.getTime(); const age = Math.floor(diff / (1000*3600*24*365.25)); console.log(age); // 9 また、誕生日が閏日(02-29)の人は、閏年以外は うるう年をめぐる法令｜参議院法制局 によると、03-01 が誕生日となるのでこれも
Minecraft Java Edition 1.20 + PaperMC + Multiverse-Core 環境での砂無限増殖装置(Sand Duper) - mrk21::blog {}
エンドポータルとチャンクローダーを利用した砂無限増殖装置というのがある(通称: Sand Duper)。以下の動画を参考に作ったが、PaperMC + Multiverse-Core という環境だと動作しなかった。 問題と解決方法 問題点は以下のとおりでこれらを解決する必要がある。 Sand Duper が動作しない チャンクローダーが動作しない エンドポータルを通った砂が別の箇所にスポーンする Sand Duper が動作しない まず、そもそも砂無限増殖装置の要である Sand Duper が動作しない(粘着ピストンでガチャガチャするとブロックが増殖する現象)。これは PaperMC で修正されてしまっているためである。これを解決するためには GravityControl というModを導入する。設定は特に必要ない。 GravityControl - Minecraft Plugin チ
overscroll-behavior を使ってダイアログを開いている時はページのスクロールをしないようにする - mrk21::blog {}
まず以下のダイアログを考える。このダイアログはダイアログ内のコンテンツが一定の高さに到達するとスクロールバーが出るようになっている。 <div class="content"> <button class="open-button" type="button">open modal</button> <p>メッセージ1</p> <p>メッセージ2</p> ... <div class="modal"> <div class="modal-content"> <div class="modal-header"> <h2>Modal Header</h2> </div> <div class="modal-body"> <p>メッセージ1</p> <p>メッセージ2</p> ... </div> <div class="modal-footer"> <button>OK</button> <b
Rails + PostgreSQL でデータベースを作り直す - mrk21::blog {}
PostgreSQLでは、他のセッションが同じdatabaseに接続しているときは DROP DATABASE できないようになっている。 my_database=# DROP DATABASE my_database; ERROR: database "my_database" is being accessed by other users DETAIL: There is 1 other session using the database. そのため、Rails で以下のようにデータベースを作り直すときにしばしば問題になる。 $ rails db:drop db:setup PG::ObjectInUse: ERROR: database "my_database" is being accessed by other users DETAIL: There is 1 other
axios でリクエストログを出力する - mrk21::blog {}
JavaScriptでXHRやFetchなどで通信するとブラウザの開発コンソールのネットワークなどにログが出力されますが、Next.js のSSRなど、Node.js で実行する場合はログはでないです。そのため、通信ログが欲しい場合は、なんらかの方法でログを出力する必要がありますが、axios を使用している場合、以下のようにすると通信ログが出力されるようです。 import axios from 'axios'; axios.interceptors.request.use((request) => { console.log('Starting Request: ', request); return request; }); axios.interceptors.response.use((response) => { console.log('Response: ', respon
TypeScript の definite assignment assertion operator の話 - mrk21::blog {}
TypeScript の class では、プロパティは初期化指定子かコンストラクタで初期化していないとエラーになります。そのため、以下のように記述する必要があります。 class Hoge { value1: string = 'a'; value2: number; // value3: boolean; // ERROR: Property 'value3' has no initializer and is not definitely assigned in the constructor. constructor() { this.value2 = 1; } } しかし、たとえば Vue.js の Component class の props のように Vue.js 側で初期化するプロパティについては少々困ります。この確実に初期化されるが初期化指定子やコンストラクタで初期化は
bashで複数の子プロセスを並行で実行して終了を待つ方法(Ctrl+cでの終了に対応) - mrk21::blog {}
bashで複数の子プロセスを並行で実行して終了を待つには & でバックグラウンド処理しつつ wait で待つことで実現できるのですが、この方法だと Ctrl+c したときに子プロセスが残ってしまいます。 ( command1 & command2 & wait ) ここで、jobs -p を使えば、子プロセスのPID一覧が取得できるので、trap を使って SIGINT をトラップしたときに、jobs -p で得られたPIDを kill すれば子プロセスも kill することができます。 ( trap 'kill $(jobs -p)' EXIT; command1 & command2 & wait ) しかし、jobs -p は zsh だとうまく動かないので、この場合は bash -c を使って実行する必要があります。 bash -c " trap 'kill \$(jobs -p)
GitHub Actions でローカルの composite を使う場合 - mrk21::blog {}
GitHub Actions でローカルにある composite を使う場合は、あらかじめチェックアウトしていないと、ファイルが見つからないとエラーが出てしまうので注意する。 NG: name: hoge on: push: jobs: hoge: name: Hoge runs-on: ubuntu-latest steps: - uses: ./.github/composite/fuga OK: name: hoge on: push: jobs: hoge: name: Hoge runs-on: ubuntu-latest steps: - name: Checkout code uses: actions/checkout@v3 - uses: ./.github/composite/fuga
CIでGCPのServiceAccountを使って認証する方法 - mrk21::blog {}
GCPでServiceAccountで認証するときはGOOGLE_APPLICATION_CREDENTIALS環境変数に鍵ファイルのパスを設定するが、CI実行時にはどうするんだろうと考えた結果、鍵ファイルをbase64でエンコードしたものをCIの環境変数に設定して、CI実行時にデコードしてGOOGLE_APPLICATION_CREDENTIALS環境変数に設定されているパスに出力とかしたけど、もっといい方法ないのかな。 # 1. 鍵ファイルをbase64でエンコード cat /path/to/key.json | base64 # 2. 以下をCIの環境変数に設定 # GOOGLE_APPLICATION_CREDENTIALS_CONTENT 1.でエンコードした文字列 # GOOGLE_APPLICATION_CREDENTIALS /path/to/key.json # 3. b
Docker で Compose V2 などをキャッチアップした - mrk21::blog {}
docker-compose up ではなく docker compose up を使うように推奨されていることは知っていたが、ちゃんとキャッチアップしてなかったのでした。また、その過程で Compose V2 以外にも新たに知ったことがあったのでここに記す。 docker-compose との違い 大雑把には以下が異なる。 docker-compose は docker とは別のスタンドアローンバイナリだったが、docker compose は docker cli plugin として提供される docker compose は Compose Spec に準拠するようになった Compose Spec Composeファイルの標準仕様で、プラットフォームやクラウドに依存しない仕様として策定されている模様。 Compose Spec V2 では従来から主に以下が変更/追加されている。
gomockのMatcherで構造体を再帰的に比較する - mrk21::blog {}
gomockの引数のMatcherでgomock.Eq()を使うときに、構造体がポインタ型だったりするとうまく比較できない。 type Hoge struct { ID string } m.EXPECT().Hoge(gomock.Eq(&Hoge{ID: "1"})).Return(nil).AnyTimes() // マッチしない m.Hoge(&Hoge{ID: "1"}) そのため、go-cmp を使って両者を比較するカスタムMatcherを実装する。 func GomockDeepEq(expected interface{}) gomock.Matcher { return &gomockDeepEqMatcher{ expected: expected, } } type gomockDeepEqMatcher struct { expected interface{} d
go-cmp の cmp.Diff() でJSON文字列を比較できるようにする - mrk21::blog {}
go-cmp を使うと2つの構造体のDiffを取ることができるが、プロパティにJSON文字列([]byte や json.RawMessage など)があると、内容は同じでもインデント等が異なるとdiffが出てしまい、うまく比較できない。 type Hoge struct { ID string JSON json.RawMessage } func main() { a := Hoge{ID: "1", JSON: json.RawMessage(`{"a":1, "b":2}`)} b := Hoge{ID: "1", JSON: json.RawMessage(`{"b":2, "a":1}`)} diff := cmp.Diff(a, b) fmt.Println(diff) // diff がでる この場合は、cmp.Transformer() でJSON文字列をjson.Unm
Docker container からホストでListenしているポートにアクセスする - mrk21::blog {}
Docker Desktop ではコンテナから host.docker.internal を使って、ホストにアクセスすることができる。 index.js: const express = require("express"); const app = express(); const port = 3000; app.get("/", (req, res) => { res.send("OK\n"); }); app.listen(port, () => { console.log("Start"); }); $ node index.js $ docker run -it --rm nginx curl http://host.docker.internal:3000 OK だが、これはあくまでも Docker Desktop が提供する機能なので、それ以外のDocker環境では使用でき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker container で sleep infinity を使う時は init プロセスを有効にする - mrk21::blog {}
