このエントリは Go Advent Calendar 2023 12 日目の記事です。 Goのテスティングパッケージで一番好きなパッケージは net/http/httptest です。 テスト実行時に実際にHTTPサーバを立ててHTTPリクエストを受けるというシンプルかつ強力なアプローチが良いです。 クライアント側にエンドポイントを変える仕組みさえあればクライアントのリクエストを受け付ける形でテストを構築することができるので、選択肢に入れておきたいテスト構成です。 ところで、私たちは runn （ランエヌ）というシナリオテスティングツールを開発しています。 github.com runnはHTTPクライアントでありgRPCクライアントでもあるのですが*1、そのrunn自体のテストのためにhttpstubとgrpcstubを作って使用しています。 httpstub github.com ht

octocov octocovはコードカバレッジのためのツールキットです。 github.com コードカバレッジなどのコードメトリクスを手元のターミナルで確認したり、GitHub ActionsのActionとしてPull Requestにレポートしたりできます。 計測したコードメトリクスを、さまざまなデータストアに蓄積することもできます。 octocovはコードカバレッジ、Code to Test ratio、テスト実行時間の3つのコードメトリクスを計測しますが、今回、任意のメトリクスに対応しました。 カスタムメトリクス カスタムメトリクスの使用方法は簡単です。 計測したメトリクスを指定のフォーマットで保存する（カスタムメトリクスJSON） octocovに環境変数経由でカスタムメトリクスJSONの保存パスを渡す これだけです。 1. 計測したメトリクスを指定のフォーマットで保存する（

タイトルが何を言っているのかよくわからないと思いますので順を追って紹介したいと思います。 tblsをセットアップするGitHub Actionとしてsetup-tbls を作った setup-tblsはtblsをインストールしてくれるGitHub Actionです。 github.com 各所で「ないの？」とは言われており（最近Issueもたった）、いつか作らないとなと思っていたのですが、いろいろ重なって作りました。 github.com 私はGoで作ったツールのActionはDocker container actionを使うのですが、tblsでそうするとDockerコンテナ上で動くtblsからデータベースサーバの名前解決ができなかったりして、それも手を鈍らせている原因でした。 今回作成した setup-tbls はComposite actionで作っているので上記のような心配もありま

久しぶりのtblsの新機能紹介エントリです。 ドキュメントのER図出力にMermaidを指定できるようになりました ER図の出力フォーマットにMermaidを指定できるようになりました。次のように er.format: セクションか --er-format オプションに mermaid を指定することで変更できます。 er: format: mermaid 開発裏話 GitHubがMermaid対応したことで「tblsもMermaid対応してほしい」という要望や提案は以前より多く受け取っていました。 しかし、個人的にあまりメリットを見出せずそのままPull Request待ちとなっていたのですが、今回エイッと作ってみました。 Mermaid対応をするにあたって1つとても面倒な仕様がありました。それはMermaidはER図の多重度（カーディナリティ）の指定が必須となっていることでした。 もと

TL;DR GitHub "のみで" 構築するコードメトリクス計測基盤 バッジ生成機能 CIで計測したコードメトリクスのバッジを生成したとして、そのバッジを誰が配布するのか CI上で生成したバッジをそのままリポジトリのコミットしてしまう Central modeを使う GitHub Actions Artifacts GitHub のみで コードメトリクスバッジ基盤を構築する方法 まとめ TL;DR 長いので要約すると octocovは計測したコードメトリクスをGitHub Actions Artifactsに保存すると、単体リポジトリでメトリクスの比較レポートなどもしてくれて便利 さらに octocovs-template を使って、各リポジトリのArtifactsに保存されているメトリクスを収集する専用リポジトリを作るとバッジも生成・配布できて便利 となります。 「GitHub」という

octocovは私が開発しているコードメトリクス計測のためのツールキットです。 主となる用途であるCI（GitHub Actions）に組み込む使い方は会社のテックブログで紹介させてもらいましたのでそちらをご覧ください。 tech.pepabo.com 私自身もドックフーディングをしていて、自分の主だったリポジトリはすでに octocov に移行済みです。 Fix handling for bind runner by k1LoW · Pull Request #47 · k1LoW/runn · GitHub 実は octocov にはもうひとつ便利な使い方があるので、そちらを紹介したいと思います。 コードカバレッジを確認する octocov は実は単体のCLIツールとしても使うことができます。.octocov.yml といった設定ファイルも一切必要ありません。ただ、インストールするだけ

データベースを伴うテストを書いていて、何故かテスト結果が安定しない事象に出くわして「なんでだ？？？？？」と混乱した結果、データベースの状況をprintデバッグをしたくなって作りました*1。 github.com 使い方は package main import ( "database/sql" "log" "github.com/k1LoW/qp" _ "github.com/mattn/go-sqlite3" ) func main() { db, err := sql.Open("sqlite3", "path/to/db") if err != nil { log.Fatal(err) } defer db.Close() qp.Print(db, "SELECT * FROM users WHERE username = 'alice'") } みたいにqp.Print() に *

既存の開発に参加するときや、0->1の開発をしているとき、いつも「せめてリポジトリの各ディレクトリの概要説明だけでも欲しい」と思っていました。 既存のプロジェクトに参加するときは「プロジェクトの理解をする側」、0->1のプロジェクトで開発をしているときは「説明をする側の立場」で、です。 Ruby on Railsのような基本のディレクトリレイアウト決まっていてもそのプロジェクトの独自性がでてきますし、Goのようにスタンダードなレイアウトがないのであればなおさら初見ではわかりません。 「じゃあREADME.mdにでも書いておけばいい」というのはその通りです。 ただ、概要説明であっても一度書いたら終わりではなく、更新は必要になります。特に0->1のプロジェクトの初期ではディレクトリレイアウトすら途中で変わるということはままあります。 （ここらへんは「継続的ドキュメンテーション」として私の興味の

1つのディレクトリに雑に放り込んでいた電子書籍をPDFとEPUB横断でCLIからタイトル検索して開けるようになった。 オライリーとかファイル名から中身を類推できなくて困っていたのでこれで「あの書籍どのファイルだっけ？」がはかどる。 pic.twitter.com/0wVSj4UoYh— k1LoW (@k1LoW) 2021年11月21日 私は買った電子書籍を1つのディレクトリに保存しているのですが、ファイル名はダウンロードしたときのそのままにしていることが多いので、良く「あの書籍はどのファイルだっけ？」が発生していました。 電子書籍リーダーで管理すればいいとは思うのですが、それを整備することすらしていない有様です。 とりあえず「あの書籍はどのファイルだっけ？」や「あの書籍って買ってたっけ？」をなんとか解消したいと思っていました。 PDFファイルやEPUBファイルの電子書籍のタイトルだけで

git grep 便利ですよね。 私は git grep と git gsub は本当によく使います。 ところで git grep はローカルリポジトリがないと実行できません。 ローカルにリポジトリがなければ git clone して、 git grep すればいいのですが、もう少し簡単にgrepするために gh-grep を作りました。 github.com gh-grep gh-grepはGitHub APIを使ってGitHub上のリポジトリに対してgrepをするツールです。 特徴は、全てGitHub APIを通じて実行するためローカルに git clone することなくgrepできることです。 また、APIを使っている特徴を活用して複数リポジトリに対してgrepすることなども可能になっています。 あと実行が遅いです。ひたすらGitHub APIを叩いているので...*1。 インストー

Goでフォントを扱うことって（おそらく、たぶん、きっと）ほとんどないと思うのですが、私はなぜか文字が入っているpngファイルの生成とかER図とかを出すようなOSSを開発していることから、フォント周りのGoパッケージを作る機会がありました。 どれもパッケージというには小さいコード片で紹介することもないだろうと思っていたのですが、せっかくなので紹介したいと思います*1。 fontdir github.com フォントを指定するためには大抵フォントファイルのパスを指定しなければいけません。 fontdirは各環境でフォントファイルが格納されているディレクトリを取得できるだけのパッケージです。 これはパッケージを作ったと言うより https://github.com/flopp/go-findfont のフォントディレクトリ取得関数がprivateだったのでその関数だけポーティングしました。 ff

ghput pr-comment ghput issue-comment のデフォルトの挙動について注意点を追記しました 最近はGitHubやGH:Eといったサービスのリポジトリと、そのリポジトリと連携するCI/CD環境がある前提で、様々なパイプラインを作ることが普通になってきています。 git push や Pull Request をトリガーにCI/CD環境で実行されるのもテストの実行だけではなく、master mergeのタイミングでのプロダクションデプロイやプロビジョニング、その前段階としてPull Requestタイミングでのdry-runやplanの実行など。 GitHubは便利ですし、それと連携するCI/CD環境があるとその2つだけで様々なものの自動化ができて便利です*1。 そんなGitHub+CI/CDな環境で使えるであろう ghput というツールを作りました。 gith

Cacooで「データベーススキーマを自動生成できる」という素晴らしい機能が先週発表されました。 cacoo.com Cacooが提供するSQLクエリをデータベースで実行して、その結果をCSVファイルとしてエクスポートしてCacooにアップロードするだけでER図が生成されるというものです。 現時点で公式サポートされているのはMySQLとPostgreSQLですが、 一応1列目にRDBMSの名前が入るようになってるんですが、CSVのフォーマットとしては統一されてます。— Kohei Kimura (@cohhei) 2020年4月16日 ということなので、tbls out のサポートフォーマットにCacooのデータベーススキーマ機能用のCSV（ cacoo ）を追加しました。tbls v1.33.0で試すことができます。 MySQLのデータベーススキーマ まずはMySQLのデータベースで試して

結論は最後に書いてあります。 PTFという社内勉強会で、私が端々が間違っていたりするちょっと微妙な紹介をしてしまったので、改めてエントリに記載しておこうと思います。 PTFについては以下をご覧ください。 tech.pepabo.com The Go Playgroundでいつの間にかサードパーティパッケージをimportできるようになっていた。 私が気づかなかっただけで結構前からそうだったみたいです。 https://play.golang.org/p/w0uRS17zhjR 上記URLのコードでは github.com/goccy/go-yaml を importしているのがわかると思います。 go.mod でパッケージバージョンを指定できるようになっていた さらに、go.modでパッケージバージョンを指定できるようになっていました。 https://play.golang.org/p/

ここ最近tblsのアップデートエントリを書いていなかったのですが、最近変更をいくつか行いました。 このまま放置するとちょっと紹介しきれなくなりそうなので、ここら辺で放出しておこうと思います。 紹介時点のtblsのバージョンはv1.29.0です。 PostgreSQLでの public. スキーマ表示仕様変更 tblsでは、もともとPostgreSQLの public. スキーマ（ schema_name.table_name.column_name の schema_name ）だけ特別に非表示にしていました。 こうなっていた理由は、私がPostgreSQLでのスキーマを意識した運用経験がなかったことに寄る部分が大きいです。「デフォルトだから非表示で良いだろう」と。 ところで、tblsにはlintの機能があります。「テーブルカラムにコメントが書かれているか？」とか「外部キーの参照元にIND

フロントエンドの話を学んでいると思ったらTLSハンドシェイクだったりExpiresとかのキャッシュ系ヘッダだったり「例えばGCを避ける」だったりCPUだったりなんかいろいろ学んでいる。あれ？— k1LoW (@k1LoW) 2017年8月17日 Webフロントエンド ハイパフォーマンス チューニング 作者: 久保田光則出版社/メーカー: 技術評論社発売日: 2017/05/26メディア: 単行本（ソフトカバー）この商品を含むブログを見る 私のフロントエンドスペック まずは前提です。こういうスペックの人の感想ということでご了承ください。 主にPHPでWebアプリケーションを構築するエンジニア jQueryから少し脱しているくらい 数年前まではフロントエンドにもステ振りをしていたが、仕事では最近は大人しくPHPなアプリケーションを構築している 業務でもHTML/CSSでデザインしてくれるWeb

個人でGitHub有料プランの人しか使えないサービス作っている— k1LoW (@k1LoW) 2017年7月5日 スマートフォンのブラウザからでもメモが書けるサービス 自分はいつも簡単なメモ書きにはEmacsか、ブラウザを開いていたら wri.pe を使っていました。 wri.pe を使い始めたのは2013年からで、かれこれ4年使っていることになります。 wri.pe で気に入っているところは シンプル スマートフォンのブラウザからもストレスなく使える バックアップが自分がハンドリングできる場所に取れる（wri.peはDropbox） というところです。 いつでもどこでもブラウザがあれば雑にメモが取れるのが最高です。 ただ、ちょっと困っていることがあって wri.peは最近 ノートの検索機能が動かない （微妙に動いている！？） ノートの削除機能が動かない という状況が続いています。 これ

Ansible徹底入門 クラウド時代の新しい構成管理の実現 作者: 廣川英寿,平初,橋本直哉,森田邦裕,渡辺一宏出版社/メーカー: 翔泳社発売日: 2017/02/17メディア: 単行本（ソフトカバー）この商品を含むブログを見る Ansible徹底入門読了。会社での購入稟議完了。Ansible依存の弊社としては会社として持つべき本。— k1LoW (@k1LoW) 2017年3月15日 「Ansible徹底入門 クラウド時代の新しい構成管理の実現」を読了しました。 わたしのAnsibleスペック とりあえず自分のスペックを。 1.5か1.6から使い始めています。 現在は1.9をメインに使っています。 ChefやPuppetはほとんど利用していません。 受託開発をやっているせいか、結構な数のPlaybookを書いてきました。 “今"のAnsibleを教えてくれる Ansible自体は知ってい

タイトルは若干釣りです。 CakePHPにはマイグレーションツールとして、CakeDC/Migrations(CakePHP2)や、Phinxベースのcakephp/migrations(CakePHP3)があります。 とても有用ですし、CakePHP Bakerはみんな知っているツールです。自分もずっとお世話になっていました。 ただ、ちょいちょい困ることもあったので、最近はRidgepoleを使い始めています。 Ridgepole github.com Ridgepoleはクックパッド社で利用されているというマイグレーションツールです。 techlife.cookpad.com Ridgepoleは最大の利点が、1つのSchemafileを管理するだけでスキーマのべき等性を担保してくれるということです。 RidgepoleはDSL自体がRailsのActiveRecordと同じだというこ

自分のVagrantfileはだいたいこんな感じで、シンプルにlocalhostにポートフォワードして開発しています。 これのメリットは外部ネットワークに影響されないことですね。 ただ、そうすると困るのが「Macにないブラウザでの確認」です。具体的には I(ry とか ガラk(ry です。 で、 ちょっとだけ確認したい。そういうときに使えるのが ngrok です。 インストール $ brew install ngrok 使い方 このVagrantfileで起動したリモート側のWebサーバの80に接続するためには、ホスト側の8888とngrokをつなげます $ ngrok 8888 これで http://*.ngrok.com/ なドメインが当てられて外部から接続ができるようになります。 簡単ですね！ ちょっといろんな人にアクセスされるかもしれないのがちょっと。。。という人にはBASIC認証