このエントリは Go Advent Calendar 2023 12 日目の記事です。 Goのテスティングパッケージで一番好きなパッケージは net/http/httptest です。 テスト実行時に実際にHTTPサーバを立ててHTTPリクエストを受けるというシンプルかつ強力なアプローチが良いです。 クライアント側にエンドポイントを変える仕組みさえあればクライアントのリクエストを受け付ける形でテストを構築することができるので、選択肢に入れておきたいテスト構成です。 ところで、私たちは runn （ランエヌ）というシナリオテスティングツールを開発しています。 github.com runnはHTTPクライアントでありgRPCクライアントでもあるのですが*1、そのrunn自体のテストのためにhttpstubとgrpcstubを作って使用しています。 httpstub github.com ht

元エントリは↓で、これが全てです。 dev.to 最高じゃんhttps://t.co/c1hfSYhgx2— k1LoW (@k1LoW) 2023年8月26日 Goでツールではなくライブラリ（パッケージ）を作っているとき、テストにしか使わないパッケージがgo.modに入って依存関係ができてしまうのが、いつも気になっていました。 ただ、「まあ別にいいかな」と思っていたのですが、ちょうど標準パッケージだけで機能が実現できるパッケージができたので、どうしてもgo.modを綺麗にしたくなりました。 そして、えいっと調べてみたらすぐに解決方法が見つかったのでした。 テストでしか使わないパッケージをgo.modに含めない方法 方法は次の通りです*1。 テスト用に go_test.mod ファイルを用意して -modfile オプションを使って go_test.mod ファイルを指定して go tes

やっとgh auth loginで得たクレデンシャル（OSのセキュアストレージに保存されているもの）のみを使う生活になったぞ— k1LoW (@k1LoW) 2023年5月15日 GitHub CLIの gh auth login で作成されたクレデンシャルはOSのセキュアストレージに保存されるようになりました。 次のエントリが詳しいです。 blog.kyanny.me 「じゃあ、もう全部セキュアストレージに保存されたクレデンシャルを使えばOK」となるのですが、なかなかそうはいきません。 なぜかというとGitHubのクレデンシャルを使うツールによって環境変数の扱いが異なるからです。 GitHubのクレデンシャル設定の歴史（私の記憶版） 注意: 以下は、あくまで私の記憶であって実際と異なるかもしれません。 前史 GitHub CLI（ gh ）やGitHub Actionsの登場以前は、クレ

wsa.connpass.com オンライン開催に参加してきました。 予稿 github.com 発表資料 システムの変化に追従可能でかつ理解し易いドキュメントシステム 発表内容はドキュメントシステム（ドキュメンテーションツール）についてです。 私は、システムを理解するためにかかる時間（いわゆる「オンボーディングまでのコスト」。私は「開発開始までのオーバーヘッド」と呼んでいます）をいかに継続的に削減できるかに興味をもっています。 それはなぜかというと「私がシステムの理解のセンスがないからそれをなんとか技術で解決したい」という個人的欲求に他ならないのですが、「まあオンボーディングのコストが小さくなればそれはエンジニア全員にも良いことだろうな」と勝手に思い込んでいろいろ作ったりしています。 実は今回の発表にいたるまでには過程があって、July Tech Festa 2021 winter では

ここ最近tblsのアップデートエントリを書いていなかったのですが、最近変更をいくつか行いました。 このまま放置するとちょっと紹介しきれなくなりそうなので、ここら辺で放出しておこうと思います。 紹介時点のtblsのバージョンはv1.29.0です。 PostgreSQLでの public. スキーマ表示仕様変更 tblsでは、もともとPostgreSQLの public. スキーマ（ schema_name.table_name.column_name の schema_name ）だけ特別に非表示にしていました。 こうなっていた理由は、私がPostgreSQLでのスキーマを意識した運用経験がなかったことに寄る部分が大きいです。「デフォルトだから非表示で良いだろう」と。 ところで、tblsにはlintの機能があります。「テーブルカラムにコメントが書かれているか？」とか「外部キーの参照元にIND

なんとなく興味がでてきたのでインターネット情報を参考にTCP Proxyを書いてPostgreSQLの通信覗いてみた。クエリの取得まではできた。 HTTP/1.1の世界で生きていたので、プログラムでバイナリ？を触ったの久しぶり過ぎるし（TokyoTyrantのPHPクライアント書いたときぶり？）やっぱり全然慣れない— k1LoW (@k1LoW) 2018年7月15日 覗いてみました。 ただ見るだけなら tcpdump などを活用すれば良さそうなのですが、せっかくならプロトコルを解析した結果を出力してみたかったので、取得結果をイジれるようにTCP Proxyを書くところからはじめてみました。 TCP Proxyってどうやって書けば？というのは基本的にインターネットの情報を参考にしました。特に以下のツールのコードを参考にしました。 github.com で、書いたのが tcprxy です。

お、MySQLの通信も見えそうだぞ？ pic.twitter.com/GVxBXqHEgA— k1LoW (@k1LoW) 2018年7月25日 "TCP Proxyを書いてPostgreSQLの通信を覗いてみる - Copy/Cut/Paste/Hatena" の続編です。 MySQLの通信を覗いてみる また簡単なクエリだけを対象にします（プリペアードステートメントなどは含みません）。 MySQLもしっかりとしたドキュメントがありクエリのプロトコルの説明もありました。 MySQL :: MySQL Internals Manual :: 14.6.4 COM_QUERY しかし、とみたまさひろさん の資料のほうが断然わかりやすかったです。 slide.rabbit-shocker.org というわけで今回も tcprxy に実装を追加していきます。 mysqlコマンドでクエリを実行してみ

2月末で株式会社Fusicを退職します。現在有給消化中になります。 気づけば11年目に突入していた 長いように思えますが、特に不満なくやってきていつの間にか勤続2桁に突入していました。 これがどれくらい長いかというと バージョン管理のツール（サービス）でいうと、svn -> SVK -> GitHub (Git) PHPでいうと、（使ったもので）5.1 -> 5.2 -> 5.3 -> 5.4 -> 5.5 -> 5.6 -> 7.1 PHPフレームワークでいうと、HTMLとPHPが一体 -> オレオレ+Smarty -> CakePHP1.2 -> CakePHP2 -> CakePHP3 サーバでいうと、レンサバ+DCメイン -> VPSメイン -> AWSメイン エディタはずっとEmacs というくらい長いです。 11年間、いろいろ思い出はありますが多すぎるので割愛。 （どうしても知

github.com 昨年からサーバーレスな勉強会で何回か紹介していましたが、ちゃんとエントリを書いていなかったので書いておきます。 これは何？ 1つのオリジナルサイトをクロールしてS3上に（S3の静的ウェブサイトホスティング機能で）静的サイトを構築してしまうServerlessなツールです。 さらに、構築したS3上の静的ページを任意のタイミングで更新できるようになります。 どんな時に使えるの？ 以下の2つの要件を実現したいときに使えると思っています。 コンテンツはCMSなど便利なWebアプリケーションで更新をし続けたい。 実際にアクセスされる公開側は（可用性、信頼性やセキュリティを理由に）S3の静的ウェブサイトホスティングで実現したい。 utsusemiのアーキテクチャ utsusemiはAWS上で実現される、いわばサーバーレスアプリケーションです。 utsusemiをデプロイすると、オ

個人でGitHub有料プランの人しか使えないサービス作っている— k1LoW (@k1LoW) 2017年7月5日 スマートフォンのブラウザからでもメモが書けるサービス 自分はいつも簡単なメモ書きにはEmacsか、ブラウザを開いていたら wri.pe を使っていました。 wri.pe を使い始めたのは2013年からで、かれこれ4年使っていることになります。 wri.pe で気に入っているところは シンプル スマートフォンのブラウザからもストレスなく使える バックアップが自分がハンドリングできる場所に取れる（wri.peはDropbox） というところです。 いつでもどこでもブラウザがあれば雑にメモが取れるのが最高です。 ただ、ちょっと困っていることがあって wri.peは最近 ノートの検索機能が動かない （微妙に動いている！？） ノートの削除機能が動かない という状況が続いています。 これ

未再生エピソードがもうありません。 半年以内に配信があった中で、配信を楽しみにしているPodcastをいくつかリストアップしてみます。 目的は「もっとエピソード配信が増える」「もっとテック系Podcastが増える」です。 Rebuild.fm http://rebuild.fm/ 最近のテック系Podcastブームの先駆け。 テック系を通り越して既に別次元のエンターテイメントになっている。 なんでこんなに面白いのかわかりません。でも面白いんです。 mozaic.fm http://mozaic.fm/ Web技術。毎回濃くて勉強になります。 そのWeb技術をよく知らなかったらmozaic.fmその技術のエピソードを聞いてテンションを上げる方法をとったりします。 最近配信が止まっていますが、まだ凄いWeb技術がでてきたら配信されそうです。 engineer meeting podcast h

Ansible徹底入門 クラウド時代の新しい構成管理の実現 作者: 廣川英寿,平初,橋本直哉,森田邦裕,渡辺一宏出版社/メーカー: 翔泳社発売日: 2017/02/17メディア: 単行本（ソフトカバー）この商品を含むブログを見る Ansible徹底入門読了。会社での購入稟議完了。Ansible依存の弊社としては会社として持つべき本。— k1LoW (@k1LoW) 2017年3月15日 「Ansible徹底入門 クラウド時代の新しい構成管理の実現」を読了しました。 わたしのAnsibleスペック とりあえず自分のスペックを。 1.5か1.6から使い始めています。 現在は1.9をメインに使っています。 ChefやPuppetはほとんど利用していません。 受託開発をやっているせいか、結構な数のPlaybookを書いてきました。 “今"のAnsibleを教えてくれる Ansible自体は知ってい

「Docker通り越して次の楽技術こないかなー」と思っていたのですが、やはり当分こなそうなので重い腰を上げてDockerを使いはじめました。 遅すぎですね。 前提 自分は「主にPHPer」ですが、PHPなプロジェクトは大抵がごく普通のLAMPやLAPPなので（環境依存が少ない）、開発時はVagrantでもDockerでもなんでも良いです。 ただ、個人的にPHPはビルトインサーバブームがきているので、「アプリケーション側はホスト上のビルトインサーバ」「データベース側をDocker」にする形で構築することにしました。 「Dockerは永続的データが不得意？」というのは遥か昔の話だったようで、MySQLもPostgreSQLもデータ領域は（公式Dockerイメージでは）デフォルトでホスト側にマウント( VOLUME )するようになっていました。これは便利だった。 使い方 Docker for M

本エントリーは Serverless Advent Calendar 2016 - Qiita と Fusic Advent Calendar 2016 - Qiita の7日目の記事です。 今日は AWS re:Invent 2016 Serverless Follow Up がありますね。うらやましい。 サーバーレスアーキテクチャなエラートラッキングツール faultline を作っています。 これは何 AWSのマネージドサービスのみで構築しているサーバーレスアーキテクチャなエラートラッキングツールです。 近いツールとしては、Rollbar、Airbrake、Bugsnag、errbit などがあります。 エラートラッキングのためのAPIバックエンドを提供する faultline と、そのAPIを利用するWeb UIのサンプル実装の faultline-webui があります。 git

今年の3月くらいからずっと悶々としていて、なかなか手が出せなかったアイデアがやっと実現できました。 mod_mrubyでやりたいことできたー！— k1LoW (@k1LoW) June 16, 2016 （試行錯誤して書いてみたら、結果たった数行という。。。） Auto ScalingではなくてAuto Cachingという考え方 AWSではAuto Scalingという、サーバの負荷の変化などによってEC2インスタンスをスケールする便利な機能があります。 が、大抵はクラウド環境でないと容易には実現できません。 例えば、クラウドではなく サーバリソースは増やせない。 普段はキャッシュはしてほしくないコンテンツ。 ただ、アクセスが多くなるとかで何かしら負荷が高くなった時には「仕方なく」キャッシュを使っても良い。落ちるよりはマシ。 負荷が戻ったらキャッシュを使わないようにして欲しい。 という状

AWSのリソース構成をServerspecのようにテストできる "awspec" をつくりました。 github.com 例えばEC2インスタンスであれば、以下のように書けます。 describe ec2('my-ec2') do it { should exist } it { should be_running } it { should_not be_stopped } its(:instance_id) { should eq 'i-ec12345a' } its(:private_ip_address) { should eq '10.0.1.1' } it { should have_security_group('my-security-group-name') } it { should belong_to_vpc('my-vpc') } it { should belon

日本の祝日はいろいろ判定が難しいらしいですが、皆さんどうしていますか？ @k1LoW @shin1x1 日本の祝日は世界でも珍しい部類の天文ベース（春分の日、秋分の日）になっていて厳密には前年度の４月？とかに国が発表するのでGoogleも１年以上先はわからないんですよね。天文ベースプラス人の微調整で決まるそうで。— Masaki Komagata (@komagata) 2014, 11月 12 「国民の祝日」について Rubyでは komagata/holiday_jp がメンテナンスされているそうで羨ましいかぎりです。 PHPでもJavaScriptでも、こういう「メンテされている祝日判定ライブラリが欲しい！」と思ったので、この際なので d:id:tagomoris さんがはじめた woothee プロジェクト を見習って、まずは祝日を共有するためのデータセットを作ってみました。 k1

git grep 便利ですよね。 私は git grep と git gsub は本当によく使います。 ところで git grep はローカルリポジトリがないと実行できません。 ローカルにリポジトリがなければ git clone して、 git grep すればいいのですが、もう少し簡単にgrepするために gh-grep を作りました。 github.com gh-grep gh-grepはGitHub APIを使ってGitHub上のリポジトリに対してgrepをするツールです。 特徴は、全てGitHub APIを通じて実行するためローカルに git clone することなくgrepできることです。 また、APIを使っている特徴を活用して複数リポジトリに対してgrepすることなども可能になっています。 あと実行が遅いです。ひたすらGitHub APIを叩いているので...*1。 インストー

久しぶりに使うAWSのprofileがありまして、そのprofileについての記憶が失われていた結果、コマンド実行成功までに時間を溶かしてしまいました。 というのも、私は普段使うprofileではaswrapでAssumeRole（と多要素認証）を透過的に便利に実行していた結果、IAMの認証設定については何も考えなくなっていて「とりあえず aswrap 」を実行していました。 そして、 $ AWS_PROFILE=myaws aswrap aws s3 ls An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied 「あれ？認証情報無効にしたっけな 🤔」とか、トンチンカンな推測をしていました。 よくよく確認してみたらそのprofileは「MFAは必須だがAssumeRole

ghput pr-comment ghput issue-comment のデフォルトの挙動について注意点を追記しました 最近はGitHubやGH:Eといったサービスのリポジトリと、そのリポジトリと連携するCI/CD環境がある前提で、様々なパイプラインを作ることが普通になってきています。 git push や Pull Request をトリガーにCI/CD環境で実行されるのもテストの実行だけではなく、master mergeのタイミングでのプロダクションデプロイやプロビジョニング、その前段階としてPull Requestタイミングでのdry-runやplanの実行など。 GitHubは便利ですし、それと連携するCI/CD環境があるとその2つだけで様々なものの自動化ができて便利です*1。 そんなGitHub+CI/CDな環境で使えるであろう ghput というツールを作りました。 gith