goreleaser と Travis CI で Golang のバイナリ配布を自動化する - /storage/tummy.log
Golang で作ったツールを配布したいとき、ビルドして zip なりにまとめて GitHub の Release ページなり Homebrew で公開する必要がありますが、毎回手作業でやるのは面倒です。 そこで goreleaser と Travis CI を使って自動化してみました。 goreleaser の README にサンプルが載っていることと、GitHub と連携できて楽という理由で Travis CI を使っています。 goreleaser とは Golang のバイナリを速く、簡単にデリバリーできるツールです（リポジトリ見てください） github.com 手順 Travis CI で GITHUB_TOKEN を設定 権限を repo だけつけた Personal access token を生成して設定します。 yml を書く .goreleaser.yml はこんな
不具合から見る go の database/sql の挙動 - UUUMエンジニアブログ
nazoです。 先日、とある go で書かれたWebサーバーで、too many open files が出て死ぬ、という問題が発生しました。今回はその点に関して調査した内容を紹介したいと思います。 調査内容と結果 too many open files は、言うまでもなく、ファイルの開きすぎで出るエラーですが、 lsof してみたところ、 can't identify protocol 状態のものが大量に存在していました。ソケットが正常に閉じられずに放置されていたようです。 さらに調査をしていると、トランザクションの Begin 〜 Commit をコメントアウトすると発生しなくなることが判明し、そこから以下のバグが発見できました。（gorm を使用しています。また実際のコードとは違います） tx := db.Begin() db.Model(&user).Where("id = ?",
| 可変長引数をそのまま…interface{}に渡せるか？ - Can I convert a []T to an []interface{}?
可変長引数をそのまま…interface{}に渡せるか？ - Can I convert a []T to an []interface{}? Golangで []T を []interface{} に変換しなければならないのだろうか？という疑問があった。 具体的には次のようなコードの場合。 ▶The Go Playground http://play.golang.org/p/Gg2NTEQFBX package main import "fmt" func main() { fmt.Println("Hello, playground") A("a", "b", "c", "d", "e") // [a b c d e] ... Not the expected value. AA("a", "b", "c", "d", "e") // OK ... the expected valu
`go test` に色を付けるツールを作った #golang – blog.izum.in
🎨 Painting go test outputs. Contribute to izumin5210/cgt development by creating an account on GitHub. なぜつくったか当然ながら，既存のツールはいくつかある: https://github.com/rakyll/gotesthttps://github.com/kyoh86/richgoいずれも go test -v ./... の代わりに richgo test ./... などとして利用する，そもそもの呼び出すバイナリを差し替えるタイプのツール． 一方で，ちょっと大きめの Go プロジェクトでは make をタスクランナーとして使うことがあり，テストの実行も make test となっていることが多々ある． そのため，テストの実行コマンドごと違うものにする既存ツールでは Makefi
良い感じに詰めて整形してくれる JSON pretty-printer「jpp」を作りました - たにしきんぐダム
jpp というJSON Pretty-Printer を作りました。 github.com このコマンドはJSONを要素ごとに1つ1つ改行するのではなく、画面内(もしくは指定した幅)に収まる限りできるだけ改行を挟まずに要素を表示します。 そのため、例えばarrayの中身に大量の要素が入っているものや、objectの中身にfieldが大量にあるようなJSONを表示する際、改行をできる限り抑えて表示することによりJSONを見通しよく眺めることができます。 背景 JSONを整形して表示することができるCLIツールとして、jq、jsonppや、 python -m json.tool などがありますが(jq はpretty-printのためのツールではないが僕は普段jsonの整形のためによくjqを使っていた)、 これらの既存のJSON pretty-printerを用いて、先に述べたような要素数の
Go の Generator を channel と closure で速度比較(または Go でのアトミック処理イディオム) - Block Rockin’ Codes
追記 この記事は元々 Go のイディオムとして、いわゆるジェネレータの実装がどうできるのかを軽い気持ちで書いただけで、速いから「Closure を使いましょう」などと一言も言ってなかったのですが、一方が channel であったため原子性についての言及がいくつかありました。 自分としては、ローカルのちょっとしたツール(shell の代わりくらい) の中で使ってただけなので、並行性には言及するつもりがそもそも無かったのですが、自分もそうした前提を書いていなかったのにも原因があります。 例えばこの記事が「グローバルシーケンス」の実装例として参考にされ Web アプリにでもコピペされて、バグの原因になったりでもしたらマズイので大幅に追記します。 (正直ロックを使った排他制御はあまり得意では無いですが。。) Intro 無限に連番を生成するロジックをジェネレータとして組むときに、 Go の場合は二
Golang Internals, Part 1: Main Concepts and Project Structure
Inside the Go compilerAs we mentioned above, the architecture-independent part of the Go compiler is located in the /src/cmd/gc/ folder. The entry point is located in the lex.c file. Apart from some common stuff, such as parsing command line arguments, the compiler does the following: Initializes some common data structures.Iterates through all of the provided Go files and calls the yyparse method
Fixing race conditions and deadlocks in Go | Lincoln Loop
In the past month we worked to scale up botbot.me. Every few days the bot would get stuck in a deadlock situation that caused outage of the logging service. I had some time in front of me that I decided to dedicate to improving the situation. I learned a few things along the way that I would like to share with you. Bumpy road toward a better code base The issues described in this post will likely
GoのデバッグはdelveとVisual Studio Codeが便利 - Sexually Knowing
delveとは Go向けのデバッガで、ステップ実行とかブレイクした行のレキシカル変数が見えたりといった基本的な機能を提供しつつ、dlv debug でコンパイルしつつ実行 (go run) したりgo(1)とほどよく統合されている。 後述するheadlessモードがあっていわゆるリモートデバッグが可能。 delveをmacOSにインストールする 公式のドキュメントではbrew install go-delve/delve/delve一発で済むように書かれているが実際はうまくいかなかった (´°̥̥̥̥̥̥̥̥ω°̥̥̥̥̥̥̥̥｀) ==> Installing go-delve/delve/delve ==> Downloading https://github.com/derekparker/delve/archive/v1.0.0.tar.gz ==> Downloading fro
Bitcoin SPV Wallet を Golang で実装してみた
Golang と Blockchain 技術の勉強に、こちら の記事を参考にして Bitcoin の SPV Wallet を Golang で実装してみました。 github.com 結構雑ですが、とりあえず以下のことができます。 Bitcoin Address の生成 UTXOをかき集めて残高を計算 UTXOをかき集めて指定したBitcoin Addressに送金 実用には耐えませんが簡単なSPV Walletの一通りの機能は実装できたかなと思います (そんなことなくてエラーハンドリングが雑だったりP2Pノードとしての役目を放棄してたり、取得するmerkleblockをハードコードした高さより高いblockのみ取得するようになってたりする) 参考 実装の際には主に @lotz氏のこちらの記事を参考に実装しました(ほとんど氏の実装をGolangに移植しただけw + 計算したUTXOを使っ
Golangで簡易的ワーカー/ジョブキュー - たにしきんぐダム
goroutineの数を制限しつつ並列にジョブを実行したい ジョブは定期的に投入できたい ジョブが空っぽになっても終了しないで欲しい SIGTERMとか送ったら実行中のジョブが完了するまで待ってから終了してほしい というようなものが欲しくなることが最近よくある！のでメモ 参考 fireworq/dispatcher.go at 86126cb7de9fdc5ccc98d57aaa80f1abd5694463 · fireworq/fireworq · GitHub worker.go · GitHub Big Sky :: golang の channel を使ったテクニックあれこれ 実装 gistbe9fac4aa02419d68c6770a85e53c936 この実装ではmainの中のforループでのみジョブをenqueueしているが、 定期的に外部リソース(APIたたいたり、DBを眺
Go 言語の log パッケージを使ってみる - 倭マン's BLOG
Go 言語のいろいろなパッケージを使ってみるシリーズ（目次）。 今回は log パッケージ。 log パッケージには fmt パッケージのような Print 関連の関数がありますが、これらは fmt パッケージの同名の関数で書き出し時刻と改行を追加して表示します。 また、デフォルトでは標準出力ではなく標準エラー出力に書き出します。 【この記事の内容】 log パッケージ Print 関連 log.Print 関数 log.Println 関数 log.Printf 関数 Fatal 関連 Panic 関連 ログの設定 接頭辞 Prefix フラグ Flag 出力先 Output Logger 型 【修正】 log パッケージlog パッケージのパッケージドキュメントはこちら。 log パッケージに定義されている関数には以下のようなものがあります： // Print 関連 func Prin
Socketプログラミング · Build web application with Golang
8.1 Socketプログラミング 多くの低レイヤのネットワークアプリケーションの開発者の目には一切のプログラムがどれもSocketのように映ります。すこし大げさかもしれませんが、だいたいこのようなものです。現在のネットワークプログラミングはほぼすべてにおいてSocketを使用してプログラムされています。このような場面を考えたことはありませんか？毎日ブラウザを開いてページを閲覧する際、ブラウザプロセスはどのようにしてWebサーバと通信を行っているのでしょう？QQを使ってチャットする時、QQプロセスはどのようにしてサーバまたはあなたの友達がいるQQプロセスと通信を行なっているのでしょう？PPstreamを開いてストリーミング映像を見るとき、PPstreamプロセスはどのようにして動画サーバと通信を行っているのでしょう？このように、すべてはSocketに依存して通信を行なっています。ひとつを見
Go言語でbase58コマンドを作りました - プログラムモグモグ
Go言語でbase58コマンドを書きました。コマンドラインツールだけではなくて、Goのパッケージとして作っています。 github.com 仕事の関係でbase58を扱うことがあり、base64コマンドのように素早くコマンドラインで変換できるツールが欲しくなったので作りました。ご自由にお使い下さい。 コマンドラインツールは次のように使うことができます。 $ go get github.com/itchyny/base58-go/cmd/base58 $ base58 100000000 9QwvW 79228162514264337593543950336 5QchsBFApWPVxyp9C ^D $ base58 --decode # or base58 -D 9QwvW 100000000 5QchsBFApWPVxyp9C 79228162514264337593543950336
Go言語と暗号技術（AESからTLS）
最近マスタリングTCP/IP SSL/TLS編や暗号技術入門を読んでいた．理解を深めるためにGo言語で標準のcryptoパッケージを触り/実装を読みながら読んだ． cryptoパッケージは他の標準パッケージと同様に素晴らしい．Go言語にはどのような暗号化手法が実装されているのか実例を含めてざっとまとめる．なお本文に書ききれなかったものを含め全ての実装例はtcnksm/go-cryptoにある． 共通鍵暗号 まずは共通鍵暗号をみる．共通鍵暗号は暗号化と復号化に同じ鍵を用いる暗号化方式である．共通鍵暗号はブロック暗号とストリーム暗号の2種類に分けることができる．ブロック暗号は特定の長さ単位で暗号化を行う方式であり，ストリーム暗号はデータの流れを順次処理していく方式である． Go言語にはブロック暗号としてDES（Data Encryption Standard），DESを繰り返すtriple-D
他言語から来た人がGoを使い始めてすぐハマったこととその答え - Qiita
環境構築するまでに知りたかったこと Golangの最新バージョンは？ 1.16.6 (2020/07/12リリース) Goのインストール方法は? macOS の場合は brew で OK この場合、goのsdkは /usr/local/Cellar/go/<バージョン>/libexec にインストールされます。 IntelliJ IDEA や GoLand にような IDE に「GOROOT」というものの指定を求められたら、このパスを使います。 brew で入らないバージョンの go が必要だったり、いくつかのバージョンを併用したい場合は $ go get golang.org/dl/go1.14.4 $ go1.14.4 download # 1.xx.0 の場合 $ go get golang.org/dl/go1.15 $ go1.15 download # 上記でgo getしたg
ブロックチェーンを構築しながら学ぶ――Go言語の場合 - YAMDAS現更新履歴
少し前に「ブロックチェ−ンを構築しながら学ぶ」という翻訳記事を見かけたが、何かの仕組みを知るには構築するのが最短の方法、というのは確かにそうなのだろう。 ブロックチェーンを構築しながら学ぶという試みは他にもあって、Ivan Kuznetsov も Go 言語でこれを行っている。 Building Blockchain in Go. Part 1: Basic Prototype · Going the distance Building Blockchain in Go. Part 2: Proof-of-Work · Going the distance Building Blockchain in Go. Part 3: Persistence and CLI · Going the distance Building Blockchain in Go. Part 4: Transac
Goでスレッド（goroutine）セーフなプログラムを書くために必ず注意しなければいけない点 - Qiita
Goは言語機能として並列実行をサポートしているけど、Goで書いたからといって自動的にデータ構造がスレッドセーフになるわけではないので、スレッド安全性を気にしなければならないはこれまでの言語と変わらない。どういうケースが良くてどういうケースがダメなのかを理解していないと安全なプログラムは書けない。それについて説明をしよう。 まず第一にEffective Goのこの一文は覚えておこう。 Do not communicate by sharing memory; instead, share memory by communicating. メモリを共有することで通信しようとしないこと。代わりに通信することでメモリを共有すること。 変数の値を変更したあとにチャネルなどを使わずに、おもむろに別のgoroutineからその変数の値を読み書きしてはいけない。そういうやり方だと読み書き操作の前後関係がき
A Tour of Goの次にISUCONを書いてみた話 - Qiita
Intro goのチュートリアルとしてはA Tour of Goが鉄板だが、その次に何をするかというのは悩ましい問題である。 この記事ではgo学習のためにA Tour of Goの次の一手としてISUCONを実装して得た学びなどについて紹介する。 モチベーション まず学習のためにある程度の規模のサービスを書きたかったというのがある。元々作りたいものがあればそれを作っても良いが、今回はどちらかと言うと技術的関心の比重が大きかったので何を作るか考えるプロセスを省きたかった。そこで以前社内ISUCONを開催したことがあったのでこれを移植してみた。 ISUCONを題材に選ぶメリットとして以下がある。 仕様が固まっている 細かい点も参考実装があるので迷うことが少ない Webapp, Benchmarker, Portalまで書くとそこそこの規模になる ISUCONの性質上、ある程度の負荷に耐えられる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Golang Lazy Evaluation · GitHub