Goのロギングライブラリ 2021年冬 - moriyoshiの日記
この記事はPySpa Advent Calendar 2021の14日目のエントリーとして書かれました。昨日のエントリーは冷凍食品でウキウキ引きこもり生活 でした。ちなみに私も70ℓの冷凍庫を購入しましたが本当にライフチェンジングでした。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位
最近のGo Modulesプラクティス ~ ghqユーザーの場合も添えて | おそらくはそれさえも平凡な日々
最近Go Modulesを使っていて、だいたいプラクティスが定まってきたのでまとめてみる。 個人的な結論 Go Modulesは積極的に使っていけばいい 幾つか課題はある $GOPATH から出る必要もない $GO111MODULE を適宜設定すればよい どうせ次のGo 1.13からはどこに置こうが関係なくなる 2つのモード $GOPATH/src にプロジェクトを置いていると、今(Go 1.12)の標準動作はGOPATHモードになる。これは、$GOPATH/src 以下からサードパーティパッケージを読み込むこれまでのGoと同様の動作になるということ。 それ以外の場所では go mod コマンドを使ってGo Modulesを利用することができる。これをmodule-awareモードという。go.mod と go.sum を使って依存ライブラリを管理する方式になる。これらのファイルはgo m
Go Modulesの概要とGo1.12に含まれるModulesに関する変更 #golangjp #go112party - My External Storage
TL;DR Go Modules(vgo)はGo1.11から導入され始めたGoの新しいバージョン管理 Go1.12ではまだ有効にはなっていない(Go1.13からはデフォルトで有効になる） Go Modulesの概要とTipsなどを簡単にまとめた Go1.12のModules関連の変更をDockerを動かして確認してみた GOPATHi外でgo.modがなくてもgo run可能 replaceディレクティブで依存パッケージをローカルのコードを使って解決 etc… 確認に利用したDockerfileやスクリプトは以下のリポジトリにある。 https://github.com/budougumi0617/gomodules-explore vgo発表前のGoのバージョン管理は以下のような手法が取られていた。 go getでgo1タグ・ブランチもしくは最新のmasterブランチを取得する go g
`Wrap(err)` in our production #golang | Wantedly Engineer Blog
Go(Un)Conferenceについて Goが好きな人たちで軽食と飲み物をお供にGoの知見をゆるく発表していく会の第4回です。 第１回：4/17(火) Go(Un)Conference（Goあんこ）LT大会 1kg togetterのまとめ 第２回：5/25(金) Go(Un)Conference（Goあんこ）LT大会 2kg togetterのまとめ 第３回：7/26(木) Go(Un)Conference（Goあんこ）LT大会 3kg togetterのまとめ また誰かがGoと別の言語を比較してジェ 復習: なぜ `Wrap(err)` が必要なのか一言で言うと「エラー発生箇所のコンテキスト・情報（stacktrace, etc.）をちゃんと残すため」です． ここは実際の挙動を見るとわかりやすいので，コードで説明します．知ってる人は読み飛ばしてもらって大丈夫です． `Wrap(err
Golangでログを吐くコツ — KaoriYa
この記事は Go Advent Calendar 2018 の16日目の記事です。 Golangでプログラムを書く時にログを吐くの、どうしてますか? 本記事ではログを吐く際のコツというか気にして欲しい事項と、 なぜそうなるのかを解説していきます。 一概に「ログを吐く」と言っても、 ライブラリからログを吐く場合とアプリケーションから吐く場合では 相当に事情が異なります。 TL;DR ライブラリ(パッケージ)を書く時は… まずログを吐かないことを検討しましょう。 error で返してライブラリのユーザーにログへ吐かせるかどうかを選ばせましょう。 *log.Logger を使いましょう。 デフォルトは log.Printf に対して吐き(またはそれと同等のログを吐く)、 ライブラリユーザーの設定で任意の *log.Logger に切り替えられるようにしましょう。 自前の Logger インターフ
gRPCで動画ファイルの送受信を行ってみる - jongzの日記
Go4 Advent Calendar 2018 11日目です。 今回はgRPCを使ってmp4で作成した動画ファイルをstreamを使って送受信してみようと思います。 コードがあまりきれいでないかもしれませんがよろしくお願いします。 はじめに gRPCとは protoファイルの定義 Serverの作成 Clientの作成 完成！ まとめ はじめに 今回作成したサンプルコードはgithubに置いておきます。 github.com gRPCとは Googleが開発しているOpen SourceのRPC frameworkになり、Protocol Buffersを使ってサービス間のインターフェースをprotoファイルに定義します。また、試してませんが他言語間の通信も可能みたいです。 grpc.io Protocol Buffersでどう定義するのかは下記のドキュメントに詳しく書かれています。 d
goroutineはなぜ軽量なのか - Carpe Diem
概要 以前の記事で christina04.hatenablog.com Goはスレッドよりはるかに軽量なgoroutineでC10K問題を解決する、という話をしましたが、goroutineが軽量なのはなぜか？という理由を深掘りしたことがなかったのでしてみました。 環境 golang 1.11.1 Darwin 17.7.0 軽量と呼ばれる理由は２つ 大きく分けると以下の２つのポイントがあります スレッドに比べてメモリ使用量が低い スイッチングコストが低い それぞれ説明していきます。 goroutineがスレッドに比べてメモリ使用量が低いのはなぜか スタックとヒープのメモリの使い方を理解すると分かります。 ヒープはメモリの下層、プログラムコードのすぐ上にあり、上に向かって成長します。一方スタックは仮想アドレス空間の一番上にあり、徐々に下に成長していきます。 ref: イベントループなしでの
Goにおけるバージョン管理の必要性 − vgoについて −
Takuya UedaSouzoh, Inc. (affiliated by Mercari, Inc.) - Go Engineer
Essential Go
Essential Go is a free book about Go programming language. It's part of Essential Programming Books. It's written to provide clear and concise explanation of topics for both beginner and advanced programmers. Most examples are linked to online playground that allows you to change the code and re-run it. You can also quickly navigate to desired content using table of content on the left and search
Golangのスケジューラあたりの話 - Qiita
はじめに 今年に入ってから仕事でGolang書いてるのでスケジューラあたりについて調べた。ググってもあんまり資料が多くなかったんでまとめる。ソースコードを参照する時はGo 1.9.3を見た。わかりやすさを重視してあえて雑に説明しているところがあるけどご了承ください。 多分間違ってるところあるんで詳しい人は優しく教えてください。 goroutineあたりの基本的な話 goroutineはグリーンスレッド、つまりOSのスレッドは直接使ってない。なので、goroutineを作ることはネイティブスレッドを作る処理よりもはるかにコストが安い。このgoroutineを複数作るとランタイムが勝手にマルチスレッドで実行する。詳細は後述。 また、メインルーチンもgoroutineとして管理される。 スケジューリングの登場人物 重要な登場人物はM, G, Pの3人。 M(Machine) OSのスレッドに対応
Goでクリップボードにテキスト/ファイルリストの読み書きをする（Windows） - Qiita
Goにもクリップボード使えるライブラリありますが、ファイルリストの読み書きできるのなさそうなので作ってみました。Windows限定ですけど package main import ( "fmt" "syscall" "unsafe" "github.com/AllenDang/w32" ) // #include <string.h> import "C" type clipboardFormat uint const ( textFormat clipboardFormat = w32.CF_UNICODETEXT fileListFormat clipboardFormat = w32.CF_HDROP ) func isAvailable(format clipboardFormat) bool { return w32.IsClipboardFormatAvailable(uint
WindowsAPIを呼ぶ - はじめてのGo言語
Go言語からWindowsAPIを呼ぶ Go言語には、標準で多くのシステムコールが持つ機能が実装されていますが、それでも足りない場合があります。特にWindowsは、LinuxやMacOSXに比べて、不足していると感じる場合があります。 このような場合、直接自分でライブラリを読み込んで、システムコールを呼ぶ機能がGo言語には備わっています。 これはGoの標準パッケージでも行っている方法なので、syscallパッケージ内のソースコードを見るのが一番ですが、ここで簡単に説明します。 WindowsAPIを呼ぶ Goの標準パッケージ「syscall/zsyscall_windows.go」では、かなりの数のWindowsAPIがあらかじめ読み込まれています。ここにあるものは、syscallパッケージから簡単に呼ぶことができます。 ここで定義されていないWindowsAPIを使いたい場合の方法を説
goで書いたコードがヒープ割り当てになるかを確認する方法 · hnakamur's blog
2018-01-30 はじめに Allocation Efficiency in High-Performance Go Services · Segment Blog という記事を読みました。素晴らしいのでぜひ一読をお勧めします。 この記事は自分の理解と実際に試してみた結果のメモです。 一番のポイントは go build -gcflags '-m' のようにオプションを指定してビルドすればコードのどの箇所でヒープ割り当てが発生したかを確認できるということです。 pprof や go test -benchmem でもヒープ割り当ての発生回数は確認できますが、上の方法ではコードのどこ(何行目の何カラム目)でヒープ割り当てが発生したかとなぜ発生したかの理由を確認できます。 元記事の内容メモ 冒頭にあげた記事を読んで私が理解した内容のメモです。 元記事の全ての内容を書いているわけでないので、元
Goのコマンドラインツールをセルフアップデートするためのライブラリつくった - はやくプログラムになりたい
突然ですが，Goでコマンドラインツールを書く時，ツールの配布はどうしているでしょうか？ go get でインストールできるようにする GitHub 上にリリースして，ダウンロードして使ってもらう システムのパッケージマネージャ（Homebrew など）を使う などがメジャーかと思います． ただ，これらの選択肢はどれも問題があります． go get -u は常にリポジトリの HEAD をインストールしてしまうため，ユーザがインストールしたタイミングに依存したバイナリができてしまいます．これを避けるには dev ブランチを切ってそっちで開発する必要がありますが，Go のツールはそうなってないものが多く，どのタイミングで go get -u したら良いかユーザには容易に判断できません．また，仮に dev ブランチ運用したとしても依存ライブラリの更新のタイミングは制御できず，vendoring な
Goツールのクロスビルドとパッケージングのためのgoxzというツールを作った | おそらくはそれさえも平凡な日々
Goツールのクロスビルドと成果物生成には個人的に長らく、goxcを愛用していましたが、その乗り換えとして、goxzというのを作った。go + x(cross) + z(zip)でgoxz。便利です。 https://github.com/Songmu/goxz goxcは非常に高機能なのですが、僕がその機能の一部しか必要ないことや、goxcのメンテ自体も止まっている(とオフィシャルでも案内されている)ことが気になったので作りました。 具体的には「Goツールのクロスビルドと成果物のアーカイブ生成をパラレルにおこなう」ことしかしない。アーカイブ生成時に、リポジトリからLICENSEやREADMEを自動的にかき集めるのはやってくれます。 基本的には「設定より規約」という感じで、良い感じのデフォルトを決め打ちにして、あまり細かい設定項目などは作らない想定です。 インストール https://git
Big Sky :: 簡単に goroutine の実行個数を制限する方法
Go は簡単に軽量スレッドが起動できるのがウリなのだけど、その使い方が難しいと思われているきらいがある。 Goへの誤解について - GolangRdyJp よくGoで誤解されるポイントについて個人的な見解を書いておきます。 今回の記事は Goアドベントカレンダー2017 その3 の20日目の記事です。 使ってないパッケージがコンパイルエラーって面倒じゃね... http://golang.rdy.jp/2017/12/20/go-fact/ 慣れていない間は、処理を並行化する際に「どうやったら並行化できるんだ」が分からない事があるのだと思う。 Big Sky :: golang の channel を使ったテクニックあれこれ golang の channel は他の言語に見ない独特のパラダイムを開発者に提供します。 単純にスレッド間でメッセージングをするだけでもC言語で書けばそこそこの量に
The complete guide to Go net/http timeouts
When writing an HTTP server or client in Go, timeouts are amongst the easiest and most subtle things to get wrong: there’s many to choose from, and a mistake can have no consequences for a long time, until the network glitches and the process hangs. HTTP is a complex multi-stage protocol, so there's no one-size fits all solution to timeouts. Think about a streaming endpoint versus a JSON API versu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Go の最初の手順 - Training
http.RoundTripperでHTTPクライアントを拡張する - Qiita
GitHub - go-vgo/robotgo: RobotGo, Go Native cross-platform RPA and GUI automation @vcaesar
