出典:国立国会図書館ウェブサイト （https://ndlsearch.ndl.go.jp/books/R100000002-I000007324904#bib） 『むぢなのかたきうち』,[江戸前期]. 国立国会図書館デジタルコレクション （ https://dl.ndl.go.jp/pid/2541118 ）を加工して作成 『[お伽噺]』かち[カチ]山,宮田伊助,明14.9. 国立国会図書館デジタルコレクション （ https://dl.ndl.go.jp/pid/1167998 ）を加工して作成 巌谷小波 著『桃太郎主義の教育』,東亜堂書房,大正4. 国立国会図書館デジタルコレクション （ https://dl.ndl.go.jp/pid/933639 ）を加工して作成 三浦藤作 著『少年日本昔噺読本』,大同館書店,昭和9. 国立国会図書館デジタルコレクション （ ht
日本の囲碁は江戸時代以来、囲碁の家元四家が俸禄をもらう立場となり、切磋琢磨をしてきて長らく囲碁の本場となっていた。 しかし1980年代に韓国に追いつかれると、1990年代では抜き去られ、以後差が縮めることをできずここ30年ほど後塵を排してきた その差は依然として大きく、世界戦が開催されては日本の棋士は大体二回戦までに全滅する、ということが続いてきていた しかしここに来て最近日本勢の調子がいい 井山が爛柯杯にてベスト4まで進出すると、なんと応氏杯という4年に1度開催される囲碁のオリンピックで一力遼が元世界1位棋士、現在でもトップクラスの棋士・柯潔を三番勝負で破り決勝へ進出したのだ！ これは1996年の依田紀基以来、実に28年前ぶりの快挙だ そして日本の棋士はまだこの大会で優勝したことがなく 第10回にして日本勢初の優勝がかかった決勝なのである！ しかしこの快挙と大一番が全く日本中に知れ渡って
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
はじめに ウホウホ。 Rustを使い始めてちょうど2年くらい経って、すこしRustのことがわかってきたので、改めてGoとRustのそれぞれの違いを整理したいなと思いこの記事を書きました。 筆者はウェブ開発の経験しかないので、ウェブを中心にまとめています。 気づいたらかなりな量になってしまったのとGopher向けにRustを紹介するような記事になってしまいましたが、よければ読んでみてください。 筆者について Goを使い始めて7年ほど経っていて、これまでCLI/TUIツールをいくつか作ってきました。 スペシャリストではないですが、プロダクトでGoを書く分には特に問題ないレベルかなと思います。 Rustは2022年夏ころから使い始めてちょうど2年ほど経ちました。 なにかツールを作ったわけではないですが、勉強がてらにいくつか作ったもの・書いた本があります。 普通にRustを書く分には問題ないですが
Go でマルチスレッドプログラミングする際に最低限知っておくべきこと - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤 Stage) DAY 10 の記事です。 こんにちは。クラウド基盤本部の野島です。Go は goroutine やチャネルなどの仕組みが備わっており、簡単にマルチスレッドなプログラムを書くことができる言語だと言われています。しかし、マルチスレッドプログラミングには独特の罠があり、何も知らない人が雰囲気でコードを書くとわかりにくいバグを仕込んでしまうリスクが非常に高いです。 この記事では、マルチスレッドプログラミングに詳しくない人に向けて、そのような罠を避けるための方法を紹介します。この記事は Go の基本的な使い方を知っていることを前提としています。 這い寄るデータ競合の恐怖 まずは以下のようなプログラムを考えてみましょう。これは複雑な計算を行って結果を返すような HTTP サーバーのコードです。 // 複雑
ちょっとJavaのsynchronizedをGoに移植しようとしたはずが、なぜか１万文字の作文ができた - エムスリーテックブログ
AI・機械学習チームのブログリレーも9日目になりました。同チームの横本@yokomotodです。 本日はJavaとGoを題材に並行プログラミングまわりの自由研究をしたお話をしてみたいと思います。 3部構成で、パート1では発端となった「排他制御」について、パート2では「メモリの可視化」について、それぞれJavaとGoを比べてみました。 最後にパート3では、それらの動作を規定する「メモリモデル」について、わかりやすく解説されているリソースを紹介します。 長過ぎる！ 3行で！！ パート1: synchronized = 「排他制御」？ Java synchronized vs Go sync.Mutex Goで再入可能なロック？ 仮にGoで再入可能なロックを実装するなら？ Javaが再入可能を選択した理由 パート2. sycnhronized = 「排他制御」＋「メモリ可視性の保証」 Javaの
この件について、X（Twitter）上で問題提起をおこなったのは、神奈川県藤沢市にある江ノ島タクシーの公式アカウント。特に「GOアプリ」を使用する人に向けて、モラルやマナーについて呼びかけています。 江ノ島タクシーの場合では、「GOアプリ」を通じて発生しているといい、こうしたキャンセル方法では「システム上、（タクシー会社側では）キャンセル料としても回収できないことになっています」とのこと。 ちなみにアプリ利用者に対しキャンセル料金が発生する場合でも、「GOアプリ」側のみに支払われ、タクシー会社には支払われない仕組みになっているそうです。 江ノ島タクシーの公式Xは「システム上出来てしまうのが悪いと言われればそれまで」と前置きしながらも、タクシー会社には人件費や燃料費がかかり、ドライバーは売上にならないので給与にも影響が出てしまうと説明。 最後に「ご利用のお客様におかれましては、モラルを守って
はじめに Goで自作RDBMSに挑戦してみたログです。自作、といっても大部分は参考にした書籍の移植です。 ここ1年くらいRDBに向き合う機会が多く、その内部実装を手を動かしながら身を持って理解してみたいというモチベーションから始めてみました。ちょうど会社の『内部構造から学ぶPostgreSQL』読書会に参加したこともモチベーション上げるきっかけとなりました。 (他の方の記事ですが、読書会の記録はこちら↓) 『内部構造から学ぶPostgreSQL』読書会を完走した感想 ［改訂3版］内部構造から学ぶPostgreSQLの社内読書会振り返り データベースをデータの箱としか思っていなかった私の『内部構造から学ぶPostgreSQL』を読んだ感想 普段何気なく使ってるRDBMSですが、ACID特性を守るため・大量の読み書きを捌くため、非常に緻密に設計されております。 これを完全再現といかなくとも自分
AWS Summit Japan 2024, AWS Game Day 振り返り - NIFTY Tech Talk #20
Goのテンプレートエンジン「templ」が便利（TinyGoでも動くよ） - kasu.log
あらすじ Go で素朴な HTML を返すアプリケーションを動かしたくなり、 Wasm に変換してデプロイすることができる Cloudflare Workers を使うことにしました。 Cloudflare Workers に Go アプリケーションをデプロイする際には、id:f_syumai さんのテンプレートがオススメです。 github.com Go + text/template まずは、素直に text/template 使ってビルドしてみます。 ❯ ls -lh ./build total 15656 -rwxr-xr-x 1 ergofriend staff 7.6M 8 8 20:12 app.wasm -rw-r--r-- 1 ergofriend staff 1.2K 8 8 20:12 shim.mjs -rw-r--r-- 1 ergofriend staff 16
Introduction In our previous exploration, we delved into the simplicity of HTTP/0.9, a protocol that served as the web’s initial foundation. However, as the internet evolved, so did its needs. Enter HTTP/1.0, a landmark version released in 1996 that laid the groundwork for the web we know today. HTTP/1.0 was a game-changer, introducing features that revolutionized web communication: Headers: Metad
🎮 ゲームプログラミングを始めよう！🎮 プログラミング未経験でもゲーム開発未経験でも大丈夫！オカンにも分かるように徹底的に噛み砕いて易しく解説！ 環境構築がお手軽で、非常にシンプル、かつ高性能なGoとEbitengineで、ゲーム開発のすべてを学びましょう！ 【現在、日々更新中です！2024年末までの完成を目指しています！】
AWS については利用していないのでよくわからない。あくまで Erlang/OTP で書かれたミドルウェアのリプレイス事例として感想を雑に書く。ちなみに、現地で発表を聞いている。 一般的な感想 自分のような AWS 素人が見てもわかりやすいシンプルなシステムになっていた HTTP/2 を利用した独自プロトコルでの双方向通信が気になる TCP/IP を利用した大量の常時接続は本当に大変だとおもう カーネルパラメーターチューニング！ 少ないリソースで、たくさんの接続を担う ゴールが素晴らしい デプロイの自動化を GitHub Actions でやってるのやっぱりいい 負荷試験にて1億台の接続を維持した状態で挙動が問題ないことを確認 最高 Graviton ベースの Fargate の活用 Go であれば arm64 向けバイナリがサクッと生成されるのは良い Erlang/OTP から Go へ
Go 1.23のイテレータについて知っておくべきこと
はじめに 2024年8月13日、Go 1.23がリリースされ、ついにイテレータが利用可能となりました。 この記事では、Goのイテレータについて、 どうやって使うのか どこまで知っておく必要があるのか を理解することをゴールとします。 基本的な知識 基本的な知識としては、以下の内容を知っていれば問題ないです。 for文のrangeループの仕様が変わった 関数を対象にrangeループを回せるようになる rangeループの対象にできる種類の関数をイテレータと呼ぶ イテレータには3種類ある for文のrangeループの仕様が変わった Go 1.22までは、for文によるrangeループの対象にできたのは、配列, slice, 文字列, map, channel, 整数だけでした。 Go 1.23で、ここに関数（ただし、特定の形式に限る）が加わりました。 ここで、rangeループの対象にできる形式の
はじめに こんにちは。Repro で新規事業の開発をしている冨永です。 我々のチームでは主に、ユーザーのイベント集計を定期的にバッチ処理するフローで Go を採用しています。 Go で RDB など外部依存のあるコンポーネントを扱うテストをする際 interface などで抽象化しモックすることが多かったのですが、実際にその部分の挙動が確かめられないという不安がありました。 そこで今回は testfixtures というライブラリを使って実際に DB アクセスするテストを書いてみたのでその紹介です。 きっかけ まずはチーム内でテストに関する共通認識を作るためワークショップを実施しました。 各々の『知りたいこと』『教えたいこと』『議論したいこと』を話し合った結果、以下のような話題が上がりました。 今回は特に『外部依存のあるコンポーネントでテストが書き辛い』というトピックが盛り上がり、その中で
Go の iter パッケージを使ってみよう
はじめに Go 1.23 で iter パッケージが導入されました。この iter は抽象化されたイテレータを示す仕組みと実装です。未だどの様に活用して良いか分からない方もいると思いますので、使い方を簡単に解説しようと思います。 概念 iter パッケージは、現状は for-range でのみ利用可能です。スコープにコンテキストを持ったロジカルな列挙可能オブジェクトと、それを別のスコープにて for-range でイテレートする際に便利です。 これまでであれば、こういった実装は goroutine と channel を使いスコープを分割させる事で実装してきました。 package main func iter1[T any](a []T) func() (T, bool) { ch := make(chan T) go func() { defer close(ch) for _, v
Goのiterの知らなくても良いこと
本記事ではGoのiter(イテレーター)についての「知らなくても良いけど知っていたらイザという時に助かるかもしれないこと」を紹介します。iterの基本的な使い方等は説明しませんので、以下のmattnさんによる記事を参照してください。 Goのiterの実現方法 では本題。Goのiterとはコルーチンです。Goにおけるコルーチンの導入はRuss CoxのCoroutines for Goという記事にその分析と設計が書かれています。同記事の日本語による拙作のメモがありますので気になる方はそちらもご参照ください。 Russ Coxはこの記事において、コルーチンとはコールスタックの分離と任意の場所への付け替えだ、と分析しました。またgoroutineとチャンネルを用いてコルーチンを実装し、満たすべき機能的要件を明らかにし、また性能的要件からGo言語本体に必要な変更を示しています。この機能と性能の要件
Goroutines in Go (Golang) - Welcome To Golang By Example
This is the chapter 23 of the golang comprehensive tutorial series. Refer to this link for other chapters of the series – Golang Comprehensive Tutorial Series Next Tutorial – Channel Previous Tutorial – Iota Now let’s check out the current tutorial. Below is the table of contents for current tutorial. Overview Goroutines can be thought of as a lightweight thread that has a separate independent ex
構造化ログと実装 -Goのslogによる実践- - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤本部 Stage) DAY 4の記事です。 クラウド基盤本部Cloud Platform部の pddg です。cybozu.comのインフラ基盤移行まだまだがんばっています。 今回の記事は、社内向けに書いていた「構造化ログとは何か・Goのslogパッケージをどう使うべきか」という話を一般向けに書き直したものです。なんとなくslogを使っているという状態から、チームでどのようにログを取るべきか方針を決められるようになるくらいの状態に持っていくための一助になればと思います。 背景 構造化ログに求められるもの 機械的に読み取り可能なフォーマット ログメッセージとパラメータの分離 一連の操作を特定するパラメータの付与 適切なメタデータの付与 slogパッケージによる実践 機械的に読み取り可能なフォーマットで出力する グ
ネットワークコネクションの切断と Go の HTTP/2 クライアントのタイムアウト - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、クラウド基盤本部の向井です。 幸いにも cybozu.com を運用しているデータセンター内のネットワークは（担当チームの尽力により）安定していますが、ネットワークコネクションは常に切断されるリスクがあることを念頭においておく必要があります。その原因が一時的なネットワークの不調だったり、関係するコンポーネントのメンテナンスに伴う瞬断であったりした場合、アプリケーションは適切にリトライするなどして処理を継続したいところです。一方で、このような場合には OS によるプロトコルの実装やライブラリによって隠蔽された動作により、一見不思議に見える挙動に悩まされることも少なくありません。本記事では、一例として私が所属するチームで開発している Go を使って開発されたコンポーネントで経験したネットワークコネクションの切断に伴うトラブルと、その解決に利用した Go の HTTP/2 クライアン
func ecsNewListTasksIterator(ctx context.Context, c *ecs.Client, in *ecs.ListTasksInput) func(func(*ecs.ListTasksOutput, error) bool) { return func(yield func(*ecs.ListTasksOutput, error) bool) { for { out, err := c.ListTasks(ctx, in) if err != nil { yield(nil, err) return } if !yield(out, err) || out.NextToken == nil { return } in.NextToken = out.NextToken } } } client := ecs.NewFromConfig(awsCfg
GO Feature Flagでお手軽フィーチャーフラグ導入 - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24 (kintone Stage) DAY 3の記事です。 こんにちは、kintoneチームの川向です。 今回は簡単に使えるフィーチャーフラグシステムのGO Feature Flagを紹介します。 フィーチャーフラグとは フィーチャーフラグは、コードを変えずに挙動を切り替える仕組みです。 コードのイメージはこちらです。newFeatureFlag.enabled()の結果が外部の設定ファイルやフィーチャーフラグシステムの設定によって変わり、それによって機能を切り替えます。 if ( newFeatureFlag.enabled() ) { newFeature(); } else { oldFeature(); } これにより、新しい機能の一部のユーザへの段階的公開や、A/Bテストなどが可能になります。 フィーチャーフラグシステ
GopherがRust入門したので違いをまとめてみた
はじめに ウホウホ。 Rustを使い始めてちょうど2年くらい経って、すこしRustのことがわかってきたので、改めてGoとRustのそれぞれの違いを整理したいなと思いこの記事を書きました。 筆者はウェブ開発の経験しかないので、ウェブを中心にまとめています。 気づいたらかなりな量になってしまったのとGopher向けにRustを紹介するような記事になってしまいましたが、よければ読んでみてください。 筆者について Goを使い始めて7年ほど経っていて、これまでCLI/TUIツールをいくつか作ってきました。 スペシャリストではないですが、プロダクトでGoを書く分には特に問題ないレベルかなと思います。 Rustは2022年夏ころから使い始めてちょうど2年ほど経ちました。 なにかツールを作ったわけではないですが、勉強がてらにいくつか作ったもの・書いた本があります。 普通にRustを書く分には問題ないですが
🎮 ゲームプログラミングを始めよう！🎮 プログラミング未経験でもゲーム開発未経験でも大丈夫！オカンにも分かるように徹底的に噛み砕いて易しく解説！ 環境構築がお手軽で、非常にシンプル、かつ高性能なGoとEbitengineで、ゲーム開発のすべてを学びましょう！ 【現在、日々更新中です！2024年末までの完成を目指しています！】
makeshopの新決済画面 SmartCheckoutでのOpenAPI(3.0)活用事例 - GMO MAKESHOP engineer blog
こんにちは、プロダクト開発部コアグループの井上です。 コアグループでは、次世代ECの開発を行っています。 現在makeshopでは、決済画面をリニューアルするプロジェクトが進行しており、4月に第一弾がリリースがされました。 今回はその中でのOpenAPI(3.0)を活用した開発を紹介したいと思います。 概要 コード生成 packageの指定 生成対象の指定 フィールドのオプション x-go-type x-oapi-codegen-extra-tags ドキュメント コード生成のカスタマイズ 1. カスタムテンプレートを利用する 2. 生成されたGoのコードをいじる ハマったところ まとめ pathを考えるのがしんどい namespace, packageに相当するものがない 概要 今回のプロジェクトでは、私の所属するチームはAPI部分を担当しています。 そのBFFではOpenAPIとコード
Go を書くとき公開されている API や、そのコメントに不足や余分がないかチェックするために GoDoc を使っていた。特にプライベートパッケージはインターネットからドキュメントを参照できないため、GoDoc をローカルで起動し、チェックしていた。 syfm.hatenablog.com ただ、Go modules が登場し、GoDoc から pkg.go.dev へ移行したため、pkg.go.dev と GoDoc のどちらも使っているような状況になっていた。 また、GoDoc には Go modules 関連機能がなかったり、pkg.go.dev にはどんどん新機能が入るのに対し GoDoc には実装されなかったりと違いが大きくなってきた。 そこで godoc コマンドのようにローカルで pkg.go.dev 形式のドキュメントを見ることができないかを調べた結果、golang.org
Goの次世代を担うNext Expertsが語る、プライベートクラウドを支えるエンジニアリングのあり方 | CyberAgent Way サイバーエージェント公式オウンドメディア
渋谷拓真 (グループIT推進本部 CIU) 2022年新卒入社。Goにおける当社Next Expertsであり、Go領域において史上最年少で就任。CA 1Day Youth Boot Camp Go Rookie Gymをはじめとした社内のGoイベントのリード、社外イベントをはじめ数多くのイベントに登壇。「Go Conference 2024」 主宰。golang.tokyo運営。Kubernetes、Kubernetes SIGsメンバー。 ── 渋谷さんの、現在のお仕事や役割について教えて下さい。 現在は、サイバーエージェントグループ全体のインフラを支える組織 CIU(CyberAgent group Infrastructure Unit)でインフラエンジニアをしています。CIUは主に、プライベートクラウドである「Cycloud」を開発・運用しています。「Cycloud」は複数拠点の
この記事は Voicy Advent Calendar 2021 3日目の記事です。 Voicyのバックエンドエンジニアの会沢です。 突然ですが、みなさんは、ビルドツールについて興味はありますか？ あまり目立たないところですが、ビルドの待ち時間は開発の効率化に大きく影響する部分の一つなので、常にキャッチアップしていきたいところです。 前職では、OpenCVやQTやffmpegなどマルチプラットフォームの大規模ライブラリのカスタムコンパイル職人をさせられたりしていたので、今回は、各種のビルドツールを軽く振り返りつつ、最近注目のBazelをgolangでビルドする方法についてまとめてみました。 ビルドツールについて プログラミング言語の仕様は、本来、標準ライブラリとコンパイラの実装に依存します。 そのため環境環境が違えば異なるソースコードを書く必要があります。 しかし、C言語、C++、Cuda
protobufとgrpcのGoコード生成先ディレクトリの指定を、protocコマンドのオプションで行う
protoc --go_out=. --go_opt=paths=source_relative \ --go-grpc_out=. --go-grpc_opt=paths=source_relative \ helloworld/helloworld.proto
Golangでmoduleのキャッシュを削除
背景 問題の分離のために、go moduleのキャッシュを削除したかった。 たまにキャッシュが悪さして挙動がおかしい事象が起こる。 解決策
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「カチカチ山」とかいう和製サウスパーク、いつからヌルくなったのか
いま日本の囲碁界で35年越しの偉業が成し遂げられるかもしれないのでもっと知られて欲しい
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
GopherがRust入門したので違いをまとめてみた
タクシー利用者のモラルの低下にタクシー会社から切実な「お願い」 | おたくま経済新聞
Goで自作RDBMS - abekoh's tech note
無料で楽しむ Go サーバー開発のススメ
HTTP/1.0 From Scratch
【連載中】Go言語とEbitengineによる ゼロから始めるゲームプログラミング
"Nintendo Switch™ 向けプッシュ通知システムのリプレイス事例" の感想
Go で実 DB を使ったテストをしてみた - Repro Tech Blog
aws-sdk-go-v2のページングがあるAPIをGo 1.23のイテレーターで実装する
【連載中】Go言語とEbitengineによる ゼロから始めるゲームプログラミング
ローカルで pkg.go.dev 形式のドキュメントを閲覧する - blog.syfm
ビルドツールのあれこれとGolang＋Bazelの導入 - voicy tech blog