Parquetフォーマット概観 - 発明のための再発明
Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
消すだけなのに rm -rf がいっつも長くて待ちきれない問題 - kuenishi's blog
rmコマンドで大量のファイルを削除しようとするとjournaldがめっちゃリソース持っていく件— bokko (@cubicdaiya) 2017年8月3日 今時のファイルシステムはみんなジャーナルもってて何かあったときにそこからリカバリする仕組みになってるので、当たり前といえばそうなんだけども。 （TODO: ここにファイルシステムのツリー＋ジャーナルのポンチ絵を手描きでも何でも描く） ご本尊のデータのツリーと何らかのWALを1セットで持っておくのはRDBだろうがファイルシステムだろうがそうは変わらない、で、削除についても並行制御をうまくやるために削除フラグをログに入れておいてあとで本尊のデータを整理するというのが基本的な設計になる。そこで私は立ち上がった（TL;DR: 特にオチとかはないです）。 rm -rf が遅いのは人類にとって損失ではないか。もっと速く完了するようにすれば、 rm
プログラマじゃない人でもAI対話用にJSONを学ぶのが最高効率という提案
この文章はプログラマじゃない人向けに JSON を知ってもらうメリット、とくにAIとの効率的な対話方法を説明し、そしてあわよくばプログラマとも JSON の水準で会話してもらえたら嬉しい…というものです。 あなたは誰 UI を作るのが専門のエンジニアです。 エンジニア以外が使うノーコードのエディタを作ったりしてました プログラマじゃない人が JSON を知る利点 プログラマとして、プログラマじゃない人向けのノーコードなどを作っていたんですが、わかったことがあります。それは、「抽象的なロジックを記述するには訓練が必要だが、眼の前のデータとUIに対応したものは簡単に変更・記述できる」ということです。 自分の考える、もっとも成功したノーコードエディタこと Google Form JSON はよく知られているデータを記述する方法の一つです。特定の言語などとは関係ありません。 で、今現在 JSON
Goのsql.DBは、いつプールに戻しているのか
はじめに 鍵を閉め忘れたような気がして心配になるように、リソースを後始末していたか心配になることはありませんか。 「習慣的にdeferでCloseしてるからリークしないはずたけど。あれ？トランザクションはしてなかったかも。ん？Closeないの！？」 Goの標準ライブラリの database/sql で中心となる sql.DB ではデフォルトでコネクションプールが使われるようになっていて明示的な操作は不要です。 ではいったい、どのタイミングでプールに返却されているのか、パターンを整理してみました。 準備 挙動の確認でINSERTやSELECTを実行するため、PostgreSQLに簡易なテーブルを作成しました。 CREATE TABLE shop ( id serial PRIMARY KEY, name text NOT NULL, created_at timestamp with tim
Go製アプリケーション/ライブラリにおけるメンテナンス性を重視したGoのバージョン管理戦略 - Diary of a Perpetual Student
2024-08-28 GOTOOLCHAIN=auto時にはtoolchainディレクティブに指定したものより新しいGoがインストールされていても戻るわけではないという話を追記しました。 Go言語では半年に1回メジャーリリース（マイナーバージョンの更新）がやってきます。ちょうどこの8月にGo 1.23がリリースされたばかりです。Go言語のメジャーリリースは最新2つ分までサポートされるポリシーであることがhttps://go.dev/doc/devel/releaseに書かれています。現在であればGo 1.23やGo 1.22はサポートされており、Go 1.21はサポートが切れているということです。 また、サポートされているバージョンでは、不定期でマイナーリリース（パッチバージョンの更新）がやってきます。バグ修正や脆弱性対応がメインですね。 Goがリリースされると、Goでアプリケーションを作
Goのサーバーでcontext canceledをハンドリングする
はじめにGoでechoを使って以下のようなサーバーを作っていました。 var db *sql.DB func main() { e := echo.New() e.POST("/", func(c echo.Context) error { ctx := c.Request().Context() // 自身の管理するDBに保存する db.ExecContext(ctx, "INSERT INTO ...") // 別のサーバーで管理するDBに保存する req, err := http.NewRequestWithContext( ctx, http.MethodPost, "http://localhost:8081/", nil, ) if err != nil { return err } res, err := http.DefaultClient.Do(req) ... retu
プロダクトのスケールによって顕在化しうるリスクをどう管理するか？
SRE NEXT 2024での登壇資料です https://sre-next.dev/2024/schedule/#jp040 System Risk Records テンプレートはこちら: https://docs.google.com/spreadsheets/d/e/2PACX-1vT2…
Problem Details (RFC 9457): Doing API Errors Well
HTTP APIs play a critical role in orchestrating the seamless exchange of value across software applications. These invisible highways of data are fundamental to the services we use daily, from social media platforms to mobile banking apps. Yet, as with any form of communication, clarity and structure are paramount, more so when conveying "bad news", such as errors. Unfortunately, effective error c
ネットワークコネクションの切断と Go の HTTP/2 クライアントのタイムアウト - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、クラウド基盤本部の向井です。 幸いにも cybozu.com を運用しているデータセンター内のネットワークは（担当チームの尽力により）安定していますが、ネットワークコネクションは常に切断されるリスクがあることを念頭においておく必要があります。その原因が一時的なネットワークの不調だったり、関係するコンポーネントのメンテナンスに伴う瞬断であったりした場合、アプリケーションは適切にリトライするなどして処理を継続したいところです。一方で、このような場合には OS によるプロトコルの実装やライブラリによって隠蔽された動作により、一見不思議に見える挙動に悩まされることも少なくありません。本記事では、一例として私が所属するチームで開発している Go を使って開発されたコンポーネントで経験したネットワークコネクションの切断に伴うトラブルと、その解決に利用した Go の HTTP/2 クライアン
元Google植山 類の“実装力”の源をSakana AI・秋葉拓哉が探る「集団開発のしがらみに、個人開発で殴りこむ」 - エンジニアtype | 転職type
moldを作ったのは「大学院の単位を取るため」だった 秋葉：植山さんと最初に接点を持ったのは、僕がマウンテンビューのMicrosoft Researchでインターンをしていた時だったと記憶しています。エンジニアならば誰が見ても驚くような開発を成し遂げ続けているので、ぜひ詳しくお話を聞きたいと思い対談のリクエストをさせていただきました。 植山：ありがとうございます。初めてお会いした当時から、秋葉さんはプログラミングコンテストの上位ランカーで実力があって、おまけに話も上手かった。なかなか直接関わる機会はなかったけど、時流に乗ってディープラーニングに着手して活躍しているという話はよく耳にしていました。 秋葉：確かに、植山さんと知り合った頃はまだディープラーニングには手を出していなかったですね。今ではAIへと専門領域を移して久しいので、振り返ると長い時間が経ちました。 今回は、個人の力で優れたプロ
サービス開発の施策に納得できない時にエンジニアができるアクション - $shibayu36->blog;
サービスの開発をしていてPMから施策案が出てきた時、ソフトウェアエンジニアとして施策案が本当にユーザーのためになりサービスの成長につながるか納得できないことがある。 このような時にただ文句や愚痴を言っても何も始まらない。エンジニアからも何らかのアクションを起こし施策を前に進める必要がある。 そこでエンジニアができるアクションについて、自分が思っていることを書いてみる。 納得できないケースは大まかにどのようなものがあるか 納得できないケースでは大まかに2つのケースがあるのかなと思っている。 (1) 施策をしたい目的や仮説自体に納得できていない (2) 施策の目的や仮説は良いが、それを達成する手段に納得できていない 1つ目は、たとえば「ターゲットとしているようなユーザーって本当にいるか？」「ユーザーにこういう課題があると言っているが本当にそういう課題があるか？」「この指標に繋がると言っているが
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
非効率で遠回りな学習が一番効率的で応用が利く｜shinshinohara
教科書や参考書を使った効率的学習がとても非能率で、遊びの中で好きなことを好きなだけ学ぶ非効率なやり方がとても能率がよいのは気がついていたけど、それがなぜなのか、長らく言語化が難しかった。人工知能の研究の話を聞いてから、「ああ！だからか！」と納得がいった。 昔の人工知能では、モノをつかむということがとても難しかったらしい。いくら「正解」を覚えさせても少しズレたり荷物の形が違うだけでつかめなくなってしまう。応用力がまるでなく、なかなか使い物にならなかったらしい。 しかし「深層学習」という手法を取り入れてから、劇的に改善したという。 深層学習では、「正解」を教えない。ただ、右から左へ荷物を動かそうとする「動機」だけプログラムする。するとロボットアームは何度も荷物をつかもうとトライしては落とす。何百回、何千回も失敗を重ねる。そして一つ一つの失敗から学習を重ねていく。すると。 やがて「こういう形の荷
W3C Trace Contextについて - Qiita
本記事はOpenTelemetry Advent Calendar 2023の16日目の記事になります。 昨日は@munisystemさんのOpen Agent Management Protocol (OpAMP) についてでした。 本記事ではW3C Trace Contextの内容を要約しています。 また、本記事を読む前にOpenTelemetry Advent Calendar 2023 3日目の@sumirenさんによるOpenTelemetry 分散トレーシングのシステムアーキテクチャを読んでいただくと理解が深まると思います。 OpenTelemetryとの関係性 OpenTelemetryのContext Propagationは複数のフォーマットをサポートしていますが、デフォルトで使用されるフォーマットがW3C Trace Contextになります。つまり標準ではW3C Tr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Technology that powers Lambda / AWS Lambda を支える技術
GitHub - sirupsen/napkin-math: Techniques and numbers for estimating system's performance from first-principles
重いALTER TABLEの実行中に進捗状況を確認する方法 - CyberAgent SRG #ca_srg
Protobuf Global Extension Registry
Dial tcp: lookup i/o timeout
fmt.Formatterを実装して%vや%+vをカスタマイズしたり、%3🍺みたいな書式をつくってみよう #golang - Qiita
