Parquetフォーマット概観 - 発明のための再発明
Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
オーバーエンジニアリングしないために心がけていること - $shibayu36->blog;
オーバーエンジニアリングしてしまうという悩みがあって困っている、そのうち必要になるのではないかという気持ちになって無駄に抽象化して頑健にしてしまう。じゃあ素朴にやればいいのかというと、例えばDBスキーマみたいな要素は素朴になってはならないという難しさもある— Windymelt💀(めるくん)🚀❤️🔥 (@windymelt) 2024年9月12日 上のツイートを見かけたので、自分は何を心がけているか書いてみる。 結論 プロダクト方針的に起こりそうな未来を想像する 想像した未来が起こったとして、どのような実装になりうるかをざっくり考える その上で、その未来が起こったときに「詰む」ことがなさそうな一番シンプルな設計にする 前提: あらゆる未来の変更に強い抽象化はない 設計を考えていて複数案を出すと、結局トレードオフが存在することがわかる。案Aを選択すると、こっちの未来には対応しやすいが
会議のファシリテーションをほめてもらった - Mitsuyuki.Shiiba
うれしかった。ので、メモ。 僕のいるチームのプロジェクトで、複数のチームにサポートしてもらいながら進める必要がある、ちょっと大きなものが始まりそうだったから、キックオフ前のキックオフやっとこかーってなって司会をした。オンラインミーティングね。 最初にこの会の目的を説明 今日のアジェンダのページのリンクは事前に共有もしていましたけど、いまSlackにもポストしておきましたー。 まだプロジェクトは始まってないんだけど、事前に調査とかをしたいから質問や相談をさせてもらいたいなと思っていて、そのときに「え？これなんの話？」って戸惑わせることがないように、プロジェクトの概要を共有しとこうと思ったー！だから、この会がうまくいったら、僕らが質問してもみなさんが戸惑わないようになっている！ Bさん、Slackにメモ残してってください。お願いしまーす！ からの、会の流れを説明 最初にPdMから10分くらいで
人間をリソースと呼ぶことの何が問題なのか - valid,invalid
かねてより人間、とりわけ労働者や従業員をリソースと呼ぶことについて批判的な意見を聞くことがあった。 2018 Don't call people resources - Ben Linders 2021 社員を「リソース」と呼んではいけない――。 | d's JOURNAL（dsj）- 理想の人事へ、ショートカット 2022 人間をリソースと呼ばない方がいいと思う - ジムには乗りたい 加えて、これらの主張に対するカウンターを見たこともある。「問題の所在が不明瞭」「情緒的な意見のみで代替が示されない」「人材を人財と書くような言葉遊びでは」等々。俗っぽく言えばここにあるのは、「モノ扱いしないでほしい」vs「とは言っても経営管理上はヒト・モノ・カネ・情報はリソースでしょ」という対立である。 この件について「人間をリソースと呼ぶことの問題についてアカデミックな見解・理論はあるのか」「人間をリソー
ソースコードをリポジトリ丸ごとLLMに読んでもらう方法
はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、
今、エンジニアが「働きたくなる会社」ってどんな場所なんだろう｜カケハシ公式note
VPoEの湯前（@yunon_phys）です。3月にカケハシにジョインし、あっという間に4ヶ月。ゼロイチの事業立ち上げに寄与するエンジニアリングチームのマネージャとして、おかげさまで（本当に）楽しい日々を過ごすことができています。 今回は社内外の方々への自己紹介にかえて、エンジニアのキャリアや仕事観について、カケハシ入社前後に考えていたことをまとめてみることにしました。カケハシの技術組織を、どのような方向に成長させていきたいのか。自分自身のミッションにもつながる内容になると思います。エンジニアはもちろんですが、職種を問わずぜひいろいろな方にご一読いただけると嬉しいです。 カケハシの湯前としては、先日開催された日本CTO協会のイベントでもお話ししていますので、あわせてご覧ください。 技術や待遇、職場環境だけじゃない、もっと大事なことさて、「働きたくなる会社」についてです。組織マネジメントにお
技術選定の失敗 2年間を振り返る TypeScript,Hono,Nest.js,React,GraphQL
技術選定の失敗 2年間を振り返る TypeScript,Hono,Nest.js,React,GraphQL はじめに 新たに書きました。 MySQLを使っても会社は潰れない 久々に記事を書いたのでどうぞお手柔らかに... 私が過去2年間で行った技術選定の成功と失敗を振り返り、その学びを共有したいと思います。 文才無いので淡々と箇条書きでいきます Twitterエンジニア垢作りました。エンジニアのお友達がいません。 @uncode_jp 注意 意見を押し付けるものではありません。ただ建設的な議論は大事だと思う。 自分の意見は明確に、歯切れのよい表現を意識している。人それぞれだよねみたいな感じに逃げたくない。技術選定に結論はある（過激）。 ただし技術選定にはコンテキストがあり、例えばプロダクトのフェーズや組織の事情によって当然結論は変わる可能性がある。 OSSの開発者さん達は偉大ですごい。あ
Roblox is Already the Biggest Game In The World. Why Can't It Make a Profit (And How Can It)? — MatthewBall.co
Roblox is Already the Biggest Game In The World. Why Can't It Make a Profit (And How Can It)? Everyone knows Roblox is huge. But as COVID receded into memory, Roblox shifted from “new” to “familiar,” and gaming experienced its largest contraction in nearly a quarter century, the platform continued to grow. And grow. And grow. As a result, there is now a significant disparity between the perceived
「掛け算の順序問題」について思うこと
正直なところ言及したくない話題なのですが、最近あまりにもひどい動きが散見されるので今の私の考えを書き留めておくことにします。 予めこの記事で「しないこと」について記しておきます： 丁寧な背景説明 現行の教育方針に対する是・非の判断 何が問題なのか？ 客観的な事実 数 a と数 b があったとき、a\times b と b\times a は同じ結果をもたらします。両者は等号で結ばれるものであり、両者に数学的な違いは存在しません。これ自体は疑いようのない事実であり、誰の目にも明らか[1]です。 注意すべきなのは、このことを理解するために高度な数学の知識は全く必要がないということです。つまりここで「実数体の乗算の性質が」とか「可換環が」とか言い出すのは追加の情報を与えないので無意味な行為です。 そしてそれは同時に、高度な数学の知識を有していることがこの問題に向き合うにあたってアドバンテージにな
フロー効率と経験資源の葛藤 - yigarashiのブログ
不確実性の高いプロダクト開発や、継続的な価値提供を行なっているサービスにおいては、フロー効率を重視するのが良いとされている。ある価値が早く顧客に届く方が、早くフィードバックを得られるとか、顧客が享受する価値の総量が大きくなるとか、様々な方向からメリットは説明され尽くしている。それには同意する。 開発プロセスの文脈でもフロー効率を重視するためのプラクティスは一般的だと思う。スクラムの言葉に従えば、スプリントゴールはなるべくシンプルにひとつにしようとか、ひとつのプロダクトバックログアイテムを複数人で片付けようとか、そういった話である。チームの付加価値生産性を最大化するために、こうしたやり方を採用するのは素朴には理にかなっていると思う。しかし最近、メンバーの育成や評価に対する責任が大きくなってきて、その立場から改めてこれらのプラクティスを考えると、手放しに最高とは言い切れないなと葛藤している。
「割り込みタスクが多くて困ってます」と相談を受けたらマネージャーはどうするか - るさんちまん
はじめに @dora_e_m さんのエントリがあまりに素敵だったので、僕も感化された "割り込みタスク × マネージャー" のネタを書くことにしました。 note.com このエントリでは、エンジニアとデザイナーのマネージャーをしている筆者が、メンバーから「割り込みタスクが多くて困っているんですがどうしたらよいでしょう」と相談されたときにするアドバイスをまとめました。ちなみに全て実際に体験したことです。 ※必ずしもこれら2職種でしか適用できない内容ではないですが、発想・解決のしかたが開発に依るところが大きいです。 なお、アドバイスの内容は個人でできるライトなものからタスクの依頼主に働きかけが必要なヘビーなものまであり、実際にアドバイスする順に並べるとこのようになります。 [個人] 割り込みタスクの優先度を過剰に高くしすぎていませんか [個人] 割り込みタスクにかけている時間はどれくらいです
プルフェイサーとわこ - 福井セイ / プルフェイサーとわこ | コミックバンチKai
プルフェイサーとわこ 福井セイ 「プルフェイス」それは人間のエゴとサガが生み出した悲しき行為。いま、女子高生とわこの友情と欲望のはざまに揺れる戦いの火ぶたが切られる！！
プロダクト開発でsqlcを採用した話
はじめに toB向けの0->1のGoのバックエンドAPIの開発でsqlcを採用しました。 使い始めてから1年半くらい経ったので感想を書いてみようと思います。他の人のブログでよく言及されている点については同じことを書くことになるので書きません。 使っていたsqlcのバージョンは1.18~1.26です。 sqlcを採用した理由 sqlcに限らずバックエンドAPIの開発の技術選定をする上で技術的な要件は無かったです。開発効率や開発速度を高めることができる技術選定を求められていました。 バックエンドAPIの開発のリードエンジニアは私だったので、私が使い慣れているツールをなるべく使い、技術検証や使い方を調べる時間を極力減らし開発効率と開発速度を上げようとしていました。ただ、全て私が知っているツールだと私の開発のモチベーションが上がらなかったので、Product Ownerに相談してORMのみ使ったこ
定性調査とは？その方法とWEBサイト設計の落とし込み方を解説！
価値観の多様化により、生活者調査・データ分析には定量だけではなく定性的な視点を取り入れる必要性が高まっています。この記事では、定性調査の手法の一つであるKA法を利用して、いかに生活者の価値観をWEBサイトの設計に落とし込めばよいかについて、実際の事例をもとに紹介します。 定性調査とは？～なぜ定性調査が必要なのか～ ＷＥＢサイトを制作する、管理する、更新するなど、日々WEBサイトと接点をもっている方には、Google Analyticsに代表されるアクセスログ解析ツールはおそらく一度は触れたことがあるでしょう。 アクセスログ解析ツールで用いられる指標、例えば ・ページビュー ・ユニークユーザー ・セッション数 ・直帰率 …etc. これらは、数量データと呼ばれ、データ間の大小関係を比較することができます。このような数量データは、前期比や対前年で比較することができるので、非常に客観的で説得力の
ブラウザの履歴を操作して「戻る」ボタンで広告を出すやつについて – コーヒーサーバは香炉である
2023年後半頃から、ブラウザの「戻る」ボタンを押すと、訪問したおぼえのないページが表示されることが増えた。そういうページは大抵、記事風の広告やサイト内の記事へのリンクが大量に並ぶという構成になっている。 こんなレイアウトになってることが多い。 この手法はブラウザバック広告とかブラウザバックレコメンド (あるいはレコメンデーション) とか呼ばれており、国内外の複数のWeb広告会社がこれを提供しているようだ。 たとえば、こちらはGMOアドマーケティングの “TAXEL” が提供しているブラウザバックレコメンド。 【新たな収益・回遊源が誕生！】ブラウザバックレコメンド サイトから離れてしまうユーザーに対し、広告やレコメンド記事を表示させることで、収益化や内部回遊に繋げることを目的としているフォーマットになります。 ……というのがセールスポイントらしいのだが、サイトから離れる人は、サイトから離れ
Go でマルチスレッドプログラミングする際に最低限知っておくべきこと - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤 Stage) DAY 10 の記事です。 こんにちは。クラウド基盤本部の野島です。Go は goroutine やチャネルなどの仕組みが備わっており、簡単にマルチスレッドなプログラムを書くことができる言語だと言われています。しかし、マルチスレッドプログラミングには独特の罠があり、何も知らない人が雰囲気でコードを書くとわかりにくいバグを仕込んでしまうリスクが非常に高いです。 この記事では、マルチスレッドプログラミングに詳しくない人に向けて、そのような罠を避けるための方法を紹介します。この記事は Go の基本的な使い方を知っていることを前提としています。 這い寄るデータ競合の恐怖 まずは以下のようなプログラムを考えてみましょう。これは複雑な計算を行って結果を返すような HTTP サーバーのコードです。 // 複雑
オープンソースとは違う新しい取り組み「Fair Source」登場。ビジネスの持続性とソースコード公開の両立を目指す
企業がソフトウェアビジネスを持続的に行えることと、ソフトウェアのソースコードを公開することの両立を実現するための新しいライセンスへの取り組みとして「Fair Source」が登場しました。 意訳すると、ソースコードが公開され、開発者のビジネスを守るための最小限の制約がありつつもコードの利用や変更、再配布が可能で、計画的に一定期間後にオープンソースとなるもの、と言えるでしょうか。 具体的なライセンスとしては「Functional Source License (FSL)」が推奨されているのに加えて、「Fair Core License」「Business Source License (BSL)」が該当するとされています。 Fair Sourceの目的とは 公式Webサイトでは、Fair Sourceの目的が次のように説明されています。 The purpose of Fair Source
buildersconをまた、やることができました - builderscon::blog
みなさんこんにちは、 @nasa9084です。 見返してみると毎回「みなさんこんにちは」で書き始めていることに気がつきました。 さて、2020年に準備をし、そして開催を見送って以来開催することができていなかったbuildersconを無事、開催することができました。 ずっと、あちこちで「またやりたいんですよ」という話をしてはいたものの、牧さんから引き継いだ後一発目で開催見送りにすることになってしまったトラウマ(?)であったり、以前の参加者から聞く「buildersconは最高だった」という、半ば伝説化しているような期待の高まりであったり、逆に間が開いたことによる需要の不透明さだったりからなかなか動き出せずにいたのですが、今年、規模は小さかったものの無事開催することができて、本当に、本当によかったな、という思い一杯です。 なんだかいろいろ書きたいような気もしていたのですが、書こうと思うと何を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
重いALTER TABLEの実行中に進捗状況を確認する方法 - CyberAgent SRG #ca_srg
Haystack
