なぜDBから引くときに1000件ずつchunkingするのか、説明できますか - Lambdaカクテル
MySQLやPostgreSQLといったRDBMSからデータを引いてくるとき、扱うデータの規模によっては、1000件ずつLIMITをかけて順に引いていくということがある。 以前slow queryが出たらよくやっていたのを思い出して、ふとこのあたりってどういう根拠があってやっているのだっけ、自分が知っている他に効能があったりするのかな、と思ってSlackに書き込んだところ、同僚の id:onk に教えていただいた。その内容に加えて軽く調べた内容をまとめてみる。 Web系の話です。みなさまの知見がありましたら教えてください。 TL;DR 刺さる*1から 刺さったら困るから あたりまえ 詳細 もともとSlackに書いた原文は以下の通り(MySQL前提で書いているけどPostgresといった他のRDBMSにも適用できる話。): DB引くとき、Perl時代(？)によく1000件単位でchunkin
ゼロから考えないで既知の思想や他人、潮流に従ったほうがよい - Lambdaカクテル
常識は疑うほうが良い、みたいな妙な思考が頭の中にあって、何かを考えるときに無駄に根本的な所から考えてしまう。 例: 上の階がやかましいようだ 考える: そもそも夜間に振動を発生させるという行為に対する考え方は歴史的にどのように発展していったのか…… 普通こう考えたほうがいい: 管理会社に言ってみるか まったく無駄である。しかしなんか哲学的に考えたほうがカッコ良いみたいな謎のアレがあり、脳を無駄にしている。そのほうが言葉がポンポン出てきて面白いのだが、別にそういうことは既に世界のめちゃくちゃ賢い人が既に通過済みである。 speakerdeck.com 既に通過済みのパッセージを通ったところで劣化版の思考が、再生産されるだけだ。劣化してるので使えないし、再生産しているので無駄なだけだ。 良い書物はイシューに到達するまでの思考の過程をちゃんと再現してくれる。良い書物は基点となってくれる。良いとさ
Bashで$(cat foo.txt)していませんか？$(< foo.txt)しよう - Lambdaカクテル
以下の文書はBashを使う前提の話。 Bashにはコマンド置換(Command substitution)というのがある。$(another-command)のように、$()でコマンドを括る記法だ。これを利用すると、括弧で括られたコマンドが実行され、その標準出力が文字列として取り出され、$()全体を置き換える。シェルスクリプトでは非常によく見る技術だ。 この$()でファイルの内容を読み出すというのを最近見た。このような用法は非常によく見る。 foo-command $(cat params.txt) しかし、より良い書き方があるのでこれを提唱したい。$(< params.txt)と書くことで全く同等のことができる。しかも速いのでこちらのほうが完全に上位互換となる。 foo-command $(< params.txt) この方法はBashのドキュメントのコマンド置換のコーナーにちゃんと書か
sed awk make 互換性 つらい うんざりザリガニ - Lambdaカクテル
仕事でsedのコードをパパッと書いて使ったら、コードレビューで動かんと言われてしまった。そういえば、同僚はMacで、おれはLinuxだったな。 まぁsedならよくある話なので、しょうがないと思ってawkで同じことをした。awkは比較的もうちょっと互換性がある気がしているからだ(どっこいどっこいな気もする)。 しかしまだ動かないと言う。もう、大絶叫だ。アー。おしまいだ。カスがよ〜〜〜と思いつつ(社会人なので絶叫はしない)、よく調べてみるとmakeの互換性だった。というのも、試しにbrew install makeしてGNU Makeで試してみてくれ、と言ったら、あっさり動いたからである。実はsedもawkも悪くなくて、そいつを呼び出してるmakeに互換性がなかった。ごめんな、お前たち悪くなかったよ。でもそれはそうと互換性はない。 define foobarstring ... endef #
去年は182本の記事を書いた人から見た、技術的なアウトプットに疲弊しないようにするコツ - Lambdaカクテル
文脈: blog.arthur1.dev 自分は割とガンガンアウトプットする方で、たまにバズって嬉しいという品質のブログ(これ)をやっている。普段どのような心構えでやっているのか、そして続けるコツみたいなものについて書いてみようと思う(参考になるかは全くわかりません)。 あと一応断っておくと、タイトルにある "去年書いた182本の記事" は非-技術的な記事も含んでいる(けど、だいたい技術記事なので許してほしい)。 どういうときに書くか どういうモチベーションで書くか どういうときにバズるか どのようにして続けるか 余談: 箇条書きの型を統一する 参考文献 あわせて読みたい どういうときに書くか 自分は基本的にブログを「1年前(後)の自分が泣いて喜ぶ記事」というテイで書いている。自分が知りたかったことは他人も知りたかったはずだという仮説で書いていて、それを知りたかった人の総量はその技術のシェ
Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
Nothing Phone買った、ガジェットとしてかなり良い - Lambdaカクテル
日本でも結構話題になってたと思うけど、Nothing Phoneが最近ようやく日本でも発売開始されて、それなりに流通しだしている。 自分はいちはやくゲットしたかったのでスペインのAmazonで購入したんだけど、スペイン人がのんびりしているのか、なんの事情があるのか、結局日本発売よりも遅いタイミングで到着してしまった。 ブルーレイかなんかが入ってそうな感じの箱が届く 箱が面白くて、チョコボールの封のあのビニールとか、ポッキーの箱みたいに、ビリビリと一周させて開封するようになっている。 びりびり すると、本体とアクセサリー類を引っ張り出せる引き出しが登場して、超かっこいいスマホがお目見えするという仕掛けになっていて面白い。 じゃん！ 完全にNothingの手玉に取られているというか、わくわくを感じさせるように演出が設計されているな～と思う。面白い。 保護シートでシールされた状態で出てくる うお
アウトプットに対する苦手意識について - Lambdaカクテル
思った事とか勉強したことをまとめて書き出したり表現したりする、つまりアウトプットを、なかなか書けない時とするする書ける時というのがある。その違いは何なのかとか、アウトプットがうまくいかないときに、それを妨げている心理的障害は何なのかを掘り下げていくうちに、これ自体が一つのアウトプットになった。つまり今回は成功だ。 だいたい僕はアウトラインの途中らへんまでを構成して、そしてそれを半分くらい文章として肉付けしているあたりで厭になって辞めてしまうことが多いのだった。ブログの下書きにはそういった文書が積み重なっていて圧巻だ。 なんで途中で辞めてしまうのか。それはやはり劣等感と遠くでつながっている話であるようだった。僕はまず辞めてしまうタイミングに着目して、その時どういうふうに感じているか、自分と向き合ってみた。すると、僕がアウトプットの中途で書くのをやめてしまうのは、「大したことをやっているように
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
YAPC::Nagoya::Tiny 2019 発表資料『Perlでもできる! Webサービス開発にDocker/ECS/CDKを 導入して良かったこと大変だったこと』 - Lambdaカクテル