GitHub - huachaohuang/awesome-dbdev: Awesome materials about database development.
The Five-Minute Rule for Trading Memory for Disc Accesses (1987) The Five-Minute Rule 10 Years Later, and Other Computer Storage Rules of Thumb (1997) The Five-Minute Rule 20 Years Later, and How Flash Memory Changes the Rules (2007) The Five-Minute Rule 30 Years Later, and its Impact on the Storage Hierarchy (2017) The Design and Implementation of a Log-Structured File System (1991) This paper pr
こんにちは！ファンと共に時代を進める、Web3スタートアップのGaudiyでエンジニアをしている椿（@mikr29028944）です。 先日、Gaudiyではサーバーサイドウォレットの構築やEthereumにおけるECDSA署名の実装を行いました。 そこで今回は、少しニッチではありますが「ECDSA署名」をテーマに、Gaudiyの事業背景から、ECDSAの数学的な処理とコードまでを、実例をふまえてお伝えしてみたいと思います。 はじめに断っておくと、僕は大学時代にzk-SNARKsの理論を研究していたため、代数学を学んだことはありますが、この領域における専門家ではありません。なので理解が誤っている部分があれば、ぜひご指摘いただけると嬉しいです。 Web3スタートアップで働くことに興味がある方や、ブロックチェーンを業務で扱うエンジニアの方にご参考になればと思い、詳しく書いていたら1万5千字を超
Googleの検索アルゴリズムに関する内部文書が流出、Chromeのデータをページランク付けに利用するなどGoogleのウソが明らかに
Googleの社員がデータやAPI、モジュールの扱いに習熟するのに用いられているという、合計2500ページ超の内部文書「Google API Content Warehouse」が流出しました。これにより、Googleが検索ユーザーの情報やChromeのデータなどをどのようにして利用していたのかといった実態が明らかになりました。内容を精査したSEO(検索エンジン最適化)業界の関係者は、含まれている情報はほとんどが2024年3月時点のかなり新しいものであるとしています。 An Anonymous Source Shared Thousands of Leaked Google Search API Documents with Me; Everyone in SEO Should See Them - SparkToro https://sparktoro.com/blog/an-anony
go gc algorithm 101
Go Conference 2019 Autumn
Load Balancing
Past a certain point, web applications outgrow a single server deployment. Companies either want to increase their availability, scalability, or both! To do this, they deploy their application across multiple servers with a load balancer in front to distribute incoming requests. Big companies may need thousands of servers running their web application to handle the load. In this post we're going t
Java の CLI アプリケーション用フレームワーク picocli はミスタイプ時にサジェスチョンを出してくれる - Mitsuyuki.Shiiba
長くなっちゃったから最初にまとめ まとめ picocli は便利。 デフォルトでサジェスチョンの機能がついている。なので、オプションやサブコマンドの定義だけしておけば、ミスタイプしたときにサジェスチョンを出してくれる。 オプションの場合は、先頭2文字が一致するオプション一覧 サブコマンドの場合は、先頭2文字じゃなくて、似たものを出してくれる こんなつぶやきを見かけて がくぞさんのこんなつぶやきを見かけて そういえばCLIのオプションパーザのライブラリは多種あるけど、定義されてないオプションが指定されたときにオプション名から類推して正しくはコレじゃない？ってサジェストしてくれるような機構まで盛り込んだライブラリってあるのかな？— がくぞ (@gakuzzzz) August 11, 2021 あぁ、たしかにそういうのフレームワークに含まれてたら便利だなー、picocli だったらありそうだけ
(There is good discussion on this article on Hacker News and Reddit) Reddit is currently the most popular search engine. The only people who don’t know that are the team at Reddit, who can’t be bothered to build a decent search interface. So instead we resort to using Google, and appending the word “reddit” to the end of our queries. Paul Graham thinks this image means Reddit as a social media sit
Elasticsearch の reindex をするために試行錯誤して分かったこと - Uzabase for Engineers
こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極的に取り組んでいきたいと考えております（伸びしろしかない！）。今回は、その中でも色んなタスクのボトルネックだったアルゴリズムを変更した話をしたいと思います。ただ、アルゴリズムの詳細よりもそれの変更のために行ったインフラ的な内容にフォーカスしております。ご興味ある方は是非読んでいただけると嬉しいです。 はじめに ちょっとまって、reindex とは？ 本題に戻り reindex の実験 実験環境づくり そもそも Elasticsearch のシステ
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
fast.ai - Mojo may be the biggest programming language advance in decades
I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る また、過去ではなく未来方向、つまり Bell Lab で Unix の successor として生まれた Plan 9 や Inferno における tar についてはこちらで lufia 氏がまとめておられたので参考にどうぞ。Plan 9とInfernoにおけるtar(1)の変化 Introduction 前回の記事では、tar(1)が Unix v1 (1971) のtap(1)まで遡ること、 また、その引数は key というサブコマンドの原始的な姿のようなものだったことを調査した。 さて、実は Unix v1 Programmer's Manual の栄えある最初のページを飾るコマンドは今でもスタティックリンクライブラリの作成などで使われる ar(1) であり、 こち
The Dangerous Populist Science of Yuval Noah Harari ❧ Current Affairs
Watch videos of Yuval Noah Harari, the author of the wildly successful book Sapiens: A Brief History of Humankind, and you will hear him being asked the most astonishing questions. “A hundred years from now, do you think we will still care about being happy?” — Canadian journalist Steve Paikin, on the “The Agenda with Steve Paikin” “What I do, is it still relevant, and how do I prepare for my futu
The end of classical computer science is coming, and most of us are dinosaurs waiting for the meteor to hit. I came of age in the 1980s, programming personal computers such as the Commodore VIC-20 and Apple ][e at home. Going on to study computer science (CS) in college and ultimately getting a Ph.D. at Berkeley, the bulk of my professional training was rooted in what I will call “classical” CS: p
Wiki - RustStarterKit2020
People were arguing about Rust’s std lib recently, so I went through the Cargo.toml of all the Rust projects I’ve written since 2015 and picked out the choice tools that get used over and over again. Up to date as of October 2020. Also see RustCrates, though that’s old. There’s also this, which is narrower but deeper, and awesome-rust, which is shallower and broader, and the various more specific
メンタルヘルス×機械学習まとめ
近年、精神疾患の患者数は増加し続けています。厚生労働省が3年毎に行っている患者調査を見ても、以下の図からも見られる通り精神疾患の患者数は平成11年の204万人から平成26年の392万人と、15年間でおよそ2倍に増えています。 https://www.mhlw.go.jp/file/05-Shingikai-12201000-Shakaiengokyokushougaihokenfukushibu-Kikakuka/0000108755_12.pdfより引用また、最近ではコロナの影響もあり、自粛などによる生活の変化への不安が人々の精神状態の悪化に拍車をかけています。 一方で、近年のテクノロジーの進展は目覚ましいものがあり、認知行動療法のデジタル化などが近年国内でも取り組まれており、精神疾患の治療にIT技術を役立てようという動きも出てきています。 これらの流れを踏まえた上で、本記事では機械学習
ドメイン知識は幅広いのでどこまで勉強すればいいか思った時のリスト。勉強の仕方色々あるが個人的にわかりやすいなと思ったものも書いときます ソフトウェアエンジニアとしてやりながらrecoというエンジニア向けの転職プラトフォームを作ってます。現在は数社のテック企業のサポートをしております（https://jobs.reco.sh/) reco経由で申し込むと面接に備えるためのサポートが得られます。面接対策のヒントや質問例、模擬面接などを通じて、自信を持って次のステップに進む準備ができます。 申請リンク：https://airtable.com/appDsRlN6LTSiW0a3/shrP9nwF925b1d5ZJ Network復習 TCP, UDP: High Performance Browser Networking - Ilya Grigorikの2~3章 (m)TLS: Liz Ric
これは qiita.com の12/16の記事です。やばいもう16日が終わってしまう！ はじめに 太古の昔、あるC++プログラマ*1がtemplateの再帰と特殊化を使ってコンパイル時に計算ができることを「発見」*2*3したその日から、C++とコンパイル時計算は分かちがたく結びついています。 言語機能を本来意図されていなかった方法で活用する曲芸的な技巧だったコンパイル時計算は、その強力さを買われコミュニティを席巻し、C++11での constexpr の導入によりある意味で公式に認められたものとなりました。 導入当初は return 文一つだけしか持てなかった constexpr 関数は、それでも三項演算子による条件分岐や再帰によってコンパイル時計算を大いに盛り上げました。 そしてC++14で条件分岐、ループ、変数の書き換えが、C++17ではラムダが、C++20では仮想関数と動的メモリ確保
Hi, I’m Ryoichi Sekiguchi. ( @ryopeko ) I’m working as a Backend Engineer in Shippio. Today I will talk about our decision to choose Auth0 over AWS Cognito. Japanese follows English. What did we consider important?As a startup development team, we wanted to reduce our concerns about authentication. We then began to consider transferring the authentication infrastructure to an external service at t
Aurora 3.04.2 での DDL の予期しない挙動と Rails での対策 - freee Developers Hub
こんにちは、DBRE (Database Reliability Engineer) の shinta です。 今回は、Aurora 3.04.2 に存在する DDL の予期しない挙動について紹介したいと思います。 発見のきっかけ きっかけは、Aurora 3.04.1 に存在した以下の事象の検証でした。（CyberAgent 様の記事で事象の存在を知り、検証するに至りました。ありがとうございます！） ca-srg.dev これがどんな事象かというと、「ALGORITHM=INPLACE で特定の online DDL を実行している間、そのテーブルに reader からアクセスできなくなる」というものでした。 writer で DDL を実行している間、reader からそのテーブルにクエリを投げると以下のエラーが出ます。 Table 'db_name.tbl_name' doesn't
以下の二つの論文の紹介を中心に、グラフニューラルネットワークとグラフ組合せ問題の交わりについて解説しました。 SIG-FPAI での招待講演の内容に少し修正を加えたものです。 * Learning Combinatorial Optimization Algorithm over Graphs (NIPS 2017) * Approximation Ratios of Graph Neural Networks for Combinatorial Problems (NeurIPS 2019)Read less
PubSub/Redisを用いたGoによるスケーラブルなworkerの構築と運用 | メルカリエンジニアリング
こんにちは。メルカリのNotification teamでソフトウェアエンジニアをしている@naruseです。 この記事は、Mercari Advent Calendar 2021 の19日目の記事です。 はじめに 私が所属しているBusiness Platform Notification teamでは、２つの役割で通知周りの基盤を担当しています。 １つ目はアプリケーションとしての役割の通知です。メルカリでは、アプリ内でのお知らせや個別メッセージ、やることリストなどを提供しています。私たちはそれらの膨大なデータを管理し、作成や取得のリクエストに応えています。これらの膨大なデータに対する私たちのチームの過去の記事として、昨年のAdvent calenderの一部である本番稼働中の Spanner にダウンタイム無しに57時間かけてインデックスを追加して得た知見をぜひご覧ください。 ２つ目は
Security Incident December 2022 Update - LastPass - The LastPass Blog
Please refer to the latest article for updated information. Update as of Thursday, December 22, 2022 To Our LastPass Community, We recently notified you that an unauthorized party gained access to a third-party cloud-based storage service, which LastPass uses to store archived backups of our production data. In keeping with our commitment to transparency, we want to provide you with an update rega
JavaScript でキューを実装して性能を比較してみた。 今回は、以下の条件で実装を行った。 クラスとして実装する 1個のデータのエンキューとデキューを行うメソッドをそれぞれ実装する それ以外のメソッド (要素数、先頭を削除せずに取得など) は実装しない エラー処理 (空のときにデキューを試みるなど) は行わない なお、実装で出てくる # つきのメンバ変数はプライベートプロパティである。 方針・実装 配列のpush・shift 配列の末尾に要素を追加するメソッド push をエンキューとして用い、配列の先頭から要素を取り除いて返すメソッド shift をデキューとして用いる。 エンキューとデキューがともに1回メソッドを呼び出すだけで実現でき、シンプルな実装になる。 class QueueShift { #q = []; enqueue(value) { this.#q.push(val
この記事では，自分が最適化コンパイラの研究をする上で読んできた論文をまとめていこうと思う． まとめることで，自分のためにもなるだろうし，読んだ人のためにもなれたら嬉しい． 以下，随時更新． 部分冗長除去法(Partial Redundancy Elimination, PRE) 部分無用コード除去 (Partial Dead Code Elimination, PDE) スカラ置換(Scalar Replacement) レジスタ促進(Register Promotion) 質問伝播(Question Propagation) 演算子強度低減(Strength Reduction) ループ最適化(Loop Optimization) 手続き間最適化(Inter-procedural Optimization) 解析系 参考書籍 部分冗長除去法(Partial Redundancy Elim
The long-running BBC sci-fi show Doctor Who has a recurring plot device where the Doctor manages to get out of trouble by showing an identity card which is actually completely blank. Of course, this being Doctor Who, the card is really made out of a special “psychic paper“, which causes the person looking at it to see whatever the Doctor wants them to see: a security pass, a warrant, or whatever.
Java 15新機能まとめ - Qiita
Java 15が2020/9/15にリリースされました。 https://mail.openjdk.java.net/pipermail/announce/2020-September/000291.html Java SE 15 Platform JSR 390 JDK 15 GA Release こちらの動画でざっくりと説明しています。 MacやLinuxでのインストールにはSDKMAN!をお勧めします Oracle OpenJDK以外に無償で商用利用できるディストリビューションとしては、次のようなものがあります。 AdoptOpenJDK Azul Zulu Community Liberica JDK Amazon Corretto 15 アップデートは10月に15.0.1が、翌年1月に15.0.2がリリースされることになります。 Oracle JDKは開発用途には利用できますが、
EngineeringOpen SourceGit’s database internals I: packed object storeThis blog series will examine Git’s internals to help make your engineering system more efficient. Part I discusses how Git stores its data in packfiles using custom compression techniques. Developers collaborate using Git. It is the medium that allows us to share code, work independently on our own machines, and then finally com
「最近、Google検索で求めている情報にたどり着くのが難しくなっているな」と感じている人は多いはず。そんなGoogle検索の品質低下に関連して、Googleの創業者であるセルゲイ・ブリン氏とラリー・ペイジ氏が2006年に「広告ベースのビジネスモデルが検索エンジンの品質低下をもたらす」という興味深い発言をしていたことがわかりました。 Google: Advertising and search engine bias | ZDNET https://www.zdnet.com/article/google-advertising-and-search-engine-bias/ 両氏の「広告と検索エンディングの品質低下」に関する発言は、Chromeのリリースよりも2年前の2006年に記録されました。セルゲイ・ブリン氏の発言は以下の通り。 Currently, the predominant
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
Worker Tools
Worker Tools are a collection of TypeScript libraries for writing web servers in Worker Runtimes such as Cloudflare Workers and Deno Deploy. ToolsServicesHow to UseExamplesQuestionsWhat niche do Worker Tools fill?Tools🧭 Worker Router — Complete routing solution that works across CF Workers, Deno and Service Workers🔋 Worker Middleware — A suite of standalone HTTP server-side middleware with TypeS
近ごろ、ますます勢いづいている「競技プログラミング（競プロ）」。 ソフトウェアエンジニア界隈や情報系学生なら、一度は耳にしたことがあるはず。 プログラミングを用いたコンテストの中でも、ものづくり的なアイデアを競う部分を排除し、純粋に技術のみで戦うこの競技ですが、少しハードルが高く感じられる面もあります。 また過去には競プロに関する議論がTwitter上でたびたび巻き起こり、「#月刊競技プログラミングは役に立たない」というハッシュタグが定期的に現れていたことも。 実際のところ役に立つのか、役立てるためにはどうすればいいのか。今回は「世界最高峰の競技プログラミングサイト」を掲げるAtCoderの代表取締役 高橋直大さんに直接聞いてみました！ 高橋直大【たかはし・なおひろ】AtCoder代表取締役社長。Imagine Cup 2008 Algorithm部門 世界3位、TopCoder Open
ウクライナ戦争が2度目の冬を迎える中、ロシアはウクライナの電力インフラや病院などを狙った攻撃を繰り返していますが、2022年11月末にはイギリスの国防省によって「ロシア軍はミサイルが枯渇している」との分析結果が示されるなど、戦況はウクライナ側の優位に進んでいるとみられています。この優位性の立役者の1つとなったアメリカのテクノロジー企業・Palantirが作り上げた戦闘システムと「アルゴリズム戦争」の行く末について、現地を取材したジャーナリストのデイビット・イグネイシャス氏がレポートしました。 Opinion | How the algorithm tipped the balance in Ukraine - The Washington Post https://www.washingtonpost.com/opinions/2022/12/19/palantir-algorithm-d
EDIT: A previous version of this post recommended publishConfig, operating under the mistaken belief that it could be used to override "exports" during npm publish. As it turns out, npm only uses "publishConfig" to override certain .npmrc fields like registry and tag, whereas pnpm has expanded its use to override package metadata like "main", "types", and "exports". There are a number of reasons y
How we scaled the GitHub API with a sharded, replicated rate limiter in Redis
In that case, since the second boundary happened between the call to TTL and Time.now, the resulting timestamp was one second bigger than the previous ones. We could have tried increasing the precision of this operation (eg, Redis PTTL), but there would still have been some wobble, even if it was greatly reduced. Another possibility was to calculate the time using only Redis, instead of mixing Rub
yamalab.com
神奈川工科大学 山崎研究室 創造工学部 ホームエレクトロニクス開発学科 山崎 洋一 yamazaki@he.kanagawa-it.ac.jp 論文紹介入門 Introduction of “Article Reading” ホームエレクトロニクス開発学科 山崎研究室 yamalab.com 1/13 ゼミで身につくスキル 山崎研究室で何ができるようになるのか？ できないことができるようになる やりたいことができるようになる 剛柔相済 ・技術は力、アイデアは技 ・技術力×アイデア ＝つくれるもの 論文の読み方・書き方 ・読者の気持ちを考える ・結論が先 NYの超エリートビジネスマン ・論文のピラミッド ・タイトルの重要性 ・SPIN：説得できるストーリ ・論文の書き方10か条 ・問題設定を明確に ・自分の仕事を中心に ・実験環境・手順を詳細に ・参考文献は引用 ・メッセージを明確にして文を
LaTeX と Python で作る 1 ポイントたりとも表示崩れしない最強の帳票印刷ソリューション - Qiita
元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth
はてなブログ読者数600人・記事数100本を突破した話とブログを始めて3年経った話。 - sun_ek2の雑記。
目次。 目次。 はじめに。 はてなブログの読者数が600人を突破した話。 記事数が100本を突破した話。 100本目の文章：夏祭り / JITTERIN'JINN・Whiteberryをアコギで弾き語りした話。 視聴回数1,000回突破。 ブログ・SNS。 夏の曲の弾き語り動画を冬に出した。 ブログを始めて3年経った話。 ブログの諸統計。 ページビュー数(PV数)…118,012。 3年目のブログ収益…20,000円～30,000円？ ページビュー数(PV数)上位ランキング。 ランキングに入る前に：株式自動売買プログラム開発について。 5位（歴代9位）株式自動売買プログラムを実践に投入すると精度が急落する謎現象の原因究明に奮闘していた話。 4位（歴代7位）クロスバイクを買って片道10 kmの自転車通勤・通学を始めた話。 3位（歴代6位）学振DC2特別研究員（進化生物学）に採用内定したけん学
EngineeringSecurityBehind GitHub’s new authentication token formatsWe're excited to share a deep dive into how our new authentication token formats are built and how these improvements are keeping your tokens more secure. As we continue to… We’re excited to share a deep dive into how our new authentication token formats are built and how these improvements are keeping your tokens more secure. As w
今年の汚れ、今年のうちに！MySQLで使っていないインデックスを削除しよう - クラウドワークス エンジニアブログ
この記事は クラウドワークス Advent Calendar 2023 シリーズ2 2日目の記事です。 こんにちは。crowdworks.jp SRE チーム 田中（@kangaechu）です。 年末といえば大掃除ですね。 皆さんのデータベースにも使っていないインデックスが溜まっていませんか？ お掃除してきれいな新年を迎えましょう。 手順 1. MySQLで使っていないインデックスの一覧を取得 未使用のインデックスは sys.unused_indexes ビューで確認できます。 dev.mysql.com しかし、このビューの元データである performance_schema テーブルは起動時から終了時までのデータしか保持していません。 Tables in the Performance Schema are in-memory tables that use no persistent
はじめまして、ZOZO研究所福岡の家富です。画像検索システムのインフラ、機械学習まわりを担当しています。 今回は画像検索システムでお世話になっているAnnoyについてじっくり紹介したいと思います。 目次 目次 Annoyについて 近傍探索について Annoyのソースコードを読むときのポイント AnnoyIndexというクラスのインスタンスを作る インストール過程について PythonのC/C++拡張 Annoyの実装 1. add_item 2. build 3. get_nns_by_vector 4. build再考 他に問題となる点について CPU依存部分 ディスクかメモリか まとめ さいごに Annoyについて Annoyは、SpotifyによるPython近傍探索ライブラリです。 github.com 弊社のテックブログでも以前に取り上げています。 techblog.zozo.c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECDSA署名の数学的理解とCloud KMSによる実装 - Gaudiy Tech Blog
Google Search Is Dying
Doing RAG? Vector search is *not* enough
The End of Programming – Communications of the ACM
ドメイン知識の問題集や勉強の仕方（随時更新）｜gaijineers
2023年のコンパイル時レイトレーシング - in neuro
Why we decided to use Auth0 and not AWS Cognito
グラフニューラルネットワークとグラフ組合せ問題
JavaScript でキューを実装して性能を比較してみた - Qiita
コンパイラのコード最適化や解析手法の論文のサーベイ - Jicchoの箱
CVE-2022-21449: Psychic Signatures in Java
Git's database internals I: packed object store
Google創業者たちの2006年の予言「広告ベースのビジネスモデルが検索エンジンの品質低下をもたらす」
Writing a C compiler in 500 lines of Python
毎週1.2万人が参加！AtCoder高橋直大に聞いた「#競技プログラミングは役に立つ」？
ロシアとの戦争でウクライナに優位性を与えた「Palantir」の情報・戦闘管理アルゴリズムとはどのようなものなのか？
Live types in a TypeScript monorepo
Behind GitHub's new authentication token formats
近傍探索ライブラリ「Annoy」のコード詳解 - ZOZO TECH BLOG