Binary search with modern processors
第16回 StringBeginners での発表資料
第16回 StringBeginners での発表資料
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
GitHub - wader/fq: jq for binary formats - tool, language and decoders for working with binary and text formats
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
『Binary Hacks Rebooted―低レイヤの世界を探検するテクニック89選』に込めた思い - a_kawashiroのブログ
はじめに 2024年8月28日に『Binary Hacks Rebooted―低レイヤの世界を探検するテクニック89選』という本の販売が開始されました。 著者の一人として、この本の紹介をします。 お持ちでない方は、Amazon や、楽天、お近くの書店などで購入が可能です。 購入していただけると大変嬉しいです。 どうぞよろしくおねがいします。 どのような本か 『Binary Hacks Rebooted』は2006年に発売された『Binary Hacks』の再構築版です。 再構築版と聞くと『Binary Hacks』とどれくらい異なるのが気になると思いますが、ほぼすべてが異なります。 詳細な目次はこちら で確認できますが、『Binary Hacks』からそのまま引き継いだ Hack は一つもなく、全てが新しい Hack です。 『Binary Hacks Rebooted』は低レイヤプログラ
Binary Hacks Rebooted
河田 旺、小池 悠生、渡邉 慶一、佐伯 学哉、荒田 実樹 著、鈴木 創、中村 孝史、竹腰 開、光成 滋生、hikalium、浜地 慎一郎 寄稿 TOPICS Programming 発行年月日 2024年08月 PRINT LENGTH 660 ISBN 978-4-8144-0085-0 FORMAT Print PDF EPUB 本書は低レイヤのプログラミングに関するHack集であり、2006年に発行された『Binary Hacks』の再構築版として書かれました。低レイヤとは抽象化の度合いが低く計算機と近いレイヤのことを指し、またHackとは巧妙な方法で問題を解決する手法を指します。現代のコンピュータシステムは重層的です。抽象化のレイヤを重ねることで発展し、無数の機能が実現されています。これらのレイヤは巧みに設計されているため、機能を利用するだけなら各レイヤの動作を詳細に知る必要はあり
CUDAより高速化可能で簡単なOpenACCのランタイム関数で実行中のPGI Unified Binaryの演算デバイスを切り替えられるのか検証してみた - Qiita
CUDAより高速化可能で簡単なOpenACCのランタイム関数で実行中のPGI Unified Binaryの演算デバイスを切り替えられるのか検証してみたCUDAGPGPUGPU機械学習OpenACC この記事は何？ CUDA123 に代わる新しい GPU の 標準API 、OpenACC が最近 CUDA よりも高速化できたという結果4を出していて調子が良いので、現状のヘテロジニアス環境でのマルチデバイス実行（複数のデバイス：CPU、GPU、FPGA、メニーコアCPU、ASIC などを組み合わせた演算）の対応状況を調査してみました。 そもそもOpenACCとは？ NVIDIAが中心となって本腰を入れているGPGPUなどのハードウェアアクセラレーションの標準APIです。その特徴として最も特筆すべき点はCUDAと比較してプログラミングが超簡単なことです。以前なら性能差がよりシビアでしたが、現在
GitHub - koekeishiya/yabai: A tiling window manager for macOS based on binary space partitioning
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - devops-works/binenv: One binary to rule them all. Manage all those pesky binaries (kubectl, helm, terraform, ...) easily.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
I read a blog post by Alex Muscar, “Beautiful Binary Search in D“. It describes a binary search called “Shar’s algorithm”. I’d never heard of it and it’s impossible to google, but looking at the algorithm I couldn’t help but think “this is branchless.” And who knew that there could be a branchless binary search? So I did the work to translate it into a algorithm for C++ iterators, no longer requir
GitHub - andyk/ht: headless terminal - wrap any binary with a terminal interface for easy programmatic access.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing Amazon Aurora MySQL enhanced binary log (binlog) | Amazon Web Services
AWS Database Blog Introducing Amazon Aurora MySQL enhanced binary log (binlog) Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Aurora has a history of innovating around database engines and the underlyi
先日、「Binary Hacks Rebooted」をご恵贈賜りました。通して読んでみたところ、私の心の琴線に触れる内容が多くあり、ブログ記事で紹介させてもらいます。 Binary Hacks Rebooted —低レイヤの世界を探検するテクニック89 免責事項 私は一部の著者の方々とはとても親しく、本ブログの記述が客観的ではないかもしれません 私は前作の「Binary Hacks」を読んでおりません 私は低レイヤーが好きですが精通しているわけではなく、内容の間違った理解をしている可能性が十分にあります バイナリ、というよりは低レイヤーをトピックとした内容 タイトルには Binary Hacks とバイナリを強調していますが、どちらかといえばバイナリー周りというよりは低レイヤー全般に関する内容を扱っています。Hack #66 などでは Row Hammer 攻撃など、メモリの物理的な特性を
GitHub - nuta/kerla: A new operating system kernel with Linux binary compatibility written in Rust.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - sourcegraph/doctree: First-class library documentation for every language (based on tree-sitter), with symbol search & more. Lightweight single binary, run locally or self-host. Surfaces usage examples via Sourcegraph.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
“You should have lots of AWS accounts” has moved to https://substrate.tools/blog/you-should-have-lots-of-aws-accounts.
Do Pure Ruby Dream of Encrypted Binary Protocol? - unasuke - Rabbit Slide Show
Page: 1 Do Pure Ruby Dreams Encrypted Binary Protocol? unasuke (Yusuke Nakamura) RubyKaigi 2022 2022-09-09 Page: 2 Self introduction Name: unasuke (Yusuke Nakamura) Work: freelance Web app developer @ Tokyo Rails app developer (mainly) Itamae gem maintainer, Kaigi on Rails Organizer GitHub https://github.com/unasuke Mastodon https://mstdn.unasuke.com/@unasuke Twitter https://twitter.com/yu_suke199
GitHub - naggie/dstask: Git powered terminal-based todo/note manager -- markdown note page per task. Single binary!
Single binary terminal-based TODO manager with git-based sync + markdown notes per task Dstask is a personal task tracker designed to help you focus. It is similar to Taskwarrior but uses git to synchronise instead of a special protocol. Features: Powerful context system (automatically applies filter/tags to queries and new tasks) Git powered sync/undo/resolve (passwordstore.org style) which means
Binary Hacks Rebootという本を著者のかたから恵贈いただいたのでレビューを書きます。著者や寄稿者のうちの何人かは知り合いだったり、本が恵贈いただいたものだったりでバイアスがかかっている可能性がありますが、ご容赦ください。 Binary Hacks Rebooted —低レイヤの世界を探検するテクニック89選 作者:河田 旺,小池 悠生,渡邉 慶一,佐伯 学哉,荒田 実樹オーム社Amazon どんな本か 本書はいわゆる低レイヤと呼ばれるバイナリがいっぱい出てくるような技術について小ネタを山盛り、Hacksなので89(ハック)個、詰め込んだ本です。 扱う分野は以下のように多岐にわたっています。 ELF(Linuxなどで使われる実行ファイル、共有ライブラリを保存するファイルの形式) OS、とくにLinuxについてのもの コンテナ技術 デバッガ・トレーサ セキュリティ 数値表現とデ
The npm blog has been discontinued. Updates from the npm team are now published on the GitHub Blog and the GitHub Changelog. tl;dr - Update to npm v6.13.4 as soon as possible on all your systems to fix a vulnerability allowing arbitrary path access. The Vulnerabilities In versions of npm prior to 6.13.3 (and versions of yarn prior to 1.21.1), a properly constructed entry in the package.json bin fi
【pwn 10.0】 gnote (kernel exploitation) - TokyoWesternsCTF2019 - newbie dive into binary
1: イントロ 2: 解き始めるまで 問題について デバッグ環境について 3: モジュールの挙動について 4: jmptableの脆弱性について switch分岐のアセンブラ おおよその展望 5:kmalloc()とスラブアロケータについて スラブアロケータ概略 kmalloc() kmem_cache_alloc_trace() slab_alloc()/ slab_alloc_node() つまりは 6: timerfd_ctxを利用したkernel symbol の leak __x64_sys_timerfd_createシステムコール timerfd_release()とRCU 7: RIPを取る 8: privilege acceleration prepare_kernel_cred(NULL); commit_creds() ROPを組んでroot権限を取る sysretq
【pwn 36.0】Intel CETが、みんなの恋人ROPを殺す - newbie dive into binary
keywords Intel CET / shadow stack / indirect branch tracking / もらとりあむ 1: イントロ 2: Intel CET 概観 3: Shadow Stack Shadow Stack の switch じゃあ、ShadowStackを書き換えればいいじゃん? スタックだろ? アンダーフローさせちまえよ 4: Indirect Branch Tracking じゃあendbr64から始まるアドレスに不正にJMPすることはできるんだろ? 5: CETが有効になる条件 6: 実際にIntel CET上でROPをしようとしてみる 7: Bypass 8: アウトロ 0: 参考 1: イントロ こんにちは、ニートです。 1週間程前、Intelは第11世代Coreプロセッサ (コードネーム: Tiger Lake) を正式に発表しました。な
Tabular Data Binary Classification: All Tips and Tricks from 5 Kaggle Competitions
In this article, I will discuss some great tips and tricks to improve the performance of your structured data binary classification model. These tricks are obtained from solutions of some of Kaggle’s top tabular data competitions. Without much lag, let’s begin. These are the five competitions that I have gone through to create this article: Home credit default risk Santander Customer Transaction P
データ構造 Fenwick tree (binary indexed tree, BIT) にどっぷりと入門し、その美しき構造に心を洗われたい方のための紹介記事です！ - Qiita
データ構造 Fenwick tree (binary indexed tree, BIT) にどっぷりと入門し、その美しき構造に心を洗われたい方のための紹介記事です！アルゴリズム競技プログラミングデータ構造FenwickTreeBinaryIndexTree $$ \newcommand \lsb { \mathrm { lsb } } $$ Fenwick tree (Binary indexed tree, BIT) をお勉強しましたところ、大変美しい構造を持つことがわかりましたから、共有させていただきたいと思います。案外長くなってしまって、自分でもびっくりしています。 第一章：Fenwick tree の基本機能 初めての方はまずこちらです。 問題 整数の配列 $a$ があります。これに次のようなクエリが飛んできます。 操作 内容
Web 開発では、ファイル(作成、更新、ダウンロード)を処理するときにバイナリデータに出くわします。その他の典型的なユースケースは画像処理です。 これらはすべて JavaScript で可能です。また、バイナリ操作も高性能です。 ですが、多くのクラスが存在するため少し混乱しやすいです。いくつか例を挙げます: ArrayBuffer, Uint8Array, DataView, Blob, File, etc. JavaScript でのバイナリデータは、他の言語と比べて非標準的な方法で実装されています。しかし、一度整理できれば、すべてがとても簡単になります。 基本となるバイナリオブジェクトは ArrayBuffer です。これは固定長の連続したメモリ領域への参照です。 次のようにして生成できます:
Binary logging optimizations in Amazon Aurora MySQL version 3 | Amazon Web Services
AWS Database Blog Binary logging optimizations in Amazon Aurora MySQL version 3 The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a
私はnon-binaryトランスジェンダーで、普段は「やや男性」として生活している。 特に日本の企業で働く上では女性として見られてしまうと非常に不愉快な思いをするため、会社の同僚には男性で通している。 そんな私のパスポート上の名前と性別は女性のものだ。 海外で会社の同僚とレストランに行ってお酒を頼む時など、年齢確認のために身分証明書の提示を求められることは結構あり、こんな時にうっかり下の名前を呼ばれたりMs.やMamと呼ばれるのは避けたい。 そこで、パスポートの顔写真のページの上に Please do not read aloud my first name and sex. Instead of "Ms.", please call me "Mr." (私の下の名前と性別は声に出して読まないでください。Ms.の代わりにMr.と呼んでください) と書いた付箋をつけることにした。 stick
『エンダーリリーズ』で注目を集めるBinary Haze Interactiveの戦略をCEO小林宏至氏に聞く。自分たちが作りたいものを作る、国内でオンリーワンの存在になることを目指して」 | ゲーム・エンタメ最新情報のファミ通.com
ゲーム・エンタメ最新情報のファミ通.com インタビュー 家庭用ゲーム PS5 PS4 Switch XboxOne PCゲーム XboxSeriesX プレスリリース 『エンダーリリーズ』で注目を集めるBinary Haze Interactiveの戦略をCEO小林宏至氏に聞く。自分たちが作りたいものを作る、国内でオンリーワンの存在になることを目指して」
GitHub - elfshaker/elfshaker: elfshaker stores binary objects efficiently
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - johnthagen/min-sized-rust: 🦀 How to minimize Rust binary size 📦
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
NeovimをmacOS用にGUI化した「VimR」エディタがIntelとApple Siliconに対応したUniversal Binaryに。
NeovimをmacOS用にGUI化した「VimR」エディタがApple Siliconに対応しています。詳細は以下から。 VimRはドイツTNG TechnologyのTae Won Haさんが2014年頃からオープンソースで開発しているNeovimベースのmacOS用エディタですが、このVimRがv0.35アップデートでIntelとApple SiliconをサポートしたUniversal Binaryとなったそうです。 v0.35.0-20211105.213803 Latest Universal binary! Neovim 0.5.1 😀 qvacua/vimr: VimR — Neovim GUI for macOS in Swift – GitHub VimRはNeovimにファイルブラウザやMarkdown/HTMLプレビュー機能を追加しSwiftでGUI化されているた
GitHub - qntm/base2048: Binary encoding optimised for Twitter
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Analysing malware is daunting at first sight, as there are many questions but very little answers. The information security community provides information to researchers, both publicly and privately. Most reports, however, focus on the outcome of the research, rather than the process. As such, there are a lot of reports that show the results, without explicitly stating how they were obtained. In t
今月（2024年8月）末にオライリージャパンから出る「Binary Hacks Rebooted」という本の執筆に、著者の一人として参加しました。私は主に浮動小数点数周りの記事を執筆しました。 O’Reilly Japan – Binary Hacks Rebooted（2024年） サポートリポジトリはこちらになります。サンプルコードなどを掲載する予定です。 oreilly-japan/binary-hacks-rebooted: 『Binary Hacks Rebooted』のサポートリポジトリ また、各Hackの中に踏み込んだ詳細な目次を以下のページで公開しています。購入に迷った際の判断材料にしてください。 Binary Hacks Rebooted 目次 | Akira Kawata オライリーの本は全ての書店に並ぶわけではありません。店頭で確認したい方は、オライリーの本を扱ってい
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance - Microsoft Research
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance Published August 4, 2021 By Junyan Chen , Principal Applied Science Manager Frédéric Dubut , Principal PM Manager, Core Search & AI Jason (Zengzhong) Li , Partner Group Engineering Manager Rangan Majumder , Vice President Recently, Transformer-based deep learning models like GPT-3 have been ge
GitHub - dosyago/graderjs: 💦 Turn your full-stack NodeJS application into a downloadable cross-platform binary. Also works for SPAs, or regular web-sites.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
macOS 11 Big Sur Beta 3ではインストーラーがIntelのx86_64とApple Siliconのarm64対応のUniversal Binaryに。
macOS 11 Big Sur Beta 3ではインストーラーがIntel x86_64とApple Silicon arm64e対応のUniversal Binaryになっています。詳細は以下から。 Appleは現地時間2020年07月22日、今年の秋にリリースを予定している次期macOS「macOS Big Sur 11 beta 3 Build 20A5323l」を開発者向けに公開しましたが、このBeta 1~2からBeta 3への差分アップデートに加え、ファイルサイズ12GBを超えるフル・インストールイメージ(インストーラー)が提供されています。 macOSのアップデートファイルはmacOS 10.15.xCatalinaでも4~6GB程度のため確認してみたところ、macOS 11 Big Sur Beta 3ではフル・インストールイメージがIntelのx86_64とApple
If you have ever written in Go, then the size of the resulting binaries could not escape your attention. Of course, in the age of gigabit links and terabyte drives, this shouldn’t be a big problem. Still, there are situations when you want the size of the binary to be as small as possible, and at the same time you do not want to part with Go. The options for how to make the Go binary “lose weight”
ChromeとPythonのchromedriver-binaryのバージョンを合わせたい。 - Qiita
はじめに 今回は本当に備忘録な記事です。 ただ、あとあと「こうすれば解決するけど、なぜそうなるんだろう？」みたいなところは追記したいと思います。 また、晴れてChrome 75がリリースされた後でも、この方法が使えるかどうかは確認しようと思います。(20190603 追記) 追記：20191006 設定が最初に記載した時点でも有効かどうか確認、一部修正して、ソースコードをGitHubに上げました。 https://github.com/akiko-pusu/qiita-article-chrome-python 今回やりたかったこと Python3のDockerイメージを利用して、サッとPython＋Seleniumの環境を作りたい headlessモードで動かせればいいので、できるだけシンプルにしておきたい ChromeはGoogleのリポジトリを追加して安定版をインストールする chr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベクトルデータの容量を96%削減するBinary Embedding
Beautiful Branchless Binary Search
オープンソースのMac用バイナリエディタ「Hex Fiend」のBeta版がUniversal Binary化され、Apple Silicon製Macをサポート。
書評 "Binary Hacks Rebooted"
Source & Binary / You should have lots of AWS accounts
Binary Hacks Rebootedを読んだ - 覚書
npm Blog Archive: Binary Planting with the npm CLI
Amazon.co.jp: Binary Hacks Rebooted —低レイヤの世界を探検するテクニック89選: 河田旺 (著), 小池悠生 (著), 渡邉慶一 (著), 佐伯学哉 (著), 荒田実樹 (著), 鈴木創、中村孝史、竹腰開、光成滋生、hikalium、浜地慎一郎 (その他): 本
ArrayBuffer, binary arrays
パスポートの付箋 - とあるnon-binaryトランスジェンダーの生存戦略
Binary Analysis Course – Max Kersten
「Binary Hacks Rebooted」が出ます | 雑記帳
Optimizing the size of the Go binary - Prog.World