Binary search with modern processors
第16回 StringBeginners での発表資料
第16回 StringBeginners での発表資料
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
GitHub - wader/fq: jq for binary formats - tool, language and decoders for working with binary and text formats
fq is inspired by the well known jq tool and language that allows you to work with binary formats the same way you would using jq. In addition it can present data like a hex viewer, transform, slice and concatenate binary data. It also supports nested formats and has an interactive REPL with auto-completion. It was originally designed to query, inspect and debug media codecs and containers like mp
CUDAより高速化可能で簡単なOpenACCのランタイム関数で実行中のPGI Unified Binaryの演算デバイスを切り替えられるのか検証してみた - Qiita
CUDAより高速化可能で簡単なOpenACCのランタイム関数で実行中のPGI Unified Binaryの演算デバイスを切り替えられるのか検証してみたCUDAGPGPUGPU機械学習OpenACC この記事は何？ CUDA123 に代わる新しい GPU の 標準API 、OpenACC が最近 CUDA よりも高速化できたという結果4を出していて調子が良いので、現状のヘテロジニアス環境でのマルチデバイス実行（複数のデバイス：CPU、GPU、FPGA、メニーコアCPU、ASIC などを組み合わせた演算）の対応状況を調査してみました。 そもそもOpenACCとは？ NVIDIAが中心となって本腰を入れているGPGPUなどのハードウェアアクセラレーションの標準APIです。その特徴として最も特筆すべき点はCUDAと比較してプログラミングが超簡単なことです。以前なら性能差がよりシビアでしたが、現在
GitHub - koekeishiya/yabai: A tiling window manager for macOS based on binary space partitioning
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - devops-works/binenv: One binary to rule them all. Manage all those pesky binaries (kubectl, helm, terraform, ...) easily.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
I read a blog post by Alex Muscar, “Beautiful Binary Search in D“. It describes a binary search called “Shar’s algorithm”. I’d never heard of it and it’s impossible to google, but looking at the algorithm I couldn’t help but think “this is branchless.” And who knew that there could be a branchless binary search? So I did the work to translate it into a algorithm for C++ iterators, no longer requir
オープンソースのMac用バイナリエディタ「Hex Fiend」のBeta版がUniversal Binary化され、Apple Silicon製Macをサポート。
オープンソースのMac用バイナリエディタ「Hex Fiend」のBeta版がUniversal Binary化され、Apple Silicon製Macをサポートしています。詳細は以下から。 Hex Fiendは元AppleでAppKitの開発に携わっていたPeter Ammonさんが開発したオープンソースのバイナリエディタで、現在はBoxのKevin Wojniakさんがメンテナンスを行っていますが、このHex FiendがApple Silicon製Macでネイティブ動作するarm64と現在のIntel Macでネイティブ動作するx86_64バイナリを含んだUniversal Binary(Universal 2)化されたそうです。 Hex Fiend is built as a universal binary for native ARM support on Apple Silic
GitHub - andyk/ht: headless terminal - wrap any binary with a terminal interface for easy programmatic access.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Introducing Amazon Aurora MySQL enhanced binary log (binlog) | Amazon Web Services
AWS Database Blog Introducing Amazon Aurora MySQL enhanced binary log (binlog) Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Aurora has a history of innovating around database engines and the underlyi
GitHub - nuta/kerla: A new operating system kernel with Linux binary compatibility written in Rust.
Kerla is a monolithic operating system kernel written from scratch in Rust which aims to be compatible with the Linux ABI, that is, it runs Linux binaries without any modifications. Implements *NIX process concepts: context switching, signals, fork(2), execve(2), wait4(2), etc. Supports commonly used system calls like write(2), stat(2), mmap(2), pipe(2), poll(2), ... No disk support for now: initr
GitHub - sourcegraph/doctree: First-class library documentation for every language (based on tree-sitter), with symbol search & more. Lightweight single binary, run locally or self-host. Surfaces usage examples via Sourcegraph.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
“You should have lots of AWS accounts” has moved to https://substrate.tools/blog/you-should-have-lots-of-aws-accounts.
Do Pure Ruby Dream of Encrypted Binary Protocol? - unasuke - Rabbit Slide Show
Page: 1 Do Pure Ruby Dreams Encrypted Binary Protocol? unasuke (Yusuke Nakamura) RubyKaigi 2022 2022-09-09 Page: 2 Self introduction Name: unasuke (Yusuke Nakamura) Work: freelance Web app developer @ Tokyo Rails app developer (mainly) Itamae gem maintainer, Kaigi on Rails Organizer GitHub https://github.com/unasuke Mastodon https://mstdn.unasuke.com/@unasuke Twitter https://twitter.com/yu_suke199
GitHub - naggie/dstask: Git powered terminal-based todo/note manager -- markdown note page per task. Single binary!
Single binary terminal-based TODO manager with git-based sync + markdown notes per task Dstask is a personal task tracker designed to help you focus. It is similar to Taskwarrior but uses git to synchronise instead of a special protocol. Features: Powerful context system (automatically applies filter/tags to queries and new tasks) Git powered sync/undo/resolve (passwordstore.org style) which means
The npm blog has been discontinued. Updates from the npm team are now published on the GitHub Blog and the GitHub Changelog. tl;dr - Update to npm v6.13.4 as soon as possible on all your systems to fix a vulnerability allowing arbitrary path access. The Vulnerabilities In versions of npm prior to 6.13.3 (and versions of yarn prior to 1.21.1), a properly constructed entry in the package.json bin fi
【pwn 10.0】 gnote (kernel exploitation) - TokyoWesternsCTF2019 - newbie dive into binary
1: イントロ 2: 解き始めるまで 問題について デバッグ環境について 3: モジュールの挙動について 4: jmptableの脆弱性について switch分岐のアセンブラ おおよその展望 5:kmalloc()とスラブアロケータについて スラブアロケータ概略 kmalloc() kmem_cache_alloc_trace() slab_alloc()/ slab_alloc_node() つまりは 6: timerfd_ctxを利用したkernel symbol の leak __x64_sys_timerfd_createシステムコール timerfd_release()とRCU 7: RIPを取る 8: privilege acceleration prepare_kernel_cred(NULL); commit_creds() ROPを組んでroot権限を取る sysretq
【pwn 36.0】Intel CETが、みんなの恋人ROPを殺す - newbie dive into binary
keywords Intel CET / shadow stack / indirect branch tracking / もらとりあむ 1: イントロ 2: Intel CET 概観 3: Shadow Stack Shadow Stack の switch じゃあ、ShadowStackを書き換えればいいじゃん? スタックだろ? アンダーフローさせちまえよ 4: Indirect Branch Tracking じゃあendbr64から始まるアドレスに不正にJMPすることはできるんだろ? 5: CETが有効になる条件 6: 実際にIntel CET上でROPをしようとしてみる 7: Bypass 8: アウトロ 0: 参考 1: イントロ こんにちは、ニートです。 1週間程前、Intelは第11世代Coreプロセッサ (コードネーム: Tiger Lake) を正式に発表しました。な
GitHub - knadh/listmonk: High performance, self-hosted, newsletter and mailing list manager with a modern dashboard. Single binary app.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Tabular Data Binary Classification: All Tips and Tricks from 5 Kaggle Competitions
Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data
データ構造 Fenwick tree (binary indexed tree, BIT) にどっぷりと入門し、その美しき構造に心を洗われたい方のための紹介記事です！ - Qiita
データ構造 Fenwick tree (binary indexed tree, BIT) にどっぷりと入門し、その美しき構造に心を洗われたい方のための紹介記事です！アルゴリズム競技プログラミングデータ構造FenwickTreeBinaryIndexTree $$ \newcommand \lsb { \mathrm { lsb } } $$ Fenwick tree (Binary indexed tree, BIT) をお勉強しましたところ、大変美しい構造を持つことがわかりましたから、共有させていただきたいと思います。案外長くなってしまって、自分でもびっくりしています。 第一章：Fenwick tree の基本機能 初めての方はまずこちらです。 問題 整数の配列 $a$ があります。これに次のようなクエリが飛んできます。 操作 内容
Web 開発では、ファイル(作成、更新、ダウンロード)を処理するときにバイナリデータに出くわします。その他の典型的なユースケースは画像処理です。 これらはすべて JavaScript で可能です。また、バイナリ操作も高性能です。 ですが、多くのクラスが存在するため少し混乱しやすいです。いくつか例を挙げます: ArrayBuffer, Uint8Array, DataView, Blob, File, etc. JavaScript でのバイナリデータは、他の言語と比べて非標準的な方法で実装されています。しかし、一度整理できれば、すべてがとても簡単になります。 基本となるバイナリオブジェクトは ArrayBuffer です。これは固定長の連続したメモリ領域への参照です。 次のようにして生成できます:
Binary logging optimizations in Amazon Aurora MySQL version 3 | Amazon Web Services
AWS Database Blog Binary logging optimizations in Amazon Aurora MySQL version 3 The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a
私はnon-binaryトランスジェンダーで、普段は「やや男性」として生活している。 特に日本の企業で働く上では女性として見られてしまうと非常に不愉快な思いをするため、会社の同僚には男性で通している。 そんな私のパスポート上の名前と性別は女性のものだ。 海外で会社の同僚とレストランに行ってお酒を頼む時など、年齢確認のために身分証明書の提示を求められることは結構あり、こんな時にうっかり下の名前を呼ばれたりMs.やMamと呼ばれるのは避けたい。 そこで、パスポートの顔写真のページの上に Please do not read aloud my first name and sex. Instead of "Ms.", please call me "Mr." (私の下の名前と性別は声に出して読まないでください。Ms.の代わりにMr.と呼んでください) と書いた付箋をつけることにした。 stick
Opciones Binarias Recetor: 100 Accurate Binary Options Indicator
Visiteurs depuis le 25/01/2019 : 6381 Connectés : 1 Record de connectés : 15 5 dollar 100 accurate binary option indicator for mt4 Posted on Mar 18, 2015 by in Page turtle trading is not repaint mt4 2014 much better. Minimum deposit basics 101 open an eight year. Tallahassee up domain help in simple. Elective methods ny: minute binary. Clients can decide to regular moment beat the banking options
『エンダーリリーズ』で注目を集めるBinary Haze Interactiveの戦略をCEO小林宏至氏に聞く。自分たちが作りたいものを作る、国内でオンリーワンの存在になることを目指して」 | ゲーム・エンタメ最新情報のファミ通.com
ゲーム・エンタメ最新情報のファミ通.com インタビュー 家庭用ゲーム PS5 PS4 Switch XboxOne PCゲーム XboxSeriesX プレスリリース 『エンダーリリーズ』で注目を集めるBinary Haze Interactiveの戦略をCEO小林宏至氏に聞く。自分たちが作りたいものを作る、国内でオンリーワンの存在になることを目指して」
GitHub - johnthagen/min-sized-rust: 🦀 How to minimize Rust binary size 📦
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - elfshaker/elfshaker: elfshaker stores binary objects efficiently
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
どうもこたにんです。 ポケットモンスター、縮めてポケモン。 1996年に、ゲームボーイで、ポケモン赤緑が発売されて20年以上が経ちました。 子ども当時、ゲームボーイでポケモンをたくさん遊んでいた世代。 その世代って今、ちょうど中堅くらいの年代になっている気がしています。 ことエンジニア界隈においては、マネージャー的な立ち回りをする方々はその世代。 ふと、ポケモンを思い返したときに思った。 もしかして、ポケモンからエンジニアリングについて学びを得られるかもしれない。 ポケモンじゃなくても良いんだけどね、何かを例に学ぶことはインプットの促進になるので。 ということで今回は、エンジニア・システム開発におけるチームの種類 コンポーネントチーム フィーチャーチーム の役割やあり方について、ポケモンを例にとって学びを得るための記事です。 ここからはポケモンを知っている遊んだことがある前提で話は進みます
GitHub - qntm/base2048: Binary encoding optimised for Twitter
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance - Microsoft Research
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance Published August 4, 2021 By Junyan Chen , Principal Applied Science Manager Frédéric Dubut , Principal PM Manager, Core Search & AI Jason (Zengzhong) Li , Partner Group Engineering Manager Rangan Majumder , Vice President Recently, Transformer-based deep learning models like GPT-3 have been ge
GitHub - dosyago/graderjs: 💦 Turn your full-stack NodeJS application into a downloadable cross-platform binary. Also works for SPAs, or regular web-sites.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
macOS 11 Big Sur Beta 3ではインストーラーがIntelのx86_64とApple Siliconのarm64対応のUniversal Binaryに。
macOS 11 Big Sur Beta 3ではインストーラーがIntel x86_64とApple Silicon arm64e対応のUniversal Binaryになっています。詳細は以下から。 Appleは現地時間2020年07月22日、今年の秋にリリースを予定している次期macOS「macOS Big Sur 11 beta 3 Build 20A5323l」を開発者向けに公開しましたが、このBeta 1~2からBeta 3への差分アップデートに加え、ファイルサイズ12GBを超えるフル・インストールイメージ(インストーラー)が提供されています。 macOSのアップデートファイルはmacOS 10.15.xCatalinaでも4~6GB程度のため確認してみたところ、macOS 11 Big Sur Beta 3ではフル・インストールイメージがIntelのx86_64とApple
If you have ever written in Go, then the size of the resulting binaries could not escape your attention. Of course, in the age of gigabit links and terabyte drives, this shouldn’t be a big problem. Still, there are situations when you want the size of the binary to be as small as possible, and at the same time you do not want to part with Go. The options for how to make the Go binary “lose weight”
Analysing malware is daunting at first sight, as there are many questions but very little answers. The information security community provides information to researchers, both publicly and privately. Most reports, however, focus on the outcome of the research, rather than the process. As such, there are a lot of reports that show the results, without explicitly stating how they were obtained. In t
ChromeとPythonのchromedriver-binaryのバージョンを合わせたい。 - Qiita
はじめに 今回は本当に備忘録な記事です。 ただ、あとあと「こうすれば解決するけど、なぜそうなるんだろう？」みたいなところは追記したいと思います。 また、晴れてChrome 75がリリースされた後でも、この方法が使えるかどうかは確認しようと思います。(20190603 追記) 追記：20191006 設定が最初に記載した時点でも有効かどうか確認、一部修正して、ソースコードをGitHubに上げました。 https://github.com/akiko-pusu/qiita-article-chrome-python 今回やりたかったこと Python3のDockerイメージを利用して、サッとPython＋Seleniumの環境を作りたい headlessモードで動かせればいいので、できるだけシンプルにしておきたい ChromeはGoogleのリポジトリを追加して安定版をインストールする chr
はじめに GKEをご利用のみなさん、不正コンテナ実行の対策はしていますか？ 本記事では信頼できるコンテナのみ実行されることを保証するサービスであるBinary Authorizationを紹介します（と言いつつ、私もチュートリアルしかやっていないのですが）。 Binary Authorizationとは 公式ドキュメント1より引用します。 Binary Authorization は、Google Kubernetes Engine（GKE）に信頼できるコンテナ イメージのみがデプロイされることを保証するデプロイ時のセキュリティ管理サービスです。Binary Authorization を使用すると、開発プロセス時に、信頼できる機関によるイメージへの署名を必須にして、デプロイ時にその署名を検証する過程を導入できます。検証プロセスを適用することで、適切であると認められたイメージのみがビルドと
オープンソースのBitTorrentクライアント「Transmission v4.0」がリリース。Mac版はIntelとApple SiliconをサポートしたUniversal 2 Binaryに。
オープンソースのBitTorrentクライアント「Transmission v4.0」がリリースされています。詳細は以下から。 オープンソースでWindowsやMac、Linux、Unixなどのクロスプラットフォームで動作するBitTorrentクライアン「Transmission」を開発するThe Transmission Projectは現地時間2023年02月07日、昨年10月からBeta版を公開し開発を続けてきたTransmissionの最新バージョンとなる「Transmission 4.0.0」を正式にリリースしたと発表しています。 This is a major release, both in numbering and in effort! It’s been in active development for over a year and has a huge list
By using an asymptotic formula known for the numbers of Euler and Bernoulli it is possible to obtain an explicit expression of the nth digit of $\pi$ in decimal or in binary, it also makes it possible to obtain the $n^{\rm th}$ digit of powers of $\pi^n$.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベクトルデータの容量を96%削減するBinary Embedding
Beautiful Branchless Binary Search
Source & Binary / You should have lots of AWS accounts
npm Blog Archive: Binary Planting with the npm CLI
ArrayBuffer, binary arrays
パスポートの付箋 - とあるnon-binaryトランスジェンダーの生存戦略
NeovimをmacOS用にGUI化した「VimR」エディタがIntelとApple Siliconに対応したUniversal Binaryに。
ポケモンで学ぶ！コンポーネントチームとフィーチャーチームの違いって？ - Binary Diary
Optimizing the size of the Go binary - Prog.World
Binary Analysis Course – Max Kersten
Binary Authorizationで信頼できるコンテナのみをデプロイする - Qiita
A formula for the $n^{\rm th}$ decimal digit or binary of $\pi$ and powers of $\pi$