Have you heard about CRDTs and wondered what they are? Maybe you've looked into them a bit, but ran into a wall of academic papers and math jargon? That was me before I started my Recurse Center batch. But I've spent the past month or so doing research and writing code, and it turns out that you can build a lot with just a few simple things! In this series, we'll learn what a CRDT is. Then we'll w
Sentry Profiling now supports Browser Javascript, React Native, and Ruby
Sentry Profiling now supports Browser Javascript, React Native, and Ruby Profiling is an essential component of a developer’s toolkit for identifying and addressing the thorniest performance bottlenecks. Whether you’re a backend developer looking to cut down cloud infrastructure costs, a frontend developer trying to speed up page load times, or a mobile app developer working to ensure smooth scrol
This year’s Advent of Code has been brutal (compare the stats of 2023 with that of 2022, especially day 1 part 1 vs. day 1 part 2). It included a problem to solve with dynamic programming as soon as day 12, which discouraged some people I know. This specific problem was particularly gnarly for Advent of Code, with multiple special cases to take into account, making it basically intractable if you
前回記事で、VMwareで使用していた仮想マシンの仮想ハードディスクが分割されていたのを結合し、1つにして下準備が整ったので、VirtualBoxへ仮想マシンを移行する方法です。 ※ただし、今回の移行方法では、この仮想マシンではないものを移行します。 ◆移行方法 移行方法として次の2つの方法で実施してみました。 OVF（Open Virtualization Format）ファイルに変換して、VirtualBoxでインポートする方法 VMwareの仮想ハードディスク形式（VMDK）のまま移行する方法 今回は、タイトルにもあるとおり、1のOVF変換編として移行する方法を実施します。 ◆OVFへの変換 OVFへの変換には、次の方法があります。 VMwareのエクスポート機能を使用する方法 OVF Tool（Open Virtualization Format Tool）を使用して変換する方法
BigQueryでSendGrid Activityをセキュアに管理する仕組みを構築した - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回はBigQueryでSendGrid Activityをセキュアに管理する仕組みを構築したのでその紹介をします。SendGridを使い始めた方や、今後メール送信データを活用していきたい開発者の方は必見です。 SendGridのActivityを管理したい SendGridでActivityを保管するアーキテクチャ SendGridのEvent Webhookの基本 SendGridのEvent Webhookをセキュアに受け取る仕組み Signed Event Webhook Requests カテゴリの付与 メール送信後にすぐにイベントをチェックする まとめ We are hiring !! SendGridのActivityを管理したい 弊社
Conversations have been going on for weeks with the major record labels, Universal Music Group, Sony Music Entertainment and Warner Music Group, as well as independent labels and distributors, sources say. While the new royalty system will keep its existing pro-rata model, it introduces new floors that will grow the pool for more established artists and rights holders. The changes to Spotify’s roy
検索におけるエンティティとは？意味とSEOに活用する方法
エンティティとは SEOの文脈におけるエンティティとは、人物、場所、組織、事物、概念など、他の事物と区別できる一意性を持った現実世界の物事のことを言います。Googleの特許文書「非構造化データにおけるエンティティ参照を用いた質問応答」では、エンティティは次のように説明されています。 エンティティとは、一意であり、独自で、明確に定義され、区別可能な事物または概念である。例えばエンティティは、人、場所、物、アイデア、抽象的な概念、具体的な要素、他の適切な事物、またはそれらの任意の組み合わせである。 一般に、エンティティには、名詞によって言語的に表現される事物や概念が含まれる。例えば、色「青」や、都市「サンフランシスコ」や、想像上の動物「ユニコーン」は、それぞれエンティティである可能性がある。 US20160371385A1 – Question answering using entity
3D Gaussian Splatting for Real-Time Radiance Field Rendering
Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no c
Foundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolution and recurrent models, and structured state space models (SSMs) have been developed to address Transformers' computational inefficiency on long
Kafka Streams の State Store が tombstone によって遅くなってしまったので RocksDB のパラメータを調整してみた話 - Repro Tech Blog
Platform Team の Repro Core という Unit に所属している村上と申します。 Repro Core の役割の 1 つとして、共通基盤となる Kafka Streams アプリケーションの運用があります。 この共通基盤は Repro の大量トラフィックを捌いている基盤になるため、日々の運用の中で様々な課題に直面します。 今回はそのような課題の中から、tombstone によって State Store のパフォーマンスが低下し、その解決策として RocksDB のパラメータを調整した話をします。 前半部分では tombstone によって State Store のパフォーマンスが低下した件を説明します。後半は RocksDB の compaction の挙動確認とそのパラメータ調整について説明します。 ちなみに、私が所属している Repro Core については、
Russ Cox 28 August 2023 One of the key benefits of open-source software is that anyone can read the source code and inspect what it does. And yet most software, even open-source software, is downloaded in the form of compiled binaries, which are much more difficult to inspect. If an attacker wanted to run a supply chain attack on an open-source project, the least visible way would be to replace th
Rustはさまざまな用途で利用されていますが、最近は、AI/機械学習分野でも利用されるようになってきました。そこで、今回は簡単な機械学習のアルゴリズムであるk近傍法を使ってアヤメの分類に挑戦してみましょう。 「アヤメの分類」データを使ってk近傍法で分類してみよう アヤメの分類に挑戦しよう 今回は「アヤメの分類」に挑戦します。これは、機械学習の中でも、教師あり学習の分類問題に分類されるものです。と言っても、機械学習にあまり詳しくない人からすると、「教師あり学習」とか「分類問題」とは何だろうと思うことでしょう。しかし、それほど難しいものではありません。 「アヤメの分類」データセットは、機械学習のベンチマークに使われる有名なものです。これは、名前の通り、アヤメの品種を分類したデータセットです。 そもそも、アヤメには多くの品種がありますが、品種を見分けるとき、花弁の幅や長さ、がく片(花の外側にある
Fantastic Learning Resources Aug 6, 2023 People sometimes ask me: “Alex, how do I learn X?”. This article is a compilation of advice I usually give. This is “things that worked for me” rather than “the most awesome things on earth”. I do consider every item on the list to be fantastic though, and I am forever grateful to people putting these resources together. Learning to Code I don’t think I hav
Last year, Kristina Shen and I expressed our anticipation for a “Wave 2” of B2B AI applications focused on synthesizing information, which we referred to as “SynthAI.” If the first wave of generative AI applications was about creating new content — like emails, lists, or marketing copy — this second wave focuses on condensing information in a manner that saves users time. The crux of this is to ow
IETF118 参加報告 〜Hackathon での成果と WG session 紹介〜 - NTT Communications Engineers' Blog
イノベーションセンターの三島と深川です。 普段の業務では、Segment Routing を始めとする経路制御技術や、IPFIX や Streaming Telemetry などの監視技術の検証・運用、高速ソフトウェアルーター「Kamuee」の開発をしています。 我々は 2023/11/04-10 に行われた IETF 118 Prague へ参加しました。 この記事では、IETF 118 の参加報告として、主に Hackathon での成果と各 WG の動向などをご紹介します。 (出典: https://www.ietf.org/) IETF の概要や IETF 117 についてはIETF117 参加報告とおもしろワーキンググループ紹介をご覧ください。 IETF 118 参加報告 以下では、我々が現地で参加した IETF meeting の内容をご紹介します。 IETF 118 の全スケ
This is why you should never use parser combinators and PEG
Let me tell you why you should (nearly) never use PEG (parsing expression grammars). Nearly everything I will say applies to parser combinators (parsec in Haskell, nom in Rust), too. So, don't use PEG. Use CFGs (context-free grammars) instead. They are more natural. I feel that CFGs more naturally represent how we think. Thus when you have some language in your head and you try to write it down as
tl;dr: Deep technical analysis of the CONTINUATION Flood: a class of vulnerabilities within numerous HTTP/2 protocol implementations. In many cases, it poses a more severe threat compared to the Rapid Reset: a single machine (and in certain instances, a mere single TCP connection or a handful of frames) has the potential to disrupt server availability, with consequences ranging from server crashes
これは フェンリル デザインとテクノロジー Advent Calendar 2023 15日目の記事です。 こんにちは。大西です。年に一度くらいしか書かないnote、今年も一度しか書かずに終わりそうです。 私は視覚科学を勉強しています。特に文字の認識に関する研究が好きです。 文字について考えるのが楽しすぎて、博士号をとりました。今回は久しぶりに自分の専門領域の話を書きます。 IT業、しかもHCDを掲げて仕事をしている身ではありますが、実は私、WCAG関連の話題があまり好きではありません（個人的な見解です）。中でも、「4.5:1以上のコントラスト比がないとアクセシビリティ対応が不十分」のようにいわれがちな、コントラストチェッカーの結果を見るのが一番苦手です。チェッカーでの計算に限界があることを理解して使ってほしい、結果に一喜一憂するくらいなら輝度を実測しちゃえばいいのに、などと歯がゆい思いを
Rust製TypeScript LinterであるBiome, Oxc, deno_lintなどは、TypeScriptの型情報を利用するLintルール（型情報Lintルール）[1]を持っていません。本記事では、その背景から、Rust製TypeScript Linterが型情報Lintルールを実現するための手段についてまとめます。 筆者のTSKaigi 2024で利用した下記登壇資料に情報を追加し、文章化したものです。 要約すると、以下になります。 Rust製TypeScript Linterは、安全性をさらに高めてくれるtypescript-eslintの型情報Lintルールが欲しいが、パフォーマンスを犠牲にしたくない。TypeScript Compilerに頼らずに実現するには、Alternative TypeScript Compilerや型推論が必要。型情報Lintルールの実装を型
収入や職業、居住地など多岐にわたる600万人以上のデータを元にアルゴリズムを訓練し、人間の早期死亡率や性格などを予測できるAI「life2vec」をデンマーク工科大学(DTU)の研究チームが開発しました。 Using sequences of life-events to predict human lives | Nature Computational Science https://www.nature.com/articles/s43588-023-00573-5 life2vec - Official Model and Paper Page https://life2vec.dk/ This New AI Predicts Your Life. Then It Predicts Your Death. : ScienceAlert https://www.sciencealer
Recursion Viewer
Website for visualizing recursive functions. Helps to debug and understand how your recursive algorithm works
From my perspective, one of the biggest open problems in implementing programming languages is how to add a type system to the language without significantly complicating the implementation. For example, in my tutorial Fall-from-Grace implementation the type checker logic accounts for over half of the code. In the following lines of code report I’ve highlighted the modules responsible for type-che
Animated AI
I'm creating animations and instructional videos about neural networks. Check out my Patreon and YouTube channel! Convolution The Basic Algorithm Watch the companion YouTube video: Fundamental Algorithm of Convolution in Neural Networks. Padding Companion video: Convolution Padding - Neural Networks
seriot.ch About | Projects | Trail PSChess – A Chess Engine in PostScript Here is a quick overview about the making and inner working of PSChess. GitHub repo: https://github.com/nst/PSChess See also my remarks about programming in PostScript. Motivation To what extend can we execute arbitrary code on a printer? How to implement a chess engine in PostScript? Can you play chess against your printer?
Conformant OpenGL® ES 3.1 drivers are now available for M1- and M2-family GPUs. That means the drivers are compatible with any OpenGL ES 3.1 application. Interested? Just install Linux! For existing Asahi Linux users, upgrade your system with dnf upgrade (Fedora) or pacman -Syu (Arch) for the latest drivers. Our reverse-engineered, free and open source graphics drivers are the world’s only conform
WSJスクープ | アマゾン、極秘アルゴリズム使い価格つり上げ
米アマゾン・ドット・コムは「プロジェクト・ネッシー」というコードネームのアルゴリズムを利用し、競合他社が追随する形でどれだけ価格をつり上げられるかを試していた。米連邦取引委員会（FTC）は反トラスト法（独占禁止法）違反の疑いで同社を提訴しており、訴状の黒塗り部分の内容から明らかになった。
はじめに こんにちは、D2Cデータサイエンティストの小林です。 本記事では、Pythonによるハッシュの扱い方とハッシュを用いることで使用するメモリの削減ができるのかを検証します。 ハッシュについては簡単な紹介のみとなりますので、ハッシュについて深く知りたい方は他の記事を参考していただければと思います。 開発環境 検証において以下の環境を使用しました。 AWS EC2 (インスタンスタイプ: r5.2xlarge) Python 3.10系（3.10.9） pandas 1.5.1 memory_profiler 0.61.0 hashlib 3.10系で提供されているモジュール random 3.10系で提供されているモジュール string 3.10系で提供されているモジュール ハッシュとは ハッシュとは、あるデータから特定のアルゴリズムに基づいて不規則な文字列(値)を求めることです。
Rist Kaggle チームの藤本(@fam_taro)です。 今回は Rist Kaggle合宿2023夏の時間を使って、最近の OpenMMLab の始め方をまとめてみました。本記事内ではその中の mmdetection を使って説明していきますが、他の OpenMMLab の使い方もカバーする内容となってます。 また記事の後半では Kaggle のコードコンペなどに参加したいときの使い方も記載します。 1. OpenMMLabとは 下図と紹介文は 公式サイト より引用 OpenMMLab builds the most influential open-source computer vision algorithm system in the deep learning era. It aims to provide high-quality libraries to reduc
2023年のGoogleアルゴリズムアップデートのまとめ - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
【メールマガジンのご案内】 SEOに役立つ記事の更新やセミナーのご案内をメールマガジンで行っております。 ぜひご登録ください。 メールマガジンに登録する＞＞ この記事は、Search Engine Landに掲載された「Google algorithm updates 2023 in review: Core, reviews, helpful content, spam and beyond」を翻訳した内容です。2023年実施されたアルゴリズムアップデートについてまとめており、特に8月から連続で実施されたアップデートの整理などに役立つと思います。 2023年、Googleは9つの公式で確認されたアルゴリズムアップデートを行い、新しいAI検索エンジン「Search Generative Experience」を導入しました。2022年と2021年にはそれぞれ10回のアップデートがありました
I look forward to summer every year. Sun, beach, warm nights, and putting the finishing touches on the next version of .NET. It’s also the time I get to continue a tradition I started for myself back in 2017 of writing about the performance improvements that have gone into the latest .NET incarnation. A year ago that was Performance Improvements in .NET 7, which followed similar posts for .NET 6,
Retrieval Augmented Generation at scale — Building a distributed system for synchronizing and…
Disclaimer: We will go into some technical and architectural details of how we do this at Neum AI — A data platform for embeddings management, optimization, and synchronization at large scale, essentially helping with large-scale RAG. As we’ve shared in other blogs in the past, getting a Retrieval Augmented Generation (RAG) application started is pretty straightforward. The problem comes when tryi
Chrome 119 beta brings you CSS relative color syntax, new pseudo-classes, and much more. Unless otherwise noted, changes described apply to the newest Chrome beta channel release for Android, ChromeOS, Linux, macOS, and Windows. Learn more about the features listed here through the provided links or from the list on ChromeStatus.com. Chrome 119 is beta as of October 4, 2023. You can download the l
The introduction of Speedometer 3.0 is a major step forward in making the web faster for all, and allowing Web developers to make websites and web apps that were not previously possible. In this article, we explore ways the WebKit team made performance optimizations in WebKit and Safari based on the Speedometer 3.0 benchmark. In order to make these improvements, we made an extensive use of our per
References are like jumps
In a high-level language, the programmer is deprived of the dangerous power to update his own program while it is running. Even more valuable, he has the power to split his machine into a number of separate variables, arrays, files, etc.; when he wishes to update any of these he must quote its name explicitly on the left of the assignment, so that the identity of the part of the machine subject to
2024年4月10日、MetaがAIワークロード向けに設計した自社開発のAIチップ「Meta Training and Inference Accelerator(MTIA)」の第2世代を発表しました。第1世代と比較してパフォーマンスが大幅に向上し、すでにMetaのデータセンターに導入されているとのことです。 Our next generation Meta Training and Inference Accelerator https://ai.meta.com/blog/next-generation-meta-training-inference-accelerator-AI-MTIA/ Introducing Our Next Generation Infrastructure for AI | Meta https://about.fb.com/news/2024/04/int
MySQL の Online DDL について検証しつつ備忘録としてまとめておきます。 (本記事の検証は、MySQL 5.7.40 で実施しています。) mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.40 | +-----------+ 1 row in set (0.02 sec) Online DDLとは MySQL 5.7 Reference Manual - 14.13 InnoDB and Online DDL Online DDL の機能によって、インデックスの作成などの DDL を実行している最中に INSERT , UPDATEなどの DML が実行できるようになっています。 MySQL 5.5 以前での ALTER TABLE は下記のような制限があったようです。 ALTE
GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"
Bernhard Kerbl*, Georgios Kopanas*, Thomas Leimkühler, George Drettakis (* indicates equal contribution) | Webpage | Full Paper | Video | Other GRAPHDECO Publications | FUNGRAPH project page | | T&T+DB COLMAP (650MB) | Pre-trained Models (14 GB) | Viewers for Windows (60MB) | Evaluation Images (7 GB) | This repository contains the official authors implementation associated with the paper "3D Gauss
Treemaps are awesome!An alternative to pprint for generically visualizing heterogeneous, hierarchical data Why treemaps?Treemaps are an underutilized visualization that are capable of generically summarizing data of many shapes and sizes. To date, they've mostly been used for displaying the files consuming all of your disk space, but with a few tweaks, treemaps can be a flexible tool for exploring
最近、文をembeddingsといった特徴ベクトルに変換するユースケースが増えている。そのベクトルから類似ベクトルを探す時に、数千ベクトルならほぼ何も考えなくともよく、数万ベクトル〜になると検索速度を高速化するためHNSW等のANNの近似最近傍探索アルゴリズムを使い、そして数百万ベクトル〜になってくると現実的なデータサイズ収めるために量子化等々を組み合わせた最適化を行うことが多いだろう。 これら類似ベクトル検索のための最適化(HNSW・IVFといったアルゴリズムや量子化)では、検索速度、データサイズ(メモリに乗るか)、精度、三つのトレードオフが発生する。これらトレードオフを踏まえた最適化戦略を考えるのだが、最適化時の正確さの計測結果として recall@10 や recall@100 が掲載されていることを多く見かける。例えばChoose the k-NN algorithm for yo
初めに これまでメールに関するブログ記事をいくつか執筆していますが実はDKIMについては概念としては知っているもののAmazon SES等の各種メールサービスを使っているとレコードも自動生成、サーバサイドの処理も意識することなくという感じで実のところあまり詳細な仕様は把握していませんでした。 (自分の過去の記事よく見るとDKIMに関してはかなり端折ってたりします) とはいえここ最近は大手メールサービスの受信側のポリシーの変更で各種DNSによるメールの認証技術周りへの対応を行うような話もあり流石にふんわりした知識でいるのも微妙な感じ...という思いが出てきました。 理解するには実際に手を動かしてみることが一番、ということで受信サーバサイドでやるDKIMの署名検証を実際のメールヘッダやDNSレコードを見ながら順を追ってやって理解を深めてみようと思います。 いっそのこと送信側の署名も自前でやって
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An Interactive Intro to CRDTs | jakelazaroff.com
Dynamic Programming is not Black Magic – Quentin Santos
VMwareからVirtualBoxへ仮想マシンの移行（OVF変換編）
Spotify Is Changing How It Pays Artists
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Perfectly Reproducible, Verified Go Toolchains - The Go Programming Language
Rustで有名アルゴリズムに挑戦(16) Rustで機械学習に挑戦 - k近傍法でアヤメの分類をしよう
Fantastic Learning Resources
Owning the Workflow in B2B AI Apps | Andreessen Horowitz
HTTP/2 `CONTINUATION` Flood: Technical Details
視覚科学者がAPCAについて考えてみた｜Madoka Ohnishi
Rust製TypeScript Linterにおける型情報Lintルールの模索
「その人の早期死亡率は」「別の都市や国に引っ越すのか」など人生を予測するAIを研究者が開発
Unification-free ("keyword") type checking
PSChess - A Chess Engine in PostScript
The first conformant M1 GPU driver
Pythonにおけるハッシュの扱いとメモリの削減について
OpenMMLabの始め方@SUMMER 2023 - Qiita
Performance Improvements in .NET 8 - .NET Blog
Chrome 119 beta | Blog | Chrome for Developers
Optimizing WebKit & Safari for Speedometer 3.0
Metaが自社開発のAIチップ「MTIA」第2世代を発表、前世代の3倍の性能を実現しデータセンターにも導入済み
MySQL の Online DDL の挙動をローカルで検証して理解する
Treemaps are awesome!
ベクトル検索の高速化アルゴリズムと量子化パラメータの速度・データサイズ・精度の計測 - RAGでの利用時にはtop-N を意識する - A Day in the Life
Amazon SESから送信されたメールのDKIM署名を検証してみた | DevelopersIO