In this blog, I am going to explain the important concepts of Heap and use the ptmalloc in the Glibc 2.31 library as an example. The heap is a beautiful mess :) I really like the saying shown above. The word Heap we always use refers to the dynamically allocated segment in the virtual memory space of a process, but it actually stands for the implementation of the memory pool(the dynamic memory all
LLM に表データを読み解かせたかったので、ちょっと試してみた | CyberAgent Developers Blog
AI事業本部 協業リテールメディア Div. の青見 (@nersonu) です。2023年11月に中途で入社したため、5月でようやく入社半年を迎えました。社内 Slack の times で有給休暇が付与されて喜んでいる(？)様子を御覧ください。 有給休暇に喜ぶ筆者 そんな社歴半年のペーペーですが、普段は機械学習エンジニアと強い気持ちで名乗ってお仕事をしています。特にうまい繋ぎも思いつかないので、記事の本題に入りましょう。 近年、 LLM に関する話題は尽きることはありません。研究領域やビジネス領域といった概念にとらわれず、わたしたちの生活のすぐそばで、今まさに違和感が少しずつ取り除かれながら社会に溶け込んでいっていると感じます。そんな LLM ですが、自然言語というデータの枠に収まらず、様々なタスクへの適用の試みが日夜行われています。そんな挑戦的な数多あるトピックの中から「表形式データ
というNBER論文が上がっている（H/T Mostly Economics；ungated版へのリンクがある著者の一人のページ）。原題は「Regulating Artificial Intelligence」で、著者はJoao Guerreiro（UCLA）、Sergio Rebelo（ノースウエスタン大）、Pedro Teles（ポルトガル銀行）。 以下はその要旨。 We consider an environment in which there is substantial uncertainty about the potential negative external effects of AI algorithms. We find that subjecting algorithm implementation to regulatory approval or mandat
Microsoft Copilotは選挙関連の誤った情報・古い情報・陰謀論をべースに回答しているため政治について尋ねるのは不向きとの報告
ChatGPTやMicrosoftのCopilot(Bing Chat)は、人間の言葉に対して自然な言葉を返すことができるチャットサービスです。そんなサービスを「正しい情報を引き出すためのツール」と見なして調査した団体が、政治についての情報をCopilotに尋ねるべきではないとの報告書を公開しました。 Prompting Elections: The Reliability of Generative AI in the 2023 Swiss and German Elections https://aiforensics.org/work/bing-chat-elections Microsoft’s Bing AI gives false election info in Europe, study finds - The Washington Post https://www.was
Eyes Above The Waves Robert O'Callahan. Christian. Repatriate Kiwi. Hacker. Archive 2024 June So You Want To Build A Browser Engine Real-Time Settlers Of Catan April Auckland Waterfront Half Marathon 2024 Whanganui River Journey 2024 2023 December Rees-Dart Track 2023 Caples/Routeburn Track 2023 Abel Tasman Kayaking November Mount Pirongia 2023 Blog Migrated April Why I Signed The "Pause" Letter A
CS大学生のアメリカ就活失敗体験記｜Yuki
はじめに留学前に目指していたアメリカ・シリコンバレーでのSoftware Engineer就活は失敗に終わりました。しかしながら、もう一度大学1年生に戻ることができるなら、そこそこ上手くいく自信があるので、私の経験を反面教師としていただければ幸いです。 また、当初の目標は達成できなかったものの、アメリカの日系企業の内定、日本の外資系企業から内定を獲得し、納得のいく結果となったので、海外就活時の併願先選びの参考になればと思います。 追記: 私はOPT3年有、GC/国籍は無です。一般的なCS専攻留学生です。 自己紹介私はカリフォルニア州立大学でComputer Scienceを専攻していました。高校時代はプログラミングも英語もできませんでしたが、自分を変えたいという思いと、シリコンバレーで働きたいという夢を持ち、海外の大学を目指しました。 コミュニティカレッジから4年制大学への編入ルートを選び
Happy New Year: GPT in 500 lines of SQL - EXPLAIN EXTENDED
Translations: Russian This year, the talk of the town was AI and how it can do everything for you. I like it when someone or something does everything for me. To this end, I decided to ask ChatGPT to write my New Year's post: "Hey ChatGPT. Can you implement a large language model in SQL?" "No, SQL is not suitable for implementing large language models. SQL is a language for managing and querying d
On AWS Firecracker – but there are other new micro-VM engines around, too Replacing a sort algorithm in the FreeBSD kernel has improved its boot speed by a factor of 100 or more… and although it's aimed at a micro-VM, the gains should benefit everyone. MicroVMs are a hot area of technology R&D in the last half decade or so. The core idea is a re-invention of some of concepts and technology that IB
PowerShell: the object-oriented shell you didn’t know you needed
PowerShell is an interactive shell and scripting language from Microsoft. It’s object-oriented — and that’s not just a buzzword, that’s a big difference to how the standard Unix shells work. And it is actually usable as an interactive shell. Getting Started PowerShell is so nice, Microsoft made it twice. Specifically, there concurrently exist two products named PowerShell: Windows PowerShell (5.1)
Foundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolution and recurrent models, and structured state space models (SSMs) have been developed to address Transformers' computational inefficiency on long
Have you heard about CRDTs and wondered what they are? Maybe you've looked into them a bit, but ran into a wall of academic papers and math jargon? That was me before I started my Recurse Center batch. But I've spent the past month or so doing research and writing code, and it turns out that you can build a lot with just a few simple things! In this series, we'll learn what a CRDT is. Then we'll w
This year’s Advent of Code has been brutal (compare the stats of 2023 with that of 2022, especially day 1 part 1 vs. day 1 part 2). It included a problem to solve with dynamic programming as soon as day 12, which discouraged some people I know. This specific problem was particularly gnarly for Advent of Code, with multiple special cases to take into account, making it basically intractable if you
Making a Chess Engine in Zig
I had the honor of speaking at Systems Distributed at the end of June. Since it was hosted by TigerBeetle who is one of the largest zig users, a lot of the zig community was there. After talking to some of them, Zig seemed more interesting for me to try out. Around the same time my youtube algorithm got me hooked on chess content. I'm not a good chess player by any means, but it started giving me
Bloom Filters
This page makes heavy use of JavaScript to visualise the concepts discussed. Viewing it without JavaScript will be a strange experience, as the text talks about the visualisations. I strongly recommend either enabling JavaScript, or not wasting your time. Everyone has a set of tools they use to solve problems. Growing this set helps you to solve ever more difficult problems. In this post, I'm goin
Conversations have been going on for weeks with the major record labels, Universal Music Group, Sony Music Entertainment and Warner Music Group, as well as independent labels and distributors, sources say. While the new royalty system will keep its existing pro-rata model, it introduces new floors that will grow the pool for more established artists and rights holders. The changes to Spotify’s roy
検索におけるエンティティとは？意味とSEOに活用する方法
エンティティとは SEOの文脈におけるエンティティとは、人物、場所、組織、事物、概念など、他の事物と区別できる一意性を持った現実世界の物事のことを言います。Googleの特許文書「非構造化データにおけるエンティティ参照を用いた質問応答」では、エンティティは次のように説明されています。 エンティティとは、一意であり、独自で、明確に定義され、区別可能な事物または概念である。例えばエンティティは、人、場所、物、アイデア、抽象的な概念、具体的な要素、他の適切な事物、またはそれらの任意の組み合わせである。 一般に、エンティティには、名詞によって言語的に表現される事物や概念が含まれる。例えば、色「青」や、都市「サンフランシスコ」や、想像上の動物「ユニコーン」は、それぞれエンティティである可能性がある。 US20160371385A1 – Question answering using entity
IETF118 参加報告 〜Hackathon での成果と WG session 紹介〜 - NTT Communications Engineers' Blog
イノベーションセンターの三島と深川です。 普段の業務では、Segment Routing を始めとする経路制御技術や、IPFIX や Streaming Telemetry などの監視技術の検証・運用、高速ソフトウェアルーター「Kamuee」の開発をしています。 我々は 2023/11/04-10 に行われた IETF 118 Prague へ参加しました。 この記事では、IETF 118 の参加報告として、主に Hackathon での成果と各 WG の動向などをご紹介します。 (出典: https://www.ietf.org/) IETF の概要や IETF 117 についてはIETF117 参加報告とおもしろワーキンググループ紹介をご覧ください。 IETF 118 参加報告 以下では、我々が現地で参加した IETF meeting の内容をご紹介します。 IETF 118 の全スケ
Kafka Streams の State Store が tombstone によって遅くなってしまったので RocksDB のパラメータを調整してみた話 - Repro Tech Blog
Platform Team の Repro Core という Unit に所属している村上と申します。 Repro Core の役割の 1 つとして、共通基盤となる Kafka Streams アプリケーションの運用があります。 この共通基盤は Repro の大量トラフィックを捌いている基盤になるため、日々の運用の中で様々な課題に直面します。 今回はそのような課題の中から、tombstone によって State Store のパフォーマンスが低下し、その解決策として RocksDB のパラメータを調整した話をします。 前半部分では tombstone によって State Store のパフォーマンスが低下した件を説明します。後半は RocksDB の compaction の挙動確認とそのパラメータ調整について説明します。 ちなみに、私が所属している Repro Core については、
HANTS法とは？ HANTS（Harmonic ANalysis of Time Series）は、リモートセンシングデータの時系列解析に使用される手法の一つで、時系列データを周期的な成分（調和成分）に分解し、ノイズや異常値を除去しながらデータを再構築する手法です。今回はNDVIでよく利用されるZhou et al., 2015の方法をもとに、この方法の基本的な考え方と動作原理を以下に解説します。 HANTSの基本概念 1. 理論的背景 HANTS法は、フーリエ級数展開の考え方を基礎としています。フーリエ級数展開では、任意の周期関数を正弦波と余弦波の和で表現できるという原理を用います。HANTS法は、この原理を時系列データに適用し、データに含まれる様々な周期成分を抽出します。 2. 基本モデル HANTS法では、時系列データ $y(t_j)$を以下のようにモデル化します： $$ \til
Rustはさまざまな用途で利用されていますが、最近は、AI/機械学習分野でも利用されるようになってきました。そこで、今回は簡単な機械学習のアルゴリズムであるk近傍法を使ってアヤメの分類に挑戦してみましょう。 「アヤメの分類」データを使ってk近傍法で分類してみよう アヤメの分類に挑戦しよう 今回は「アヤメの分類」に挑戦します。これは、機械学習の中でも、教師あり学習の分類問題に分類されるものです。と言っても、機械学習にあまり詳しくない人からすると、「教師あり学習」とか「分類問題」とは何だろうと思うことでしょう。しかし、それほど難しいものではありません。 「アヤメの分類」データセットは、機械学習のベンチマークに使われる有名なものです。これは、名前の通り、アヤメの品種を分類したデータセットです。 そもそも、アヤメには多くの品種がありますが、品種を見分けるとき、花弁の幅や長さ、がく片(花の外側にある
Last year, Kristina Shen and I expressed our anticipation for a “Wave 2” of B2B AI applications focused on synthesizing information, which we referred to as “SynthAI.” If the first wave of generative AI applications was about creating new content — like emails, lists, or marketing copy — this second wave focuses on condensing information in a manner that saves users time. The crux of this is to ow
Russ Cox 28 August 2023 One of the key benefits of open-source software is that anyone can read the source code and inspect what it does. And yet most software, even open-source software, is downloaded in the form of compiled binaries, which are much more difficult to inspect. If an attacker wanted to run a supply chain attack on an open-source project, the least visible way would be to replace th
This is why you should never use parser combinators and PEG
Let me tell you why you should (nearly) never use PEG (parsing expression grammars). Nearly everything I will say applies to parser combinators (parsec in Haskell, nom in Rust), too. So, don't use PEG. Use CFGs (context-free grammars) instead. They are more natural. I feel that CFGs more naturally represent how we think. Thus when you have some language in your head and you try to write it down as
tl;dr: Deep technical analysis of the CONTINUATION Flood: a class of vulnerabilities within numerous HTTP/2 protocol implementations. In many cases, it poses a more severe threat compared to the Rapid Reset: a single machine (and in certain instances, a mere single TCP connection or a handful of frames) has the potential to disrupt server availability, with consequences ranging from server crashes
これは フェンリル デザインとテクノロジー Advent Calendar 2023 15日目の記事です。 こんにちは。大西です。年に一度くらいしか書かないnote、今年も一度しか書かずに終わりそうです。 私は視覚科学を勉強しています。特に文字の認識に関する研究が好きです。 文字について考えるのが楽しすぎて、博士号をとりました。今回は久しぶりに自分の専門領域の話を書きます。 IT業、しかもHCDを掲げて仕事をしている身ではありますが、実は私、WCAG関連の話題があまり好きではありません（個人的な見解です）。中でも、「4.5:1以上のコントラスト比がないとアクセシビリティ対応が不十分」のようにいわれがちな、コントラストチェッカーの結果を見るのが一番苦手です。チェッカーでの計算に限界があることを理解して使ってほしい、結果に一喜一憂するくらいなら輝度を実測しちゃえばいいのに、などと歯がゆい思いを
Rust製TypeScript LinterであるBiome, Oxc, deno_lintなどは、TypeScriptの型情報を利用するLintルール（型情報Lintルール）[1]を持っていません。本記事では、その背景から、Rust製TypeScript Linterが型情報Lintルールを実現するための手段についてまとめます。 筆者のTSKaigi 2024で利用した下記登壇資料に情報を追加し、文章化したものです。 要約すると、以下になります。 Rust製TypeScript Linterは、安全性をさらに高めてくれるtypescript-eslintの型情報Lintルールが欲しいが、パフォーマンスを犠牲にしたくない。TypeScript Compilerに頼らずに実現するには、Alternative TypeScript Compilerや型推論が必要。型情報Lintルールの実装を型
収入や職業、居住地など多岐にわたる600万人以上のデータを元にアルゴリズムを訓練し、人間の早期死亡率や性格などを予測できるAI「life2vec」をデンマーク工科大学(DTU)の研究チームが開発しました。 Using sequences of life-events to predict human lives | Nature Computational Science https://www.nature.com/articles/s43588-023-00573-5 life2vec - Official Model and Paper Page https://life2vec.dk/ This New AI Predicts Your Life. Then It Predicts Your Death. : ScienceAlert https://www.sciencealer
Recursion Viewer
Website for visualizing recursive functions. Helps to debug and understand how your recursive algorithm works
From my perspective, one of the biggest open problems in implementing programming languages is how to add a type system to the language without significantly complicating the implementation. For example, in my tutorial Fall-from-Grace implementation the type checker logic accounts for over half of the code. In the following lines of code report I’ve highlighted the modules responsible for type-che
Animated AI
I'm creating animations and instructional videos about neural networks. Check out my Patreon and YouTube channel! Convolution The Basic Algorithm Watch the companion YouTube video: Fundamental Algorithm of Convolution in Neural Networks. Padding Companion video: Convolution Padding - Neural Networks
Conformant OpenGL® ES 3.1 drivers are now available for M1- and M2-family GPUs. That means the drivers are compatible with any OpenGL ES 3.1 application. Interested? Just install Linux! For existing Asahi Linux users, upgrade your system with dnf upgrade (Fedora) or pacman -Syu (Arch) for the latest drivers. Our reverse-engineered, free and open source graphics drivers are the world’s only conform
seriot.ch About | Projects | Trail PSChess – A Chess Engine in PostScript Here is a quick overview about the making and inner working of PSChess. GitHub repo: https://github.com/nst/PSChess See also my remarks about programming in PostScript. Motivation To what extend can we execute arbitrary code on a printer? How to implement a chess engine in PostScript? Can you play chess against your printer?
WSJスクープ | アマゾン、極秘アルゴリズム使い価格つり上げ
米アマゾン・ドット・コムは「プロジェクト・ネッシー」というコードネームのアルゴリズムを利用し、競合他社が追随する形でどれだけ価格をつり上げられるかを試していた。米連邦取引委員会（FTC）は反トラスト法（独占禁止法）違反の疑いで同社を提訴しており、訴状の黒塗り部分の内容から明らかになった。
はじめに こんにちは、D2Cデータサイエンティストの小林です。 本記事では、Pythonによるハッシュの扱い方とハッシュを用いることで使用するメモリの削減ができるのかを検証します。 ハッシュについては簡単な紹介のみとなりますので、ハッシュについて深く知りたい方は他の記事を参考していただければと思います。 開発環境 検証において以下の環境を使用しました。 AWS EC2 (インスタンスタイプ: r5.2xlarge) Python 3.10系（3.10.9） pandas 1.5.1 memory_profiler 0.61.0 hashlib 3.10系で提供されているモジュール random 3.10系で提供されているモジュール string 3.10系で提供されているモジュール ハッシュとは ハッシュとは、あるデータから特定のアルゴリズムに基づいて不規則な文字列(値)を求めることです。
はじめに 本記事ではエンジニア向けの海外情報収集サイトをまとめました。”一次情報”をより”早く”取得するという意味で海外の情報収集を行うことは非常に意義のあることです。日本で働いている人でも、海外情報は積極的に取得しましょう。英語が読めない方も翻訳機やLLMに投げることで良い感じに翻訳してくれます。 本記事は、情報収集サイトを次の4種類に分類して紹介しています。参考にしてください。 学習系 ニュース系 ITサービス技術ブログ その他 それでは、早速紹介していきます！！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 学習系 FreeCodeCamp FreeCodeCamp.orgは、エンジニアやプログラミング初学者を対
2023年のGoogleアルゴリズムアップデートのまとめ - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
【メールマガジンのご案内】 SEOに役立つ記事の更新やセミナーのご案内をメールマガジンで行っております。 ぜひご登録ください。 メールマガジンに登録する＞＞ この記事は、Search Engine Landに掲載された「Google algorithm updates 2023 in review: Core, reviews, helpful content, spam and beyond」を翻訳した内容です。2023年実施されたアルゴリズムアップデートについてまとめており、特に8月から連続で実施されたアップデートの整理などに役立つと思います。 2023年、Googleは9つの公式で確認されたアルゴリズムアップデートを行い、新しいAI検索エンジン「Search Generative Experience」を導入しました。2022年と2021年にはそれぞれ10回のアップデートがありました
I look forward to summer every year. Sun, beach, warm nights, and putting the finishing touches on the next version of .NET. It’s also the time I get to continue a tradition I started for myself back in 2017 of writing about the performance improvements that have gone into the latest .NET incarnation. A year ago that was Performance Improvements in .NET 7, which followed similar posts for .NET 6,
Retrieval Augmented Generation at scale — Building a distributed system for synchronizing and…
Disclaimer: We will go into some technical and architectural details of how we do this at Neum AI — A data platform for embeddings management, optimization, and synchronization at large scale, essentially helping with large-scale RAG. As we’ve shared in other blogs in the past, getting a Retrieval Augmented Generation (RAG) application started is pretty straightforward. The problem comes when tryi
Chrome 119 beta brings you CSS relative color syntax, new pseudo-classes, and much more. Unless otherwise noted, changes described apply to the newest Chrome beta channel release for Android, ChromeOS, Linux, macOS, and Windows. Learn more about the features listed here through the provided links or from the list on ChromeStatus.com. Chrome 119 is beta as of October 4, 2023. You can download the l
今回はALTER TABLEステートメント実行時の注意点について紹介します。 MySQLを運用していると、サービスの仕様変更や新機能のために既存のテーブルに対してテーブル定義を変更することが多いと思います。その際によく起こる問題や注意点に説明します。 ALTER TABLEステートメント まずは、簡単にALTER TABLE ステートメントについて紹介します。テーブル定義を変更するにはALTER TABLEステートメントを利用します。MySQL 5.6以降からInnoDBのテーブルにおいて、オンラインDDLが可能になっています。本連載においても第30回 InnoDBオンラインDDLについてにて紹介しています。 オンラインDDLでは、DDL実行に最小限の時間のロックを取得することで、そのDDLと並列で実行されるDMLの待機も最小限になります。そのため、サービス無停止でALTER TABLEス
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Understanding the Heap - a beautiful mess
人工知能の規制 - himaginary’s diary
So You Want To Build A Browser Engine
FreeBSD can now boot in 25 milliseconds
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
An Interactive Intro to CRDTs | jakelazaroff.com
Dynamic Programming is not Black Magic – Quentin Santos
Spotify Is Changing How It Pays Artists
【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode
Rustで有名アルゴリズムに挑戦(16) Rustで機械学習に挑戦 - k近傍法でアヤメの分類をしよう
Owning the Workflow in B2B AI Apps | Andreessen Horowitz
Perfectly Reproducible, Verified Go Toolchains - The Go Programming Language
HTTP/2 `CONTINUATION` Flood: Technical Details
視覚科学者がAPCAについて考えてみた｜Madoka Ohnishi
Rust製TypeScript Linterにおける型情報Lintルールの模索
「その人の早期死亡率は」「別の都市や国に引っ越すのか」など人生を予測するAIを研究者が開発
Unification-free ("keyword") type checking
The first conformant M1 GPU driver
PSChess - A Chess Engine in PostScript
Pythonにおけるハッシュの扱いとメモリの削減について
エンジニア向け海外の情報収集サイトまとめ - Qiita
Performance Improvements in .NET 8 - .NET Blog
Chrome 119 beta | Blog | Chrome for Developers
第209回 MySQLのALTER TABLEステートメント実行時の注意点 | gihyo.jp