Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明 モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大規模言語モデル（LLM）は自身が出力する「幻覚」（ハルシネーション）からは避けられない現象を指摘した論文「LLMs Will Always Hallucinate, and We Need to Live With This」に注目します。幻覚とは、事実と異なる出力をLLMが実行してしまう現象を指します。 この研究では、LLMの幻覚が単なる偶発的なエラーではなく、これらのシステムに内在する避けられない特性であると主張しています。研究者らは、幻覚がLLMの根本的な数学的・論理的
こんにちは。LINEヤフー株式会社でデータベースエンジニアをしている、松浦、中園、大塚、曽根、笠井です。 データベースはLINEヤフーのさまざまなサービスを支える重要なソフトウエアですが、その安定的な運用やトラブルシューティングには、データベースに関する専門的な知識が必要です。 一方で、データベース部門に配属される新卒のエンジニアは、全員が学生時代にデータベースを専門的に勉強しているわけではありません。このような新卒エンジニアは、データベース部門へ配属後、OJTや実際のデータベースの運用業務に携わりながら、データベースに関する専門知識を深めていきます。 今回のブログ記事では、データベースエンジニアとしての専門性を高めるために、部門内で実施している専門書の輪読会、そして、MySQLを題材としたデータベースカーネルのモブプログラミング（以下、モブプロ）の取り組みについてご紹介します。 1. 輪
LLMの効率化を支えるアルゴリズム
2024.09.04
こんにちは👋 長く暑い夏が終わろうとしている今ですが、筆者は秋の季節を満喫しております。 LabBaseでは線形代数学の基礎を使って検索エンジンを構築していますが、レコメンド、検索アルゴリズムによく使われる王道の手法について記事を書くことにしました。 概要 線形代数学の特異値分解（SVD）の知識を活かして、原始的な画像圧縮アルゴリズムをRustで実装します。 SVDとは？ SVDは、線形代数学でよく使われる行列の分解です。行列の分解は、同じマトリックスを他のマトリックスに分けて表現することです。SVDの他に、LU三角分解、QR分解などがあります。 SVDは、あるAというマトリックスの列空間と行空間の固有ベクトルを計算して、それぞれをUとVというマトリックスに収めます。さらに、Σという対角行列に、固有値の平方根を入れます。Vの転置行列をV'と定義しますが、以下の分解になります。 Σの体格行
いろいろありますが、今後のことを考える前にまずは、バージョン8.0.xの現状を一旦整理・理解してから決めようと思います。 念を押しておきますが、このブログの「内容は個人の考えであって、所属組織とは方針が異なる」と考えてください。 MySQL内部の人は、クラウドとか最新のサーバーとかしか利用していないのかも知れず、MySQL 8.0 が日に日に遅くなっていることに気づいていない人しかいないのでしょう。しかし、数年前のローカルPCで動かすと年々動作が鈍くなっているのを感じます。マイナーバージョンアップで単スレッド性能が下がり続けるなんて商用システムではリスキーです。 証明が難しく、ずっと放置せざるを得なかったのですが、非常に重要な事柄ですので今一度、オープンになっているソースを基に分析をしてみます。 まず、測るモノサシを決めましょう。以前のエントリ「MySQLバージョンアップによるInnoDB
The Intelligence Age
In the next couple of decades, we will be able to do things that would have seemed like magic to our grandparents. This phenomenon is not new, but it will be newly accelerated. People have become dramatically more capable over time; we can already accomplish things now that our predecessors would have believed to be impossible. We are more capable not because of genetic change, but because we bene
What is a B-tree?The B-tree plays a foundational role in many pieces of software, especially database management systems (DBMS). MySQL, Postgres, MongoDB, Dynamo, and many others rely on B-trees to perform efficient data lookups via indexes. By the time you finish this article, you'll have learned how B-trees and B+trees work, why databases use them for indexes, and why using a UUID as your primar
YubiKeys are vulnerable to cloning attacks thanks to newly discovered side channel
The YubiKey 5, the most widely used hardware token for two-factor authentication based on the FIDO standard, contains a cryptographic flaw that makes the finger-size device vulnerable to cloning when an attacker gains temporary physical access to it, researchers said Tuesday. The cryptographic flaw, known as a side channel, resides in a small microcontroller used in a large number of other authent
Dataflow Indexer データ整合性担保と性能改善 - LegalOn Technologies Engineering Blog
はじめに こんにちは。LegalOn Technologies 検索・推薦チームの臼井（jusui）です。 私たちのチームは、LegalOn Technologies が提供する主要サービス—「LegalOn Cloud」、「LegalForce」、「LegalForceキャビネ」—の検索・推薦システムの開発と運用を担当しています。 2024年7月に当チームから「Dataflow 実践開発セットアップ」を公開しました。 tech.legalforce.co.jp 今回は、2024年4月から提供開始した弊社の新サービス「LegalOn Cloud」の初回リリースに向けて開発した Indexing pipeline とその後の改善についてご紹介します。具体的には、Cloud Pub/Sub と Cloud Dataflow を活用した Indexing pipeline の開発により、Elas
Today, OpenAI released OpenAI o1, a new series of AI models equipped with advanced reasoning capabilities to solve hard problems. Like you, we are excited to put the new o1 model through its paces and have tested integrating o1-preview with GitHub Copilot. While we are exploring many use cases with this new model, such as debugging large-scale systems, refactoring legacy code, and writing test sui
As an open source developer I frequently get emails from GitHub, most of these emails are notifications sent on behalf of GitHub users to let me know that somebody has interacted with something and requires my attention. Perhaps somebody has created a new issue on one of my repos, or replied to a comment I left, or opened a pull request, or perhaps the user is trying to impersonate GitHub security
Everything you need to know about Python 3.13 – JIT and GIL went up the hill | drew's dev blog
Everything you need to know about Python 3.13 – JIT and GIL went up the hill Table of Contents On 2nd October 2024, the Python core developers and community will release CPython v3.13.0 – and it’s a doozy. (Update: release has now been pushed back to 7th October.) So what makes this release different, and why should you care about it? In short, there are two big changes being made to how Python ru
GitHub - 2Retr0/GodotOceanWaves: FFT-based ocean-wave rendering, implemented in Godot
A common approach for animating water in video games is by displacing vertices using Gerstner waves. While Gerstner waves work well for modeling the lower-frequency details in calmer waters, they fall short in accurately representing the choppy surfaces in an open ocean. To simulate the latter, a more complex approach simulates waves using the inverse Fourier transform of ocean-wave spectra modele
シカゴ大学のショーン・シャンは、アーティストが自分の作品を生成AIの訓練に使わせないようにする2つのツールを開発した。シャンはAI企業と個人の力関係を変えたいと考えている。 by Melissa Heikkilä2024.09.13 6 この記事の3つのポイント 画像生成AIの台頭によりアーティストの作品が無断で利用される事態が発生している シカゴ大学のショーン・シャンはアーティスト保護のためのツールを開発した シャンは今後もアーティストや企業がAIと共存できる社会の実現を目指している summarized by Claude 3 2022年のはじめ、「ダリー2（DALL-E 2）」や「ミッドジャーニー（Midjourney）」、「ステーブル・ディフュージョン（Stable Diffusion）」といった画像生成モデルによって生成AIブームに弾みがつくと、アーティストたちは自分が作った画像
Detecting and Mitigating Active Directory Compromises First published: September 2024 Detecting and Mitigating Microsoft Active Directory Compromises ii Introduction This guidance – authored by the Australian Signals Directorate (ASD), the Cybersecurity and Infrastructure Security Agency (CISA), the National Security Agency (NSA), the Canadian Centre for Cyber Security (CCCS), the New Zealand Nati
Interview Of Google's Search Liaison, Danny Sullivan, On The August Core Update
Home / Google News / Google SEO / My Interview Of Google's Search Liaison On The August 2024 Core Update My Interview Of Google's Search Liaison On The August 2024 Core Update This week, I interviewed Danny Sullivan, Google's Search Liaison, with the goal of better understanding where Google Search quality is at right now, where it is going in the future, and what we, as content creators and searc
JSer.info #706 - Vue 3.5がリリースされました。 Announcing Vue 3.5 | The Vue Point パフォーマンス改善、definePropsの返り値をDestructureできるようになっています。 また、useId()の追加、data-allow-mismatch属性の追加、defineCustomElement() APIを追加しCustom Elementの対応を改善、useTemplateRef()、onWatcherCleanup()の追加なども行われています。 JavaScriptの入門書であるjsprimer v6.0.0がリリースされました。 JavaScript Primer v6.0.0リリース: ES2024の対応とNode.jsのユースケースを刷新 | Web Scratch ES2024の対応とNode.jsのユースケー
Escaping Spotify’s algorithm ミックステープ文化の逆襲、 スポティファイで失われた 音楽の楽しみを取り戻す方法 スポティファイは人々が望んでいると思われるものを提供することで、音楽を発見する喜びを葬ってしまったのだろうか？ パーソナライズされたプレイリストではなく、自らが音楽を探すための手段を提供することで、リスニング体験の多様化を目指す動きがある。 by Tiffany Ng2024.09.13 11 この記事の3つのポイント スポティファイのパーソナライズは音楽発見を単純化している アルゴリズムは新しいものへの好奇心を失わせ人間性を排除している コミュニティを通じた能動的な音楽発見がアルゴリズムのバブルから脱却させる summarized by Claude 3 ラジオ、レコード、カセットテープ、MP3プレーヤーの時代が終わった後、音楽のブランディングはロッ
イーロン・マスク「Xのコンテンツを共有をするとそのコンテンツを更に見たいだろうと想定するがそれがあなたが憤慨したからかどうかは判断できない」
Elon Musk @elonmusk The 𝕏 algorithm assumes that if you interact with content, you want to see more of that content. One of the strongest signals is if you forward 𝕏 posts to friends, it assumes you like that content a lot, because it takes effort to forward. Unfortunately, if the actual reason you forwarded the content to friends was because you were outraged by it, we are currently not smart e
The Ultimate Guide to Font Performance Optimization | DebugBear
Font performance optimization is a set of web development techniques that make fonts load faster and render more smoothly. They involve practices such as thoughtful font selection, the use of performant font formats, self-hosting, optimized @font-face declarations, font display strategies, and more. Optimizing the fonts displayed on your website comes with many web performance advantages, includin
本記事のめあて 自然言語を中心とした生成AIの、AIの中での位置付けの整理 背景 ネット上の記事により、AI、機械学習、深層学習、生成AIの位置付けに混乱が見られるのでそれを整理したかった 概要 AIとはを説明しその中の機械学習の位置づけ 予測AIと生成AIの違い 機械学習とはを説明しその中の深層学習の位置づけ 深層学習を説明しその中の生成AIの位置づけ LLMでも生成AIでないものもある 生成AIとはで、自然言語処理を中心に説明する 生成AI自体を詳述するのではなく、AIの中での位置付けのみ 生成AIに関係ないところは軽く触れるか記載なし（機会があればまた別記事で） あちこちから刺されそうな記事ですが刺さずにコメントで指摘いただくと嬉しいです。 本記事の見取り図 書籍でここらを学ぼうとする方はよければこの記事も見てください。 AIとは AIの定義 人工知能学会の（一般人向け？）定義 人工
In 1953, Roald Dahl published “The Great Automatic Grammatizator,” a short story about an electrical engineer who secretly desires to be a writer. One day, after completing construction of the world’s fastest calculating machine, the engineer realizes that “English grammar is governed by rules that are almost mathematical in their strictness.” He constructs a fiction-writing machine that can produ
Once upon a time I was given the following problem for a technical programming interview: Write a function draw_circle(r) that draws a circle with radius r. Use the given method draw_pixel(x, y) which takes a 2-dimensional point (x, y) and colors it in on the computer screen. For the solution, you can either collect all pixels (tuples) of \(x\) and \(y\) coordinate pairs, or just call draw_pixel()
EUCLEAK - NinjaLab
Abstract Secure elements are small microcontrollers whose main purpose is to generate/store secrets and then execute cryptographic operations. They undergo the highest level of security evaluations that exists (Common Criteria) and are often considered inviolable, even in the worst-case attack scenarios. Hence, complex secure systems build their security upon them. FIDO hardware tokens are strong
Large Text Compression Benchmark Matt Mahoney Last update: Sept 19, 2024. history This competition ranks lossless data compression programs by the compressed size (including the size of the decompression program) of the first 109 bytes of the XML text dump of the English version of Wikipedia on Mar. 3, 2006. About the test data. The goal of this benchmark is not to find the best overall compress
Why Copilot is Making Programmers Worse at Programming
Darren Horrocks explains various Programming and DevOps practices, with some guides, explanations and ramblings from a sometimes angry man Over the past few years, the evolution of AI-driven tools like GitHub’s Copilot and other large language models (LLMs) has promised to revolutionise programming. By leveraging deep learning, these tools can generate code, suggest solutions, and even troubleshoo
OpenAI o1 Results on ARC-AGI-Pub ARC Prize testing and notes on OpenAI's new o1 model Over the past 24 hours, we got access to OpenAI's newly released o1-preview and o1-mini models specially trained to emulate reasoning. These models are given extra time to generate and refine reasoning tokens before giving a final answer. Hundreds of people have asked how o1 stacks up on ARC Prize. So we put it t
What's new in DevTools, Chrome 129 | Blog | Chrome for Developers
Recorder supports export to Puppeteer for Firefox As part of WebDriver BiDi support, the Recorder panel can now export recordings to Puppeteer for Firefox. With Puppeteer's support of Firefox, you can now record user flows using the Chrome DevTools Recorder panel, export them, and run them against both Firefox and Chrome. For more information, see WebDriver BiDi - The future of cross-browser autom
“Life can only be understood backwards; but it must be lived forwards.” — Kierkegaard I’m very pleased to announce the release of Factor 0.100! OS/CPU Windows Mac OS Linux x86 Source code: 0.100 This release is brought to you with over 1400 commits by the following individuals: Aditya Aryaman Das, Alex null Maestas, Alexander Ilin, Andy Kluger, Bhargav Shirin Nalamati, Charlie Weismann, Dave Carlt
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Intel Core 13th and 14th Gen Desktop Instability Root Cause Update
Following extensive investigation of the Intel® Core™ 13th and 14th Gen desktop processor Vmin Shift Instability issue, Intel can now confirm the root cause diagnosis for the issue. This post will cover Intel’s understanding of the root cause, as well as additional mitigations and next steps for Intel® Core™ 13th and 14th Gen desktop users. Vmin Shift Instability Root Cause Intel® has localized th
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parquetフォーマット概観 - 発明のための再発明
データベースエンジニアのスキルアップ 専門書輪読会とMySQLモブプロの取り組み
線形代数学+Rustで画像圧縮のアルゴリズムを実装する - Qiita
MySQL 8.0 は遅くなってきてる？何故？（１）
B-trees and database indexes — PlanetScale
First Look: Exploring OpenAI o1 in GitHub Copilot
GitHub Notification Emails Hijacked to Send Malware
生成AIの「搾取」に対抗する力をアーティストに与えた研究者
Detecting and Mitigating Active Directory Compromises
2024-09-09のJS: Vue 3.5、jsprimer v6、a11y-visualizer
ミックステープ文化の逆襲、 スポティファイで失われた 音楽の楽しみを取り戻す方法
AIとは機械学習とは深層学習とは生成AIとはβ版 - Qiita
Why A.I. Isn’t Going to Make Art
Linus’s Blog - Bresenham's Circle Drawing Algorithm
Large Text Compression Benchmark
OpenAI o1 Results on ARC-AGI-Pub
Factor 0.100 now available – Re: Factor
GitHub - nobuyuki83/floor_plan