はじめに Xwin-LM-70B が、オープンな LLM として初めて GPT-4 を超える性能を叩き出したとして注目を集めています。[1]また、早速 Xwin-LM-70B を量子化したモデルが TheBloke に公開されています。 この記事では、llama.cpp を用いて Llama-2-70B と Xwin-LM-70B の出力結果の比較を行います。 Llama.cpp の環境構築については以下のスクラップいまとめました。 私の PC のスペック[2] i7 13700K 3090 24GB DDR5 128GB 質問 1 「素因数分解について説明してください。」 Llama-2-70B-Chat Q2 User: 素因数分解について説明してください。 Llama: Sure! In number theory, the prime factorization of an int
A new F# compiler feature: graph-based type-checking - .NET Blog
This is a guest blog post by Florian Verdonck. Florian is a freelance software craftsman. He does consultancy, training and open-source development. Currently, he is very active in the F# community, working on the compiler and tooling, improving the overall state of the F# ecosystem according to the needs of his customers. Florian is a member of the open-source division at G-Research and a maintai
Instagramがオリジナルコンテンツを優先し他人の投稿をリポストするアグリゲーターアカウントの表示を減らすための施策を発表
Instagramが「Instagram上のオリジナルコンテンツを促進するための新しい施策」を発表しました。Instagramの責任者であるアダム・モセリ氏も、自身のInstagram上でオリジナルコンテンツを促進するための施策を強調しており、特にオリジナルコンテンツよりも目立つアグリゲーターアカウントの投稿を抑制するとアピールしています。 Helping Creators Find New Audiences | Instagram for Creators | Instagram for Creators https://creators.instagram.com/blog/recommendations-and-originality この投稿をInstagramで見る Adam Mosseri(@mosseri)がシェアした投稿 Instagram’s updated algor
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
Copy and paste "🧑🌾" in your terminal emulator. How many cells forward did your cursor move? Depending on your terminal emulator, it may have moved 2, 4, 5, or 6 cells1. Yikes. This blog post describes why this happens and how terminal emulator and program authors can achieve consistent spacing for all characters. Character Grids, Historically Terminals operate on a grid of fixed size cells. Thi
Brand New Performance Features in Chrome DevTools | DebugBear
This guide covers some modern web performance features of Chrome DevTools, with a focus on the new Performance Panel features which helps you optimize Core Web Vitals and improve your general web performance. What We'll Cover In this guide, we'll dive deep into the new Performance Panel features in Chrome DevTools. We'll explore what the new features are, how to access it, and how to use it effec
Python is a wonderful programming language. I’ve used it to build webapps, deep learning models, games, and do numerical computation. However there is one aspect of Python that has been an inexcusable pain-in-the ass over many years. That would be the fragmented Python package and environment management ecosystem, succinctly represented by the following XKCD comic: You see, a lot of other programm
Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock | Amazon Web Services
AWS News Blog Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock Back in September, we introduced Knowledge Bases for Amazon Bedrock in preview. Starting today, Knowledge Bases for Amazon Bedrock is generally available. With a knowledge base, you can securely connect foundation models (FMs) in Amazon Bedrock to your company data for Retrieval Augmented Generation (RAG). Ac
以下の文章は、コリイ・ドクトロウの「Even if you think AI search could be good, it won’t be good」という記事を翻訳したものである。 Pluralistic 検索に関する今週のビッグニュースは、Googleが「AI検索」へのシフトを続けていることだ。検索ワードを入力してウェブサイトへのリンクが表示されるのではなく、Googleに質問をすると、AIがウェブ上で見つけたものに基づいて回答を生成するという方向に進みたいらしい。 https://blog.google/products/search/generative-ai-google-search-may-2024 Googleはこれを「Googleにググらせよう（let Google do the googling for you.）」と宣伝している。自分でウェブを検索するのではなく
![Googleに“まともな”AI検索は作れない | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4cc0dd9bc860c83935b765f63d2ba4698ecda12/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fsearch-ai-enshittification.webp)
Summary At Sakana AI, we harness nature-inspired ideas such as evolutionary optimization to develop cutting-edge foundation models. The development of deep learning has historically relied on extensive trial-and-error by AI researchers and their theoretical insights. This is especially true for preference optimization algorithms, which are crucial for aligning Large Language Models (LLMs) with hum
Database Fundamentals
About a year ago, I tried thinking which database I should choose for my next project, and came to the realization that I don't really know the differences of databases enough. I went to different database websites and saw mostly marketing and words I don't understand. This is when I decided to read the excellent books Database Internals by Alex Petrov and Designing Data-Intensive Applications by
Let’s see a brief description of the columns of our dataset: age (numeric)job : type of job (categorical: “admin.” ,”unknown”,”unemployed”, ”management”, ”housemaid”, ”entrepreneur”, ”student”, “blue-collar”, ”self-employed”, ”retired”, ”technician”, ”services”)marital : marital status (categorical: “married”,”divorced”,”single”; note: “divorced” means divorced or widowed)education (categorical: “
We introduce StreamDiffusion, a real-time diffusion pipeline designed for interactive image generation. Existing diffusion models are adept at creating images from text or image prompts, yet they often fall short in real-time interaction. This limitation becomes particularly evident in scenarios involving continuous input, such as Metaverse, live video streaming, and broadcasting, where high throu
TiDBのRequest Unitの裏側 ① | CyberAgent Developers Blog
グループIT推進本部のデータプロダクトユニット（DPU）でエンジニアをやっている＠azazです。DPUではTiDBチームに所属していまして、ここではTiDBの運用、移行のサポート、クエリー最適化のサポート活動などに力を入れています。 大規模データ基盤にまつわるデータベース・ETL・クエリーエンジン・ストリーム処理技術について興味がある方は是非Cyberagentの採用ホームページから大規模データ基盤エンジニア枠で応募してみてください！ 流れ 最近注目を集めているMysql互換のNewSQL データベースであるTiDBですが、内部のレートリミッターについて考えたことありますか？本記事ではTiDBで採用されているレートリミッターの仕組みについて3部構成で紹介したいと思います。 様々なレートリミッターアルゴリズムの紹介 分散システムにおけるレートリミッターの課題 TiDBのレートリミッターの仕組
For the red cell in the output (row 0, column 0), we take the red row of the first matrix (row 0) and the red column of the second matrix (column 0), and do a dot product (1*1 + 2*4 + 3*7 + 4*10) to get 70. Likewise, for the green cell in the output (row 1, column 2), we take the green row of the first matrix (row 1) and the green column of the second matrix (column 2), and do a dot product (5*3 +
Amazon Linux 2023.2 で zram swapping がサポートされました | DevelopersIO
2023年9月にリリースされた Amazon Linux 2023.2 で サポートされた新機能、 zram を利用した swapについて確認しました。 2023年3月にGAとなった Amazon Linux 2023、4半期毎のマイナーバージョンアップが計画されており、 2023年9月、新しいマイナーバージョン Amazon Linux 2023.2 がリリースされました。 今回 Amazon Linux 2023.2 で サポートされた新機能、 zram を利用した Swap について確認を試みる機会がありましたので、紹介させて頂きます。 Amazon Linux 2023 version 2023.2.20230920 release notes ZRAM Amazon Linux 2023.2 では、Fedora 33 以降でサポートされた zram を利用した Swap をサポー
The Three Cs: 🤝 Concatenate, 🗜️ Compress, 🗳️ Cache – CSS Wizardry
I began writing this article in early July 2023 but began to feel a little underwhelmed by it and so left it unfinished. However, after recent and renewed discussions around the relevance and usefulness of build steps, I decided to dust it off and get it finished. Let’s go! When serving and storing files on the web, there are a number of different things we need to take into consideration in order
June 2024 Guidance regarding Intel Core 13th and 14th Gen K/KF/KS instability reports
Intel and its partners are continuing to investigate user reports regarding instability issues on Intel Core 13th and 14th generation (K/KF/KS) desktop processors. We appreciate the Intel community’s patience on the matter and will continue to share updates on the investigation as it works towards a conclusion. In the meantime, we’re sharing an update on confirmed factors leading to the reported i
flutter_secure_storageを読む
Flutterでデータをセキュアに保存しようとすると、flutter_secure_storageを使うことになります。 flutter_secure_storageは「iOSではKeychain、AndroidではKeyStoreを使ってデータを保存してくれるライブラリ」と説明されることが多いのではないのでしょうか。チラッとライブラリのコードを見てみたところ、読みこなせない量ではなさそうだったので、AndroidとiOS、そしてWebでどのようにデータを保存しているのかを確認してみました。 記事執筆時点でのflutter_secure_storageのバージョンは、9.0.0です。 Android Androidの場合、EncryptedSharedPreferencesを使ってデータを保存する方法と、SharedPreferencesを使ってデータを保存する方法があります。 Encry
複数の関連度から検索可能な BGE M3-Embedding の紹介 - Algomatic Tech Blog
こんにちは。Algomatic の宮脇（@catshun_）です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation おことわり 本記事では精読レベルの 詳細な解説は含みません。 詳細については 参照元の論文をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事で紹介する 論文 は Work in progress とコメントされており今後内容が更新される可能
GitHub - modelscope/DiffSynth-Studio: Enjoy the magic of Diffusion models!
August 22, 2024 We have implemented an interesting painter that supports all text-to-image models. Now you can create stunning images using the painter, with assistance from AI! Use it in our WebUI. August 21, 2024 FLUX is supported in DiffSynth-Studio. Enable CFG and highres-fix to improve visual quality. See here LoRA, ControlNet, and additional models will be available soon. June 21, 2024. 🔥🔥
Unification in Elixir
Pattern matching is a pervasive and powerful tool in Elixir. This isn't too surprising if you know a little about the history of Elixir's parent language, Erlang. Erlang was originally inspired by and written in Prolog, a logic programming language where pattern matching has first-class support. In Elixir, you might see an expression like this: [x, [2, y]] = [1, [2, 3]]When this expression is eval
I love raytracers; in fact I’ve written half a book about them. Probably less known is my love for the ZX Spectrum, the 1982 home computer I grew up with, and which started my interest in graphics and programming. This machine is so ridiculously underpowered for today’s standards (and even for 1980s standards), the inevitable question is, to what extent could I port the Computer Graphics from Scra
JSer.info #706 - Vue 3.5がリリースされました。 Announcing Vue 3.5 | The Vue Point パフォーマンス改善、definePropsの返り値をDestructureできるようになっています。 また、useId()の追加、data-allow-mismatch属性の追加、defineCustomElement() APIを追加しCustom Elementの対応を改善、useTemplateRef()、onWatcherCleanup()の追加なども行われています。 JavaScriptの入門書であるjsprimer v6.0.0がリリースされました。 JavaScript Primer v6.0.0リリース: ES2024の対応とNode.jsのユースケースを刷新 | Web Scratch ES2024の対応とNode.jsのユースケー
Micro-benchmark of the multi-head attention, run-time in us. Flash-Decoding achieves almost constant run-time as the sequence length scales to up to 64k. The up to 8x speedup end-to-end measured earlier is made possible because the attention itself is up to 50x faster than FlashAttention. Up until sequence length 32k, the attention time is roughly constant, because Flash-Decoding manages to fully
Data masking and granular access control using Amazon Macie and AWS Lake Formation | Amazon Web Services
AWS Security Blog Data masking and granular access control using Amazon Macie and AWS Lake Formation Companies have been collecting user data to offer new products, recommend options more relevant to the user’s profile, or, in the case of financial institutions, to be able to facilitate access to higher credit lines or lower interest rates. However, personal data is sensitive as its use enables id
【EOL間近】Amazon RDS for MySQL 5.7の標準サポート終了とバージョンアップ前の影響確認について - ForgeVision Engineer Blog
こんにちは。フォージビジョンの藤川と申します。 2023年9月初めに、AWSよりAmazon RDS for MySQL 5.7の標準サポート終了に関する内容と延長サポートに関する内容の通知がありました。以下は、2023/9/13時点のAWS公式サイトの情報です。 メール本文にも記載がありましたが、各々の情報は以下のAWS公式サイトに記載があります。 Amazon RDS for MySQL 5.7の標準サポート終了 2023/9/13時点では、表示言語を英語にすることで、標準サポート終了日の最新の情報や延長サポートの内容を確認することができました。 docs.aws.amazon.com Amazon AuroraとAmazon RDSがMySQLとPostgreSQLデータベースの延長サポートを発表 aws.amazon.com データベースのメジャーバージョンのアップデートについては
Type Inference Was a Mistake
Type inference is bad. It makes code harder to read, and languages that use it too much are harder to write. It’s a false economy whereby you save unobservable milliseconds of typing today and make everything else worse. Type Inference Makes Code Less Readable If you have an IDE with a working LSP, you can hover over variables to see their types. In VSCode with rust-analyzer I can see the type ann
イーロン・マスク「Xのコンテンツを共有をするとそのコンテンツを更に見たいだろうと想定するがそれがあなたが憤慨したからかどうかは判断できない」
Elon Musk @elonmusk The 𝕏 algorithm assumes that if you interact with content, you want to see more of that content. One of the strongest signals is if you forward 𝕏 posts to friends, it assumes you like that content a lot, because it takes effort to forward. Unfortunately, if the actual reason you forwarded the content to friends was because you were outraged by it, we are currently not smart e
VectorDB
Description VectorDB is a lightweight Python package for storing and retrieving text using chunking, embedding, and vector search techniques. It provides an easy-to-use interface for saving, searching, and managing textual data with associated metadata and is designed for use cases where low latency is essential. Documentation and code VectorDB is open-source. Check VectorDB on GitHub for code and
X（旧Twitter）離脱を考えるなら知っておきたい Metaの新SNS「Threads」でエンゲージメントを高める方法
X（旧Twitter）離脱を考えるなら知っておきたい Metaの新SNS「Threads」でエンゲージメントを高める方法：Social Media Today Threadsの利用率が上昇すれば、イーロンリスクで先行き不透明なXからの乗り換えも現実味を帯びてくる。Threadsのエンゲージメントを促進する要因としてMetaが強調するポイントとは何か。 Threadsの利用率が上昇し、X（旧Twitter）の利用を再考するブランドが増える中、多くの企業が今考えている重要な疑問は、Threadsで何ができるのか、最適なエンゲージメントを得るためにThreadsでのプレゼンスを最大化するにはどうすればいいのかということだ。 Threadsのバックエンドの多くはまだ開発中であり、Metaは需要の増加に対応するためにプラットフォームの拡張に取り組んでいるが、この初期段階で注目すべき点がいくつかある。
2023 年を振り返る | blog.jxck.io
Intro 例年通り 2023 年を振り返る。 blog 今年書いたのは全部で 43 本。今年はアドベントカレンダーを一人でやったため、過去最高のエントリ数になった。 Entry ブログは 15 本書いた。 2023-01-07: 次世代 CSS 仕様が与えるコンポーネント時代の Web への影響 2023-02-28: 誇りを被った仕様の針に意図を通す 2023-03-24: OpenAI API を用いた文書校正(誤字脱字検出) 2023-05-02: 技術書籍をシンタックスハイライトする話 2023-05-17: IETF RFC における ABNF と Parsing Algorithm の関係 2023-05-28: URL バーの表示の変遷 2023-06-01: AbortSignal.any(), AbortSignal.timeout(), そして addEvnetLis
It’s been two decades since Rails changed the way we build web apps. As the demand for richer and richer UIs grew, teams came up with different frontends to deliver on those expectations. Client-side frameworks such as Angular, Ember, and React emerged as popular choices. One of Rails’ strengths has always been to empower individual programmers to not just contribute to, but to ship entire full st
Critical libwebp Vulnerability Under Active Exploitation - Gets Maximum CVSS Score
Google has assigned a new CVE identifier for a critical security flaw in the libwebp image library for rendering images in the WebP format that has come under active exploitation in the wild. Tracked as CVE-2023-5129, the issue has been given the maximum severity score of 10.0 on the CVSS rating system. It has been described as an issue rooted in the Huffman coding algorithm - With a specially cra
This paper introduces the MCT Self-Refine (MCTSr) algorithm, an innovative integration of Large Language Models (LLMs) with Monte Carlo Tree Search (MCTS), designed to enhance performance in complex mathematical reasoning tasks. Addressing the challenges of accuracy and reliability in LLMs, particularly in strategic and mathematical reasoning, MCTSr leverages systematic exploration and heuristic s
Compiling Pattern Matching
Colin James obscurecolin [at] gmail (dot) com I am a computer programmer. I'm primarily interested in compilers for strict functional languages. Introduction This post intends to provide a brief overview of the algorithm described in Luc Maranget’s “Compiling Pattern Matching to Good Decision Trees”. I’m fond of this formalisation as it has a straightforward implementation and results in reasonabl
How bad are search results? Let's compare Google, Bing, Marginalia, Kagi, Mwmbl, and ChatGPT
Marginalia does relatively well by sometimes providing decent but not great answers and then providing no answers or very obviously irrelevant answers to the questions it can't answer, with a relatively low rate of scams, lower than any other search engine (although, for these queries, ChatGPT returns zero scams and Marginalia returns some). Interestingly, Mwmbl lets users directly edit search res
Rails: 巨大テーブルへのインデックス追加でパフォーマンス低下を避ける方法（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: How to add index to a big table of your Rails app | Arkency Blog 原文公開日: 2024/06/13 原著者: Szymon Fiedler 日本語タイトルは内容に即したものにしました。 成功したアプリケーションでは、一部のテーブル（usersテーブルなど）がかなり肥大化することがあります。ご興味がおありでしたら、データベースのパフォーマンスを定期的にチェックしてみましょう。メトリクスで遅いクエリが見つかったら、インデックスを付け忘れている可能性が高いでしょう。 🔗 DBエンジンの現状をチェックしよう 現代のデータベースなら、ほとんどの場合非同期かつ非ブロッキング方式でインデックスを作成可能ですが、そのデータベースのルールにどんな例外があるかをもれなく理解しておく
A24: The Rise of a Cultural Conglomerate | The Generalist
Even with big ambitions, only a small percentage of startups make it. Mercury Raise is here to change that. Introducing the comprehensive founder success platform built to remove roadblocks at every step of the startup journey. Looking to fundraise? Get your pitch in front of hundreds of the right investors with Investor Connect. Craving the company of people who get it? Join our Slack community o
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【llama.cpp】Llama-2-70BとXwin-LM-70Bを出力を比較する。
A Distributed Systems Reading List
Grapheme Clusters and Terminal Emulators
Python has too many package managers
Googleに“まともな”AI検索は作れない | p2ptk[.]org
Sakana AI
Mastering Customer Segmentation with LLM
StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation
I made a transformer by hand (no training!)
ZX Spectrum Raytracer - Gabriel Gambetta
2024-09-09のJS: Vue 3.5、jsprimer v6、a11y-visualizer
Flash-Decoding for long-context inference
はじめに｜【実践】エンジニアの基礎教養-アルゴリズムを学べる本
Building Basecamp project stacks with Hotwire
Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B