Continuous reinvention: A brief history of block storage at AWS
Continuous reinvention: A brief history of block storage at AWSAugust 22, 2024 • 4802 words Marc Olson has been part of the team shaping Elastic Block Store (EBS) for over a decade. In that time, he’s helped to drive the dramatic evolution of EBS from a simple block storage service relying on shared drives to a massive network storage system that delivers over 140 trillion daily operations. In thi
100fps超え画像生成StreamDiffusionのデモに飽きたら次に進もう。stremオブジェクトで動かすコツ公開｜めぐチャンネル
解説を論文執筆者でプロジェクトの代表でもある「あき先生」が解説してくださっているYuTubeもあります。論文の拾い読みもしていただいており、とても参考になりますので、ぜひご覧ください。（3時間と長いですが飛ばせるような、無駄な部分はありません） デモやサンプルコードも豊富にあるので、機能や性能を知りたい場合はそちらを動かしてください。大変興味深いデモもあります。アプリに組み込む場合もラッパーが準備されているのでそちらを使えば厄介なpipeやstreamオブジェクトの操作は必要ありません。しかし、性能を引きだしなが柔軟にアプリで使用するためには直接pipeやstreamを操作する方がよさそうです。この記事では後者のケースでStreamDiffusionを使用する時のコツについてこれまでにテストした手法を解説します。 環境構築Readmeに記述されているとおりに構築を進めます。デモやexamp
世紀末LSM-Treeプチフリ神話の終わり - Software Transactional Memo
凍った木が溶け始める様子をそれっぽく描いてもらった この記事はデータベース・システム系 Advent Calendar 2023の2日目の記事である。前日は僕、明日も僕。 Log Structured Merge Tree（以下LSM-Tree）という物をご存知だろうか。データ構造としては順序付きの辞書であり結構昔に発明されており各操作の計算オーダーは赤黒木等と同じである。システム系学会を追っていると無限に亜種が提案されているので特徴を一言で言い表すのは難しいのだが、その一種であるLevelDBはChromiumの中でも使われている。 https://chromium.googlesource.com/chromium/src/+/HEAD/third_party/leveldatabase/leveldb_chrome.h LSM-Treeの典型的な実装の概要とその利点・欠点を整理すると
Goroutines in Go (Golang) - Welcome To Golang By Example
This is the chapter 23 of the golang comprehensive tutorial series. Refer to this link for other chapters of the series – Golang Comprehensive Tutorial Series Next Tutorial – Channel Previous Tutorial – Iota Now let’s check out the current tutorial. Below is the table of contents for current tutorial. Overview Goroutines can be thought of as a lightweight thread that has a separate independent ex
こんにちは、後藤です。 Terraform開発を進める中で「こんなことできるのか」と思った機能があったので、備忘録も兼ねて紹介します。 それはローカルのファイルを操作できる、という機能です。 TerraformではAWSやAzure、GCPなどのパブリッククラウドプロバイダを扱えますが、localやarchiveといったHashiCorp社によるプロバイダがあります。 このプロバイダを使えば、Terraformを実行するローカル環境のファイル操作が可能になります。 当記事では、よく使われるであろう方法を3つ紹介していきます。 ※Terraformバージョン1.5.6で検証しております。 1つ目：local_file local_fileリソースを記述すればローカル環境にファイルを作成できます。resourceブロックによってファイルを作成し、dataブロックによってファイルを読み込むことが
unjs/nitro+satori+sharpで動的OGP画像を自動生成する - くらげになりたい。
Nuxtだと、Nuxt SEO Kitのnuxt-og-imageを使えば、 vueコンポーネントとかHMLTをOG画像にできるけど、 unjs/nitroでもできないかなと思い、 いろいろ調べてみたときの備忘録(*´ω｀*) nuxt-og-imageの中をのぞいてみたら、 satoriとsharpを使ってたので、それを参考に実装してみた satori+sharpを使った画像生成 この3つのライブラリを使うと、HTMLをPNGに変換できるっぽい vercel/satori ... ReactNode(VNode)をSVGに変換 lovell/sharp ... SVGをPNGに変換 natemoo-re/satori-html ... HTMLをVNodeに変換 satoriはVercel社が出しているライブラリで、JSX形式で利用するっぽい。 なので、HTMLといってもReactNod
Please note that the benchmark section of this article was updated after the publication due to a mistake in the evaluation script. BM42 does not outperform BM25 implementation of other vendors. Please consider BM42 as an experimental approach, which requires further research and development before it can be used in production.For the last 40 years, BM25 has served as the standard for search engin
Introduction⌗ Postgres queue tech is a thing of beauty, but far from mainstream. Its relative obscurity is partially attributable to the cargo cult of “scale”. The scalability cult has decreed that there are several queue technologies with greater “scalability” than Postgres, and for that reason alone, Postgres isn’t suitably scalable for anyone’s queuing needs. The cult of scalability would rathe
普段の食生活で不足しがちな栄養素を補うため、さまざまなビタミンを配合したマルチビタミンのサプリを服用しているという人もいるはず。合計5000人以上を対象にした新たな研究では、マルチビタミンを服用することで記憶力や認知能力の低下を防ぐことができるかもしれないと示唆されました。 Effect of multivitamin-mineral supplementation versus placebo on cognitive function: results from the clinic subcohort of the COcoa Supplement and Multivitamin Outcomes Study (COSMOS) randomized clinical trial and meta-analysis of 3 cognitive studies within COSM
In this blog post, we'll explore the implementation of an upgradable read-write lock in Go. We will talk about why we needed it by giving concrete examples from the real-world use case and also discuss potential pitfalls during the blog post. Why do we need an upgradable read-write lock? In Go, even though the guidelines say to avoid locks, when building a Redis® server that should be concurrently
Who needs GitHub Copilot when you can roll your own AI code assistant at home Hands on Code assistants have gained considerable attention as an early use case for generative AI – especially following the launch of Microsoft's GitHub Copilot. But, if you don't relish the idea of letting Microsoft loose on your code or paying $10/month for the privilege, you can always build your own. While Microsof
Recent research, such as BitNet, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-t
NVIDIAの強さの秘密は「対抗するベンダーを創業する」と仮定すると見えてくる 今回はNVIDIAの覇権をひっくり返すことができるのかどうか思考実験（妄想？）を行ってみた。対抗するベンダーを創業すると仮定すると、NVIDIAの強さの秘密が見えてくる？ 写真は、NVIDIAのプレスリリース「NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform」より。 NVIDIAの株価がすごいことになっているみたいだ。2024年6月18日には株式時価総額が約3兆3350億ドルとなり、Microsoftを抜いて、世界1位になったという。その理由は高まる「生成AI（人工知能）」への需要を満たすための計算基盤として、NVIDIAのGPU一択的な流れになっていることが挙げられる。 さて、今回はそんなNVIDIAの覇権をひっくり返す
PHPカンファレンス関西2024、参加者の「話しやすい」にこだわった最高のカンファレンスだった #phpkansai - #あすみかんの上にあすみかん
2024.kphpug.jp おはようございます！あすみです！ 6年ぶりの開催となったPHPカンファレンス関西2024に一般参加したのでふりかえるぞ〜〜〜🐸 すごい数だーーーー！ #phpkansai pic.twitter.com/IJ9ZZK0Wgz— あすみ (@asumikam) 2024年2月11日 めちゃ大人数！！！🎉🎉🎉 参加者の「話しやすい」を作る note.com 関西でコミュニティを起こすためには、まず参加してくれるメンバーを増やす必要があります。 そのため、最も重視する取り組みとして「関西で新しくコミュニティへ参加してくれる人を増やす」ことを目標にします。 具体的には、「関西のPHPエンジニアが登壇したくなる施策」や「関西のPHPエンジニアが参加したくなる施策」、「初心者と上級者の溝を埋めるためのトーク募集施策」、「今まで技術イベントに行ったことがない人がコミ
Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction - cl-fast-ecs by Andrew
Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction In this series of tutorials, we will delve into creating simple 2D games in Common Lisp. The result of the first part will be a development environment setup and a basic simulation displaying a 2D scene with a large number of physical objects. It is assumed that the reader is familiar with some high-level programming language, has a gener
一部のDDR5システムでトレーニングが必要
ごく一部のDDR5対応システムおよびマザーボードで、新しく取り付けたメモリがシステムと連動してUEFIにアクセスできるようになるために「トレーニング」時間が必要となります。あるいは、システムの電源投入時自己診断（POST）を完了する必要があります。 DDR5システムを起動したけれどPOSTが完了せず、特定のPOSTエラーも返されない場合は、この「トレーニング」が行われている可能性があります。このプロセスで、システムのファームウェアが新しく取り付けられたメモリ用に構成されています。このプロセスの実行中、マザーボードまたはコンピューターのLEDは、アクティブである場合もそうでない場合もあります。この時、画面はブラックスクリーンまたはシステムのメーカーのスプラッシュスクリーンのまま進まなくなる場合があります。 この症状が発生した場合は、このプロセスが完了するまで電源を落とさずにそのままお待ちくだ
メモリ内で「データ保存」と「計算処理」を実行する「CRAM」 実証実験に成功 AIタスクの消費電力を大幅削減へ
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 機械学習などのデータ集約型アプリケーションは、膨大な計算能力を必要とするが、従来のコンピューティングアーキテクチャでは、演算ユニットとメモリユニットの間で絶え間なくデータを転送する必要があり、この転送プロセスに多大な電力とエネルギーを消費している。 この課題に対処するため、研究者たちは「Computational Random-Access Memory」（CRAM）と呼ばれる技術に着目。CRAMの特徴は、メモリセル自体を使って論理演算を直接実行できる点で、データをメモリから外部に転送することなく、メモリ内で直接計算処理が可能。この方式により
『VA-11 Hall-A』「ブレードランナー」に影響受けたデッキ構築型ローグライク『Memory Detective: Akira』が面白そう！記憶追跡能力を駆使して“世界の破壊”を目指す【今週のインディー3選】 | Game*Spark - 国内・海外ゲーム情報サイト
Game*Spark編集部がオススメする1月第2週の特選インディー3選をお届け！ 今週は、『VA-11 Hall-A ヴァルハラ』「ブレードランナー」にインスパイアされたデッキ構築型ローグライク『Memory Detective: Akira』、南極で違法な卵を調理するSFクッキングゲーム『Arctic Eggs』、ディーゼルパンクな終末世界サバイバル街づくり『New Cycle』の3本です。 本作は、インディーデベロッパーGames2see氏（@Games2see）が現在開発中のデッキ構築型ローグライクゲームです。「ブレードランナー」や『VA-11 Hall-A ヴァルハラ』にインスパイアされたサイバーパンク要素を取り入れています。 舞台となるのは2142年のディストピア世界。ならず者たちの巣窟と化したニューデトロイト（New Detroit）において、プレイヤーはサイキックで犯罪に立ち
The first step in building my text editor is to implement the core API. If you’re wondering why I want to do this, the original article is here. I researched several data types, and I tried to be language agnostic. I wanted my decision to not be influenced by any particular language, and first see if there was a “best way” out there, solely based on operations. Of course, a “best way” rarely exist
IBMが合計20年かけて開発した「NorthPole」チップの存在が明らかに、脳にインスパイアされた設計でAIの高速化が可能
カリフォルニア州アルデマンにあるIBM研究所が、前身のチップと合わせると20年かけて研究してきたという新タイプのデジタルチップ「NorthPole」の存在が明らかになりました。開発陣のダルメンドラ・モーダ氏によると、脳の計算方法からインスピレーションを得ることで、コンピューターチップの基本構造を改めたとのことです。 Neural inference at the frontier of energy, space, and time | Science https://www.science.org/doi/10.1126/science.adh1174 IBM Research's new NorthPole AI chip | IBM Research Blog https://research.ibm.com/blog/northpole-ibm-ai-chip ‘Mind-blow
Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.16 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケージが次の3つのパッケージに分割
結成たぶん10年くらいのチーム白金動物園（mirakui, sorah, rosylilly）として ISUCON 13 に参加してきました。ここ数年はなんだかんだ運営側であることが多かったので、いち選手としては随分久しぶりな気がします。 結果は694チーム中18位で、最終スコアは 103,838 でした。 ISUCON13 受賞チームおよび全チームスコア : ISUCON公式Blog 優勝経験のあるチームとしては満足のいく結果ではありませんが、Rubyを使ったチームの中では一番スコアが高かったようです。 上位30チームに限定すると以下となりました Go 29組 96.7% Ruby 1組 3.3% ISUCON13 利用言語比率 : ISUCON公式Blog この1組が我々です。 あとLINEヤフー社が提供してくださった会場に入場した順では僕が1位を取りました。 ISUCON
Apple M2 Proチップと比較してメモリ帯域幅が小さくなったM3 Proでは、特定のメモリ使用でパフォーマンスが低下するもよう。
Apple M2 Proチップと比較してメモリ帯域幅が小さくなったM3 Proでは、特定のメモリ操作でパフォーマンスが低下しそうです。詳細は以下から。 Appleは現地時間2023年10月30日、スペシャルイベント「Scary fast. (速いもの見たさ。)」の中で新たにMac用の第3世代Apple Siliconチップとなる3つの「M3、M3 Pro、M3 Max」と、それらを搭載する「iMac (24インチ, 2023)」と「MacBook Pro (14/16インチ, Nov 2023)」を発表しました。 このM3チップファミリーはMシリーズとしては初めて3ナノメートルテクノロジー(3nmプロセス)が採用され、CPUやGPU、Neural Engineはもちろん、ワットパフォーマンスもM2/M1チップファミリーと比較して大幅に改善されていることが強調されていました。 一方、設計上、
女性研究者の論文が男性よりも引用される「頻度が低い」理由 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
心理学の分野では、男性の研究が女性よりも頻繁に参照されるという引用ギャップがすでに示されていた。新しい研究では、この不均衡を引き起こす可能性のある説明が提供された。すなわち男性研究者は女性の貢献を忘れがちなのだ。 米国では女性が心理学の教員の3分の2を占めているにもかかわらず、女性の学術的貢献は男性のものほど頻繁に引用されない。女性が第一著者または最終著者である論文は、男性がこれらの位置に置かれた論文よりも約30％引用される頻度が低い。 アメリカン・サイコロジストに発表された新しい研究『I Forgot That You Existed: Role of Memory Accessibility in the Gender Citation Gap（あなたがいたことを忘れていた：ジェンダー引用ギャップに果たす記憶のアクセシビリティの役割）』は、男性教授の出版物がより多くの引用を受ける理由と
The Two Reacts — overreacted
Suppose I want to display something on your screen. Whether I want to display a web page like this blog post, an interactive web app, or even a native app that you might download from some app store, at least two devices must be involved. Your device and mine. It starts with some code and data on my device. For example, I am editing this blog post as a file on my laptop. If you see it on your scre
Like many Go developers my applications are usually deployed in containers. When running in container orchestrators it’s important to set CPU limits to ensure that the container doesn’t consume all the CPU on the host. However, the Go runtime is not aware of the CPU limits set on the container and will happily use all the CPU available. This has bitten me in the past, leading to high latency, in t
Back to BlogMonday, October 23rd 2023 How to Think About Security in Next.jsPosted by React Server Components (RSC) in App Router is a novel paradigm that eliminates much of the redundancy and potential risks linked with conventional methods. Given the newness, developers and subsequently security teams may find it challenging to align their existing security protocols with this model. This docume
JJUG CCC 2023 Fall ( #jjug_ccc ) - セッション資料の一覧 - 地平線に行く
JJUG CCC 2023 Fallに参加しました！ 前回よりも参加者が大幅に増えて、ワイワイと盛り上がった中でいろんな話が聞けて楽しかったです！ 特に、一足先に次回の Java 22 でリリース予定の Foreign Function & Memory API と String Template の話があって、使えるようになるのが楽しみになりました。 あと、今回「バイナリビューアを使ってクラスファイルを読んでみよう！」というテーマで登壇しました。 思ったよりもたくさんの人に聞いてもらえて、そして楽しんでいただけたようで、嬉しかったです。前日まで、これ分かりにくいけどどうしたら…と悩みながら内容を練った甲斐がありました。 準備は大変でしたが、また機会があれば頑張ります！ さて、最後にいつものを。 今回、残念ながら時間がかぶってしまって参加できなかったセッションがいっぱいあったので、あとで読
Elasticsearch Query Language (ES|QL) now generally available — Search Labs
Elasticsearch piped query language, ES|QL, now generally available Today, we are pleased to announce the general availability of ES|QL (Elasticsearch Query Language), a dynamic language designed from the ground up to transform, enrich, and simplify data investigations. Powered by a new query engine, ES|QL delivers advanced search using simple and familiar query syntax with concurrent processing, e
dbtでCIを実現するために、Github ActionsでAWSのVPC越えしたい。 - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2023の8日目の記事です。 こんにちわ。その他事業部SREチームの@mashiikeです。 最近、風変わりな記事を連投しているのですが、今回も風変わりです。 ひとことで要約すると、 私は！Github Actionsから！Redshiftにアクセスしたいんだ！！！ です。 TL;DR dbtのCIを実現したい。ローカルのunit-testはできてるんだが、Github ActionsからRedshiftへのアクセスに難がある。 Github ActionsからRedshiftにアクセスするために頑張ってみた。 kayac/ecspressoで踏み台となるECS Taskを立ち上げる。 fujiwara/ecstaでportforwardingする。 mashiike/redshift-credentials で一時認証情報を
Porffor
A from-scratch experimental ahead-of-time JS engine Porffor is a unique JS engine/compiler/runtime, compiling JS code to WebAssembly or native ahead-of-time. It is limited for now; intended for research, not serious use! Wasm compilation Porffor's WebAssembly output is much faster and smaller compared to existing JS -> Wasm projects. This is because Porffor compiles JS AOT instead of bundling an i
We are excited to announce support of submenus in the latest release of React Spectrum and React Aria! In the process of adding this feature, we found ourselves solving some unique challenges while working to make submenus user-friendly and accessible across an array of devices and input types. In doing so, we wanted to share our thought process in solving one of the challenges we faced along the
Piccolo - A Stackless Lua Interpreter 2024-05-01 History of piccolo A "Stackless" Interpreter Design Benefits of Stackless Cancellation Pre-emptive Concurrency Fuel, Pacing, and Custom Scheduling "Symmetric" Coroutines and coroutine.yieldto The "Big Lie" Rust Coroutines, Lua Coroutines, and Snarfing Zooming Out piccolo is an interpreter for the Lua language written in pure, mostly safe Rust with a
Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成 - 端の知識の備忘録
概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Math-7Bを利用している LLMが出力したPythonコードを実行するインタープリターを実装することで、LLMのハルシネーションによる計算ミスを防ぐパイプラインが有力であった LLMの出力を比較的高い
Object Structure in JavaScript EnginesFrom a developer's perspective, objects in JavaScript are quite flexible and understandable. We can add, remove, and modify object properties on our own. However, few people think about how objects are stored in memory and processed by JS engines. Can a developer's actions, directly or indirectly, impact performance and memory consumption? Let's try to delve i
アップルはMacBook ProおよびiMacの新製品を発表した。これらで使われているのが、同社の新プロセッサー｢M3｣シリーズだ。 アップルがMacに独自開発プロセッサを使うようになって3年が経過し、M1からM3へと世代交代している。 世代を追ってプロセッサーが性能アップしていくのはマーケティング上も当然のことで、そのこと自体に驚きはない。 だがよく見ると、無印・Pro・Maxという3つのバリエーションも、実は細部を見ると過去とは少し変わった状況がある。 取材のなかから見えてきたのは、アップルの新しい半導体戦略だ。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraformでローカルファイルを操作する方法 ～よくある使い方3選～ - NRIネットコムBlog
BM42: New Baseline for Hybrid Search - Qdrant
Choose Postgres queue technology
マルチビタミンのサプリを飲むと記憶力と認知能力の低下を防ぐことができる可能性
美少女ゲーム業界にも寄る高齢化の波か…ブランド「ALcot」が解散へ。最終作『Clover Memory's』のクラウドファンディングが4月13日開始 | Game*Spark - 国内・海外ゲーム情報サイト
Upgradable Read Write Lock for Go
Who needs GitHub Copilot when you roll your own
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
第289回 NVIDIAはなぜ強いのか？ 競合ベンダー創業者の視点で考えてみる
Text Editor: Data Structures
画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
LangChain v0.1 クイックスタートガイド - Python版｜npaka
いいことづくめのメモリモジュール「LPCAMM2」、Micronが投入へ
チーム白金動物園としてISUCON13に参加しました - 昼メシ物語
Go, Containers, and the Linux Scheduler
How to Think About Security in Next.js
ChatGPTに過去のやりとりを記憶する「Memory」機能
Creating a pointer-friendly submenu experience
kyju.org - Piccolo - A Stackless Lua Interpreter
Object Structure in JavaScript Engines
アップルの｢次世代の半導体戦略｣が見える｢M3チップ｣独特の設計とは