情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h
『ベイズデータ解析』はベイズ統計学を用いる全ての実務家が座右に置くべき第一級の鈍器 - 渋谷駅前で働くデータサイエンティストのブログ
ベイズデータ解析(第3版) 森北出版Amazon 先日のことですが、『ベイズデータ解析』を訳者のお一人菅澤さんからご恵贈いただきました。もう一目見ただけで「鈍器」以外の語が出てこないくらいの立派な鈍器で（笑）、原著のBDA3*1に負けないくらいの鈍器っぷりが見事な一冊です。菅澤さんといえば名著『標準ベイズ統計学』の翻訳も手掛けておられますが、先日直にお話を伺った際は「本書の方が標準ベイズよりもさらに理論的な内容に踏み込んでしっかり書かれていて良い」とのコメントでした。 ということで、早速本書をレビューしていこうと思います。ただ、何分にも全体で888ページもある大著であり、ぶっちゃけ斜め読みするだけでも1ヶ月近くかかるという有様でしたので、内容の理解が不完全であったり誤ったりしている可能性があります。それらの不備を見つけられた際は、何なりとご指摘くだされば幸いです。 本書の概要 第I部 ベイ
Transformer Explainer: LLM Transformer Model Visually Explained
What is a Transformer? Transformer is a neural network architecture that has fundamentally changed the approach to Artificial Intelligence. Transformer was first introduced in the seminal paper "Attention is All You Need" in 2017 and has since become the go-to architecture for deep learning models, powering text-generative models like OpenAI's GPT, Meta's Llama, and Google's Gemini. Beyond text, T
At Sakana AI, we have pioneered the use of nature-inspired methods to advance cutting-edge foundation models. Earlier this year, we developed methods to automatically merge the knowledge of multiple LLMs. In more recent work, we harnessed LLMs to discover new objective functions for tuning other LLMs. Throughout these projects, we have been continuously surprised by the creative capabilities of cu
背景 本家のruncで実装されているSELinux機能が、Youki (Rustでruncを再実装するOSS）に実装されていないことがわかった。 そこで、SELinux機能をYoukiに導入することになったのだが、SELinux crateが無かったのでRustで再実装することになり、そのプロジェクトにアサインしてもらった。 しかし、SELinuxについて何も知らなかったので、SELiuxについて色々と調べたことをまとめた。 SELinuxとは何か？ security-enhanced Linuxの略称。MAC制御を行うことができる。通常のセキュリティに加えてSELinuxを設定することで、システムセキュリティを更に強化できる。 Labelとpolicyを組み合わせたセキュリティ制御が特徴である。process・file・networkなどのobject、process・userなどのsu
Building a highly-available web service without a database
If you’ve ever built a web service or a web app, you know the drill: pick a database, pick a web service framework (and in today’s day and age, pick a front-end framework, but let’s not get into that). This has been the case for several decades now, and people don’t stop to question if this is still the best way to build a web app. Many things have changed in the last decade: Disk is a lot faster
How to Build Anything Extremely Quickly - Learn How To Learn
Do “outline speedrunning”: Recursively outline an MVP, speedrun filling it in, and only then go back and perfect. This is a ~10x speed up over the ‘loading-bar’ style (more on that below) Don’t just read this article and move on. Go out and do this for the very next thing you make so you can get in the habit of doing it. (btw, here, speedrunning just means doing something as fast as possible) Outl
Technical Details: Falcon Update for Windows Hosts | CrowdStrike
What Happened? On July 19, 2024 at 04:09 UTC, as part of ongoing operations, CrowdStrike released a sensor configuration update to Windows systems. Sensor configuration updates are an ongoing part of the protection mechanisms of the Falcon platform. This configuration update triggered a logic error resulting in a system crash and blue screen (BSOD) on impacted systems. The sensor configuration upd
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
ログラスの選考プロセスにおけるアトラクト戦略 / Attraction strategy in Loglass interview process
Introduction In our previous exploration, we delved into the simplicity of HTTP/0.9, a protocol that served as the web’s initial foundation. However, as the internet evolved, so did its needs. Enter HTTP/1.0, a landmark version released in 1996 that laid the groundwork for the web we know today. HTTP/1.0 was a game-changer, introducing features that revolutionized web communication: Headers: Metad
どうもー、シュンスケです。 ついに、ワークフローの自動生成に成功しました！ そう、みんなが頑張って作っているDifyのワークフローが何と！！ 生成AIにより全自動で作れるように進化しました！ もう面倒な作業とはおさらば！ DifyがAIでワークフローを自動構築！ 「あー、またこの作業やらなきゃ…」 毎日のルーティンワーク、うんざりしていませんか？ 請求書の処理、顧客データの入力、資料作成…、やらなきゃいけないことは山積みなのに、どれも時間と手間がかかって、本当に疲れますよね。 「誰か代わりにやってくれないかな…」 そう思ったことがある人は、きっと多いはず。 そんな願いを叶える、 夢のような機能がDifyに登場 しました！それが 「AIワークフロー自動生成」 です。 この機能を使えば、面倒な作業を自動化するワークフローを、AIがサクサクっと作ってくれるんです。 専門知識は一切不要！ 普段使っ
エンジニアの佐野です。バンドルカードではポチっとチャージという後払いの機能を利用する際に年齢確認が必須となりました。通信キャリアや銀行との連携等によって年齢確認ができるようになっています*1。今回はこの機能の開発を題材に普段開発でどのようなことを考えて開発し、本機能の開発ではどのようなフローを構築して進めていったかを書きます。 少し概要を書くと、本件についてはウォーターフォールモデル "のような" 開発フローで行いました。事業上の理由でビッグバンリリースが必要でした。要件をしっかり決めてステップバイステップで開発を行いすべての機能を同時にリリースする...案件の性質を考えるとウォーターフォールが開発フローの候補の1つだと思っていたためです。ただそのまま一般的に思われているウォーターフォールを導入するのではなく、その欠点や面倒な点を解消しつつ、認識齟齬なしに設計と実装を行い、納期を死守しつつ
Introducing postgres.new, the in-browser Postgres sandbox with AI assistance. With postgres.new, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (generate table on the fly) Generat
How to review code effectively: A GitHub staff engineer’s philosophy
As a staff engineer at GitHub, code review is one of my main focus areas in my day to day work. Over the past eight years, I’ve reviewed more than 7,000 pull requests. Why so many? Because code review is crucial to building good software and another set of eyes can often spot issues you would have otherwise missed. I see code review as one of the most important aspects of my job. In fact, whenever
FaST agileとは - tuneの日記
はじめに ログラスさんで取り組もうとしているFaST agileを下記の資料で知り、調べてみました。 はじめに FAST概要 用語 コレクティブ バリューサイクル ロール ツール バリューサイクル内の開発の流れ 1. プロダクトマネージャーの指針表明 2. 自己組織化し、活動の周りにチームを形成 価値・原則・柱 考えたこと フレームワークの狙いは何か できそう? 参考文献 FAST概要 "Fluid Scaling Technology (for Agile)"を標榜した、自己組織化を重視した軽量なフレームワークです。 日本語ガイドも公開されています。 FaSTガイド.pdf - Google ドライブ FASTガイドより引用した概要図 (Per Beiningによる) ※ 以下「スクラムでいうXX」といった表現を避け、FASTガイドの文言をできるだけそのまま受け取ってみます 用語 コレク
本エントリでは、PHP の内部実装（php-src）から OPcache のオペコードキャッシュの仕組みを見ていきます。 OPcache にはいくつかの機能がありますが、ここでは共有メモリへのオペコードキャッシュと preload が対象です。ファイルベースのキャッシュと JIT については触れません。 サマリ オペコードキャッシュ preload オペコードキャッシュと preload の比較 オペコードキャッシュ キャッシュデータレイアウト グローバル変数、マクロ キャッシュデータ構造体 オペコードキャッシュ: ZCSG(hash) キャッシュエントリ: zend_accel_hash_entry キャッシュデータ初期化 OPcache 処理の有効化 PHP ファイルコンパイル処理でのキャッシュ制御 persistent_compile_file() の主な処理 zend_accel_
This leverages a starter sample available from https://github.com/microsoft/minecraft-scripting-samples/ with a simple build process and TypeScript compilation for Minecraft. From it, you can build out and expand simple gameplay styles. You can also use this project as a starter for your own scripting projects. Important Just getting started with JavaScript? You may want to check out the Scripting
In December of 2023 I launched the 175 Pixel Font Megapack, followed shortly by 42 individual packs for each font family. I created my own toolchain for generating, quality testing, and deploying these fonts... in Rust! In this post I'll walk you through the whole process. Check out the Pixel Font Megapack on itch.io! Before the MegapackBefore we talk about the new pack, let's talk about the old p
My Statement on President Biden’s Announcement | by Barack Obama | Jul, 2024 | Medium
Official White Photo by Adam SchultzJoe Biden has been one of America’s most consequential presidents, as well as a dear friend and partner to me. Today, we’ve also been reminded — again — that he’s a patriot of the highest order. Sixteen years ago, when I began my search for a vice president, I knew about Joe’s remarkable career in public service. But what I came to admire even more was his chara
How Google handles JavaScript throughout the indexing process – Vercel
Understanding how search engines crawl, render, and index web pages is crucial for optimizing sites for search engines. Over the years, as search engines like Google change their processes, it’s tough to keep track of what works and doesn’t—especially with client-side JavaScript. We’ve noticed that a number of old beliefs have stuck around and kept the community unsure about best practices for app
Falcon Content Update Remediation and Guidance Hub | CrowdStrike
Updated 2024-07-25 1954 UTC Using a week-over-week comparison, greater than 97% of Windows sensors are online as of July 24 at 5pm PT, compared to before the content update. Content Configuration Update Impacting the Falcon Sensor and the Windows Operating System (BSOD) Executive Summary PDF This is CrowdStrike’s preliminary Post Incident Review (PIR). We will be detailing our full investigation i
Security best practices when using ALB authentication | Amazon Web Services
Networking & Content Delivery Security best practices when using ALB authentication At AWS, security is the top priority, and we are committed to providing you with the necessary guidance to fortify the security posture of your environment. In 2018, we introduced built-in authentication support for Application Load Balancers (ALBs), enabling secure user authentication as they access applications.
8月1日、Vercel Newsで「Google がインデックス作成プロセスで JavaScript を処理する方法 – Vercel」と題した記事が公開された。この記事では、Googleがインデックス作成プロセスでJavaScriptをどのように処理しているかについて詳しく紹介されている。 以下に、その内容を簡潔にまとめて紹介する。 まず、Googleがインデックス作成プロセスでJavaScriptをどのように扱うかについて、以下の主要な誤解があることが指摘されている。 「GoogleはクライアントサイドのJavaScriptをレンダリングできない」 「GoogleはJavaScriptページを異なる扱いをする」 「レンダリングキューとタイミングがSEOに大きく影響する」 「JavaScriptを多用するサイトはページ発見が遅くなる」 これらの誤解を解消するため、VercelはSEOおよ
MacでオンラインMTG中に電球を点ける仕組みを構築した pic.twitter.com/qhpXTbv4cY — songmu (@songmu) August 15, 2024 夏休みに入って、子供たちが仕事部屋に乱入してくることが増えた。何番煎じかわからないが、オンラインミーティングが始まったら電気を点ける仕組みを作って投入した。カメラがついている時にミーティング中だという判定をしてライトを点灯する。概要は以下。 カメラ(及びマイク)のon/offを検知する OverSight を使う 検知をトリガーにプログラムを実行 mtglight というのを作った プログラムからIoTライトを操作する Yeelight の製品を使った 一応多重実行を防ぐ排他制御をしこむ setlock を使う 私以外にこの仕組みを使う人がいるとは思わないが、以下の手順で導入できる。 Yeelightを調達して
Intelの第13世代Coreプロセッサーと第14世代Coreプロセッサーで発生しているクラッシュ問題について、Intelが「保証期間を2年延長する」という声明を発表しました。 Intel Core 13th/14th Gen Boxed Desktop Processor Warranty Update - Intel Community https://community.intel.com/t5/Processors/Intel-Core-13th-14th-Gen-Boxed-Desktop-Processor-Warranty-Update/m-p/1620096 Intel announces two extra years of warranty amid chip crashing and instability issues — longer warranty appli
CodeDeployで更新するECS ServiceをCDK管理して詰んだ話 - Uzabase for Engineers
はじめに 皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Media Infrastructureチーム)エンジニアの北見です。 先日、↓ の記事を書かせて頂きました。 tech.uzabase.com 前回では CDK の良さをメインに紹介しましたが、今回は上手く使えずにドはまりしてしまった例をご紹介します。 ことの始まり ある日、チームメンバーからこんな報告があがってきました。 「CDKのバージョン上げたのですが、cdk deployで失敗しちゃうんですよね。これ分かります?」 xxx-cluster-stack failed: Error: The stack named xxx-cluster-stack failed to deploy: UPDATE_ROLLBACK_COMPLETE: Resource handler returned message: "Re
Goroutines in Go (Golang) - Welcome To Golang By Example
This is the chapter 23 of the golang comprehensive tutorial series. Refer to this link for other chapters of the series – Golang Comprehensive Tutorial Series Next Tutorial – Channel Previous Tutorial – Iota Now let’s check out the current tutorial. Below is the table of contents for current tutorial. Overview Goroutines can be thought of as a lightweight thread that has a separate independent ex
New Recovery Tool to help with CrowdStrike issue impacting Windows endpoints
The Microsoft Recovery Tool was updated 7/22/2024 as version 3.1. While fundamentally there are no functional changes to the tool, for the Recover from WinPE option, we have expanded the logging, reattempt logic, and error handling. For the Recover from safe mode for USB delivery, we’ve added in better user awareness cues for when to run the repair command. 7/23/2024: Microsoft notes that CrowdStr
Okay, I really like WezTerm
A while back my friend recommended that I try WezTerm. I’d been an iTerm 2 stalwart for the better part of a decade, but not to be too narrow-minded I conceded, started it up, and saw this: Does the job, sure, but doesn’t feel quite right. Okay then, experiment over. Back to iTerm… Fast forward a couple of months and I got the itch to try a new terminal again. I wanted to use one whose config was
Types as Interfaces
For the past few days, I have been toying with an idea for a board game. To test it out, I wanted to write a simple implementation of it. Here’s an example of a type we might need in a critical phase of the game. -- | A quote for a proposal. data Quote = Quote { _proposal :: Proposal , _premium :: Int , _share :: Int } In that phase, values of this type need to be communicated back and forth betwe
ZIO Lambdaを用いてScalaネイティブバイナリをAWS Lambdaで動かしてみた - エムスリーテックブログ
こんにちは。エムスリーエンジニアリンググループでScalaとマミさんが好きな安江です。今回は私が所属しているデジカルチームのお話です。ZIO Lambdaを使ってScalaネイティブバイナリをAWS Lambdaで動かしてみました。こちらの技術スタックの紹介をします。 ZIO Lambda 背景 技術スタック Scala ZIO ZIO Lambda GraalVM Native Image 実装 プロジェクトの作成 ライブラリの追加 ハンドラーの作成 ネイティブバイナリのビルド AWS Lambdaへのデプロイ まとめ We are hiring !! 背景 特定の処理で、外部から提供されたJARライブラリを使う必要がありました。弊社電子カルテはRails製なのですが、別のバックエンドにSkinny(Scala)製のサーバーを使っていたため、そのサーバーに処理を相乗りさせました。しかし、
No More Blue Fridays
Recent posts: 22 Jul 2024 » No More Blue Fridays 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netfl
pnpm workspace+TypeScriptなmonorepoで、 Cloud Functions for Firebaseを開発していたときに、 unjs/unbuildでビルドしてみたときの備忘録(*´ω｀*) 少ない設定でビルドができて便利(*´ω｀*) unbuildとは unjs/unbuild: 📦 A unified JavaScript build system 「A unified JavaScript build system」らしい。 Viteがフロントエンド用のビルドに対し、 unbuildはライブラリなどによさそうな印象 少ない設定でESM/commonjs+型定義を生成できる package.jsonからビルド設定を自動で取得 package.jsonの設定やdependenciesの過不足を自動チェック ビルドする方法は2つあり、rollupとmkdi
Introducing Docker Build Checks: Optimize Dockerfiles with Best Practices | Docker
Today, we’re excited to announce the release of Docker Build checks with Docker Desktop 4.33. Docker Build checks help your team learn and follow best practices for building container images. When you run a Docker Build, you will get a list of warnings for any check violations detected in your build. Taking a proactive approach and resolving Build warnings and issues early will save you time and h
We developed the Privacy Sandbox with the goal of finding innovative solutions that meaningfully improve online privacy while preserving an ad-supported internet that supports a vibrant ecosystem of publishers, connects businesses with customers, and offers all of us free access to a wide range of content. Throughout this process, we’ve received feedback from a wide variety of stakeholders, includ
Did Google Just Kill Streamlit?
Sitting on my couch, browsing through YouTube recommendations, I came across a video by Prompt Engineering on Google’s latest open-source Python framework named ‘Mesop,’ which is used by teams at Google for internal tooling and rapid prototyping. If you are wondering what ‘Mesop’ means, stop overthinking. Not everything in life makes sense. Will, if you are reading this, drop it in the comments be
process.getBuiltinModule(id) は TypeScript を ESM 化させるか？
こんにちは teppeis です。普段は開発本部長をやってますが、ブログフェスに駆り出されました！ 本日は Node v22.3.0 に続いて v20.16.0 にもバックポートされた process.getBuiltinModule(id) について解説します。 問題: 同期的な条件付き require を ESM 化できない Node v22 にて、フラグ付きで CJS (CommonJS Modules) から ESM を require できるようになりました。いわゆる require(esm) です。これにより、今までは互換性の懸念で ESM 化を足踏みしていた著名ライブラリも ESM 化を試みる動きが出てきました。 TypeScript もその一つで、TypeScript チームは TypeScript 自体を ESM 化しようと試みました。しかしながら、今回の主題である条件付
【AOAI】RAGパイプラインの構築から評価フェーズまでの実装を一挙解説！【Ragas】 | SIOS Tech. Lab
こんにちは、サイオステクノロジーの佐藤 陽です。 今回もRAGの構築に関する記事を書いていきます！ これまでも何本かRAGに関して書いてきましたが、 今回はそれらの集大成として、PDFを外部情報とするRAGを実装し、Ragasで評価するところまで、ソースコードと合わせて一挙ご紹介していこうと思います。 これを読めば、今日からRAGが構築ができるような記事になってます！ ぜひ最後までご覧ください！ はじめに 今回一番伝えたいことは、「評価を回しながらRAGの開発を進めてください！！」 という事です。 RAGというと、どうしても回答を出す部分に注目が行きがちですが、評価の方も非常に大切です。 生成AIを利用していることもあり、RAGの回答内容は不安定であるため、人間が評価するのが難しいことがよく言われています。 更にRAGを構築する要素の設計は多岐にわたります。 プロンプト変更 チャンキング戦
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
Ultimate Guide to Improving MySQL Query Performance
The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
containerにおけるSELinuxの役割について - Gekko0114 備忘録
HTTP/1.0 From Scratch
Difyワークフロー自動生成｜ハヤシ シュンスケ
ウォーターフォールを見直して自チームに最適化した開発フローを構築する - カンムテックブログ
postgres.new: In-browser Postgres with an AI interface
OPcache オペコードキャッシュの仕組み - Shin x Blog
Build a gameplay experience with TypeScript
Chevy Ray | How I Created 175 Fonts Using Rust
JavaScriptの多用はSEOに悪影響なのか？Vercelが徹底的に調査、結果は？
Macでオンラインミーティング中に電球を点ける | おそらくはそれさえも平凡な日々
Intelがクラッシュ問題多発CPUの保証期間を2年延長することを決定
unjs/unbuildに入門してみた - くらげになりたい。
A new path for Privacy Sandbox on the web