A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
セキュリティ監視入門
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
Microsoft、LLMで注目の「RAG」の精度を向上させる「GraphRAG」をGitHubで公開
Microsoft Researchは2024年7月2日（米国時間）、「RAG」（Retrieval-Augmented Generation：検索拡張生成）の精度を強化する「GraphRAG」と、Microsoft Azure上でGraphRAGを実行するためのソリューションアクセラレータリポジトリをGitHubで公開した。 GraphRAGは、Microsoftが2024年2月に発表した新たなRAGのアプローチだ。Microsoft Researchは、従来のRAGの問題点や、GraphRAGの特徴、RAGとGraphRAGの比較結果を次のように述べている。 従来のRAGの問題点 LLMの最大の課題は、LLMの能力を「プライベートデータセット」（LLMのトレーニングに活用されていない未知のデータを指す。企業の独自研究やビジネス文書、通信などが含まれる）にも適用させることだ。 そこで注目
「生成AIエージェント」の実装入門（LangChain版とLangGraph版を対比） - Qiita
本記事は、2024年7月発売の書籍「つくりながら学ぶ！生成AIアプリ & エージェント開発入門」をベースに、私なりにGoogle Colabで動作する「生成AIエージェント」を実装してみた内容の解説です 上記の書籍「つくりながら学ぶ！ 生成AIアプリ & エージェント開発入門」(発売日 2024/7/18) [link]、著者：ML_Bear（本名: 内田 直孝）さん を参考にしながら、自分なりにいろいろ変更を加えてみて実装してみました。 Google ColaboratoryのNotebookファイルは以下となります。 本記事では今回作成してみたプログラムについて解説します。 拙著である、「つくりながら学ぶ！PyTorchによる発展ディープラーニング」などと、装丁が似ているようにも感じる？のは、マイナビ出版の（私がとても信頼している）同じ編集者の方がこちらの書籍もご担当してくださっている
How to Build Anything Extremely Quickly - Learn How To Learn
Do “outline speedrunning”: Recursively outline an MVP, speedrun filling it in, and only then go back and perfect. This is a ~10x speed up over the ‘loading-bar’ style (more on that below) Don’t just read this article and move on. Go out and do this for the very next thing you make so you can get in the habit of doing it. (btw, here, speedrunning just means doing something as fast as possible) Outl
Introducing postgres.new, the in-browser Postgres sandbox with AI assistance. With postgres.new, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (generate table on the fly) Generat
uv一つでPythonプロジェクトのランタイム･パッケージ管理が完結。pip/poetry/pyenv/virtualenvをまるっと置き換え! | DevelopersIO
Pythonのリンター･コード整形ツール Ruff を開発している Astral から、Pythonのパッケージツール uv の大型アップデート(uv v0.3)の知らせが届きました。 発表されたブログには「uv: Unified Python packaging(訳:統一されたPythonパッケージング)」とあり、READMEには以下の一文があります。 A single tool to replace pip, pip-tools, pipx, poetry, pyenv, virtualenv, and more. https://astral.sh/blog/uv-unified-python-packaging プロジェクトのランタイムのバージョン管理(pyenv/.python-version)、プロジェクト固有の環境(virtualenv)、パッケージ管理(pip/poetry
Amazon ECSのデプロイにecspressoを使うとビルド・デプロイの境界やアプリ･インフラのIaC境界が明確になる ~ fujiwara-ware OSS ~ | DevelopersIO
クラスメソッドは2024年に5つのOSSに対して支援を実施しました 当方が推薦した @fujiwara さん作による Amazon ECSのデプロイツールである ecspressoが選定されたので、簡単に紹介します。 継続的デリバリーの責任範囲を明確にするecspresso ecspresso(「エスプレッソ」と発音します)はAWSのコンテナサービスAmazon ECSのデプロイツールです。 ECSでのデリバリーを思い出してみましょう。 ECSのデリバリーは、新しいコンテナイメージのビルドと、新しいコンテナイメージのデプロイの2つのフェーズに分かれている ECSのデプロイは、タスク定義を更新し、サービスの参照するタスク定義を更新すること 頻繁に更新されるアプリケーションに対して、VPCやALBといったインフラストラクチャの更新頻度は低く、この2つの更新のライフサイクルは大きく異なる 以上を
大規模言語モデルが機能するためにはインターネット上の膨大なデータで訓練する必要がある。今後、AIが生成した低品質のWebページがネット上に急増すると、そのデータで訓練された大規模言語モデルの性能が劣化することが懸念されている。 by Scott J Mulligan2024.08.01 9 この記事の3つのポイント AIモデルは低品質のAI生成データで訓練されると徐々に劣化する 合成データを追加しても問題ないが高品質で多様なデータが重要だ データの出所を特定し、人間が作成した元データを重視する必要がある summarized by Claude 3 人工知能（AI）モデルは、インターネットから取得した膨大な量のデータを使って訓練することで機能する。ところが、低品質のコンテンツで埋め尽くされたWebページをAIがどんどん量産するにつれ、そのプロセスが揺るがされる危険性が増している。 ネイチャ
In December of 2023 I launched the 175 Pixel Font Megapack, followed shortly by 42 individual packs for each font family. I created my own toolchain for generating, quality testing, and deploying these fonts... in Rust! In this post I'll walk you through the whole process. Check out the Pixel Font Megapack on itch.io! Before the MegapackBefore we talk about the new pack, let's talk about the old p
This leverages a starter sample available from https://github.com/microsoft/minecraft-scripting-samples/ with a simple build process and TypeScript compilation for Minecraft. From it, you can build out and expand simple gameplay styles. You can also use this project as a starter for your own scripting projects. Important Just getting started with JavaScript? You may want to check out the Scripting
I've hired a lot of developers over the years. More than a few of them have come in with a strong belief that our code needed heavy refactoring. But here's the thing: in almost every case, their newly refactored code was found by the other developers to be harder to understand and maintain. It also was generally slower and buggier too. Now, don't get me wrong. Refactoring isn't inherently bad. It'
Security best practices when using ALB authentication | Amazon Web Services
Networking & Content Delivery Security best practices when using ALB authentication At AWS, security is the top priority, and we are committed to providing you with the necessary guidance to fortify the security posture of your environment. In 2018, we introduced built-in authentication support for Application Load Balancers (ALBs), enabling secure user authentication as they access applications.
はじめに 今回はparserの生成物である構文木についてのお話です。 普段は主にparserとlexerについて考えていますが、たまに構文木について考えを巡らすこともあります。 むしろparserの目指すべき実装が固まったいまだからこそ、その主な生成物である構文木の設計について考える必要があるとも言えます。 Rubyのparserの実装は複数あり、それぞれのparserが生成する構文木もまた微妙に異なります。 それらの構文木は各parserのユースケースに合わせてアドホックに必要な要素が追加されているように見え、なにか原理原則に従っているように思えませんでした。 そのため果たして構文木に設計というものがあるのだろうかという疑問をずっと抱いていました。 Rubyの開発ではユースケースを収集し、それらのユースケースに対してどのくらい応えられているかをもって設計の良し悪しを確認するというアプロー
Welcome Welcome to "100 Exercises To Learn Rust"! This course will teach you Rust's core concepts, one exercise at a time. You'll learn about Rust's syntax, its type system, its standard library, and its ecosystem. We don't assume any prior knowledge of Rust, but we assume you know at least another programming language. We also don't assume any prior knowledge of systems programming or memory mana
機械学習エンジニアの吉田です。今回は、LLM (Large Language Models) を活用して、機械学習モデルに必要なデータのアノテーション作業を効率化する取り組みについて紹介します。 なお、アノテーションにおけるLLMの利用に関しては、クラウドベンダー各社及び社内の法務確認のうえ進めています。この記事で登場するLLMがアノテーション用途で使えることを保証するわけではないのでご留意ください。 背景 LayerXで提供しているバクラクでは、帳票をアップロードするだけで支払金額や支払期日などを自動で読み取るOCRの機械学習モデルを開発しています。 このモデルのデータセットを作成するために、内製のアノテーション基盤を使って日々手作業でアノテーションを行っています。帳票の種類が多く、解釈が複数ある場合もあるため、アノテーション作業は簡単ではありません。モデルの推論結果やユーザーの入力値を
写真1枚で他人になりすましてライブ配信可能なAIアプリ「Deep-Live-Cam」が登場、ウェブカメラに映る顔をリアルタイムで上書き可能
一般的に、ディープフェイク動画を作成するには大量のサンプル画像や長い処理時間が必要です。ところが、オープンソースで公開されている「Deep-Live-Cam」は画像を1枚用意するだけでフェイク動画をリアルタイム生成できてしまうそうです。 hacksider/Deep-Live-Cam: real time face swap and one-click video deepfake with only a single image https://github.com/hacksider/Deep-Live-Cam New AI tool enables real-time face swapping on webcams, raising fraud concerns | Ars Technica https://arstechnica.com/information-technolog
関連: NFCタグ入りの自己紹介アイコンバッジを自作する song.mu という結構良い短いドメインを確保しているので、これをプロフィールサイト兼、個人用短縮URLサービスにしたいと長らく思っていたので重い腰を上げて作った。 最近オフラインイベントが増えている中で、こういうプロフィールサイトを活用しているケースを見るようになったのがきっかけ。Webエンジニアとしてはこういうの自作したいし、自分のドメインでホストしたいと思っていたのだ。 song.mu がリンクが並んだプロフィールページで、 song.mu/blog でブログに飛び、 song.mu/x でTwitterに飛ぶ、みたいな具合。 技術スタック こういうの作る時は興味がある技術の砂場にしたいので、HonoでSSGしてCloudflare Pagesでホストしている。ローカル開発でのTypeScript実行環境も mise で管理
TL;DR: uv is an extremely fast Python package manager, written in Rust. We first released uv in February as a drop-in replacement for common pip workflows. Today, we're announcing a series of features that extend uv beyond a pip alternative, and into an end-to-end solution for managing Python projects, command-line tools, single-file scripts, and even Python itself. It's Cargo, for Python: a unifi
0.0.0.0 Day: Exploiting Localhost APIs From the Browser | Oligo Security
Oligo Security's research team recently disclosed the “0.0.0.0 Day” vulnerability. This vulnerability allows malicious websites to bypass browser security and interact with services running on an organization’s local network, potentially leading to unauthorized access and remote code execution on local services by attackers outside the network. The issue stems from the inconsistent implementation
GitHub - opendatalab/MinerU: A one-stop, open-source, high-quality data extraction tool, supports PDF/webpage/e-book extraction.一站式开源高质量数据提取工具，支持PDF/网页/多格式电子书提取。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Rye and uv: August is Harvest Season for Python Packaging
Rye and uv: August is Harvest Season for Python Packaging written on Wednesday, August 21, 2024 It has been a few months since I wrote about Rye here last. You might remember that in February I passed over stewardship of my Rye packaging too to Astral. The folks over there have been super busy in building a lot of amazing tooling for Python packaging in the last few months. If you have been using
ChatGPTが書いた文章を99.9％の精度で検出できる技術をOpenAIが開発している、AIで宿題をこなす学生への対抗策か？
さまざまな質問に対して精度の高い回答を出力してくれる生成AIの登場により、学生がAIを使って課題をこなす可能性が問題視されています。こういった問題に対処するため、チャットAIのChatGPTを開発するOpenAIは、ChatGPTを使って書かれた文章を99.9％の精度で検出することができるツールを開発していることがウォール・ストリート・ジャーナルの報道により明らかになりました。 Exclusive | There’s a Tool to Catch Students Cheating With ChatGPT. OpenAI Hasn’t Released It. - WSJ https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a OpenAI says it’s taking a ‘deliber
さまざまなLinuxディストリビューションの世界 「Windows」「Mac」からの乗り換えを考えているなら--使いやすさを追及した「GeckoLinux」 本記事の要点 「GeckoLinux」は必要な台数のコンピューターに無料でインストールすることができる。 使用開始に必要なものがすべてプリインストールされており、デスクトップの選択肢が複数用意されている。 GeckoLinux向けのもっとユーザーフレンドリーなアプリストアがあればよかった。 「openSUSE」は、筆者が初心者には薦めない「Linux」ディストリビューションだ。その主な理由は「Yet Another Setup Tool」（YaST）にある。ひとまず、YaSTは極めて強力だと言っておこう。簡単に説明すると、YaSTが管理者向けであるのに対し、従来のシステム設定アプリはユーザー向けだ。 それが「GeckoLinux」と何
Leaving Neovim for Zed
A journey through text editors and how I landed on Zed after years of Neovim I think every developer has their own text editor journey and how they landed on the tool they use today. Perhaps I’m a geek but I love those stories. I have a great appreciation for developer tools and the work that goes into them. This post is for the other geeks out there that also care, and I hope my journey and persp
オープンAIは一部ユーザーに対し、自然で流ちょうな会話ができるチャットGPTの新機能の提供を開始した。GPT-4oモデルを使用することで、声のトーンの違いを聞き分け、中断にも対応し、問い合わせにリアルタイムで答えられる。 by Melissa Heikkilä2024.08.01 12 この記事の3つのポイント オープンAIが音声で会話できる高度なAIチャットボットの提供を開始した 一部ユーザーは7月30日から使用可能で、秋までに全ユーザーに展開する 将来的にさらに高度な機能を搭載しAIアシスタントの能力を高めていく計画 summarized by Claude 3 オープンAI（OpenAI）は、音声で会話できる高度な人工知能（AI）チャットボットの提供を開始した。一部ユーザーは7月30日から使用可能だ。 この新しいチャットボットは、オープンAIが推進する新世代のAI搭載音声アシスタント
Zngur - Zngur
Zngur Zngur (/zængɑr/) is a C++/Rust interop tool. It tries to expose arbitrary Rust types, methods, and functions while preserving its semantics and ergonomics as much as possible. Using Zngur, you can use arbitrary Rust crate in your C++ code as easily as using it in normal Rust code, and you can write idiomatic Rusty API for your C++ library inside C++. Idea Rust and C++ are similar languages b
GitHub - dh1011/llm-term: A Rust-based CLI tool that generates and executes terminal commands using OpenAI's language models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
OpenAI’s GPT-4o mini Now Available in API with Vision and Fine-tuning Text Capabilities on Azure AI
We recently launched OpenAI’s fastest model, GPT-4o mini, in the Azure OpenAI Studio Playground, simultaneously with OpenAI. The response from our customers has been phenomenal. Today, we are excited to bring this powerful model to even more developers by releasing the GPT-4o mini API with vision support for Global and East US Regional Standard Deployments. From Playground to API: Expanding Access
Let's Write A Reverb
No magic numbers, no tricky tuning: a clean and flexible approach to designing a smooth high-quality reverb, using a variation on the classic feedback-delay network (FDN) structure. Reverbs are one of my favourite effects, both to use and to write, and feedback-delay networks are a great way to play around and try things. Reverbs sometimes have a bad reputation for being tricky to tune, so this ar
ACL2024 参加報告 前半（~3日目） - Taste of Tech Topics
こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org 今アクロクエストではRAGを用いたプロダクトを開発しており、LLMを含むNLPの最新の動向を追うためにACLに参加することにしました。 本記事ではTutorialから本会議2日目までの内容を記載していきます。 ACLとは 初日（Tutorial） Watermarking for Large Language Model 2日目（本会議初日） Opening Celemony Keynote1 Session 3日目（本会議2日目） Keynote 2 Social Gala 気になった論文 A Chain-of-Thought Is as Strong as Its
Everything a developer needs to know about Generative AI for SaaS
Everything a developer needs to know about Generative AI for SaaS Few months ago, I knew almost nothing about AI. I used ChatGPT and Co-Pilot (I'm civilized, after all), but a lot of the content around AI was Greek to me. Terms like models, transformers, training, inference, RAG, attention, and agents were unfamiliar. Last week, I have completed my first end-to-end AI-based product: AI Code Assist
以下の記事が面白かったので、簡単にまとめました。 ・Introducing Structured Outputs in the API 1. Structured Outputs昨年のDevDayで、「JSONモード」を導入しました。これは、OpenAIのモデルを使用して信頼性の高いアプリを構築しようとしている開発者にとって便利な構成要素です。「JSONモード」は、有効なJSON出力を生成するためのモデルの信頼性を向上させますが、モデルの応答が特定のスキーマに準拠することを保証するものではありません。本日、APIに「Structured Outputs」を導入します。これは、モデルによって生成された出力が、開発者が提供するJSONスキーマと完全に一致するように設計された新機能です。 複雑なJSONスキーマのフォローの評価では、「Structured Outputs」を備えた新しいモデル「g
WebDriver BiDi production-ready in Firefox, Chrome and Puppeteer | Blog | Chrome for Developers
Just last week, together with BrowserStack, we announced WebDriver BiDi becoming production-ready in BrowserStack. This week the summer of WebDriver BiDi continues with Firefox 129 and Puppeteer 23 each getting production-ready support for WebDriver BiDi! Mozilla has been a strong collaborator on WebDriver BiDi for over four years now, initially helping to shape the new standard and then gradually
Like the blip of an intro on the front page says, my degree was originally in music. My running joke as a web dev is that neither has meaningfully required me to count past 32. And while my main concentration was vocals, I've since realized I should probably stop strictly calling this a nontechnical field, because my actual major was recording — even if I did primarily branch out into this for the
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「REAPER」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGを活用したAIエージェントの回答速度を10倍速くする「REAPER」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー REAPER は、ユーザーからの複雑な質問に対して、高速で回答できるようにするためのRAGの手法です。Amazonの研究者らによって2024年7月に提案されました。AmazonのようなECサイトのチャットボットでは、まさに、REAPERのようなRAG手法が大活躍します。「複雑な質問がくる上に
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
Using Amazon APerf to go from 50% below to 36% above performance target | Amazon Web Services
AWS Compute Blog Using Amazon APerf to go from 50% below to 36% above performance target This post is written by Tyler Jones, Senior Solutions Architect – Graviton, AWS. Performance tuning the Renaissance Finagle-http benchmark Sometimes software doesn’t perform the way it’s expected to across different systems. This can be due to a configuration error, code bug, or differences in hardware perform
iPadのデザインアプリ「Procreate」が生成AIに反対の立場を表明し、自社製品に生成AI機能を導入しないことを宣言しました。 創造性を生み出すのは人々。– Procreate® https://procreate.com/jp/ai Procreateは「NO 生成AI」「あなたの作品は、あなたのもの」「個人情報を守ることに誇りを持っている」という3つのスタンスを示しました。 また、Procreateのジェームズ・クーダCEOは以下のムービーで、「個人的に生成AIは本当に不愉快です。今この業界で起こっていることも、アーティストに与えている様々な痛みも納得いかないです」と述べ、Procreateの製品に生成AIを取り入れないことを表明。「私たちの製品は常に人間が何かを生み出すという考えのもとに設計され、開発されています。この物語がどこへ向かうのか、どのように終わるのかは正確にはわかり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
postgres.new: In-browser Postgres with an AI interface
生成AIのデジタル劣化問題、ゴミがゴミを生み出す最悪の未来
Chevy Ray | How I Created 175 Fonts Using Rust
Build a gameplay experience with TypeScript
Good Refactoring vs Bad Refactoring
Ruby Parser開発日誌 (19) - 最高の構文木の設計 2024年版 - かねこにっき
Welcome - 100 Exercises To Learn Rust
LLMを活用した機械学習モデルのアノテーション効率化 - LayerX エンジニアブログ
HonoとCloudflare Pagesでプロフィールサイト兼短縮URLサービスを構築した | おそらくはそれさえも平凡な日々
uv: Unified Python packaging
「Windows」「Mac」からの乗り換えを考えているなら--使いやすさを追及した「GeckoLinux」
自然な会話ができるチャットGPT新機能、一般開放を開始
OpenAI API の Structured Outputs の使い方｜npaka
Sonic Pi: Ruby as a Composition Tool
RAGエージェントを10倍速くする「REAPER」
お絵描きアプリ「Procreate」が生成AI反対の立場を明確に表明