ついに来るのか!?拡散言語モデル｜shi3z
我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必
10,000リクエストを166msで送信する、Race Conditionの新手法のリサーチについて - Flatt Security Blog
※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアShion1305が日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK(@ryotkak)です。 2023年にPortSwigger社のJames Kettle氏は、同社の記事でSingle-packet attackという新しい攻撃手法を提案しました。これはネットワークのジッター値に関係なくレースコンディションを悪用できるというものです。 Smashing the state machine: the true potential of web race conditionsより引用 最近私は、同時に約10,000件のリクエストを送信することで安定して成立するレースコンディションを発見し、Single-packet attackを適用
もしも家が火事で焼けたり、あるいは水害で水没したらどうしよう…とかよく考えます。 （ちなみに企業がこういう災害とかが起きた時にどう対処するか考えておく事を、PCB→事業継続計画というらしいですね） https://ja.wikipedia.org/wiki/%E4%BA%8B%E6%A5%AD%E7%B6%99%E7%B6%9A%E8%A8%88%E7%94%BB まあ、家自体は賃貸で借りてるだけなので引っ越せば済みますし、家財は買い直せば済むでしょう。火災保険に加入させられてますから、保険が下りればお金は問題になりません。 そんな事よりも、何より恐ろしいのはパソコンのデータを失う事です。 こればっかりは失ってしまえば二度と取り戻す事はできません。 データについては災害リスクだけでなく、ランサムウェア感染でデータがロックされてしまうリスクも考えられます。 まあ、ローカルPCの中でバックアッ
GitHub Copilot code review in GitHub.com (public preview) · GitHub Changelog
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
I’ve been a programmer since the age of 8, and some kind of developer for most of my life. Throughout my life as a coder, both hobbyist and professional, I’ve learnt plenty of programming languages that felt like cookie-cutter clones of each other, but also a few programming languages that changed the way I looked at programming, sometimes even at thinking. Ranking by order in which I discovered t
Weird Lexical Syntax
I just learned 42 programming languages this month to build a new syntax highlighter for llamafile. I feel like I'm up to my eyeballs in programming languages right now. Now that it's halloween, I thought I'd share some of the spookiest most surprising syntax I've seen. The languages I decided to support are Ada, Assembly, BASIC, C, C#, C++, COBOL, CSS, D, FORTH, FORTRAN, Go, Haskell, HTML, Java,
Kubernetes seems like the obvious choice for building out remote, standardized and automated development environments. We thought so too and have spent six years invested in making the most popular cloud development environment platform at internet scale. That’s 1.5 million users, where we regularly see thousands of development environments per day. In that time we’ve found that Kubernetes is not
Amazon Aurora supports rolling upgrades for Operating System upgrades - AWS
Amazon Aurora supports rolling upgrades for Operating System upgrades Amazon Aurora announced rolling upgrades support for Operating System (OS) upgrades. Aurora now seamlessly upgrades the OS version of Aurora database clusters while maintaining read access to the data when using Aurora cluster or reader endpoint. The feature automatically applies upgrades to a few reader instances at a time so t
A step-by-step guide with my learnings from 30+ AI implementations. Earlier this year, I wrote Your AI product needs evals. Many of you asked, “How do I get started with LLM-as-a-judge?” This guide shares what I’ve learned after helping over 30 companies set up their evaluation systems. The Problem: AI Teams Are Drowning in Data Ever spend weeks building an AI system, only to realize you have no i
GitHub Copilot code completion in Xcode is now available in public preview · GitHub Changelog
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
専門家が語る「インフルエンザから素早く回復する方法」
日本では毎年10人に1人がインフルエンザに感染しているといわれているほか、学者たちは「新型コロナウイルス感染症の次のパンデミックはインフルエンザの可能性が高い」と警戒を呼びかけています。そんなインフルエンザにかかってしまったときにいち早く回復する方法を、科学系ニュースサイト・Live Scienceが専門家に尋ねました。 How to get better faster when you have the flu, according to science | Live Science https://www.livescience.com/health/flu/how-to-get-better-faster-when-you-have-the-flu-according-to-science ◆最善策は「抗ウイルス薬」 「インフルエンザにかかる期間を短縮する主要な方法は抗ウイルス薬、つ
【登壇レポート】 ガバメントクラウド先行事業 中間報告を読み解く #自治体クラウド勉強会 - HOW TO GO
2024/11/1(金)に勉強会（第2回 自治体システム標準化・ガバメントクラウド勉強会）を開催し、自らも登壇しました。 gov-cloud.connpass.com どのような勉強会なのか？ 私はデジタル庁が旗振りをする国家事業である地方公共団体の基幹業務システムの統一・標準化に広域自治体の一員としてかかわっており、様々な自治体の職員やシステム構築・運用に携わるベンダーの方々が苦労している状況をみています。 この事業は制度面・業務面・技術面が重なり合う難しさと、期限の厳しさ、さらにそれぞれの地域によっては状況が異なる（クラウド化が進んでいるところもあれば、地場ベンダーがデータセンターをつくりシステムの共同化していたり、メインフレームがまだある自治体もある）ため、同じ仕様や技術を採用すればすべて解決するものではないという状況です。 この状況を少しでも改善すべく標準化・ガバメントクラウドの様
GitHub Models is now available in public preview · GitHub Changelog
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
GitHub CopilotのAIモデルとして「OpenAI o1-preview」「Claude 3.5 Sonnet」「Gemini 1.5 Pro」が選択可能になりOpenAI以外の選択肢が生まれる
AIコーディングツール「GitHub Copilot」で大規模言語モデルとして「OpenAI o1-preview」「OpenAI o1-mini」「Claude 3.5 Sonnet」「Gemini 1.5 Pro」が利用可能となることが明らかになりました。GitHub CopilotでOpenAI以外の言語モデルが利用可能になるのは初めてのことです。 Bringing developer choice to Copilot with Anthropic’s Claude 3.5 Sonnet, Google’s Gemini 1.5 Pro, and OpenAI’s o1-preview - The GitHub Blog https://github.blog/news-insights/product-news/bringing-developer-choice-to-copil
“Cover, bring to a boil, then reduce heat. Simmer for 20 minutes.” These directions seem simple enough, and yet I have messed up many, many pots of rice over the years. My sympathies to anyone who’s ever had to boil rice on a stovetop, cook it in a clay pot over a kerosene or charcoal burner, or prepare it in a cast-iron cauldron. All hail the 1955 invention of the automatic rice cooker! How the a
Actions Performance Metrics in public preview · GitHub Changelog
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
Microsoftは10月31日（米国太平洋夏時間）、Windows 10からWindows 11への移行を促すブログのエントリーにおいて、サポート終了後のWindows 10に提供される「ESU（拡張セキュリティ更新）」の米国における個人向けサービス価格を公表した。1年単位の提供で、1年目の価格は30ドル（約4560円）となっている。 なお、記事掲載時点では個人向けESUの日本における価格は公表されていない。 ESUとは？ ESUは、サポートを終了したWindows OSについて、原則として有償でセキュリティ更新プログラムを提供するサービスだ。サポート終了期日までに次期バージョンのWindowsへの移行が間に合わないユーザーを想定して提供されるもので、最長3年間契約できる。 本サービスでは、純粋にセキュリティ更新のみ提供される。機能アップデートを含む新機能の提供は行われない。 →ライフサ
Octoverse: AI leads Python to top language as the number of global developers surges
Remember when people said AI would replace developers? Our data tells a different story. As AI rapidly expands, developers are increasingly building AI models into applications and engaging with AI projects on GitHub in large numbers. At the same time, we’re seeing an unprecedented number of developers join GitHub from across the globe, and many of these developers are contributing to open source
███▀█████████████▀████████ ██▄ ▄██▀▄ ██ ▄▀██ ▄ ██ ▄▀█ ███▄▄██▄▄███▄█▄██▄▄████▄▄█ TL;DR 1. Clone this repository on a Linux system that supports io_uring. 2. Try switching these two lines. 3. Execute cargo run for a while. The demo shows that even though the behavior appears similar, TCP connections leak when using the io_uring driver but not with the epoll driver. I've also tested this across vari
GitHub Pull Requests Version 0.100.0 of the GitHub Pull Requests extension adds Copilot integration: Use the @githubpr chat participant in the Chat view to search for issues, summarize issues/prs, and suggest fixes for issues. @githubpr uses a number of Language Model tools to accomplish this. There's also a new Notifications view that shows GitHub notifications, with an action to prioritize them
They’re out! Like many of you, I look forward to these coming out each year. I don’t put much stock in surveys but they can be insightful and give a snapshot of the CSS zeitgeist. There are a few little nuggets in this year’s results that I find interesting. But before I get there, you’ll want to also check out what others have already written about it. Josh Comeau digested his takeaways in a rece
MITメディアラボの研究チームが、子どもたちが自分でAIモデルを作りながら仕組みを学べる新しい教育アプリ「リトル・ランゲージ・モデル」を開発した。サイコロを使って確率的思考を体験したり、データの偏りがAIに与える影響を実験したりできる。子どもたちが「AIの単なるユーザーではなく、開発者」として理解を深めることを目指す。 by Scott J Mulligan2024.10.30 6 「この新しい人工知能（AI）テクノロジーの仕組みを学んだり、理解したりするのはとてもおもしろい！」 10歳の若きAIモデル開発者、ルカは言う。 ルカは、マサチューセッツ工科大学（MIT）メディアラボの博士課程研究者であるマヌジ・ダリワルとシュルティ・ダリワルが開発した新しいアプリケーション「リトル・ランゲージ・モデル（Little Language Models）」を試用した最初の子どもの1人だ。このアプリケー
How-to Guides Goal focused guides, from data preparation to retrieval.
Hash functions are incredibly neat mathematical objects. They can map arbitrary data to a small fixed-size output domain such that the mapping is deterministic, yet appears to be random. This “deterministic randomness” is incredibly useful for a variety of purposes, such as hash tables, checksums, monte carlo algorithms, communication-less distributed algorithms, etc, the list goes on. In this art
英国の国家サイバーセキュリティセンター（NCSC）は2024年10月7日（英国時間）、サイバーリスクについて取締役会メンバーと話し合う方法を解説するガイドラインを公開した。ガイドラインでNCSCは「明確に伝える」という項目を以下のように説明している。 取締役会メンバーにサイバーリスクを分かってもらうには？ 関連記事 英国政府機関がSBOMのメリットと使用上の注意点を解説 そもそも何の役に立つのか 英国の国家サイバーセキュリティセンターは、ソフトウェア部品表（SBOM）の使用方法や、SBOMを使用する際の注意点などについて説明するブログエントリを公開した。 AIエンジニア 安野たかひろさんに学ぶ「周囲を巻き込むコミュニケーション」 エンジニアは、周囲と良好な関係を築き、時に協力しながら、巻き込みながらものごとを進めていきます。そのためには、何を意識したらいいのでしょうか。都知事選に出馬された
research@physicalintelligence.companyKevin Black, Noah Brown, Danny Driess, Michael Equi, Adnan Esmail, Chelsea Finn, Nick Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Kay Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Shi, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky We are living through an AI revolution
How to build a terrible RAG system¶ If you've followed my work on RAG systems, you'll know I emphasize treating them as recommendation systems at their core. In this post, we'll explore the concept of inverted thinking to tackle the challenge of building an exceptional RAG system. What is inverted thinking? Inverted thinking is a problem-solving approach that flips the perspective. Instead of aski
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Backblazeでクラウドバックアップを始めた
Programming Languages That Blew My Mind
We’re leaving Kubernetes - Blog
Creating a LLM-as-a-Judge That Drives Business Results –
The Unlikely Inventor of the Automatic Rice Cooker
1年間で30ドル――「Windows 10」の個人向けESU（拡張セキュリティ更新）
Async Rust is not safe with io_uring
Visual Studio Code October 2024
State Of CSS 2024 Results | CSS-Tricks
作って学ぶ生成AIモデルの仕組み、MITが子ども向け新アプリ
GraphRAG with a Knowledge Graph
Breaking CityHash64, MurmurHash2/3, wyhash, and more... | orlp.net
英国政府機関が取締役にサイバーリスクを「明確に伝える」ヒントを紹介
Our First Generalist Policy
How to build a terrible RAG system - jxnl.co