ついに来るのか!?拡散言語モデル｜shi3z
我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必
Japan’s politics gets a rare dose of upheaval after snap election
PM Shigeru Ishiba's governing Liberal Democratic Party (LDP) has lost its majority Japanese elections are normally steady and boring affairs - but this snap election was neither. The dramatic vote follows a political funding corruption scandal that was revealed last year, which implicated senior lawmakers and cabinet members from the ruling Liberal Democratic Party (LDP), tarnishing its image and
1. Overview The following command causes REPLICA to become a copy of ORIGIN: Use the --help or -? flag to see the complete list of options. Option flags may appear before, after, or between the ORIGIN and REPLICA arguments. Add the -v option to see more output, in a format similar to "rsync". 2. Features One or the other of ORIGIN or REPLICA may be of the form "USER@HOST:PATH". The other is just a
Table of contents What worked well What did not work so well I am still chasing Undefined Behavior Miri does not always work and I still have to use Valgrind I am still chasing memory leaks Cross-compilation does not always work Cbindgen does not always work Unstable ABI No support for custom memory allocators Complexity Conclusion Discussions: /r/rust, /r/programming, HN, lobsters I have written
Endorse the Open Source AI Definition: have your organization appended to the list of supporters of version 1.0 version 1.0 See FAQs See list of endorsements Endorse the OSAID Preamble Why we need Open Source Artificial Intelligence (AI) Open Source has demonstrated that massive benefits accrue to everyone after removing the barriers to learning, using, sharing and improving software systems. Thes
はじめに 初めまして！ 2024年8月1日から 2024年10月31日の3ヶ月間、教材基盤開発セクションでインターンシップに参加していた市島功大です。 参加前のスキルレベルは以下のような状態でした。 JavaScript を使ったバックエンド開発を主に行なっていた TypeScript はプリミティブな値・オブジェクトの型等の使いそうな型定義は分かるが、Omit や Partial 等の TypeScript 独自の型定義は分からない状態 NestJS は学習経験があるが、何かしらアプリを作成する等の開発経験はない状態 参加をおすすめしたい人 ドワンゴの教育事業に興味のある方 書いてきたのは JavaScript・TypeScript だけれどバックエンド開発がしたい方 ZEN Study の教材入稿のような裏側のシステムに興味のある方 業務でのチーム開発がどのようなものか知りたい方 教材
Weird Lexical Syntax
I just learned 42 programming languages this month to build a new syntax highlighter for llamafile. I feel like I'm up to my eyeballs in programming languages right now. Now that it's halloween, I thought I'd share some of the spookiest most surprising syntax I've seen. The languages I decided to support are Ada, Assembly, BASIC, C, C#, C++, COBOL, CSS, D, FORTH, FORTRAN, Go, Haskell, HTML, Java,
Table of Contents Highlights Handling of Filenames in Shell Modern C Limits & Cooperation Makefiles Logging Internationalization Minor Changes Changes Index In the 1950s, computers did not really interoperate. ARPANET has not yet happened (that would become a thing in the 60s), and every operating system was typically tied to the hardware that was meant to run on. Most communication actually happe
Combining Machine Learning and Homomorphic Encryption in the Apple Ecosystem
Combining Machine Learning and Homomorphic Encryption in the Apple Ecosystem At Apple, we believe privacy is a fundamental human right. Our work to protect user privacy is informed by a set of privacy principles, and one of those principles is to prioritize using on-device processing. By performing computations locally on a user’s device, we help minimize the amount of data that is shared with App
Subscribe to Jacob’s Tech Tavern for free to get ludicrously in-depth articles on iOS, Swift, tech, & indie projects in your inbox every week. Full subscribers unlock Quick Hacks, my advanced tips series, and enjoy exclusive early access to my long-form articles. Subscribe now Swift was a great language, but it has fallen far from its original vision. Pretty damn far. You can see the full list of
Japan plunged into political uncertainty after voters deliver dramatic defeat to longtime ruling party | CNN
Japanese voters delivered a stinging rebuke to the country’s longtime ruling party in elections Sunday, plunging the world’s fourth largest economy into a rare period of political uncertainty. Japan’s Liberal Democratic Party, which has governed almost continuously since 1955, has lost its parliamentary majority in the powerful lower house for the first time in 15 years. Public anger and distrust
The snap election was called by the LDP’s new leader Shigeru Ishiba before he had been officially sworn in as prime minister Japan's prime minister Shigeru Ishiba has vowed to continue ruling the country despite a bruising loss suffered by his party at the general election. The country now faces an uncertain political future as the coalition led by the long-ruling Liberal Democratic Party (LDP) ha
GitHub Pull Requests Version 0.100.0 of the GitHub Pull Requests extension adds Copilot integration: Use the @githubpr chat participant in the Chat view to search for issues, summarize issues/prs, and suggest fixes for issues. @githubpr uses a number of Language Model tools to accomplish this. There's also a new Notifications view that shows GitHub notifications, with an action to prioritize them
They’re out! Like many of you, I look forward to these coming out each year. I don’t put much stock in surveys but they can be insightful and give a snapshot of the CSS zeitgeist. There are a few little nuggets in this year’s results that I find interesting. But before I get there, you’ll want to also check out what others have already written about it. Josh Comeau digested his takeaways in a rece
Hotwire and HTMX are two powerful libraries that both have the same goal: simplify building modern web applications. Both embrace the HTML+CSS basis of the web and enhance it to enable slick UIs with little or no javascript needed. While both projects share many fundamental values and even goals, they take different approaches to fulfilling them. By the end of this article you’ll have a good high
HTML Form Validation is heavily underusedOctober 28, 2024 HTML Forms have powerful validation mechanisms, but they are heavily underused. In fact, not many people even know much about them. Is this because of some flaw in their design? Let’s explore. Attributes, methods, and properties It’s easy to disallow empty inputs by adding a required attribute: <input required={true} /> Beyond that, there i
So Long WordPress
This has been a hard post for me to write after participating in WordPress since before I even started a career in tech and, until 3 months ago, for my entire tech career. That said, it has been in the making for quite a while now and it is time that I make it official. I’ve officially left the WordPress project after 14+ years of contributing including: Meetup and WordCamp SpeakerMeetup and WordC
社会団体論の基礎づけ
GRUNDLEGUNG DER LEHRE VOM SOZIALEN VERBAND 尾高朝雄 （Tomoo Otaka） 1932 法学博士 京城帝国大学法哲学教授 エトムント・フッサール名誉教授閣下 崇敬の念をもって本著を捧げる 邦訳及び電子テキストデータ化 藤田伊織 2024.10.12 東京大学法学部教授（法哲学）であった尾高朝雄先生は、歯の治療中にペニシリン注射でショック症状を起こし１９５６年５月１５日に５７歳で死去されました。１９５６年５月に亡くなられたため、その著作物の著作権保護期間は、ドイツ語で執筆されオーストリアで出版されたものであっても、２００７年１月１日に終了しています。現在の２０１８年に改正された著作権法は遡及しないので、この著作物については、すでに著作権保護期間の終了が明らかです。また、これまで邦訳出版された経緯もないので、翻訳して公開することに何ら問題はないと考
はじめに 「Railsは関心の分離が不十分である」という批判をよく目にします。状況が深刻になったら、Railsに足りない別のピースを導入しなければならないというのです。しかし私たちはそうは思いません。 「素のRails（vanilla Rails1）ではここまでしかできない」みたいな批判を耳にすることがよくあります。Railsはアーキテクチャレベルで関心の分離が不十分なのだから、アプリはいずれメンテナンス不能になり、足りないピースを導入するという別のアプローチが必要になるというのです。 代表的なDDD（ドメイン駆動開発）書籍では、概念上の4つの層である「プレゼンテーション層」「アプリケーション層」「ドメイン層」「インフラストラクチャ層」について議論しています。 アプリケーション層は、ドメイン層と協調動作してビジネスタスクを実装します。しかし、Railsが提供しているのは「コントローラ」と「
"Data Migration on Rails"という発表をKaigi on Rails 2024でしました - valid,invalid
表題の通りRailsにおけるdata migrationの手法や現在地についてKaigi on Rails 2024で発表してまいりました。 4年連続でスピーカーとして参加*1することができ大変光栄でした。また、後述するようにオフラインならではの稀有な体験ができ、楽しかったです。 今回の発表について 発表に用いたスライドは以下です。 今回はこれまでの発表とは違ったアプローチに挑戦してみました。これまでの発表が1つの課題やプロトコルについて深掘るスタイル（まぁ、発表って普通はこっち）だったのに対し、今回は収集する情報の幅を広くとりつつ特定テーマの現在地を半網羅的に示すというsurvery report風味な内容という感じ。 意図したアプローチではありつつも、スライドを作りながら「ちょっと浅すぎないか」「広く薄いこの内容は誰にとって面白いのか」とけっこう直前まで悩んでいた。特に一番伝えたい芯を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Database Remote-Copy Tool For SQLite
Lessons learned from a successful Rust rewrite
The Open Source AI Definition – 1.0
ZEN Study 教材基盤開発エンジニアインターンシップ体験記 - ドワンゴ教育サービス開発者ブログ
What’s New in POSIX 2024 – XCU
Apple is Killing Swift
Japan PM vows to continue ruling despite bruising loss
Visual Studio Code October 2024
State Of CSS 2024 Results | CSS-Tricks
Hotwire and HTMX - Same Principles, Different Approaches
HTML Form Validation is heavily underused
素のRailsは十分に豊かである（翻訳）｜TechRacho by BPS株式会社