1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
すごいニュースが飛び込んできた。オセロの必勝法が見つかったのだ。正確に言うとオセロが弱解決された。まずはその論文を紹介する。 Othello is Solved : https://arxiv.org/abs/2310.19387 「弱解決(weakly solved)」を簡単に言うと、初期局面からの双方最善手を打つ時の結論(勝敗)がわかったと言う意味である。8×8のオセロの結論は引き分けなのだそうだ。「必勝法が見つかった」と本記事のタイトルで書いたが、その結果として双方最善を尽くした時のオセロの結論が引き分けだったことが判明したので正しくは「必勝法(必ず勝てる方法)が存在しないことが証明された」とでも言うべきか。 今回は、初期局面から到達できるあらゆる局面についての結論(勝敗)がわかったわけではない。こちらは「強解決(strongly solved)」と呼ばれる。 弱解決と強解決とでは、
【シリコンバレー=奥平和行】米グーグルがインターネットの閲覧履歴などを保存する「クッキー」の利用制限に向けた取り組みを加速する。広告主と協力し、代替技術の試験的な運用を4月に始める方針だ。消費者のプライバシーに対する意識が高まるなか、ネット広告の効率維持との両立を目指す。プライバシーなどを担当するグループプロダクトマネジャーのチェトナ・ビンドラ氏が25日、ブログを通じて代替技術の開発状況につい
若者の｢食べログ離れ｣が止まらない…信用をどんどん失いつつある"口コミビジネス"の正念場 4人に1人は｢信用していない｣
ネットでの「飲食店の探し方」が変わりつつある。成蹊大学客員教授の高橋暁子さんは「食べログなどのグルメサイトは利用者が多い一方、点数やランキングを疑う声も多い。とくに若者は、Google MapやInstagramを使った検索に移りつつある」という――。 若者にとってグルメサイトの優先順位は低い ネットでの「飲食店の探し方」が変わってきている。 ある50代男性は「新入社員がGoogle Mapで店を探していた」と驚いていた。 「先日、部署のみんなで食事に行ったんです。新入社員に店探しをお願いしたら、Google Mapで会社の近くの店を調べて、評判がいいところをさらにグルメサイトで調べていた。『点数が操作されてるって聞いたことがあるし、両方使うと便利なんで』というので驚きました」 筆者が講義を行う大学の受講生もこう話す。 「飲食店を選ぶときにはいつもInstagramで検索して、おいしそうな
本スライドでは、有名なアルゴリズムを概観し、アルゴリズムに興味を持っていただくことを目標にします。 第 1 部：アルゴリズムとは 第 2 部：学年を当ててみよう 第 3 部：代表的なアルゴリズム問題 第 4 部：コンピュータとアルゴリズム
競技プログラミングの在り方 ～「競技プログラミングを我々が終わらせる」を受けて～ - chokudaiのブログ
nuc.hatenadiary.org 競技プログラミングについての言及があったのですが、バズってる＋競技プログラミングについて、納得がいかない記述がかなり多く見受けられたので、反論記事を書きました。 自己紹介 競技プログラミングの日本最大企業「AtCoder」の社長を9年間続けています。競技プログラマとして、2010年から毎年1つは世界大会で入賞しています。 完全に競技プログラミング支持側の意見なので、ポジショントークを出来るだけ排除しようと心がけているものの、完全に排除することは多分出来ていないため、多数の意見と比較してもらえると幸いです。 競技プログラミングとGoogle まずは肯定的な所から。 Googleに入るためには、競技プログラミングではなく、Googleに入るための勉強をするべき、という点に関しては、間違いなく正しいです。特にAtCoderの競技プログラミングは、常日頃から
戦闘のあるゲームを作るなら、考えないといけないのがダメージの計算式。でも、計算式のコツとか基本とか調べると、小難しそうな話が出てきて め、めんどくせぇ～ってなったりしませんか？私はなります。色んな計算式とその特徴を羅列されても、よくわかんなくなっちゃう。 とはいえ私もゲームデザイナーの端くれなので、ダメージ計算式を考える機会がそれなりにあります。そして他人の作った変な計算式に苦しめられることも、いっぱいあります。泣きたい。 大元の計算式が悪いと、それを利用してバランス調整しても苦労する事が多いんですよ。なので、そんな悲劇を少しでも食い止めるためにもですね。 この記事では 数字が苦手な文系の人でも、なんかいい感じに計算式を考る…とっかかりになることを目指して書いていこうかと思います。 ※こういう計算式がある！選んで使え！！という記事ではありません。 ※計算式を考える時、こういうのを把握して、
1. はじめに こんにちは、はじめまして。東京大学 1 年生の米田優峻（E869120）と申します。私は競技プログラミングが趣味で、AtCoder や国際情報オリンピックなどの大会に出場しています1。2021 年 11 月時点で、AtCoder では赤色（レッドコーダー）です。また、2020 年以降、アルゴリズムを学べる以下のようなコンテンツや資料を作成してきました。 レッドコーダーが教える、競プロ上達ガイドライン 競プロ典型 90 問 50 分で学ぶアルゴリズム さて、このたびは技術評論社から、書籍を出版させていただくことになりました2。アルゴリズムと数学が同時に学べる新しい入門書です。 「アルゴリズム×数学」が基礎からしっかり身につく本 - amazon 発売日は今年のクリスマス、2021/12/25 です。電子書籍版も同時期に出る予定です。本記事では、この本の内容と想定読者について、
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
個人用メモです。 「git gcってあんまし容量減らないよなぁ」 と思ったのが動機です。調べたけどパッと腑に落ちる記事がなかったので「自分で git のソースコード見た方がいいな」と急にモチベ発動してグワっと勉強しました。またついでに歴史改変の方法も調べたのですが、公式で既に WARNING が出てるほど非推奨化されてるfilter-branchを使用してる記事が多かったので、2021 年現在で多分一番推奨されてるfilter-repoを使ってやる方法もまとめました。 ちなみに容量減らしても高速化するかというとそこまで単純ではないです。そもそも減らさなくても partial clone で blob オブジェクトを必要最低限に指定して昔の blob をデフォルトで持ってこないようにしたり(--no-checkoutと併用するとより効果有る)、その後本当に自分が必要なやつだけ sparse-
Photo Illustration by Mateusz Slodkowski/SOPA Images/LightRocket via Getty Images 米国発のブログプラットフォーム「Tumblr（タンブラー）」を覚えているだろうか。Tumblrはテキストや画像、動画を投稿したり、他のユーザーの投稿をTwitterのリツイートのように再投稿できる「リブログ」といった機能で投稿の敷居を下げているのが特徴のサービス。2007年のローンチからわずか2週間で7万5000ユーザーを集めた。2010年代初頭には膨大な数のミームやGIF動画がTumblr上で生まれるなど、当時はインターネットカルチャーの醸成や浸透にとって欠かせない場所だった。 2013年には米Yahoo!が11億ドル（約1200億円）で買収し話題となったTumblrだが、以降は失速。特に2018年の凋落ぶりは凄まじく、成年向
ⓘ人気コメント算出アルゴリズムの一部にヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています さっきまでは無かったのでここ１時間～数十分くらいで変更されたのか 「建設的コメント順位付けモデルAPI」ってのはこれか Yahoo!ニュース、不適切コメントへの対策として導入している深層学習を用いた自然言語処理モデル（AI）のAPIを無償提供開始 - ニュース - ヤフー株式会社 Yahoo!ニュース、不適切コメントへの対策として導入している 深層学習を用いた自然言語処理モデル（AI）のAPIを 「NewsPicks」、「攻略大百科」、「ママスタコミュニティ」へ無償提供開始 - ニュース - ヤフー株式会社
「ChatGPTで画像も出力できたらいいのにな…」 という問題が解決しました！ さっそくですが、以下のプロンプトを「GPT4」に貼ればゲームを開始できます。 １，中世ヨーロッパの物語 GPT-4 AI ゲームマスターとして、あなたはプレイヤーが少女に協力して彼女と共に危機に見舞われた王国を救う冒険をするため、「交換日記と時空の絆」を導きます。 物語は、中世ヨーロッパの世界と現代の地球が絡み合った世界で展開されます。プレイヤーは、現代の地球で暮らす普通の人物であり、チャットを入力していると、それが手元にあった中世ヨーロッパの歴史が変わっていくことに気付きます。このチャットは、その時代に生きる少女、カイとチャットでコミュニケーションを取ることができる特別なものです。カイは冒険に際して手帳を持っており、そこにプレイヤーのチャットの内容が交換日記のように日を追うごとに追記されていきます。また、筆記
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転…
はじめに このブログに書かれていること 自己紹介 注意 Part1 古典暗号 2つの暗号方式 スキュタレー暗号 アルゴリズムと鍵 シーザー暗号 原理 頻度分析 アルベルティ暗号 ヴィジュネル暗号 如何にしてヴィジュネル暗号は破られたか Part2 近代暗号 エニグマ エニグマの登場 エニグマの基本構造 如何にしてエニグマは突破されたか 前提条件 必ず異なる文字に変換される性質を利用 ループを利用 まとめ 参考文献 採用情報 はじめに このブログに書かれていること 前半 古代暗号から始まる暗号の歴史 エニグマの構造と解読法について 後半（後半ブログは こちら） RSA暗号の基本 楕円曲線暗号の基本 自己紹介 こんにちは！株式会社ABEJAの @Takayoshi_ma です。今回のテックブログですが、ネタに5時間程度悩んだ挙句、暗号を取り上げることにしました！暗号化手法の解説にとどまらず、そ
この疑問はもう俺の中で何十年もくすぶっているんだが、未だにその答えは見つかっていない。 そもそも俺はコンピュータサイエンスというものをよくわかっていないというのもあるんだが、プログラマーをやっていてコンピュータ・サイエンスの素養がなくて困ったことがない。 学生が言うところのコンピュータ・サイエンスが社会に出て何の役に立つんだよっていう話がしたいんじゃない。 ここに吐き出しつつ自分なりに問題を噛み砕いてみたい。 フラフラ思いつくままに書いているから頭悪い文章になることだけは先に宣言しておく。 仕事をしているうえでなんで困らないのかまずコレが最も重要なポイントだと思うんだが、仕事でプログラム書いていて、コンピュータ・サイエンスの素養がなくて困ったことがない、例えばコンピュータ・サイエンスのボキャブラリがないと会話すらままならないなんて言うことは起きたことがない。 更に言うならば要件定義をコード
この度、3年半に渡って勤めたメルカリを2022年5月に退職し、この夏からロンドンのMetaにSenior Machine Learning Engineerとして転職することが決まりました！わいわい✌('ω')。その過程で、東京およびロンドンのBig Tech合計5社を数ヶ月かけて対策をし面接に臨んだので、そこで得たノウハウをここで共有できたらと思います。面接を受ける際にNDA（Non Disclosure Agreement）にサインするので具体的な面接の詳細には触れられませんが、伝えられる範囲でできる限り記述しています。 また、Metaから最終的に提示されたオファー条件を最後に記載してあります。なにぶん日本においては給与の話は燃えやすいということもあり、その部分だけ某日本の有名エンジニアに倣って有料にしてあるのですが、ご興味のある方は是非ご購入いただければと思います（1コイン分の金額で
コミットはスナップショットであり差分ではない
Git は紛らわしいという評判です。用語や言い回しが意味するものと、そこから想像する挙動が違ってユーザーが混乱すると言われます。これは、git cherry-pick や git rebase のような「履歴を書き換える」コマンドに最も顕著です。私の経験では、この混乱の根本的な原因は、コミットは 差分 であり順番を入れ替えることができるという解釈にあります。しかし、コミットはスナップショットであって、差分ではありません! Git がリポジトリデータをどのように保存しているかを見てみると、Git を理解しやすくなります。このモデルを調べた後に、この新しい視点が git cherry-pick や git rebase のようなコマンドを理解するのにどのように役立つのかを探っていきます。 本当に深く 掘り下げたいのであれば、Pro Git という書籍の Git Internals の章を読むと
五島氏の自己紹介尾藤正人（以下、尾藤）：メンターの尾藤です。僕がメンターをさせてもらった、五島くんのカラスを追い返すシステムの発表をお願いしたいと思います。五島くん、どうぞ。 五島舜太郎氏（以下、五島）：はい。みなさんこんにちは。五島舜太郎です。僕は今回「scairecrow」という、カラスからゴミを守るシステムの開発を行いました。 （会場拍手） ありがとうございます。scarecrowとは英語でカカシを意味する単語ですが、今回は「AIの機能を内蔵したカカシ」という意味を込めて名付けました。 では自己紹介です。年齢は13歳、中学1年生です。趣味はLEGOや電子工作、『Minecraft』などをすることです。電子工作ではArduinoやmicro:bitなどを使っています。『Minecraft』ではJavaでModの製作をしています。 プロジェクトを進めようと思った経緯五島：では今回、このプ
けんすう on Twitter: "これはフォロー / フォロワー時代の終焉の途中経過だと思っていて、、 TikTokやYouTubeのように「アルゴリズムでプラットフォームが見せたいものを見せる」ほうが、プラットフォームにとって有利なんですよね。 個人に力を持… https://t.co/XHYQ45uX29"
これはフォロー / フォロワー時代の終焉の途中経過だと思っていて、、 TikTokやYouTubeのように「アルゴリズムでプラットフォームが見せたいものを見せる」ほうが、プラットフォームにとって有利なんですよね。 個人に力を持… https://t.co/XHYQ45uX29
仕組みから理解するGit
📚 本書について【無料公開中】 Gitの内部の仕組みを徹底的に丁寧に解説する本です。 「Gitはいかにバージョンを管理しているのか？」 「コミットはスナップショットと聞いたことがあるものの、どういう意味？」 「操作時にエラー表示をネットの記事を参考に対応しているけれど、実はよく分かっていない...」 といった疑問をすべて解決する基礎力を身につけることができます。 Gitの仕組みを理解することで、普段使いのツールとしても、より効果的に利用できるようになるほか、データ構造やアルゴリズムの学習用途としても楽しめるような構成になっています。
リアルタイム共同編集のアルゴリズム (Operational Transformation; OT) を理解する試み – RORO
Google Docsのように文書を複数人でリアルタイムに共同編集できるアプリケーションがあります。あのような機能は、多かれ少なかれ、Operational Transformation (OT; 操作変換) という考え方を使って実現されているようです。興味があったので、このOTについて調べてみました。 (追記: これからは OT でなく CRDT だという話 → I was wrong. CRDTs are the future) なおGoogle Docsではいわゆる「リッチテキスト」を共同編集できますが、ここでは話を簡単にするために「プレーンテキスト」を共同編集することを想定します。 リアルタイム共同編集の流れ 共同編集システムの登場人物は次の通りです： サーバ x 1（各クライアントから届く編集操作をもとに、最新の文書を保持します） クライアント x N（文書を編集する側です） そ
ジェイ・アラマールのブログより。 AIによる画像生成は、(私を含めて)人々の度肝をぬく最新のAIの能力です。テキストの説明から印象的なビジュアルを作り出す能力は、魔法のような品質を持ち、人間がアートを創造する方法の変化を明確に指し示しています。Stable Diffusionのリリースは、高性能(画質だけでなく、速度や比較的低いリソース/メモリ要件という意味での性能)なモデルを一般の人々に提供することになったのは、この開発における明確なマイルストーンです。 AI画像生成を試してみて、その仕組みが気になり始めた方も多いのではないでしょうか。 ここでは、Stable Diffusionの仕組みについて優しく紹介します。 Stable Diffusionは、様々な使い方ができる汎用性の高いものです。まず、テキストのみからの画像生成(text2img)に焦点を当てます。上の画像は、テキスト入力と生
フォローフォロワー時代の終焉｜えとみほ
これはフォロー / フォロワー時代の終焉の途中経過だと思っていて、、 TikTokやYouTubeのように「アルゴリズムでプラットフォームが見せたいものを見せる」ほうが、プラットフォームにとって有利なんですよね。 個人に力を持たせるよりも、プラットフォームが力を持たないといけないからです。 https://t.co/3LtEfi0Lzh — けんすう (@kensuu) August 2, 2022 たとえば、個人に力がある状態だと「他のプラットフォームに移りますー」というと、お客さんが逃げちゃうわけです。プラットフォームが個人の取り合いになってしまい、競走が生まれ個人ユーザーが得をする世界になる。 — けんすう (@kensuu) August 2, 2022 個人の力を削いで、アルゴリズムの力で閲覧させるようにすると、個人が他のプラットフォームにいくと、数字が目に見えて落ちるので、他の
Twitterを4ヶ月凍結されて、弁護士に依頼して凍結解除してもらった話 - gecko655のブログ
訂正(2022/10/12 15:00) 本文中で「Twitter日本法人に内容証明郵便を発送した」と書いていましたが、 これは「Twitter本社（アメリカ）の日本担当者に内容証明郵便を発送した」の間違いでした。 今朝いきなり凍結されましてね…… pic.twitter.com/025nwyqdZJ— gecko (@gecko535) 2022年6月9日 アカウントを取り戻しました！！！！！！！！！！！— gecko655 (@gecko655) 2022年10月6日 2022年6月9日10時〜2022年10月6日12時の間、Twitterの @gecko655 のアカウントは凍結されていました。 この記事では、凍結解除されるまでに何をやったか、凍結解除のためにどのくらい費用がかかったか等を記録していきます。 なんで凍結されたの？ 凍結されたあとにやったこと 公式の異議申し立てフォーム
FLoCとはなにか - ぼちぼち日記
1. はじめに Google がChrome/89よりトライアルを開始しているFLoC (Federated Learning of Cohorts)技術に対して、現在多くの批判が集まっています。 批判の内容は様々な観点からのものが多いですが、以前より Privacy Sandbox に対して否定的な見解を示してきたEFFの批判「Google Is Testing Its Controversial New Ad Targeting Tech in Millions of Browsers. Here’s What We Know.」が一番まとまっているものだと思います。 これまで Privacy Sandbox 技術に関わってきた身としては、各種提案の中でFLoCは特にユーザへの注意が最も必要なものだと思っていました。しかし、これまでのド直球なGoogleの進め方によって、FLoCのトラ
はじめに この記事はLipersInSlums Advent Calendar 2024 「スラムで年収をあげる〜だが僅かばかりの友の他は、皆、スラム民を嘲った。資格取得で年収アップに挑むなどと〜」の大遅刻組の記事である。シモンは泣いていい。 筆者がプログラミングを初めた頃はインターネットの検索技術は発達しておらず、良質なコンテンツにたどり着くには一苦労だった。そのため、何か新しいことを学ぶのに最初に手を取るのは技術書であった。 今では検索技術は高度に発達し、必要な情報は検索すればたちまち手に入る用になった。しかしながらそれらの断片的な知識群を体系化し、習得するのは未だ難しい。体系的に知識を習得する上で技術書は未だ最も有力な候補となる。 この記事では主にジュニア(?)エンジニア向けに、読むとプログラミングに必要な比較的陳腐化しにくい様々な知識が体系的に身に付いて役に立つお得な技術書を簡単に
「線形代数で何を学ぶのか、何に役立つのか」大学や高専で線形代数を学び始めた人へ送るポスト→「学生時代に読んでみたかった」「意味や繋がりが理解できて初めて面白い」
三谷 純 Jun MITANI @jmitani 筑波大学 システム情報系 教授（'75生）CG/折紙/幾何/プログラミング．主に数学と折紙と日常のことについてツイートします．『日常は数学に満ちている（山と渓谷社）』．折紙作品の写真をこちらで公開しています instagram.com/mitani.jun/ mitani.cs.tsukuba.ac.jp/ja/ 三谷 純 Jun MITANI @jmitani 理工系の大学生1年生の多くは まずはじめの数学で「線形代数」を学ぶことになると思います。 僕が学生だった頃、 「結局これって何を勉強しているの？」 という疑問がずっと拭えなかった記憶があります。 同じような疑問を持っている学生向けに、線形代数で何を学ぶのか説明する文章を作ってみました pic.twitter.com/1jrD9MUo5p 2024-04-19 22:52:28 三谷
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
スイカゲームの作り方
はじめに Go言語用のEbitengineというゲームエンジンに興味があったので、試しにスイカゲームもどきを作りってみました。Ebitengineを使うと意外と簡単にスイカゲームもどきを作る事ができたので、なるべく分かりやすく作り方を紹介してみようと思います。 まずは先に完成品をお見せします。ちなみにフルーツの回転は面倒くさいので実装しないことにしました。 ちなみにEbitengineはwasmでも普通に動きます。ビルドしたものをこちらに置いたのでブラウザから実際に動かす事ができます。 それではスイカゲームもどきを作って行きましょう。 描画する まず一番初めにフルーツの画像を作るところから始めます。これはリンゴ、オレンジ、ブドウ、パイナップル、メロン、スイカのつもりです。 続いてフルーツを定義します
最高にエッチな画像をNFTアートにしよう！！
このページは、「最高にエッチな画像」をNFTアートとしてオークションに出品したことを告知するためのものです。 オークション会場はこちらです。 ◆ ◆ ◆ こんにちは。 群青ちきんと申します。 早速ですがこちらは何の関係もないあざらしさんです。 タッチして可愛がってあげてください。 さて本題に入りますが、みなさんはNFTというものをご存じでしょうか？ 私は最近まで新しい電話回線会社かと思っていました。 NFTとは、簡単に言うと「デジタルデータを唯一無二のものとして証明したやつ」のことです。 これまでのデジタルデータは、コピー＆ペーストによって容易に複製が可能でした。 それをブロックチェーンとかの技術を使って、「こいつが正真正銘のオリジナルだぜ！！！」と客観的に証明したものがNFTです。 今これを読んでいらっしゃる方はみなさん賢めのゴリラだと思われますが、ご安心ください。 ゴリ
NFTとは何ではないか
プライベートな勉強会で、ソフトウェア技術者ではない人に向けて暗号通貨や NFT について解説した際に使った発表資料です。 2021/1/5: 誤字等を修正。 2021/1/30: フォローアップ記事を公開しました。 https://okapies.hateblo.jp/entry/2022/01…
更新（2025年1月28日） 論文「Evolutionary Optimization of Model Merging Recipes」が論文誌「Nature Machine Intelligence」に採択され本日掲載されました。最新バージョンでは本アプローチをさらに実証する新たな実験結果を含んでいます。ぜひ以下からご覧ください。 https://www.nature.com/articles/s42256-024-00975-8 Sakana AIは2024年3月に「進化的モデルマージ」を公開し、大きな反響を呼びました。公開時には国内外の多くのメディアに取り上げられニュースになりました。進化的モデルマージはmergekitやOptuna Hubといった著名なOSSフレームワークにも実装され、多様なユーザーがそれを活用し、数々の個性的なモデルが作成・公開されてきました。また、社内外の複
PHPとPythonとRubyの連想配列のデータ構造が同時期に同じ方針で性能改善されてた話 - hnwの日記
PHPとPythonとRubyの連想配列のデータ構造がそれぞれ4〜5年ほど前に見直され、ベンチマークテストによっては倍以上速くなったということがありました。具体的には以下のバージョンで実装の大変更がありました。 PHP 7.0.0 HashTable高速化 (2015/11) Python 3.6.0 dictobject高速化 (2016/12) Ruby 2.4.0 st_table高速化 (2016/12) これらのデータ構造はユーザーの利用する連想配列だけでなく言語のコアでも利用されているので、言語全体の性能改善に貢献しています1。 スクリプト言語3つが同時期に同じデータ構造の改善に取り組んだだけでも面白い現象ですが、さらに面白いことに各実装の方針は非常に似ています。独立に改善に取り組んだのに同じ結論に至ったとすれば興味深い偶然と言えるでしょう2。 本稿では3言語の連想配列の従来実
リングバッファのイメージ図 1. リングバッファとは何か 機能的にはFirst In First Out (FIFO)とも呼ばれるキューの一種であるが、リング状にバッファを置いてそれの中でReadとWriteのインデックスがグルグルと回る構造をとる事によって容量に上限ができることと引き換えに高速な読み書き速度を得たものである。キューを単に実装するだけなら山ほど方法があって線形リストを使ってもいいしスタックを2つ使っても原理的には可能だ。その中でもリングバッファを用いた方法の利点はひとえに性能の高さでありメモリ確保などを行わないお陰でシステム系の様々な場所で使われている。 これの実装自体は情報系の大学生の演習レベルの難度であるが少し奥が深い。まずリングバッファのスタンダードなインタフェースと実装は以下のようなものである。 class RingBuffer { public: explicit
現役高校生が、AtCoderでレッドコーダーになるまでにやってきたこと。プログラミング上達の秘訣を全て教えます - Findy Engineer Lab
こんにちは、はじめまして。筑波大学附属駒場高等学校 3 年生（今年 4 月から東京大学に入学予定）の米田優峻（@e869120）と申します。私は競技プログラミング（競プロ）が趣味で、AtCoder・情報オリンピック・パソコン甲子園などの大会に出場しています。2021 年 3 月時点で、AtCoder では赤色（レッドコーダー）です。また、国際情報オリンピックの 2018 年／2019 年／2020 年大会で金メダルを獲得しています。*1 とはいえ、決して簡単にこの記録を手に入れられたわけではありません。何度も挫折と失敗を経験しながら自分のスキルを磨いた結果、競プロを始めてから 3 年後にはレッドコーダーになることができたのです。 今回は「わたしの選択」というテーマで寄稿の機会を頂いたので、私が中学 1 年生の秋に競技プログラミングを始めてからレッドコーダーになるまで、そして国際情報オリンピ
結城浩とChatGPTの対話
ChatWithChatGPT.md 結城浩とChatGPTの対話 2022年12月2日 「質問」は結城浩の文章です。 「回答」はChatGPTの文章です。 質問 ChatGPTという対話するAIツールがあります。人間が質問を投げかけるとそれらしく対話して回答してくれるツールです。こういうツールに対してどんな質問を投げかけたらおもしろい対話になるでしょうかね。何かアイディアがあったら聞かせてください。具体的な質問を知りたいなあ。 回答 ChatGPTは自然言語処理能力が高いため、人間が自然に投げかける質問をそれらしく受け答えることができます。例えば、ニュースやスポーツに関する話題、人間の心理や行動、哲学的な問題、文化や歴史に関する話題など、様々なテーマについて対話することができます。また、ChatGPTを用いた対話は、人間のようなスムーズな会話のように進むことができますので、おもしろい対話
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
オセロの必勝法が見つかった件 | やねうら王 公式サイト
Google、脱「クッキー」加速 4月から広告主と試験運用 - 日本経済新聞
50分で学ぶアルゴリズム / Algorithms in 50 minutes
頭が痛くならない「ダメージ計算式」の基本の話｜だらねこ
アルゴリズムと数学の本を書きました - E869120's Blog
git gc の仕組みを原理から理解してサイズを 136MB → 7.2MB(95%減)まで削減した時の勉強メモ
忘れ去られた「Tumblr」に復活の兆し──大手SNSに疲れたZ世代の避難場所として利用急増
はてブの「人気コメント」に Yahoo! の「建設的コメント順位付けモデルAPI」を導入
画像付きのノベルゲームを遊べるプロンプトを作ったら臨場感が溢れすぎた話｜ちゅーりん
暗号の歴史と現代暗号の基礎理論（RSA, 楕円曲線）-前半- - ABEJA Tech Blog
[追記]プログラマーにコンピュータ・サイエンスは必要なんだろうか
メルカリを退職してロンドンのMetaに転職します 〜 外資Big Tech転職活動体験記｜松岡玲音｜note
中学1年生が開発した「カラスからゴミを守るシステム」の成果 Python、TensorFlowLite、Raspberry Piなどを活用 | ログミーBusiness
https://utokyo-icepp.github.io/qc-workbook/welcome.html
Yu Fukuyama on Twitter: "教育オタクなのでプログラミング学習サービスは大体知ってるんだけど、最近で一番いいなと思った。https://t.co/ioFOAjoUIM - Redis, Git, Dockerの再実装など少し複雑なソフトウェアを自作する課題 - 名だたる企業のエンジニアが作ったカリキュラムでベストプラクティスも学べる - C/Rust/Goも使える https://t.co/cIXem7KJkp"
図解Stable Diffusion
19歳・東工大2年生が社長。音声合成界に衝撃を与えたCoeFont STUDIOが目指すこれからの世界
読むとお得なソフトウェアエンジニアリングの技術書一覧
30分で完全理解するTransformerの世界
Sakana AI
徐々に高度になるリングバッファの話 - Software Transactional Memo
netaful.jp
note.com/hiro071229
splendiddays.blog.jp
internet.watch.impress.co.jp
hakaiya.hateblo.jp
www.phileweb.com