大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
The 100 Best, Worst, and Strangest Sherlock Holmes Portrayals of All-Time, Ranked
The 100 Best, Worst, and Strangest Sherlock Holmes Portrayals of All-Time, Ranked Once you eliminate the least compelling Sherlock Holmes performances, whatever remains, no matter how improbable, must be the best. We’re ranking Sherlock Holmes performances. One hundred of them. Not Sherlock Holmes adaptations, but the representations within them of Sherlock Holmes himself. Now, you might think tha
銃乱射事件の連続発生に際して、共和党議員らがゲームの悪影響を強く懸念。「ゲームが人を非人間化させる」と発言し議論に - AUTOMATON
ホーム 全記事 ニュース 銃乱射事件の連続発生に際して、共和党議員らがゲームの悪影響を強く懸念。「ゲームが人を非人間化させる」と発言し議論に 現地時間8月3日から4日にかけて、アメリカにて銃乱射事件が立て続けに発生した。最初の事件はテキサス州エルパソにあるウォルマートで発生し、20人が死亡。オハイオ州デイトンでは、9人が死亡、少なくとも26人が負傷。容疑者は警察に撃たれて死亡したと報告されている（ロイター）。痛ましい事件が発生し人々が悲しみに暮れる中、共和党議員らがFox Newsとのインタビューで、ゲームの影響を強く懸念している。 共和党の下院少数党院内総務であるKevin McCarthy氏は、同インタビューにてビデオゲームの関連性について問われ、ビデオゲームは個人を非人間化させると懸念。銃撃ゲームは未来の子どもたちにも問題をもたらすのではないかとコメントしている。惨劇の状況などを見る
「機械学習とビジネスを橋渡しするものこそ評価指標であり, "全てのビジネスは条件付期待値の最大化問題として書ける"」という話の問題点と代替案 - ill-identified diary
概要 はじめに I. 条件付き期待値が全てか? i 条件付き「期待値」だけでよいのか? ii 条件付き期待値の条件とはなにか? メディアミックスモデルを例に 外挿と選択バイアス 補足: 条件付き期待値の条件付けに関して II. 機械学習の性能評価 ≠ ビジネスモデル なのか? 分類モデルと確率の推定 確率推定の評価はできるのか III. こういう話の教科書・参考書はないのか? まとめ 参考文献 概要 『機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ』というブログ記事に対する私の昨日の twitter での連続投稿の話を書き改め, 説明不足な部分を補った. 昨日と同様に, (I) 条件付き期待値だけでよいか, (II) ビジネスモデルと機械学習の性能評価は一致しないのか, (
香港警察、「立場新聞」を強制捜査 7人逮捕 配信停止へ
香港・立場新聞の事務所に連れていかれる林紹桐（パトリック・ラム）編集長代理（中央、2021年12月29日撮影）。(c)Daniel SUEN / AFP 【12月29日 AFP】（更新）香港警察は29日、地元ネットメディア「立場新聞（Stand News）」の強制捜査を行い、「扇動出版物の発行を共謀」した容疑で7人を逮捕した。これを受け同紙は同日、配信を停止すると発表した。 「立場新聞」はフェイスブック（Facebook）に、林紹桐（パトリック・ラム、Patrick Lam）編集長代理が辞職し、全従業員を解雇すると投稿。ウェブサイトとソーシャルメディアのページも更新されず、間もなく削除される。 香港では、2年前の民主派による大規模デモや国家安全維持法（国安法）の施行以降、地元メディアに対する圧力が強まっている。 AFP記者は、林氏が手錠を掛けられ、事務所に連れていかれるのを確認した。 立場
ゲーマーゲート集団嫌がらせ事件 - Wikipedia
女性ゲーム開発者のゾーイ・クィン。クィンの元彼が「クィンが販促のためにゲーム記者に枕営業を行った」と虚偽の告発を行ったことでゲーマーゲート騒動が発生した。 ゲーマーゲートのマスコットキャラ・Vivian James。このキャラクターは4chanの/v/（ビデオゲーム板）とインディーゲーム開発者グループ「The Fine Young Capitalists」（TFYC）のコラボレーションによって考案された[1]。初期デザインではヘッドバンドに四つ葉のクローバー（4chanのロゴ）を着けていたが、4chanからゲーマーゲーターが追放されたあとはメビウスの輪（8chanのロゴ）を着けるようになった。なお、彼女が着用しているパーカーの紫と緑からなる縞模様は、テレビアニメ『ドラゴンボールZ』のキャラクターであるピッコロがベジータを強姦する様子を描いた「Daily Dose / Piccolo Dic
海外論文紹介：More Kawaii than a Real-Person Streamer - コミュニティがVTuberとどう関わり、どう認識しているか
Tweet 国際会議CHI2021 にて、興味深い論文「リアルな配信者よりもカワイイ ：オタクコミュニティがバーチャル YouTuber とどのように関わり、どのように認識しているか」（原題：”More Kawaii than a Real-Person Streamer: Understanding How the Otaku Community Engages with and Perceives Virtual YouTubers”）がありましたので、著者の Zhicong Lu さんに Twitter 上でご許可をいただいて日本語翻訳させていただきました。日本発祥である VTuber 文化が、現在、どのように受容されているかを垣間見ることができます。また日本の学術コミュニティにおいても、より VTuber や SNS、配信者文化に関する学術的研究が活発になる事を期待して、参考訳を掲
いらっしゃいませ。 本日はお忙しい中【週末息子と見る映画】に遊びに来て下さり ありがとうございます。 ５児の父ＫＯＮＭＡ０８です。 id:monmontana id:wamichan id:shoindy ルシフ (id:chateaudif) ごまめ (id:gomame229) さいでっくす (id:thablue19) ジャーキー (id:cjkcus19) fermong (id:fermong) 青空 ぷらす (id:aozprapurasu) ウマフリ編集部 (id:umauma-free) id:retro-gamer id:tantan0aiai ワタリドリ (id:a919255217) まさや (id:masayaX) なおやじ (id:naoyaji) メイプル (id:akihuooblog) 改善10(カイゼンテン) (id:riyun
A decision that arises over and over when designing concurrent programs is whether to represent program state in control flow or as data. This post is about what that decision means and how to approach it. Done well, taking program state stored in data and storing it instead in control flow can make programs much clearer and more maintainable than they otherwise would be. Before saying much more,
いらっしゃいませ。 本日はお忙しい中【週末息子と見る映画】に遊びに来て下さり ありがとうございます。 ５児の父のＫＯＮＭＡ０８です。 お陰様でこの【週末息子と見る映画】も 先日９月１８日に５周年 …無事５歳になりました(*´∀｀*) 皆様アンケートに協力して下さりありがとうございました。 《もくじぃ》 ～前回のコメント【…で倍速で】より～ ～前回のコメント【アンケート《前篇》】より～ ～前回のコメント【アンケート《後篇》】より～ ～前回のコメントのコメントのコメントより～ 今回のお星さま＆コメント ～前回のコメント【…で倍速で】より～ blog.konma08musuko.com nono (id:nonorikka)さん ののさぁ〜ん！コメントありがとうございますぅ〜(*´∀｀*) 倍速鑑賞はできると思いますが何も感じないかと思います… なのでやはり通常での再生をオススメしますねぇ(*´
ロン・ワトキンス - Wikipedia
ロン・ワトキンス（Ronald Arthur "Ron" Watkins, 1987年4月18日 - ）は、陰謀論者でアメリカ合衆国の匿名画像掲示板「8chan」元管理人[5][6]。2ちゃんねると8chanの所有者および運営者であるジム・ワトキンスの息子[7]。 ロンは2016年から2020年11月に辞任するまで8chan（現・8kun）の管理人を務めた[1][8]。また、オルタナ右翼の陰謀論であるQアノンが広まる主要な役割を果たし、2020年アメリカ合衆国大統領選挙でドナルド・トランプに対する大規模な選挙不正が行われ、ジョー・バイデンの勝利に繋がったという根拠のない陰謀論を拡散させた[9][10]。一部のジャーナリストや陰謀論研究家は、ワトキンス親子の一方または両方が、Qアノンの背後にいる個人またはグループの身元を知っているか、あるいは彼ら自身が「Q」そのものであると考えている[18]
BPFAgent: eBPF for Monitoring at DoorDash - DoorDash Engineering Blog
Patrick RogersPatrick Rogers is a software engineer at DoorDash since early 2019. Initially a member of the merchant integrations and order platform teams, he now works on the Observability team with a focus on leveraging eBPF and distributed tracing data to improve understanding & reliability of DoorDash's distributed systems. Author's Linkedin As DoorDash experienced rapid growth over the last f
GitHub - diff-usion/Awesome-Diffusion-Models: A collection of resources and papers on Diffusion Models
A Survey on Video Diffusion Models Zhen Xing, Qijun Feng, Haoran Chen, Qi Dai, Han Hu, Hang Xu, Zuxuan Wu and Yu-Gang Jiang arXiv 2023. [Paper] 16 Oct 2023 State of the Art on Diffusion Models for Visual Computing Ryan Po, Wang Yifan, Vladislav Golyanik, Kfir Aberman, Jonathan T. Barron, Amit H. Bermano, Eric Ryan Chan, Tali Dekel, Aleksander Holynski, Angjoo Kanazawa, C. Karen Liu, Lingjie Liu, B
Post a Comment The comments you read and contribute here belong only to the person who posted them. We reserve the right to remove off-topic comments. TotT 91 GTAC 61 James Whittaker 42 Misko Hevery 32 Anthony Vallone 27 Code Health 23 Patrick Copeland 23 Jobs 18 Andrew Trenk 12 C++ 11 Patrik Höglund 8 JavaScript 7 Allen Hutchison 6 George Pirocanac 6 Zhanyong Wan 6 Harry Robinson 5 Java 5 Julian
6周年記念？？ - 週末息子と見る映画
いらっしゃいませ。 本日はお忙しい中【週末息子と見る映画】に遊びに来て下さり ありがとうございます。 ５児の父のＫＯＮＭＡ０８です。 【葬送のフリーレン】面白いですねっ＼(^o^)／ 次男に薦められて読んでいたんやけども 遂にアニメ化っ！！ ひゃっほぉ〜いっ！！＼(^o^)／ ………さて。 お陰様でこの【週末息子と見る映画】も 先日９月１８日に６周年… …無事６歳になりました(*´∀｀*) 前回は皆様アンケートに協力して下さりありがとうございました。 《目次》 【６周年記念その１】のコメントより。 【６周年記念その２】のコメントより。 【６周年記念その３】のコメントより。 今回のお星さま＆コメント 【６周年記念その１】のコメントより。 blog.konma08musuko.com 正田展人 (id:uraomotenoraneko)さん コメントありがとうございますぅ〜正田さぁん😄 いえ
English | Chinese (simplified) 简体中文 | Chinese (traditional) 繁體中文 | Japanese 日本語 | Korean 한국어 Letter by Concerned Economists Regarding “Contracting for Sex in the Pacific War” in the International Review of Law and Economics Please click here to sign this letter Frequently Asked Questions and More resources Statements by Al Roth and Paul Milgrom, Pinelopi Goldberg, Roger Noll, the twelve editors of
More Kawaii than a Real-Person Live Streamer: Understanding How the Otaku Community Engages with and Perceives Virtual YouTubers
More Kawaii than a Real-Person Live Streamer: Understanding How the Otaku Community Engages with and Perceives Virtual YouTubers Zhicong Lu City University of Hong Kong Kowloon, Hong Kong zhicong.lu@cityu.edu.hk Chenxinran Shen University of Toronto Toronto, ON, Canada elise.shen@mail.utoronto.ca Jiannan Li University of Toronto Toronto, ON, Canada jiannanli@dgp.toronto.edu Hong Shen Carnegie Mell
Version 1.88 is now available! Read about the new features and fixes from March. June 2021 (version 1.58) Update 1.58.1: The update addresses these security issues. Update 1.58.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the June 2021 release of Visual Studio Code. There are a number of updates in t
Prompt engineering is the process of structuring text that can be interpreted and understood by a generative AI model.[1][2] A prompt is natural language text describing the task that an AI should perform.[3] A prompt for a text-to-text language model can be a query such as "what is Fermat's little theorem?",[4] a command such as "write a poem about leaves falling",[5] or a longer statement includ
Future of Storybook in 2023
Storybook is the industry-standard UI development workshop for components and pages. It's used by BBC, Netflix, Twitter, and thousands more teams. Our goal is to make the tools and techniques used by the best frontend teams available to everyone. Today, Storybook has established itself as the best practice for component development, testing, and documentation. It supports every major web framework
プロンプトエンジニアリング - Wikipedia
プロンプト・エンジニアリング（英: prompt engineering）は、主に「テキストからテキスト」型言語モデルとのコミュニケーションで使用され、生成的人工知能（生成AI）モデルが解釈し、理解できるように指示文章を構造化する過程である[1][2]。プロンプト・エンジニアリングは、「プロンプトから一時的に学習するモデルの能力」として定義されるコンテキスト内学習（in-context learning）によって可能となる。コンテキスト内学習の能力は、大規模言語モデル（LLM）の創発的能力である[3]。 プロンプト（prompt）とは、人工知能（AI）が実行すべきタスクを記述した自然言語によるテキスト（文章）のことである[4]。「テキストからテキスト」モデルのプロンプトは、「フェルマーの小定理とは何か」といったクエリ（問い合わせ）[5]、「落ち葉についての詩を書け」といった命令[6]、短い
Version 1.83 is now available! Read about the new features and fixes from September. July 2019 (version 1.37) Update 1.37.1: The update addresses these issues. Downloads: Windows: User System | Mac: Intel | Linux: deb rpm tarball snap Welcome to the July 2019 release of Visual Studio Code. There are a number of updates in this version that we hope you will like, some of the key highlights include:
kendrarickard @nebogn 97 DaY metrocast net @skymk17 @fannysalvery 47 diG mercari @shwetabaradiya @recepti94198132 11 Hhi picuki @h4wolro7jluoeou @greirodriguez 49 1rY nextdoor @umeshasawa @taner_ilgar 63 V2C netcologne de @hastingshit Ocenactusregina @ole_ck 90 6Mr tpg com au @simis48 @haraldya 50 jPY myname info @kilopwnage @nik_sawarkar 6 qyE chaturbate @takaman_tan @alejand99035095 6 4jM yandex
Fredrick Robert Brennan (born February 21, 1994) is an American software developer and type designer who founded the imageboard website 8chan in 2013, before going on to repudiate it in 2019. Following 8chan's surge in popularity in 2014, largely due to many Gamergate proponents migrating to the site from 4chan, Brennan moved to the Philippines to work for Jim Watkins, who provided hosting service
What’s in a Name?
Post a Comment The comments you read and contribute here belong only to the person who posted them. We reserve the right to remove off-topic comments. TotT 96 GTAC 61 James Whittaker 42 Misko Hevery 32 Anthony Vallone 27 Code Health 25 Patrick Copeland 23 Jobs 18 Andrew Trenk 12 C++ 11 Patrik Höglund 8 JavaScript 7 Allen Hutchison 6 George Pirocanac 6 Zhanyong Wan 6 Harry Robinson 5 Java 5 Julian
Update: The Eleventy v2.0.0 stable release is now available! The very first Eleventy 2.0 Beta release is now available on the @beta channel and we’re looking for Beta testers! You can try it out now: # Local project npm install @11ty/eleventy@beta # Global install npm install @11ty/eleventy@beta -g Read more about local versus global installation. Play Video Watch on YouTube Are you new to Elevent
Mutation Testing
TotT 95 GTAC 61 James Whittaker 42 Misko Hevery 32 Anthony Vallone 27 Code Health 25 Patrick Copeland 23 Jobs 18 Andrew Trenk 12 C++ 11 Patrik Höglund 8 JavaScript 7 Allen Hutchison 6 George Pirocanac 6 Zhanyong Wan 6 Harry Robinson 5 Java 5 Julian Harty 5 Alberto Savoia 4 Ben Yu 4 Erik Kuefler 4 Philip Zembrod 4 Shyam Seshadri 4 Adam Bender 3 Chrome 3 Dillon Bly 3 John Thomas 3 Lesley Katzen 3 Ma
Post a Comment The comments you read and contribute here belong only to the person who posted them. We reserve the right to remove off-topic comments. TotT 93 GTAC 61 James Whittaker 42 Misko Hevery 32 Anthony Vallone 27 Code Health 24 Patrick Copeland 23 Jobs 18 Andrew Trenk 12 C++ 11 Patrik Höglund 8 JavaScript 7 Allen Hutchison 6 George Pirocanac 6 Zhanyong Wan 6 Harry Robinson 5 Java 5 Julian
2000 Mules - Wikipedia
2000 Mules is a 2022 American conspiracist[4][5][6] political film from right-wing political commentator Dinesh D'Souza. The film falsely[7][8][9] claims unnamed nonprofit organizations supposedly associated with the Democratic Party paid "mules" to illegally collect and deposit ballots into drop boxes in the swing states of Arizona, Georgia, Michigan, Pennsylvania, and Wisconsin during the 2020 p
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
祝！２周年 読者登録ありがとうございます記念 No.000 - 週末息子と見る映画
research!rsc: Storing Data in Control Flow
このブログも５歳になりました - 週末息子と見る映画
Increase Test Fidelity By Avoiding Mocks
Letter by Concerned Economists Regarding “Contracting for Sex in the Pacific War” in the International Review of Law and Economics
Visual Studio Code June 2021
Prompt engineering - Wikipedia
Visual Studio Code July 2019
12-24 How Old Can Dating Profile Pics Be?
Fredrick Brennan - Wikipedia
The very first beta release of Eleventy v2.0
Sensenmann: Code Deletion at Scale