素振りの記：『日経Linux2023年9月号』の特集に沿ってLLMをファインチューニング！ Linuxコマンドを教え込む - nikkie-ftnextの日記
はじめに 面白いじゃない！1 nikkieです。 世はまさに大LLM時代。 ChatGPTのAPIを叩いたり2、各社が公開したLLMを触ったり3と既存のLLMを利用してきたnikkie氏。 「LLMのファインチューニング（解きたいタスクに特化した少量データでの調整訓練）ってどうやるんだろう」という疑問を次第に抱えるようになったのですが、このたび日経Linuxさんの特集をきっかけに、1パターン経験できました。 目次 はじめに 目次 『日経Linux2023年9月号』 生成AI特集 LLMのファインチューニング まずColabに課金 rinna/japanese-gpt-neox-3.6bをLoRAでファインチューニング！ ファインチューニング前 ファインチューニング後 手を動かした際のメモ 終わりに P.S. 『日経Linux2023年9月号』特集1には、からあげさんも寄稿 P.S. その2
無料で自分専用のAIを日本語のウェブサイトやファイルを指定して作れるGoogleのAIサービス「NotebookLM」の使い方レビュー
GeminiやPaLM 2といった大規模言語モデルを使って任意のテキストの要約や提案をしてくれるGoogleのメモ作成アプリ「NotebookLM」が、日本語を含む200以上の国や地域に対応しました。記事作成時点では試験的に無料提供されているとのことで、実際に「NotebookLM」を使ってみました。 NotebookLM | Note Taking & Research Assistant Powered by AI https://notebooklm.google/ NotebookLM goes global with Slides support and better ways to fact-check https://blog.google/technology/ai/notebooklm-goes-global-support-for-websites-slides-fac
GNN-RAGで7BモデルでもGPT-4と同等の性能を引き出す
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムでは一般的に、断片化されたテキストをEmbeddingによってベクトル化し、関連する情報を検索、そして質問に回答するという形式が採用されるかと思います。 しかし本来、RAGのデータソースは断片化されたテキストに限定はされていません。その一つとして、Knowledge Graph(知識グラフ)というものが存在します。 本記事では、そんなKnowledge Graphを利用した新しいRAGのシステム、GNN-RAGについて紹介します。 サマリー GNN-RAGは、Knowledge Graphから関連するデータの取得にGNNを使用します。この手法を利用することで、既存のKnowledge Gr
バイオメディカルAI夏の学校のご案内 – AIシステム医科学@国立 東京医科歯科大学 【Shimizu Lab】
データサイエンスやAIに関する言葉を聞かない日はないほど今日のデジタル社会にこれらは大きく浸透しています。現代の「読み・書き・そろばん」と言っても過言ではないでしょう。このような背景を受け、文部科学省も大学等が数理・データサイエンス・AI教育に取組むことを後押しする制度 (右図) を創設しました。書店にいけばたくさんの書籍があり、YouTubeやブログなどインターネットにもさまざまなコンテンツが共有されています。 しかし、それらの教材の多くは一般的なビジネス向けか、あるいはより理論的な側面を重視した専門家向けのどちらかであり、その両者の間が少ないように感じています。特に医療や生命科学領域のAIについては、独自の専門知識 (ドメイン知識) も必要になるためか、残念ながら学びたくてもそれほどは機会が多くないかと思います。 そこで、微力ながら少しでもそういった開かれた機会を提供させていただくため
1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
薬祭～わくわく科学体験イベント～
大人も子供も、無料で、登録不要でご参加いただけます。 不思議で素敵なライフサイエンス、科学の世界に触れてみて下さい！各種健康測定、肌ケアセミナーなど、大人向けの企画も充実！
国内最大級1000億パラメーターのAIモデル、ベンチャー開発 “幻覚”少なく
AIスタートアップのストックマークは5月16日、ハルシネーションを大幅に抑止した1000億パラメータ規模の大規模言語モデル（LLM）「Stockmark-LLM-100b」を公開した。 ハルシネーションを大幅に抑止 同モデルは、公開されている既存のモデルを用いずフルスクラッチで開発されており、1000億パラメーター規模のサイズは国内最大級となる。 事前学習に用いられたデータは、独自に収集したビジネスドメインの日本語データが中心となっており、日本語・ビジネスドメイン・最新の時事話題に精通しているうえ、ハルシネーション（幻覚とも呼ばれる、AIが根拠のない嘘を出力する現象）を大幅に抑止することに成功したという。 また、同モデルは商用利用可能なモデルとしてオープンソース（MIT License）で公開されており、誰でもダウンロードして利用できるようになっている。 各種ベンチマークで高性能 同社が独
がん細胞に核酸医薬を効率よく取り込ませる新技術TRPC3/C6チャネル選択的活性化剤L687を開発
がん細胞に核酸医薬を効率よく取り込ませる新技術TRPC3/C6チャネル選択的活性化剤L687を開発核酸医薬によるがん治療の新たな選択肢 【お読みいただく前に】 アンチセンス核酸医薬（ASO）※１などの核酸医薬※2は、低分子医薬や抗体医薬とは異なり、タンパク質の発現を遺伝子レベルで制御することから、次世代の分子標的医薬として注目されています。しかし、核酸医薬は、一般の医薬品と比べて分子量が大きく親水性であり、細胞表面の脂質の膜となじみにくいことから、細胞内に移行する割合が極めて低くなっています。そのため、せっかくの核酸医薬の機能が細胞内で十分に発揮されず、その汎用性は大きく制限されていました。核酸医薬をがん治療に応用するためには、核酸医薬のがん細胞内移行性を高める技術の開発が喫緊の課題となっていました。 【研究成果のポイント】 がん細胞に発現するカルシウム透過型TRPC3/C6チャネル※3を
第２３回 ３級 全問題と解答（2023年実施）｜京都新聞
＜3級解答＞ （１）ウ（２）ウ（３）エ（４）ウ（５）エ（６）ア（７）ウ（８）イ（９）エ（10）イ （11）エ（12）ウ（13）ア（14）イ（15）エ（16）イ（17）ア（18）ア（19）ウ（20）エ （21）ア（22）エ（23）エ（24）エ（25）イ（26）ウ（27）ア（28）イ（29）エ（30）ウ （31）ウ（32）エ（33）イ（34）イ（35）ア（36）ア（37）イ（38）エ（39）ウ（40）ア （41）ウ（42）イ（43）ア（44）ア（45）イ（46）エ（47）ア（48）ウ（49）ア（50）エ （51）エ（52）ウ（53）エ（54）ア（55）イ（56）ア（57）イ（58）ウ（59）ア（60）エ （61）ウ（62）エ（63）イ（64）ウ（65）ウ（66）イ（67）イ（68）ア（69）ア（70）ウ （71）エ（72）ア（73）ア（74）エ（75）イ（76）イ（77）ア（78）イ（79）エ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI創薬に大きく舵を切る製薬業界 
https://pubs.acs.org/doi/10.1021/acs.jcim.3c02070
大規模言語モデルの開発
Metis - A Python-Based User Interface to Collect Expert Feedback for Generative Chemistry Models
PERCEPTION predicts patient response and resistance to treatment using single-cell transcriptomics of their tumors - Nature Cancer
siRNADesign: A Graph Neural Network for siRNA Efficacy Prediction via Deep RNA Sequence Analysis
スクワットダイエット！「みるみる脂肪が落ちる」3分間トレーニング【自宅トレーニング/家トレ/脂肪燃焼】
RiboDiffusion: Tertiary Structure-based RNA Inverse Folding with Generative Diffusion Models
Nicheformer: a foundation model for single-cell and spatial omics
bioinfowakate - 第12回セミナー
DeepRBP: A novel deep neural network for inferring splicing regulation