llama2のpretrainingを試す
小さいサイズのllama2を日本語でpre_trainingしてみます。 この記事では、以下が参考になれば良いかと思います pre_trainingのやり方 llama2の実装 huggingfaceへのupload すべてgoogle colab上で実行します。 今回学習したモデルはここ 学習にはlit-gptを使います。 lit-gptはlit-llamaのforkです。こちらの実装の参考になるのでコードを眺めてみるのもおすすめです。 データセットの作成 まずは学習用のデータセットを作成します。 以下のコードを参考に、huggingface hubにあるデータセットから学習用のデータセットを作れるように修正します。 作成したものは以下 tokenizerはhuggingface.tokenizersライブラリを使うようにしているので、適宜読み替えてください。 tokenizerには前回
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
NII、130億パラメータのLLM構築 コーパスなども全公開 「今後の研究に資するため」
国立情報学研究所（NII）は10月20日、パラメータ数130億の大規模言語モデル（LLM）「LLM-jp-13B」を公開した。初期段階のモデルだが、アカデミアや産業界の研究開発に資するため、コーパスやツールなどを含めてすべてオープンにする。 公開したLLMの学習データ量は合計約3000億トークン。うち日本語は約1450億トークン（mC4／Wikipedia）、英語は約1450億トークン（The Pile／Wikipedia）、プログラムコード約100億トークン。 計算資源としては、大学や研究機関が共同運営する仮想化環境・データ活用社会創成プラットフォーム「mdx」を12ノード活用。モデル構築にはMicrosoftのDeepSpeedを、モデル構築時の監視やログの保存には、モデル開発プラットフォームのWeights＆Biasesを利用した。 NIIが主宰するLLM勉強会（LLM-jp）で7月
山崎まさよしの激ヤバの水戸ライブを冷静に振り返る｜考える犬くん＠音楽の話をしよう
注：記憶だけを頼りに書いているので、内容に若干不確かな部分があります。誤り等ご容赦ください。 どうもこんにちは。 山崎まさよしの水戸のライブ行ったら会場の空気が激ヤバでした。 はじめに少しだけ自己紹介させて頂くと、自分は３０代男性。 個人ブログでこのような記事を執筆する程度に、山崎まさよしのことが大好きです。 ↓ブログ記事「山崎まさよしの可愛さに魅了された」 https://masters-note.com/yamazakimasayoshi-column/ 1.あの日何があったのか 時は2023.10.21（土）。 場所は今年改装し、リニューアルオープンした水戸市民会館。 ライブはOne knight standのツアー。これは山崎まさよしがデビュー初期から行っている、演奏もMCも全て一人のみで行う形態のステージである。 ギターにピアノ、ブルースハープといった多種多様な楽器を使いこなし、
判断と決断の違いと決断のコツ - そーだいなるらくがき帳
判断と決断の話の違いはこのツイートの通り。 判断の話で言うとぼくはそーだいさんがしてくれた「判断と決断は違う」という話がだいぶ実になっていて、「情報を集めれば理屈で答えが出せるのが判断、今は情報を集めることができない中で答えを出さないといけないのが決断、リーダーがやらなければならないのは決断」という話をかなり大事にしている— しんぺいくんさん (@shinpei0213) 2021年12月10日 決断のコツ 結論から言えば、決断のコツは失敗できるようにすることだ。 失敗できる状態なら決断することができる。 そして素早くアクションして、失敗のフィードバックを受け取ることで新しい決断をすることができる。 そーだいさんがぼくに教えてくれた二大大事なこと「判断と決断は違う」と「ロールバック可能なことはどんどん試せばいい、ロールバックが難しいことは慎重に」です— しんぺいくんさん (@shinpei
イギリス人「この美味い木(鰹節)は日本のどこに行けば取れるの？」→魚と知って妙な顔をしたがスルメのように味わう結果に
ArkPerformance（弐号） @nabeatama ArkPerformanceの片割れです。 毎日毎日本読んで、ゲームして、マンガ描いています。 世捨て人のように暮らしたかったのですが、もう諦めました。なので人生楽しみます。 基本は面倒くさがりです。 ※ リプを返す返せないの判断は単純にタイミングです。返信が無くてもどうかお気になさらずに。 lounge27th.blog.so-net.ne.jp ArkPerformance（弐号） @nabeatama 30年ぐらい前、イギリス人の知人から「この美味い木は日本のどこに行けば取れるの？」て聞かれて見せてもらったら、どこかからか手に入れた鰹節だった。 「それ木じゃなくて魚」って答えたら、面白く無いジョークを聞かされたような顔していた。 たこ焼きつつきながら、ふとそんなことを思い出した。 2023-10-19 12:52:56
kaggle LLMコンペ 上位解法まとめ
はじめに 科学分野の5択問題を解くLLMの精度を競うKaggle - LLM Science Exam というkaggleコンペが2023/10/11まで開催されていました。 コンペ終了後に公開された上位チームの解法からたくさん学びがあったので、備忘録も兼ねてまとめていきたいと思います。 コンペ概要 問題文（prompt）とA~Eの選択肢（option）が与えられ、それを解くモデルの精度を競うコンペでした。 テストデータはSTEM分野のWikipedia記事からGPT3.5に作成させたことがDataタブで明言されていました。 上位チーム解法まとめ 1. Approach 全てのチームが、問題の生成元となった記事をwikiテキストデータセットから検索（Retrieval）し、関連するテキスト（context）もモデルに入力するRAGと呼ばれるアプローチを採用していました。 RAGを行わないと
慢性人員不足の負のスパイラルあるある - やしお
少し前にテレビ番組の「カンブリア宮殿」で、医師1名のクリニックで、高い水準で患者ファーストを実現できている、結局それは人員の大幅増で実現できた、と紹介しているのを見た。 2023年9月21日 放送 おおこうち内科クリニック 院長 大河内 昌弘 (おおこうち まさひろ)氏 ｜カンブリア宮殿： テレビ東京 その後で、財務省が文科省に「人員不足はどの業界も共通課題なのだから、教員も数のみに頼らず学校運営を効率化すべし」と指摘したという話を見かけて、並べると趣深さがあるなと思った。 「数に頼らない学校運営を」 教員不足への対応で財務省が注文 クリニックは、当初はどんどん人が辞めていく状況にあったと紹介されていて、今の自分の職場もそれに近いところがあるなと身につまされた。 クリニックの取組み 患者ファーストは、 待ち時間が短い 専門外の症状も断らずに見てくれる 先生がきちんと話を聞いてくれる 診断書
なぜ藤井聡太は八冠制覇できたのか？
藤井聡太竜王名人が遂に八冠を制覇した。弱冠２１歳。 これは羽生善治九段が２５歳で七冠制覇をしたスピードを大きく上回っている。 竜王・名人・王位・叡王・王座・棋王・王将・棋聖の８つのタイトルが同時に一人の手に収まった･･････というだけではない。 藤井聡太はこの八冠に加えて、昨年度は参加可能な全ての一般棋戦で優勝するという、前代未聞の偉業を成し遂げたのだ。 つまり現在、藤井聡太は藤井竜王名人王位叡王王座棋王王将棋聖朝日杯選手権者銀河ＮＨＫ杯選手権者ＪＴ杯覇者なのだ。 もはや『何かの大会に優勝する』という目標は全て達した。 あとはたとえば勝率１００％（１年間で１度も負けない）とか、そういうレベルの挑戦になる。ゲーム配信でいえばタイムアタックのようなものだろうか。 なぜ、藤井聡太はこんなにも負けないのか？ どうして八冠全冠制覇などという現象が１０１０１日ぶりに実現したのか？ その謎を解き明かす
社内情報検索システムで用いられるRAGの4つの実装方法
2 松本 和高 株式会社エクスプラザ リードエンジニア X: _mkazutaka Github: mkazutaka 18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。趣味で、FXの自 動売買Botを作成している 現在08/30に第一子が生まれ現在育休中 https://note.com/mkazutaka/n/n9f0e2c4dee96 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクトの力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設
一人暮らしをすることで色々な気づきを得られるからした方がいい「洗濯が大変」「埃がやばい」「炊飯器って意外と簡単」
ふくさん @fukusanity たしかに、一人暮らしを始めて「炊飯器ってわりとボタン押すだけなんだな。もっと複雑なオペレーションあると思ってた」とか「洗濯って洗ってすぐ干さないと大変なことになるんだな。もっとおおらかな工程だと思ってた」とか「埃すごい勢いで溜まるな」とか色々気付いた気がする 2023-10-13 08:30:09 ふくさん @fukusanity 実家でも気付けるはずなんだけど、高校生の俺は家事を担当してなかったので………（犬の散歩は俺の役目だった）。あのまま地元から通える大学に行って地元の会社で働いていたら、今も気付けないんだろうなと思い、そして東京の実家住まいの人にはまだそういう認識の人がいるのかもしれないなと思った 2023-10-13 08:33:25 ふくさん @fukusanity 別にそのままでもいいと思うけど、実家暮らしの人が他の人と暮らすとか普通に揉める
AIにニュースの収集を任せている方法（GPT-4からSlack投稿） - toyoshiの日記
キーワードベースで情報収集をしているという下記の記事を読みました。私も似たようなことをしているのですがキーワードは使わない方法でニュースの収集をしていて、そのほうがLLMを活用できていると思うのでその方法を紹介します。 forest.watch.impress.co.jp キーワードではなく自分の目的や関心を伝える 以前私が手動でやっていたのはRSSリーダーにサイトを登録して、記事のタイトルと概要を読んで気になる記事を開いて読むということでした。こういうときに人間はキーワード検索をしていません。何をしているかというと自分の目的や関心があって、それに関連する記事をピックアップするということです。それと同じようなことをさせようというのが今回紹介する方法です。 ポイントは今回の場合は私の所属する会社について情報をプロンプトで与え、それに関連するニュースが何かをLLMに考えさせることです。 今回の
将棋 王座戦 藤井七冠がタイトル奪取 史上初の八冠に
「王座戦」五番勝負は、挑戦者の藤井七冠が永瀬王座を相手にここまで2勝1敗とし、タイトル獲得まであと1勝としていました。 第4局は11日、京都市のホテルで行われ、先手の永瀬王座が桂馬を跳ねる積極的な手を示し、後手の藤井七冠は午前中からおよそ1時間の長考を繰り返します。 午後に入ると永瀬王座も2時間を超える長考をはさみ、互いに攻撃の糸口を探るじりじりとした展開が続く中、永瀬王座は「角」や「銀」を活用しながら攻撃の態勢を整え、次第に形勢を有利にします。 藤井七冠は先に持ち時間を使い切りますが、その後永瀬王座も時間を使い切り、互いに「1分将棋」となります。 一進一退の攻防が続く中、永瀬王座が最終盤で勝ち筋とは別の手を指して、藤井七冠が逆転。そのまま相手を追い詰め、午後8時59分、永瀬王座が138手までで投了しました。 この結果、藤井七冠が3勝1敗で「王座戦」を制し、残していた最後のタイトル「王座」
チェス、将棋…ボードゲーム界に「男女格差」が残る理由 頭脳戦で「女脳は男脳より弱い」というのは本当か | AERA dot. (アエラドット)
チェスでは男女で実力差があるというデータがあるようだが…はたして。画像はイメージ（GettyImages） 国際チェス連盟（FIDE）は8月、トランスジェンダー選手に対する新たな方針を発表し、世界中で波紋を広げた。FIDEに登録している性別を男性から女性に変更したトランスジェンダー女性は、当面の間、公式の女子大会には出場できないというのだ。水泳や陸上など他のスポーツでも、トランスジェンダー選手に対して似たような規定を定める動きがあるが、“頭脳戦”のチェスにおいて、なぜ性別によって扱いを変えるのか。ボードゲーム界に根を下ろす、男女格差の実態を取材した。 【写真】「日本人初のノーベル賞」を目指す元天才将棋少女はこちら ＊ ＊ ＊ 「今回のこの禁止はばかげているし、女性を侮辱するものだ」 「私は競技者としてチェスをしていた間ずっと、女の脳は男より小さい、そもそも女がチェスをするなどあってはな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
忙しくて手を動かせない時もいい感じに進捗出してくれるAgent作りたい
盗んだ俳句で走り出す
話を聴く技術 / listening skills
保存版！使っている専門通販サイト
森薫さんより読者の皆様へ：回復のお知らせ｜青騎士
2023.10.03_AIプロダクトがLLMで変わったこと/変わらないこと