3月4日の公開以来、「Claudeやばくない?」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル(LLM)だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは? 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau
(This is based on Table 4.1 "Linux Crisis Tools" in SysPerf 2.) Some longer notes: [1] bcc and bpftrace have many overlapping tools: the bcc ones are more capable (e.g., CLI options), and the bpftrace ones can be edited on the fly. But that's not to say that one is better or faster than the other: They emit the same BPF bytecode and are equally fast once running. Also note that bcc is evolving and
「Google Colab」で「デルタもんLoRA」を試したので、まとめました。 1. デルタもんLoRA「デルタもんLoRA」が「アルファパラダイス」のキャラクター「デルタもん」のLoRAです。「アルファパラダイス」のイラスト・音声・3Dデータなどのコンテンツは、AI に関連した利用に限り、目的を問わず自由に使うことができるとのこと。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install diffusers peft(3) 「HuggingFace」からAPIキー (Access Token) を取得し、Colabのシークレットマネージャーに登録。 キーは「HF_KEY」とします。
人気漫画であり、アニメとしても放映中の「葬送のフリーレン」。本作に登場するエルフの魔法使い・フリーレンがさまざまなゲームに“混ぜられる”絵がネットミーム化し、話題となっているようだ。 「葬送のフリーレン」は漫画およびアニメ作品だ。漫画は週刊少年サンデーにて連載中で、原作を山田鐘人氏が、作画をアベツカサ氏が手がけている。物語のはじまりとなるのは、勇者一行として魔王を倒した冒険の終わりのタイミング。勇者一行の魔法使いであったフリーレンは、勇者・ヒンメルの死に際し、何故自分が悲しんだのかわからず、人を “知る” 旅に出る。そしてフェルンやシュタルクといった新たな仲間とともに、魂の眠る地(オレオール)を目指すこととなる。 そんなフリーレンがさまざまなゲームの世界に紛れ込んだ絵が描かれ、X上で広く話題となっているようだ。おそらく発端と思われるのは2023年12月18日に投稿されたononotsu氏の
かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に見直す必要があるのでは?と思い、初心に帰って論理回路を学習させようとした。 BitNetのコードベースははちさんのコードと、Microsoftの公式な論文の実装を併用した。 まず試したのはこのようなコード from bitnet import * import torch from torch import optim im
この記事は中国のNLP研究者Jianlin Su氏が運営するブログ「科学空間」で掲載された解説記事の日本語訳です。 原文の掲載日は2024/3/18です。 苏剑林. (Mar. 18, 2024). 《时空之章:将Attention视为平方复杂度的RNN 》[Blog post]. Retrieved from https://kexue.fm/archives/10017 近年、線形時間の学習・推論計算量を持つRNNが、少なからずの研究者やユーザーから改めて注目され始めており、どこか「文芸復興」の様相を呈している。その代表作にRWKV、RetNet、Mambaなどが挙げられる。RNNを言語モデルとして使う際の最大の特徴は一回の生成が費やす空間・時間計算量が定数であることだ。系列全体でみると、定数の空間計算量と線形な時間計算量を持つことになる。もちろん、どんな物事にも両面性がある。Atte
はじめに 因果推論の実験に使えるデータセットをpythonでの読み込み方法とともにまとめた記事です。 想定している読者 主にRubin因果モデルに従った手法による因果推論を実装したい それぞれのデータセットの特徴を知りたい (pythonで)すぐに自分の環境でデータセットを読み込みたい 因果推論とデータセット データセット紹介の前に、少しだけ表題の解説を行います。基礎的な部分なので、読み飛ばしていただいて大丈夫です。 因果推論の手法の評価実験では、通常のテーブルデータを用いることは少なく、多くの場合、因果推論専用のデータセットによって手法の評価を行います。その理由は簡潔に言うと、「通常のデータには正解データが無いから」であり、これは「因果推論の根本問題」という問題と関連します。 因果推論の根本問題とは、ある介入を行った場合と行わなかった場合の両方の効果を同時には観測できないと言う問題です。
ロサンゼルスの地元メディア「NBCロサンゼルス」は21日、大谷翔平選手の専属通訳を務めていた水原一平氏について「カリフォルニア大学リバーサイド校を卒業したと複数の報道が伝えているが、大学の広報担当者は学校に在籍した記録がないことを明らかにした」と報じました。 水原氏の経歴については大リーグの公式ウェブサイトに2021年7月10日付けで掲載された記事にも「水原氏は日本で生まれ、アナハイムの近くで育ち、ダイヤモンド・バー高校とカリフォルニア大学リバーサイド校に在籍していた」と書かれています。
Money Forward Labで自然言語処理のリサーチャーをしている山岸(@hargon24)です。 この記事では、Labから発表 & プラチナスポンサーとして参加した、言語処理学会第30回年次大会(NLP2024)の参加報告をします。 NLP2024とは 言語処理学会年次大会は、自然言語処理(NLP)の研究者・技術者が年に一度集まって研究発表をしたり議論したり、懇親したりする国内最大級のイベントです。 今年は第30回で、3月11日から3月15日まで神戸ポートアイランドの神戸国際会議場で行われました。 大会運営が当日公開していた参加者数と発表者数のグラフです。今年の参加者数の数値は事前申込段階のもので、終了時には2,100人を超えていたそうです! 私はNLP2017(第23回大会)から参加しているのですが、そのころと比較して倍以上になっています。 Labからの発表 マネフォからは主著2
筑波大学の学生支援担当者が、奨学金の返済免除の申請について疑問点を問い合わせた学生に対し、「あまり自分の恥をさらすような連絡をしてこないほうがいい」「※返信不要 というか返信してこないでください」などとメールを送信していたことが3月19日、わかった。 【実際の画像】Xに投稿された筑波大学の学生支援担当から送られたというメール 筑波大学が弁護士ドットコムニュース編集部の取材に対し、メールが送信されたのは事実だと認めた。このメールは、学生と思われるアカウントから3月18日、Xに投稿され、筑波大学の対応に対して、「ハラスメント事案では」などと批判が寄せられていた。 ●「なにをどうしたらこの文面」SNSでは批判 問題のメールは、奨学金の返済免除を申請しようとした学生が、オンラインでの手続きができなかったことから、「どうかご対応いただけませんでしょうか」と大学に問い合わせたところ、「数理物質エリア支
はじめに OLS推定量は何を推定しているのか シミュレーション OLS推定量の理論値の確認 まとめ 参考文献 はじめに こちらの@yohei_econさんのツイートを見て知ったのですが、OLS推定量が一体何を推定しているのかを因果推論の文脈で改めて考え直す論文が発表されていました。 自分の不勉強をさらしますが、selection biasをコントロールできていれば、OLSではATTを推定できると思っていたのですが、違うかな? 去年出たこのREStatの論文をみると、OLSの推定量はATTとATUの凸結合で、treatedの割合が増えると、推定値はむしろATUに近づくいう結論。https://t.co/agfcIZGz0z— 小林 庸平 | Yohei KOBAYASHI (@yohei_econ) 2021年7月12日 この記事では、Słoczyński(2020) "Interpreti
SakanaAI EvoLLM-JP-v1-7Bを試した。これからのマルチモーダルAIに必要なデータについて 話題のSakanaAIが発表した進化学習型LLMを試しました。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> tokenizer = AutoTokenizer.from_pretrained("SakanaAI/EvoLLM-JP-v1-7B") >>> model = AutoModelForCausalLM.from_pretrained("SakanaAI/EvoLLM-JP-v1-7B") Loading checkpoint shards: 100%|█████████████████████████████████████████| 3/3 [00:02<00:00, 1.11
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く