物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く｜shi3z
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く 物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。 我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラン・ケイやアイヴァン・サザーランド、ドナルド・クヌースなど、コンピュータ科学者たちが堂々と受賞している。その割には本来マイクロチップの最初の設計者である嶋正利などが京都賞にノミネートされていなかったり、サザーランドの弟子であるアラン・ケイの
ここで知った。 試しに、神戸市が公開している観光に関する統計・調査資料のうち、「令和5年度 神戸市観光動向調査結果について」のPDFで一度試していたのだけども: （出典） 神戸市Webサイトの「観光に関する統計・調査」のページ 上記にある「令和5年度 神戸市観光動向調査結果について」のPDF 日本語でも、概ね問題なく、表などもきれいにパースされる ただし、表が画像 になってる場合に、うまく解釈されない（表は解釈されるが、中の文字が化ける） OCRが正しくできていない可能性 というのがあって、ドキュメント読んだけどわからなくて、それ以上深追いしてなかった。 ただ、X界隈を見る限りは評判は良さそうで、いろいろ記事も出てきたみたいなので、改めて試してみる。 GitHubレポジトリ ドキュメント Docling Doclingは、ドキュメントを解析し、簡単かつ迅速に希望の形式にエクスポートします。
ついに来るのか!?拡散言語モデル｜shi3z
我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必
GeForce RTX 5070 はVRAM 12GBでCUDAコアは RTX 4070 SUPER以下に。2025年1月に発表 NVIDIAはGeForce RTX 5000シリーズを2025年1月に開催されるCES 2025で発表する見込みで、当初のリークではハイエンドモデルのRTX 5090とRTX 5080のみの発表が予想されていました。しかし、どうやらNVIDIAはアッパーミドルレンジモデルにあたるRTX 5070も発表する見込みで、今回このRTX 5070のスペックに関するリーク情報が登場しました。 Wccftechの情報筋によると、NVIDIAはCES 2025でRTX 5090とRTX 5080に加え、RTX 5070も発表する計画です。GeForce RTX 3000シリーズの時と同様に、最上位モデルからアッパーミドルレンジまで比較的大きな顧客層をカバーするラインアップを
昨日は休もうと思ったのにentropixが衝撃的すぎて結局ずっとコンソールに齧り付いていた。今日は技研スタジオの電気工事があるのだが、技研専属電気技師のふかみんがなかなか他のフロアの作業が終わらないので、その間に誘惑に勝てず、再びentropixを触ってみた。 entropixのオリジナルのコードは1B用なので、これを8Bに拡大してみる。 細かい修正点が多かったのでソースコードをフォークして自分のリポジトリに上げた。プルリクするにはちょっとかけ離れた内容になってしまったので。 8Bにするにあたり、トークナイザーとモデルはLlama3.1をベースにした。 8Bは元々だいぶ賢いのだが、それでも「9.11と9.9はどちらが大きい?」と聞くと、自信満々に「9.11」と返してくるので厄介なモデルである。まあClaude-3もそうだけどね。 1Bでも360Mでも間違わなかったこの質問、entropix
はじめに GMO NIKKOの吉岡です。 前回の記事ではPhi-3-MediumをGPUで動かしてみましたが、今回はもう一つの気になるモデル、Phi-3-visionを紹介します。 新しいバージョン3.5が公開されているので、こちらを試してみます。 Phi-3.5-visionは画像を読み取り、質問から結果を返すLLMとなっています。 サーバー構成・準備 前回の記事でサーバー構成や準備を紹介したので、こちらを参照ください。 LLM LLM：https://huggingface.co/microsoft/Phi-3.5-vision-instruct 4.15B 今回は画像を読み取り結果を返してくれるPhi-3.5-visionを使います。 git clone フォルダを作成し、huggingfaceからcloneします。 大きなファイルがあるため、git lfsが必要です。 mkdir
NVIDIA GeForce RTX 5090 の価格は現行 RTX 4090 同等の30万円前後で販売？ 2024 10/14 NVIDIA GeForce RTX 5090の価格は現行モデル同等の30万円前後で販売？ NVIDIAが2025年1月に現行GeForce RTX 4000シリーズの後継モデルとなるGeForce RTX 5000シリーズの発表を予定しています。この中で最上位モデルとなるGeForce RTX 5090では、CUDAコアが現行より33%増加し21,760コアとなり、メモリーは28GbpsのGDDR7を512-bitのバス幅で32GB搭載、帯域幅は1.8 TB/sと、2～3年前のサーバー・データセンター向け製品にも勝る仕様になっていますが、同製品の価格に関するリーク情報が登場しました。 I don't believe there will be a signif
NVIDIA の Claude 3.5 Sonnet 超え（？）の Llama-3.1-Nemotron-70B-Instruct を試す｜ぬこぬこ
Llama-3.1-Nemotoron-70B-Rewardは新しく作られたアライメント用データセット HelpSteer2-preferenceを使い、回答品質を大きく改善。例えばArena-Hardではフロンティアモデルに続くOSSで1位を達成しているhttps://t.co/TgSN1jyNrG… — Daisuke Okanohara / 岡野原 大輔 (@hillbig) October 16, 2024 開いたらすぐ左にプロンプトを打ち込むチャットがありますので、そちらにプロンプトを入れるだけ。 超簡単に動かせましたもう少し聞いてみましょう。 Input: 核融合発電について教えてください。 Output: 核融合発電について詳しく説明します。 核融合発電とは？ 核融合発電は、原子核が融合してエネルギーを発生させる原理を利用した発電方法です。太陽や他の星々では、水素原子核（プロ
How 3 Turing Awardees Republished Key Methods and Ideas Whose Creators They Failed to Credit
LBH also have participated in other PR work that has misled many. For example, the narrator of a popular 2018 Bloomberg video[VID2] is thanking Hinton for speech recognition and machine translation, although both were actually done (at production time of the video) on billions of smartphones by deep learning methods developed in my labs in Germany and Switzerland (LSTM & CTC) long before Hinton's
好きなベースモデル、好きな画像の組み合わせで簡単に画風LoRAが作れる『CoppyLora_webUI_V2』Google colabノートブックとローカルビルド版fanboxにて限定公開！｜とりにく
【はじめに】簡単に言うと1枚のイラストを描くだけで、自分の絵柄でラフを線画化できる追加学習モデル（所謂Lora）が作れます。（カラーイラストやモノクロ陰影イラスト画風も学習できます） ちなみに今回の更新で『SimpleTrain/DetailTrain』モードを追加し、自由なベースモデルでかつ、好きな画像の組み合わせで学習できるようになりました。 好きな組み合わせで学習できる！【公開場所】 【必要なもの】・Googleのアカウント（Colabo版を使う場合は） ・ネットがつながるPC、スマホ。 ・↓の画像をベースに自分で描いた絵（男女別） 例： 【規約】ユーザーは、このソフトウェアを適切に利用し、法的な規制や他人の権利を侵害しないように注意する必要があります。ソフト開発者は、ユーザーがソフトウェアを適切に使用することに関して責任を負いません。 基本的には『手書きでやってはいけないことはAI
⚡️Pyramid Flow⚡️ [Paper] [Project Page ✨] [Code 🚀] [demo 🤗] This is the official repository for Pyramid Flow, a training-efficient Autoregressive Video Generation method based on Flow Matching. By training only on open-source datasets, it generates high-quality 10-second videos at 768p resolution and 24 FPS, and naturally supports image-to-video generation. 10s, 768p, 24fps 5s, 768p, 24fps Image
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Juliaで機械学習をする場合、Flux.jlが有名かと思います。一方で、最近では、Lux.jlというパッケージもあります。名前もよく似ていますし使い方も似ている気もしますから、この二つは一体何なのだろうか？と思った方もいるかと思います。 この記事では、Flux.jlの違いを見るとともに、Lux.jlによる関数フィッティングをやってみることにします。 まず、Flux.jlで関数フィッティングをした記事は、Juliaで機械学習：Flux.jlで自由自在にオリジナルレイヤーを組んでみよう 2023年版にありますので、Flux.jlに興味があ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドキュメントをMarkdownやJSONに変換してくれる「Docling」を試す
GeForce RTX 5070 の一部スペックがリーク。2025年1月発表予定に
驚異のLLMテクノロジーentropixを8Bに拡張するとどうなったか?｜shi3z
【Phi-3.5-vision】ローカルLLMで画像の内容について答える
NVIDIA GeForce RTX 5090 の価格は現行 RTX 4090 同等の30万円前後で販売？
rain1011/pyramid-flow-sd3 · Hugging Face
Juliaで機械学習：Flux.jlではなくLux.jlを使ってみる - Qiita