大規模言語モデルの開発者が知っておくと役立つさまざまな数字
Googleの人工知能部門の責任者を務めるスゴ腕エンジニアのジェフ・ディーンがかつて作成した「すべてのエンジニアが知っておくべき数字」に習って、「大規模言語モデル(LLM)の開発者が知っておくべき数字」が元Googleのエンジニアだったワリード・カドスさんによってまとめられています。 ray-project/llm-numbers: Numbers every LLM developer should know https://github.com/ray-project/llm-numbers ◆プロンプト編 40-90％：プロンプトに「簡潔に」を追加することで節約できる量 LLMの返答はトークン単位で課金されるため、LLMに簡潔に返答するよう要求すると大幅にコストを削減可能です。単にプロンプトに「簡潔に」を追加するだけでなく、例えば10個の案を出すというプロンプトを行う時に代わりに5個
Stable Diffusion（AUTOMATIC1111）をWindowsにインストール方法と使い方 この記事は，画像生成AIであるStable Diffusion web UIのインストール方法と使い方について記載します． 【Stable Diffusionとは？】 Stable Diffusionとは画像生成AIの…
Bevy + WebGPU
Bevy + WebGPU Posted on May 17, 2023 by Carter Anderson ( @cart @cart_cart cartdev ) I'm excited to announce that Bevy's main branch now supports WebGPU rendering on the web! This means you can play with it now by checking out our repo provided you have a supported web browser (WebGPU is still in the process of rolling out). You can also explore our live WebGPU examples. The upcoming Bevy 0.11 rel
The NOAA said the sun continued to produce solar flares on Saturday.
まさかのXeon搭載NUC「Intel NUC 9 Pro」はGPUを選べる頼れるヤツだった：新たなNUCの道（1/4 ページ） 2020年1月の「CES 2020」に合わせて、Intelが新型のNUC（Next Unit of Computing）を披露したことを覚えている人も多いだろう。 従来製品に比べボディーが若干大型化した反面、新たにPCI Expressスロットを備えることで性能と拡張性を高めた新型NUCは、第9世代Coreプロセッサを備えたゲーミング向けモデルが“Ghost Canyon”、Xeonプロセッサなどを搭載するワークステーション向けモデルが“Quartz Canyon”の開発コード名で呼び表される。どちらもベアボーンキットとして提供されるが、国外の一部地域では、既に市場投入が始まっているようだ。 今回取り上げる「Intel NUC 9 Pro Kit NUC9VXQ
20～50の質問をされるたび、ChatGPTは500mlのペットボトル1本分の真水を｢飲む｣必要がある —— 最新調査
人工知能（AI）の環境への影響はまだあまりよく知られていないが、その実態を伝えるレポートが出てきた。 GPT-3は計算過程で熱くなるのを防ぐために水を必要とする。 20～50の質問をされるたびに、ChatGPTのサーバーは500ミリリットル入りのペットボトル1本分の水を｢飲む｣必要があるという。 ChatGPTといった生成AIツールの人気が高まる中、この新たな技術が環境に与える影響も明らかになってきた。 AIと持続可能性についてはまだほとんどデータがないものの、カリフォルニア大学リバーサイド校とテキサス大学アーリントン校の研究者らはOpenAIのGPT-3やGPT-4といったAIモデルのウォーター・フットポイントに関する研究をまとめた。 マイクロソフトはデータセンターでGPT-3を訓練するのに70万リットルの真水を使用したと見られている。Gizmodoによると、これは原子炉の冷却塔を満たす
Stable Diffusion」がオープンソースとして公開されてから2カ月。画像生成AIは急速に進化し、カンブリア大爆発のような様相だ。激動の2カ月間に何があったのか。AI研究者でありAIプログラマーでもある清水亮氏に振り返ってもらい、これからAIがどう世界を変えていくのか、連載としてお伝えしていく。 2022年8月22日。日本時間にして午前4時ごろ、「世界変革」はついに実行された。 以前から噂のあった、「どんな絵も描ける」AIである「Stable Diffusion」がついにオープンソースとして公開されたのだ。 この日は、前日の深夜からStable DiffusionのコミュニティがあるDiscordサーバが、期待に胸を膨らませる人々で賑わっていた。 「日付が変わったぞ。まだか」という声が一定時間ごとに投稿され「もうすぐだ」と宥（なだ）める声と、「本当は公開されないのではないか」と訝（
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
最近ではArm、RISC-Vなど組み込みでも華々しい活躍を見せているRISCプロセッサ。その歴史的経緯を、IT史に詳しい大原雄介さんが解説する。 ARM（現在はArm）の成功は、また別の形で業界に影響を及ぼすことになった。つまり「適当なプロセッサがなければ、自分で作ればいい」というトレンドである。1980年代後半といえば、まだASIC（Application Specific IC：特定用途向けIC）を使うことが多く、国内でもNEC、富士通、日立、東芝、シャープといった大手だけでなく、もっと小さなメーカーもASIC製造に参入していた。 実際、筆者が昔いた会社では、ヤマハに製造を委託することもあった。もっとも、当時のヤマハは規模こそ小さかったものの、97年にIntelに買収された米半導体企業Chips & Technologiesの製品の製造を受諾していたりしていたから、知名度はそれなりにあ
コンピューターの起動プロセスへの攻撃が増加していることに対抗して、ハードウェアの防御層としてAMDが開発したのが「Platform Secure Boot(PSB)」機能です。この機能を一度でも利用した場合、CPUがベンダーロックインされてしまうという欠点があり、そうしたCPUが中古市場に混乱を起こしていると報告されています。 Lenovo Vendor Locking Ryzen-based Systems with AMD PSB https://www.servethehome.com/lenovo-vendor-locking-ryzen-based-systems-with-amd-psb/ Anchoring Trust: A Hardware Secure Boot Story https://blog.cloudflare.com/anchoring-trust-a-har
UbuntuでのGPUディープラーニング環境の構築【Ubuntu 18.04 LTS対応】：機械学習＆ディープラーニング環境構築入門（1/3 ページ） GPUを活用したTensorFlow／PyTorch／Chainerなどによるディープラーニングを実践するための環境をUbuntu上に構築する際の選択ポイントと手順を説明する。 連載目次 0. ディープラーニングのOS環境の選択指針 TensorFlowやPyTorch、Chainerなどのライブラリを使ったディープラーニング（Deep Learning）／機械学習（Machine Learning）を始めようと思ったなら、本当の初心者／学習者であればGoogle Colaboratoryの活用をお勧めする（※参考「ディープラーニングを始めるための、作業環境の特長と使い分け指針：Google Colaboratory入門」）。しかし「本格的
藤井聡太竜王広告契約について｜将棋ニュース｜日本将棋連盟
日本将棋連盟所属の藤井聡太竜王（王位・叡王・王将・棋聖）は、日本AMD（米国本社：米カルフォルニア州サンタクララ、会長兼CEO：リサ・スー）と2022年9月から広告契約を結ぶこととなりました。
Docker社は、WindowsやMac上に簡単にDockerコンテナ環境を導入できる「Docker Desktop」のAppleのM1チップ対応と、WindowsのWSL 2（Windows Subsystem for Linux 2）におけるGPU対応をそれぞれ実現したプレビュー版のリリースを明らかにしました。 プレビュー版は、今回発表された「Docker Developer Preview Program」に申し込むことで、誰でも入手可能です。 In addition, today we’re opening up our Docker Developer Preview Program more widely. Help shape & improve the experience for millions of #Docker users by becoming a member
さくらインターネット、生成AI向けクラウドサービス開始へ 〜NVIDIA H100 GPUを搭載した2EFの大規模クラウドインフラを石狩データセンターに整備〜 クラウドコンピューティングサービスを提供するさくらインターネット株式会社（本社：大阪府大阪市、代表取締役社長：田中 邦裕、以下「さくらインターネット」）は、経済安全保障推進法に基づく特定重要物資である「クラウドプログラム」の供給確保計画に関する経済産業省の認定を受けました。AI時代を支えるGPUクラウドサービスの提供に向けて、3年間で130億円規模の投資をし、「NVIDIA H100 Tensor コア GPU」を搭載した、合計2EFLOPS（エクサフロップス）※1の大規模クラウドインフラを整備することを決定いたしました。 クラウドコンピューティングに最適化した「石狩データセンター」 本取り組みは民間で初めて経済産業省から認定された
'Extreme' geomagnetic storm may bless us with more aurora displays tonight and tomorrow
「Epic Gamesが開発するゲームランチャー『Epic Games Launcher』を起動していると、AMDのRyzen CPUの温度が上昇する」と指摘する声が複数上がっています。報告によれば、ゲームを実行していなくても、Epic Games Launcherがバックグラウンドで起動しているだけでCPUの負荷が増加しており、「Epic Games Launcherが裏でデータ収集をしているからではないか」と推測されています PSA: Disabling Epic Games Launcher lowered my 5800X idle temps from 50C to 37C : Amd https://www.reddit.com/r/Amd/comments/kjzojd/psa_disabling_epic_games_launcher_lowered_my/ Epic Ga
本記事では、NVIDIAから発表されているPyTorchでのディープラーニングを高速化するコツ集を紹介します。 【※NEW】22年6月新記事：スクラム関連の研修・資格のまとめ & おすすめの研修受講方法 本記事について 本記事は、NVIDIAのArun Mallyaさんの発表、 「PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA」 に、説明やプログラムを追加して、解説します。 本記事のポイントは、Andrej KarpathyがTwitterで呟いている通りとなります。 good quick tutorial on optimizing your PyTorch code ⏲️: https://t.co/7CIDWfrI0J quick summary: pic.twitter.com/6J1SJcWJsl — Andrej
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
Joonsick Baick2020-02-26Joonsick is in charge of media processing for LINE's MediaPlatform. はじめに 最近、ユーザーが作成したメディアを保存するためのクラウドサービスがかなり人気を集めています。Google フォトやNAVER nCloudなどのサービスがその例です。LINEでも、ユーザーの写真をサーバーに永久保存していつでも閲覧できるようにしたアルバム機能を提供しています。LINEのアルバム機能は、2013年9月にオープンして今年で6年を迎えます。たくさんのユーザーが活発に利用しているため、サーバーに蓄積されるデータ量も膨大になっています。 写真や動画などのLINEのメディアデータは、すべてLINEのメディアプラットフォームが運営するメディアストレージ「OBS（Object Storage）」で管
またなんか大規模言語モデルが公開されてましたね。 ということで、Cerebrasが公開したモデルを動かしてみます。日本語が通る感じ。 商用利用可能というライセンスなども含めて、一番使いやすい気がします。 https://huggingface.co/cerebras ここでいろいろやってるようだけど、モデルを動かすスクリプトはありません。 https://github.com/Cerebras/modelzoo なので、自分でモデルを動かすコードを書くということになるけど、VTS-Techさんがgistで公開しているスクリプトを使わせてもらいます。 https://gist.github.com/Veritas83/bb858a2039fe84cd35af4064c0aa44d8 -mでモデルサイズ、-cでコマンドラインモード、-pでプロンプトを指定します。 >python VTSTech
Whisper + GPT-3 で会議音声からの議事録書き出し&サマリ自動生成をやってみる！ - Qiita
こんにちは！逆瀬川 (https://twitter.com/gyakuse)です！ 今日は議事録の音声からの書き出しとサマリの自動生成を行います。 概要 会議音声(wavとかmp3ファイル)からWhisperを用いて書き出しを行い、GPT-3.5でサマリを自動生成します。 会議音声としていますが、べつにどんな音声でも大丈夫です。 Colab whisper.cpp版(処理に動画秒数×10倍程度の時間がかかりますがGPU不要です) whisper.fp16版(処理は動画秒数/4程度の時間で済みますがGPU必須です) 使い方 OpenAIのAPIキーを貼り付け ランタイム > すべてのセルを実行から実行し、最初の処理の下に出てくるファイル選択で録音ファイルを選択します ひたすら待ちます 実装 Whisperの軽量化 Whisperの軽量化としては、cpp実装のwhisper.cppがあります
1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの前処理 4.2 GPT-neoxの活用 4.3 並列VMでの学習 4.4 モデルアーキテクチャの工夫 5 学習したGPTのアウトプット例 5.1 失敗モデルたちの作品集 5.2 完成モデルの出力例 5.3 少しFine-tuningした結果 6. 最後に 6.1 採用メッセージ 6.2 ABEJAで学習したGPTモデルの今後について 1. はじめに こんにちは、ABEJAの服部です。昨日、ABEJAが主催しているABEJA SIX2022でも発表がありましたが、NVIDIA社の
全キャリア対応のクラウドゲームサービス「GeForce NOW Powered by SoftBank」
※ ゲームタイトルは個別にデジタルストアで購入いただく必要があり有料コンテンツの場合、別途費用がかかります。 ※ フリープランの連続プレイ可能時間は30分間となります。 サービス終了のご案内 2024年3月29日（金）をもちましてGeForce NOW Powered by SoftBankの提供を終了します。 詳細はこちら サービス終了後の継続利用方法 GeForce NOW Powered by SoftBankをご利用のお客様は、サービス終了後もNVIDIAが開始予定の「GeForce NOW」サービスにおいて、以下の手順を行うことでセーブデータを引き継いでゲームをプレイすることが可能です（※）。 ※クラウドセーブ対応のゲームのみ
おひさしぶりです！ぴゅーぱです。 ALISオープンβおめでとうございます。よしだぱいせんにアイコン書いていただいて心機一転、今後もマイペースで更新を続けていくつもりですのでよかったら読んでやってください。 たぶん初めましての人も多いだろうから過去記事URLはっときますね。 さて、いまTwitterなどで話題の「例のグラボ」ってご存知ですか？ 昨年末からパソコンショップに画面出力ができないグラボが安価で出回っているということで話題になっているものです。グラボなのに画面出力ができないってなんだよって話ですが、なにやらもともとマイニング用に販売されたグラボが業者によって手放され、格安で中古販売されているとの噂。しかもゴニョゴニョすると映像出力もできちゃうじゃないかということで話題に拍車をかけています。今日はこの「例のグラボ」の可能性を探ってみたいと思います！ ※この記事は本グラボの改造を目的とす
Pick up the 9th-gen iPad with two years of AppleCare+ for only $298
NVIDIAが、GPU向けのコンピューティングプラットフォームとして提供している「CUDA」のソフトウェア利用許諾契約(EULA)の中で、翻訳レイヤーを通じてNVIDIA以外のハードウェアプラットフォームで実行することを禁止していることがわかりました。もともとこの条項はNVIDIAのサイト上で公開されているオンライン版のEULAには含まれていましたが、インストールしたCUDAのドキュメントにも含まれるようになったとのことです。 License Agreement for NVIDIA Software Development Kits — EULA https://docs.nvidia.com/cuda/eula/index.html Nvidia bans using translation layers for CUDA software — previously the prohi
The Biden Administration opens $285 million funding for ‘digital twin’ chip research institute
“王将リーグ”特集は3年目。2018年、第68期のテーマは「戦国」。2019年、第69期は「才能と努力」に定めた。 2020年。将棋界のみならず世界が大きく動いたこの年、第70期王将リーグ特集は「ニューノーマル」を主題とした。 時節柄センシティブな話題となり得る可能性もあるだけに、8人の棋士と個々に相対した時の想定が描きずらかったというのも本音だ。対談形式を設定した舞台裏はここにある。 「対談ですか？ では、自分は藤井二冠を希望します！」 相手の設定は王将・渡辺明を含めてすべて「取材者一任」とボールを返投されていた中で、永瀬拓矢ただ一人が対談相手を希望した。そして、藤井聡太ももちろんそれを快諾。ペアリングに頭を悩ませていただけに、永瀬の快答と屈託のない笑顔が心強かった。 未知の病の流行で暗く停滞する日本中を明るく照らしたのは将棋界だった。 棋士たちの奮闘と勝ち星の行方は、誰をも過剰なほどに
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Stable Diffusion】 実写・リアル系の画像を生成するモデル | ぺんぎんや
Engadget | Technology News & Reviews
PS5・Xboxで加熱するゲーム機商戦とそれぞれのプラットフォーム戦略【西田宗千佳のイマトミライ】
まさかのXeon搭載NUC「Intel NUC 9 Pro」はGPUを選べる頼れるヤツだった
まさに「世界変革」──この2カ月で画像生成AIに何が起きたのか？
Intel、2023年に7nmのコンピュートタイルを持つ「Meteor Lake」を投入。x86 CPUのIPも顧客に提供へ
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
「RISCだったら自分たちで作れるんじゃね？」で始まった、自家製RISCプロセッサの興隆
Lenovoに搭載されているAMD CPUにベンダーロックが設定されているせいで中古市場が混乱している
噂の「ASUS GeForce RTX 3070 Noctua Edition」正式発表。負荷時騒音12.6dB
UbuntuでのGPUディープラーニング環境の構築【Ubuntu 18.04 LTS対応】
AppleのM1チップ対応「Docker Desktop」プレビュー版が登場、WSL2のGPU対応も
さくらインターネット、生成AI向けクラウドサービス開始へ | さくらインターネット
Engadget | Technology News & Reviews
「Epic Games Launcherを起動しているだけでAMD RyzenのCPU温度が上昇する」という指摘
【レビュー】 「Ryzen AI 300」は省電力でCPU/GPUはデスクトップ並みという優秀さ。NPU搭載のRyzen AI 9 HX 370を性能検証
RyzenやGeForceなどの品薄が深刻化、5万円近く値上がりしたビデオカードも安価な液晶ディスプレイも品薄傾向、一方でIntel CPUの価格は下落傾向
【後藤弘茂のWeekly海外ニュース】 Appleデバイスの次の心臓となるSoC「Apple A14」
PyTorchでの学習・推論を高速化するコツ集 - Qiita
LINEのストレージ効率化を支えるJPEG↔HEIF変換プロジェクト「Antman」開発記
NVIDIA、Stable Diffusionを倍速にするTensorRT。新ドライバで対応
日本語が通る大規模言語モデルCerebras-GPTを動かす - きしだのHatena
AmazonのMMO『New World』クローズドベータで「RTX 3090」が破壊される不具合が発生中―公式フォーラムで多数の被害報告【UPDATE】 | Game*Spark - 国内・海外ゲーム情報サイト
まさかの3dfxが20年ぶりに復活?「Voodoo 6 PCI」投入を予告
【特集】 おすすめミニPC 5製品を徹底比較！性能・静音性・使い勝手を見極める
ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog
「例のグラボ」を実際に購入して無改造での利用法を探ってみた！ | ALIS
【笠原一輝のユビキタス情報局】 AMD RyzenがIntelより優位な理由。プロセッサの競争軸を変えていく「3Dパッケージング技術」とは？ ～AMDが3D Chiplet Technologyを発表
Engadget | Technology News & Reviews
NVIDIAがCUDAを他のハードウェア上で実行することを禁止
Engadget | Technology News & Reviews
NVIDIA新ドライバでStable Diffusionの処理能力が倍に
【インタビュー】【永瀬拓矢×藤井聡太】棋士とニューノーマル 第70期王将リーグ特集 - ライブドアニュース