完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
「OpenStackを選んだ理由は？」「VM屋になるためにどういった経験が大切か？」 元Web系エンジニアのVM屋に聞くQ＆A
現仮想サーバー開発のソフトウェアアーキテクトが、SDPFクラウドの仮想サーバー開発の全体像や課題、目指す姿などを話す「元ウェブ系エンジニアが語る IaaS（VM屋さん）の開発ってなにしてんの？ 」。ここでNTTコミュニケーションズ株式会社の佐野氏と技術顧問の和田氏が登壇。最後に視聴者からの質問に回答します。前回はこちらから。 OpenStackはどれくらい改造しているのか？ 司会者：佐野さんありがとうございます。ここからは私のほうでSlidoを投映して、和田さんにモデレーションをお願いしたいと思います。では和田さん、お願いします。 和田卓人氏（以下、和田）：今もガンガン（質問を）書き込んでもらってかまいませんし、「この質問いいね」と思ったら「いいね」ボタンをどんどん押してください。みなさんが聞きたいと思った質問を基本的には優先しながら、時々、恣意的にピックアップしながら質疑応答をやっていき
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する ライター：西川善司 GDC 2023においてAMDは，ブース出展こそしなかったものの，会期4日めとなる2023年3月24日，同社製品や関連技術を紹介するセッションを数多く行った。AMD製CPUの「Ryzen」や，GPUの「Radeon」にまつわる内容が多い中，なぜかMicrosoftのストレージ高速化技術「DirectStorage」（関連リンク）の効果を検証する講演があったので，その内容をレポートしたい。 セッションタイトルは「DirectStorage〜Optimizing Load-Time and Streaming」だ。 David Ziman氏（Senior Member of Technical Staff） まずはDirectStorageが
【ChatGPT】海外でバズったヤバい使い方9選【2023年3月版】 | WEEL
ChatGPTでインテリアデザインを出力 この記事では、CnatGPTとほかのツールを連携させて高品質なインテリアデザインを出力させる方法が紹介されています。 ok, I got ChatGPT working with Additive Prompting Here's a 1 paragraph ChatGPT prompt you can use to generate infinite interior design/architecture photographs w/ 90%+ coherence to the prompt in Midjourney Full prompt w/ examples in thread. Try reading the prompts as you go 🧵 pic.twitter.com/zhGB03UGpD — Nick St. Pier
なぜウェブサイトに年齢認証を義務づけるべきではないのか | p2ptk[.]org
Electronic Frontier Foundation 年齢認証システムは監視システムである。年齢認証の義務化、それに伴うID認証の義務化は、若者をオンラインで保護するアプローチとしては間違っている。これを制度化すれば、ウェブサイトは訪問者に政府発行の身分証明書等を提出させ、年齢を証明させることが義務づけられることになる。このスキームは、我々の個人データがデフォルトで収集・販売されるインターネットへの道をさらに舗装することになる。政府発行の身分証明書を持たない数千万人の米国人は、インターネットのかなりの部分にアクセスできなくなるかもしれない。さらに、匿名でのインターネットアクセスは不可能になることにもなりうる。 年齢認証の義務化に反対する理由 年齢認証を義務づける法律は、若者だけに影響を及ぼすのではない。特定の年齢層を排除するために、ウェブサイトの訪問者すべての年齢を確認しなくてはな
![なぜウェブサイトに年齢認証を義務づけるべきではないのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/619cccf830d1cc172c9f0590f4d90935e7dc2b8a/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2023%2F03%2FSD20230326_2.jpg)
ソフトウェア設計についてAIと壁打ちしたら良い体験でした（準中級者〜中級者向け） | DevelopersIO
こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 ソフトウェア設計・クラス設計などの学習捗ってますか？ 私は実際にソフトウェア設計に関する本を読んで学習したり、OSSを書いてアウトプットしたりするのですが、なかなかフィードバックをもらえず上達しているのか分かりません。 普段のお仕事も直接的にコードを書くことも少ないので、先輩によるご指導などももらいにくい状況です。 そこで今回、話題のAIとソフトウェア設計の考え方について壁打ちしてもらったところ、非常に良い学習方法だと感じたので、この記事を書いてみました！ ちなみに私は以下のようにソフトウェア設計関連の書籍を読んで学習しています。 ちなみに今回は以下ブログ記事で公開しているくらにゃんGPTをベースにしたBotと会話をしています。 ChatGPT API model: gpt-3.5-turbo
はじめてのにき(2023-03-26)
_ LLM に思ったこと しばらくバブルが続きそうで、労働者としては何より。個人の興味的には AI バブルは終わって別のバブルが起きて欲しかった。残りはポエム的な話 NMT を見て、「あ、これは面白そう」と思ってチーム移って、ニューラル翻訳について思ったのは https://twitter.com/shinh/status/797982306564587521 にあるように、「マンガに出てくるような学位とか取ってる系の7歳くらいの子。活字中毒でなんでもよく知ってるけど、発言に困ると「ニュースぽいから【ロイター】てつけちゃえ」みたいな知ったかぶりをはじめる」だった。データ量やモデルが良くなったのはあるけど、この認識は LLM に至ってもあまり変わっていない。いやまぁこれだけのことができるようになるんだなぁ……という感嘆はもちろんあるし、 ChatGPT 普通に使ったりしているけど 結局、論理
メタファー空間でGPT4に発散と抽象化をさせてから具体化する - 西尾泰和のScrapbox
あるメタファーの空間において二つのメタファーの対比(B)についてGPT4に列挙(1)させ、それからその対比を抽象化(2)させる。その後、抽象化した対比を異なるドメインに応用して具体化(3)させた
99年間使える！ 買い切り型クラウドストレージ「pCloud」の多機能超コスパぶりを伝えたい (1/4)
クラウドストレージは便利だけど 何十年もお金を払い続けられるか心配…… あらゆるファイルのサイズが拡大傾向にある昨今。スマホで撮影した写真は1枚あたり数MB、画面キャプチャなら10MBを超えることも。子どもの成長記録を動画で保存しようものならGB単位でデータが増えていく。 そうしたファイルの保存先として選択されるHDDは、大容量化・低価格化が進んでいる。大量のデータを低コストで保存できるのはうれしい限りだが、使い続けるほどに故障のリスクも増える、つまり大切なデータを失ってしまう可能性が高まる。 ならばNASという選択肢はどうだろう。しかしNAS環境を自分で構築できるほどITリテラシーが豊富な人ばかりとも限らない。いくら大容量HDDが手に入れやすくなったとは言え、多くのファイルを長期間、的確に管理するのはハードルが高い。 というわけで、このところHDDよりも頼りにされているのが「クラウドスト
大規模言語モデルで変わるMLシステム開発
GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかがざっくり分かるかと思います。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Agileを始める前に知っておきたい3つの真実
＄20で新しいChatGPT-4を使い面倒な仕事＆趣味のプログラムを自動で書かせてみた。短いプログラムならいけそう。長いプログラムは組み合わせれば何とか。マクロみたいのを欲しい人へ
https://twitter.com/ImAI_Eruel/status/1639600518615146497
https://twitter.com/rootport/status/1639535880074575873