これは衝撃!1.5Bで超高性能LLM!RWKV-5-World-v2｜shi3z
Transformerという手法は必ずしも万能でも効率的でもない。 むしろTransformerは非効率的だというのが一般的な見解だ。しかし、Transformerには実績があり、実績という壁の前には多少(かどうかわからないが)の非効率は無視される。 他にもHyenaなどもっと効率的と思われる手法が提案されているが、そうした提案の一つがRWKVである。 そもそもなぜTransformerが必要になったかというと、それまで言語モデルに用いられていたRNN(Recurrent Neural Network)は並列処理が難しかったからだ。並列処理が難しい理由は簡単で、言葉というのは過去から未来へ向かって一方向に進むからである。 言語モデルは全て「この文章に続く単語は何か」を予測し、それを連鎖的に繰り返していくが、RNNは単語をひとつひとつ選んでいかないと次の単語を原理的に予測できない。 これを並
相次ぐ「AI偽動画」あなたはディープフェイクを見抜けますか？ | NHK
ニュースでアナウンサーに投資を呼びかけられたら…。 岸田総理大臣がいきなりテレビで卑わいな話をし始めたら…。 そんな本人が話していない内容を、実際に話しているように見せる偽物の動画がSNSで広まりました。 こうした偽動画、いまでは生成AIによって簡単に作れるようになっています。 果たして見抜くことはできるのか。そして、だまされないための4つのポイントとは。 （デジタルでだまされない取材班 / ネットワーク報道部 籏智広太） まるで本人が話しているかのような… X（旧ツイッター）で最近、民放のニュース番組を装いアナウンサーが投資を呼びかける偽動画や、岸田総理大臣が卑わいな内容を話している偽動画が相次いで投稿され広がりました。 こうした動画は、本物と見分けがつかないほど巧妙な偽の動画を作成する「ディープフェイク」と呼ばれる技術で作られたもの。 数年前から出てきていましたが、生成AIを使うと特別
NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍
NVIDIAがAIおよびハイパフォーマンス・コンピューティング(HPC)向けのGPU「H200」を2023年11月13日(月)に発表しました。H200は前世代モデル「H100」と比べて推論速度が2倍、x86 CPUと比べてHPC性能が110倍になっていることがアピールされています。 H200 Tensor Core GPU | NVIDIA https://www.nvidia.com/en-us/data-center/h200/ NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform | NVIDIA Newsroom https://nvidianews.nvidia.com/news/nvidia-supercharges-hopper-the-worlds-leading-ai-computing
開発環境のNAT GatewayをNAT InstanceにしてAWS利用費を削減した話 | DevelopersIO
はじめに 私が担当しているプロジェクトの本番環境とステージング環境ではNAT Gatewayを利用しています。可用性を重視しない開発環境はNAT GatewayをNAT Instanceに代えたらAWS利用費を削減できるのではないかと考え、やってみました。 NAT ゲートウェイと NAT インスタンスの違いは公式のドキュメントにありますので、以下をご覧ください。 NAT ゲートウェイと NAT インスタンスを比較する NAT Instanceの作成方法 以前はNAT Instance用のAMIが提供されていたのですが、現在はないため自分で作成します。手順は公式のドキュメントにありました。簡単なのでガイドの通りにやれば15分ほどでできるかと思います。 NAT インスタンス 私はt4g.nanoのEC2インスタンス上に構築しました。OSはAmazon Linux2023です。EC2のスペック表
JR山手線、52時間一部列車運休へ 渋谷駅線路切り替え工事最終段階（みんなの経済新聞ネットワーク） - Yahoo!ニュース
JR渋谷駅の線路切り替え工事に伴い11月18日・19日、山手線一部列車が運休する。（シブヤ経済新聞） 【写真】JR渋谷駅に掲出する運休を知らせるポスター JR東日本は2015（平成27）年から、駅周辺で進む再開発に合わせて乗り換えの利便性向上や駅構内の混雑緩和、バリアフリーなどを目的に渋谷駅の改良工事を行っている。線路切り替え工事は5段階で進められており、これまで、埼京線ホームを山手線ホームと並列化し、山手線を同一（1面2線）化するなどしてきた。 最終段階となる今回は山手線の線路とホームを高くする工事を行う。天井高が最低2.1メートルで最大14％と急こう配のある西口広場方面と東口広場方面をつなぐ自由連絡通路の「快適な」空間を確保するため、山手線の線路とホームを最大20センチ高くする。今回の切り替え工事後、自由連絡通路の天井高を2.6メートル以上にする工事に本格着手するほか、共同開発ビルの工
Tumblr復活のために150億円以上が費やされたものの最盛期には及ばず運営チームの大幅縮小が決定
ミニブログ「Tumblr」を所有するテクノロジー企業「Automattic」のマット・マレンウェッグCEOがTumblr運営チームの大幅な縮小を発表しました。合わせて、Tumblrには1億ドル(約150億円)を超える費用が費やされていたことも明かされています。 TumblrのMatt on Tumblr https://www.tumblr.com/photomatt/733551497286172672/ Tumblrは2007年にサービスを開始したミニブログサービスで、ユーザーはテキストや画像を投稿できます。Tumblrの投稿件数は2013年には1億件を突破し、同年にYahoo!によって約11億ドル(1700億円)で買収されました。 Yahoo！がTumblrを1100億円超で買収 - GIGAZINE 2018年には「Tumblr上で児童ポルノコンテンツが扱われていたことを原因に、T
CPUパフォーマンスを約33％向上させる「パッシブ塩水冷却」とは？
発熱の問題がつきまとうCPUを冷却する方法としては、一般的な空冷の他に水冷や油冷などがあります。香港城市大学の研究チームが、精密機器には御法度なはずの「塩水」でCPUを冷却するシステムを発表しました。 Membrane-encapsulated, moisture-desorptive passive cooling for high-performance, ultra-low-cost, and long-duration electronics thermal management - ScienceDirect https://www.sciencedirect.com/science/article/pii/S2666998623001801 Passive Salt Water Cooling Boosts CPU Performance by Almost 33% | Tom
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
