NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
中国のハッカーが世界中にある約2万台のFortiGateシステムに侵入しているとオランダ政府の軍事情報安全保安局が警告
2024年2月、オランダ軍情報保安局(MIVD)と総合情報保安局(AIVD)が、中国政府の支援を受けたハッカーがオランダ国防省などで使用される次世代ファイアウォール「FortiGate」のネットワークに侵入したと報告しました。その後の調査の結果、MIVDは約2万台ものデバイスが中国のハッカーによる被害を受けたことを明らかにしました。 Aanhoudende statelijke cyberspionagecampagne via kwetsbare edge devices | Nieuwsbericht | Nationaal Cyber Security Centrum https://www.ncsc.nl/actueel/nieuws/2024/juni/10/aanhoudende-statelijke-cyberspionagecampagne-via-kwetsbare-ed
音声・テキスト・画像・音楽の入出力に対応したマルチモーダル大規模言語モデル(LLM)「AnyGPT」が登場
音声・テキスト・画像・音楽など複数の種類のデータを一度に処理できるマルチモーダルな大規模言語モデル(LLM)の「AnyGPT」が発表されました。 AnyGPT https://junzhan2000.github.io/AnyGPT.github.io/ 既存の大規模言語モデル(LLM)のアーキテクチャやトレーニングパラダイムを変更することなく、安定してトレーニングすることができるという新しいマルチモーダルLLMがAnyGPTです。AnyGPTはデータレベルの前処理のみに依存しており、新しい言語を組み込むのと同様に、新しいモダリティのLLMへのシームレスな統合を促進することが可能。マルチモーダルアライメントの事前トレーニング用に、マルチモーダルテキスト中心のデータセットを構築することで、生成モデルを利用して大規模な「Any-to-Any」(任意のデータ形式から任意のデータ形式に出力できる)
X(旧Twitter)に対しEUが初のデジタルサービス法に基づく捜査開始、ハマスのイスラエル攻撃に関連した偽情報のホスティングを巡り
ハマスによるイスラエルへの武力行使をきっかけに、X(旧Twitter)上で拡散された違法なコンテンツやテロリズム・暴力に関する偽情報をめぐって、EUがXに対する調査を開始しました。 The Commission sends request for information to X under DSA https://ec.europa.eu/commission/presscorner/detail/en/IP_23_4953 EU opens probe into X over Israel-Hamas war misinformation | Financial Times https://www.ft.com/content/a4ab23c7-977a-46b1-8d00-33923ceaee89 ハマスはパレスチナ・ガザ地区を支配するイスラム教系武装組織で、イスラエルの刑務所に収容
LinuxをニンテンドーDSに移植する「DSLinux」
任天堂から発売された携帯型ゲーム機「ニンテンドーDS」および上位機種の「ニンテンドーDS Lite」にLinuxを移植するためのリソースが「DSLinux」です。 DSLinux - Linux for the Nintendo DS https://www.dslinux.org/ DSLinuxは記事作成時点ですでに開発が終了していますが、実行に必要なファイルや手引書は引き続き公開されています。DSLinuxを導入したニンテンドーDSでできることの例は以下の通りです。 ◆ウェブブラウジング DSLinuxは2つのテキストモードブラウザ「links」と「retawq」に対応していて、グラフィカルブラウザではlinksのグラフィカルモードまたはPIXILのウェブブラウザを利用できます。グラフィカルブラウザは両方とも非常にバグが多いとのこと。 ◆SSH ワイヤレスssh/telnetターミナ
「人間の子供が聞く量の単語」のみで大規模言語モデルを新たにトレーニングするチャレンジ「BabyLM Challenge」が開催中、誰でも挑戦可能
チャットAIに用いられる大規模言語モデルの性能は、パラメーター数やトレーニングデータの量が増えるほど上昇するというのが通説ですが、この通説に反して「少ないデータ量で高性能な言語モデルを作成する」というチャレンジ「BabyLM Challenge」が開催されています。 babylm.github.io https://babylm.github.io/ 大規模言語モデルの作成においては、一番最初に事前学習と呼ばれる工程があります。事前学習では文章を入力して続く単語を当てるというトレーニングが行われ、大規模言語モデルはこのトレーニングを通して文章を作成できるようになります。 トレーニングに用いる単語の量は年々増加しており、2018年のBERTは30億語のデータでトレーニングされましたが、2019年のRoBERTaは300億語、2020年のGPT-3は2000億語、そして2022年のChinch
AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害
アメリカ空軍のAI搭載ドローンが、「標的を特定して破壊する」というミッションを想定した模擬テストのシミュレーションで、人間のオペレーターを殺害する判断を下していたことがわかりました。「オペレーターを狙わないように」とトレーニングすると、今度はオペレーターがドローンとの通信に用いる通信塔を攻撃したとのことです。 Highlights from the RAeS Future Combat Air & Space Capabilities Summit https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/ AI-Controlled Drone Goes Rogue, 'Kills' Human Operator in USAF Simulat
プログラムを動かす時にメモリがどのように割り当て・解放されるのかをめちゃくちゃわかりやすいイメージ画像で解説してくれるサイト「Memory Allocation」
コンピューター上でプログラムを動作する際に必要になるのがメモリです。プログラム自体をメモリに読み込む必要があるのはもちろん、プログラムが行う動作はほとんど「メモリから値を取りだして計算し、メモリに保存する」であるといっても過言ではありません。プログラムが動作する際にメモリがどのように管理されているのかについて、ベテランプログラマーのサム・ローズさんがブログで解説しています。 Memory Allocation https://samwho.dev/memory-allocation/ C言語の標準ライブラリには「malloc」と「free」という2つの関数が用意されています。この2つはなんと1979年のUnix v7から存在している歴史ある関数で、mallocがメモリの割り当てを担当し、freeがメモリの解放を担当しています。サム・ローズさんの解説は「この2つの関数の中身を自分で実装する」
ChatGPTを用いた複雑な処理を視覚的に組み立てられるノードエディター「ChatGraph」を使ってみた
「ChatGraph」はChatGPTのノードエディターで、ノードを組み合わせることで複雑なシステムを視覚的に構築できます。ChatGPTの高い性能を有意義に使えそうだったので、実際に使ってみました。 【ChatGPTのノードエディタ】ChatGraph - β - uynet - BOOTH https://booth.pm/ja/items/4728147 まずは、上記のリンクからChatGraphの配布ページにアクセスして「無料ダウンロード」をクリックします。今回は無料版を選択しましたが、ChatGraphには画像生成機能が付いたお布施版も存在しています。 ZIPファイルをダウンロードしたら、Windows標準機能や対応ソフトで解凍します。 ZIPファイルを解凍するとChatGraphの実行ファイル「graph.exe」が現れるのでダブルクリックして起動します。 ChatGraphの
映画「Winny」松本優作監督インタビュー、あのファイル共有ソフトを生み出した開発者・金子勇氏の姿を描き出す
2002年に世の中に現れたファイル共有ソフト「Winny」をめぐる「Winny事件」を題材にした映画「Winny」が、2023年3月10日(金)に公開されました。この事件では、著作権侵害行為により2人が逮捕されたのち、開発者の金子勇氏も著作権侵害を幇助(ほうじょ)したとして逮捕・起訴され、7年にわたる裁判が繰り広げられました。その7年の裁判記録を読み込み、金子氏が実際に使用していたものを実際に作中で利用して、しっかり「金子勇」像を描いた松本優作監督に話を伺いました。 映画『Winny』｜公式サイト https://winny-movie.com/ 東出昌大さんが金子さん、三浦貴大さんが壇俊光弁護士を演じています。 松本優作監督 GIGAZINE(以下、G)： 公式Twitterで「映画で使用している👓や📸は実際に金子さんが使われていたものです」とのツイートがありました。これは同じモデル
画像生成AI「StableDiffusion」で得ておくべき知識を身に付けるのに役立つ「SD Toolset」
画像生成AI「Stable Diffusion」はモデルデータが一般公開されているため、自宅のPCで誰でも簡単に動かすことができます。しかし、Stable Diffusionを使って自分が望む通りの画像を生成するためにはさまざまな知識が必要になり、初心者は何から学べばいいのかわからなくなりがち。無償で公開されている「SD Toolset」にはStable Diffusionで得ておくべき知識が単元ごとにわけてまとめられているので、ピンポイントで必要な知識を学ぶことができます。 SD Toolset https://sdtools.org/ SD Toolsetはこんな感じで、左のカラフルな同心円に単元が視覚的にまとめられており、同心円の内側から気になるカテゴリをクリックしていきます。例えば、Stable Diffusionの根幹部分を知りたい場合は、「Core」をクリック。 すると、以下の
AMD RyzenやApple A4を生んだ天才エンジニアのジム・ケラーが半導体製造企業「Atomic Semi」を立ち上げ
AppleのA4チップやAMDのZenマイクロアーキテクチャなどに関わったアーキテクトのジム・ケラー氏が、独学で半導体製造を研究するサム・ゼルーフ氏と共に新しい半導体製造企業(ファブ)「Atomic Semi」を立ち上げました。 Atomic Semi • building it ourselves https://atomicsemi.com/ Stacking Atoms @atomic_semi https://t.co/SxuKqw1gqB— Jim Keller (@jimkxa) February 22, 2023 CPUやGPUなどの半導体チップはシリコン(ケイ素)から作られます。実際にどういう過程で半導体チップが作られるのかについては、以下の記事を読むとよくわかります。 たった99秒で「CPUの作り方」がわかるムービー - GIGAZINE もちろん半導体の製造にはシリコン
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場
GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。 GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. https://github.com/Ying1123/FlexGen#readme FlexGenは大規模言語モデルの推論リソース要件を単一のGPU
Gitコマンドの結果一体どうなるのかをすばやくアニメーション画像を生成して視覚的にわかりやすく見せてくれる「git-sim」
プログラマー育成を支援するInitial Commitが、ローカルリポジトリにおけるGitの動作をシミュレート可能なコマンドラインツール「git-sim」を2023年1月22日にリリースしました。git-simを使うことで、Gitコマンドがリポジトリに及ぼす影響を視覚化した画像やアニメーションを生成できます。 git-sim - Visually simulate Git operations in your own repos with a single terminal command. https://initialcommit.com/tools/git-sim GitHub - initialcommit-com/git-sim: Visually simulate Git operations in your own repos with a single terminal c
ChatGPTに似た動作を目指すオープンソースのチャットAI「ChatRWKV」
Open AIが開発した高性能チャットAI「ChatGPT」は、非常に高精度な会話が可能なことから大きな注目を集めています。そんなChatGPTのような「質問すると自然な文章で応じてくれるAI」をオープンソースで実現することを目指した「ChatRWKV」の開発が、ソフトウェア開発者のBlinkDL氏によって進められています。 GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by the RWKV (100% RNN) language model, and open source. https://github.com/BlinkDL/ChatRWKV ChatRWKVは、BlinkDL氏が開発した言語モデル「RWKV Language Model」をベースにしたチャットAIで、ユーザーが入力した文章に自然な言
対話AI「ChatGPT」は教育現場で活躍するため禁止するのではなく使い方を教えるべきという指摘
OpenAIが発表した対話型AI「ChatGPT」は、人間からの質問に対して非常に自然に受け答えできるためさまざまに活用できる一方で、見栄えは良いが成立していない文章を作ることもあることからQ＆Aサイトで使用を禁止されたり、科学論文を書くための使用を国際会議が禁止したりといった規制の動きも見られています。ニューヨーク市教育局も学校のPCおよびネットワークからChatGPTへのアクセスを「教育にふさわしくない」としてブロックしましたが、ニューヨークタイムズは「ChatGPTは教育ツールとして非常に役立つため、全面的に禁止するのではなく、正しく使えるよう指導するべき」と指摘しています。 Don’t Ban ChatGPT in Schools. Teach With It. - The New York Times https://www.nytimes.com/2023/01/12/tech
8000円未満でオープンソースの格安NASを自作した大学生が現れる、ケースは3Dプリンター製でOSも自作のものを搭載
ネットワークアタッチトストレージ(NAS)はネットワークに接続できるファイルサーバーであり、ネットワークを通じてデータの保存や読み込みができます。香港の大学生であるToby Chui氏が、コンパクトで十分な性能を持つNASをわずか60ドル(約7600円)未満で自作した手順について報告しています。 DIY Raspberry / Orange Pi NAS That Really Looks Like a NAS - 2023 Edition : 15 Steps (with Pictures) - Instructables https://www.instructables.com/DIY-Raspberry-Orange-Pi-NAS-That-Really-Looks-Like/ 大学生であるChui氏は、Googleが大学生向けに提供する無制限のクラウドストレージサービスを利用して
旧東ドイツ時代の秘密警察シュタージのスパイが使っていた送信機「DDR Type 2」の内部構造がすごい
東ドイツの国家保安省「シュタージ」が開発した短波送信機「DDR Type 2」について、過去の暗号通信に使用されてきた機器を紹介するCrypto Museumが取り上げています。 DDR Type 2 https://www.cryptomuseum.com/spy/ddr2/index.htm DDR Type 2は、1960年代前半に旧東ドイツでシュタージとして知られた国家保安省の一部門、Operativ Technischer Sektorが開発したバルブ式の短波秘密無線送信機。DDR Type 2という名称は2004年に名付けられたニックネームであり、正式名称は不明です。西ヨーロッパ諸国で活動するシュタージの諜報員によって使用されていました。 諜報員は通常、ナンバーズ・ステーションとして知られる短波ラジオ放送のワンウェイ・ヴォイス・リンク(OWVL)を通じて指示を受けます。そして、
「ダークモード」に意味はあるのか？
黒を基調としたレイアウトにする「ダークモード」は、画面を見やすくして眼精疲労を予防したり、端末のバッテリー節約に役立ったりしてくれると考えられているため、OSやブラウザ、アプリなどさまざまなソフトウェアがダークモードに対応しています。しかし、いろいろと調べた結果ダークモードを使うのをやめたという開発者のKev Quirk氏が、なぜその結論に至ったのかを解説しました。 Is Dark Mode Good For Your Eyes? | Kev Quirk https://kevquirk.com/is-dark-mode-such-a-good-idea/ ◆：読みやすさ ダークモードとライトモードに対する視認性を比べた調査によると、正常な視力を持つ人であれば、ライトモードの方がパフォーマンスは高かったとのこと。 人間は日中に狩りをするよう進化しており、これは「明るい背景に暗い物体」を見る
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
