驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
ChatGPTのヤバさは、論理処理が必要と思ったことが確率処理でできるとわかったこと - きしだのHatena
ChatGPTのヤバいところは、論理処理が必要だと思っていたことが、じつは多数のデータを学習させた確率処理で解決可能だと示したことだと思います。 たとえば、このように正規表現にマッチする文字列を生成するには、特別に専用の論理処理が必要だと思っていました。 前のブログのときには特殊処理が必要だと考えてましたね。 ウソはウソと見抜ける人じゃないとChatGPTを使うのは難しい - きしだのHatena けど、123_45678world.mdはマッチするのにマッチしないと言っているので、そのような誤りが入ることを考えると、どうも確率処理だけでやっているようです。 考えてみると、3層以上のニューラルネットであれば論理素子を再現できるので、ディープラーニングで論理処理を模倣することは可能なんですよね。 バックプロパゲーションでニューラルネットの学習 - きしだのHatena そもそも論理は、多数の
Wi-Fiで果物の中身を測定できる「Wi-Fruit」 切らずに腐っているか判定可能
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国の上海交通大学と深せん大学、廈門大学、カナダのマギル大学による研究チームが発表した「Wi-Fruit: See Through Fruits with Smart Devices」は、Wi-Fiを活用して果物の中身を外から計測するシステムだ。 このシステムは、果皮が厚いもの（スイカやグレープフルーツなど）から、薄いもの（ドラゴンフルーツやリンゴ、ナシ、オレンジなど）まで幅広く計測でき、推定結果から内部の腐敗具合を判断できるという。 外見は正常でも中身が腐っている果物は、外から見て腐敗の具合を判断しにくい。逆に外見は腐っているように見えても中身は正常な場合もある。果皮が分厚いスイカやグレ
今年こそは自宅トレで痩せたい人のための、AIパーソナルトレーナーFreeletics入門(2021年版) - 科学と非科学の迷宮
この記事は去年書いた記事の改訂版です。2020年版はこちら 通勤がなくなったり外出を控えたりして、運動不足になった人はたくさんいると思います。自宅でできるトレーニングアプリ Freeletics を使って、今年こそ運動不足を解消しましょう。 Freeleticsは、ユーザにとって最適なトレーニングプランを提供してくれる、いわゆるAIパーソナルトレーナーアプリです。数分単位の短い時間にきついトレーニングをこなす、いわゆる高強度インターバルトレーニング (HIIT) をベースにしています。 Freeleticsは、 自宅でできる 短時間 自分だけのトレーニングメニューを作ってくれる と、痩せたい、筋肉つけたいけど忙しい、という人に最適な特長を持っています。 このブログでも何度か紹介していますので、興味のある方は過去記事も読んでみてください。 shiumachi.hatenablog.com s
Wevox | 組織力向上プラットフォーム
きづきがあるから、個人・チーム・組織は変われる。あなたの会社にきづきを起こすお手伝いをWevoxが実現します。月額わずか300円〜/名(税抜)でご利用可能！
「撃たれやすい顔」への引き金を止める。AIが揺さぶる人の思い込み｜Torus (トーラス)by ABEJA
死角から飛んできたボールは避けようがない。直撃されて脳と心が揺さぶられる。現代美術家・長谷川愛さんのアートプロジェクトを見た時の印象をたとえると、まさにこんな感じだ。科学技術をモチーフに、人のありようを浮き彫りにする。それらの軌跡と思いを2回に分けて紹介する。 人の偏った認知を「銃」が問い返す 2018年、長谷川さんは“Alt-Bias Gun”という作品を発表した。 このプロジェクトは人の偏った認知バイアスを機械学習等で学ばせ、逆張りもしくは別のバイアスを道具に実装し「公平な社会を目指す」その是非と方法について問います。私たちは一体どのようにそれをデザインし実装してゆくべきなのでしょうか？（中略）この銃は「非武装で警察に銃殺された黒人」の過去数年のデータから殺されやすい人を学習判別をし、条件にあった場合は銃の引き金を数秒止めます。（Ai Hasegawaより）「バイアス」に疑問この作品が
書籍『AI vs.教科書が読めない子どもたち』が示す、「読解力が低い人」は「認知できる世界の解像度が低い」という事実。
ホーム > 書籍『AI vs.教科書が読めない子どもたち』が示す、「読解力が低い人」は「認知できる世界の解像度が低い」という事実。 本書は大きく前後半の2パートに分かれていて、 前半では、 ・巷で言われている「AI」は実際にはその実現過程で生まれた「AI技術」と呼ぶべきものであり、本来志向された意味での「人工知能」と呼ぶにははるかに足りない代物であること ・その技術の延長にシンギュラリティが訪れることも無いだろうこと ・そうであるにも関わらず、そのAI技術によって現在のホワイトカラー労働者の多くを代替しうること ・しかもそのオートメーションの波がこれまでの産業革命とは比較にならない速度で、わずか20年間に圧縮されて起こるだろう という予測が示される。 そうであるならば、AI技術に代替されないための行動と施策を、となるのが当然の考えだ。 AI技術には実のところ3つのものしか扱うことができない
4年前の「AIがチューリングテスト合格」騒動は何だったのか
「人間と同じ知能を持った人工物を作る」という人間の夢は、古くはギリシャ神話、錬金術、機械人形など、さまざまな形で実現しようとしてきました。 1940年代ごろから手法として「コンピュータ」が適切ではないかという議論が行われ、いろいろな実験が行われるようになります。56年にダートマス会議が開催されると一気に人工知能開発の黄金時代を迎え、その後は皆さんご存じの通り2度のブームと2度の冬の時代を乗り越えて、現在第3次ブームが到来しています。 ところで、人工知能が完成したとして「人間と同じ知能を持つ」とどのように証明すればいいのでしょうか。 この難題の解決策として、「あるテーマで人間と戦い、人間に勝つ」ことを目標にしました。なぜなら同じルールの下で人工知能が人間に勝てば、人間のような知能があるとも言い換えられるからです。その結果、チェス、クイズ、将棋、囲碁などの分野でゲームAIが作られ、人間は負け続
翻訳：シンギュラリティが宗教である10個の理由 - シンギュラリティ教徒への論駁の書
以下は、ウィリアム・パターソン大学哲学教授のエリック・スタインハート氏の記事 "The Singularity as Religion" の翻訳です。 宗教としてのシンギュラリティ シンギュラリティにまつわる文化と言説のほとんどは、宗教的であると思う。この考えは、部分的には、デイヴィド・ノーブルの本『The Religion of Technology』とロバート・ゲラチの『Apocalyptic AI』を読んだことに基づいている。どちらも素晴しい本である。また、私はテクノロジーと宗教に関する書籍や記事のリストを編集して、ウェブサイトに掲載している。 宗教としてのシンギュラリティは、完全に悪いものではないかもしれない。宗教はいろいろな形でポジティブな力となりうる。少なくとも、シンギュラリタリアニズムは新たなタイプの興味深い宗教運動となりうるだろう。 なぜシンギュラリティは宗教であると考える
翻訳：人工知能 — 革命いまだ成らず - シンギュラリティ教徒への論駁の書
以下は、カリフォルニア大学バークレー校のコンピュータ科学、統計学教授マイケル・I・ジョーダン氏の記事 "Artificial Intelligence — The Revolution Hasn’t Happened Yet" の翻訳です。 人工知能 — 革命いまだ成らず 人工知能 (AI) は現代の真言(マントラ)である。この言葉は、技術者、研究者、ジャーナリストやベンチャーキャピタリストによっても唱えられている。他の数多くの言葉と同様にテクニカルな学問分野から一般的な流通へと至るにつれて、言葉の用法に著しい誤解が伴っている。けれども、一般大衆が科学者を理解できないのは今に始まったことではない。—ここでは科学者もたいてい一般人と同様に混乱している。現代は、人類自身の知能と競合するシリコン製知能の出現を目撃しつつあるという考えは、我々みんなを楽しませるものだ。—我々を魅了し、また同じ程度
英国ノッティンガム大学等、1枚の2D顔写真から3D顔モデルを機械学習を用いて作成するアルゴリズムを論文にて公開。任意の顔画像ですぐ試せるオンラインデモあり
英国ノッティンガム大学等、1枚の2D顔写真から3D顔モデルを機械学習を用いて作成するアルゴリズムを論文にて公開。任意の顔画像ですぐ試せるオンラインデモあり 2017-09-15 英国のノッティンガム大学とキングストン大学の研究者たちは、単一の2D顔画像から3D顔モデルを推測し作成するアルゴリズムを論文にて発表しました。 Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression（PDF） AaronJackson/vrn（GitHub） 単一の2D顔画像から3D顔モデルを推測するために、60,000枚以上の2D写真と3D顔モデルデータセットを畳み込みニューラルネットワーク（CNN）で訓練しました。 ブラウザ上で今すぐ試せるオンラインデモも公開されており、任意の顔写真をア
「人工知能は、黒魔術の影響が強くなっている」――“最強将棋ソフト”Ponanza開発者が語る
「人工知能の分野では、だんだんと黒魔術の影響力が強くなってきています」――“最強将棋ソフト”「Ponanza」を開発した山本一成さん（愛知学院大学特任准教授）が、NHKの番組「視点・論点」で語ったこんな話が、NHKの公式サイトに掲載され、注目を集めている。 記事によると、10年前、山本さんが「Ponanza」を作った当時は、アマ5段の山本さんが8枚落ちのハンデを付けても勝ってしまうほど「とても弱い将棋プログラム」だったが、わずか10年で名人に勝つまでに成長した。 Ponanzaに限らず、人工知能が飛躍的に成長する中で「人工知能の性能を上げるほど、なぜ性能が上がったのかを説明できなくなっている」という「少し困った状況」が起きていると、山本さんは話す。人工知能研究の分野では、「どうやって生まれたのか、あるいはなぜ効果が出るのかわからない技術の総称」として、「黒魔術」という言葉がスラングとして定
エピソード - 視点・論点
１０月からパートなどで働いている人の社会保険適用拡大がスタートしました。今回の措置で新たに２０万人程度が加入対象になりました。どのように変わったのか解説します。
中国の人工知能研究が日本を一気に抜き去った理由 : 深読みチャンネル : 読売新聞（YOMIURI ONLINE） 1/4
コンピューターで人間の頭脳を代替する人工知能（ＡＩ）の研究競争が世界で 熾烈 ( しれつ ) さを増してきた。中でも中国の伸長が著しく、ＡＩで東京大学合格をめざす日本のプロジェクトを模倣した中国版「難関大学突破プロジェクト」も始まった。産業応用を狙うと言い、技術交流を日本側に持ちかけてきた。中国側の狙いはどこにあるのか。日本側のプロジェクト・ディレクターである新井紀子・国立情報学研究所（ＮＩＩ）教授に寄稿してもらった。 ＊新井教授の横顔は こちら １９８０年代初頭に茨城県つくば市を訪れたことがある。研究機関らしい巨大なビルが点在する広大な空き地の上を、建設作業車が土埃(ぼこり)を上げて雑草をなぎ倒して行く。あの頃のつくば市によく似ている。それが私の中国・合肥の第一印象である。 私は２０１５年７月、合肥にある「ｉＦＬＹＴＥＫ」（アイフライテック；科大迅飛）という新興ＩＴ企業で開催される“中国
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hatebu.me
バラク・オバマが伊藤穰一に語った未来への希望と懸念すべきいくつかのこと
人間対AI：囲碁9段の解説者、解説できず視聴者に謝罪 Chosun Online | 朝鮮日報