教師AIが生徒AIを学習させる「蒸留」 学習というのは、AIのなかにある定数を調整することを意味します。この調整には膨大な計算が必要で、定数の数も、規模が大きいものでは数千億個といった膨大なものになります。 また、一度学習したAIに対して、新しいデータセットで微調整をかける学習を行うことができます。これをファインチューニングと言います。
AIはいったい何を「学習」しているのか…「生成AIにできて、コンピュータには決してできないこと」とは 「ChatGPT維持費1日7000万円」問題も解決に向かう AIの発展には人類の発展が必須だった ・大規模なデータセット:インターネットが発達したことで、膨大な量のデータ、とくにテキストと画像が利用可能になり、AIモデルはこれらのデータセットからパターン、構造、およびコンテキストを学習できるようになった。 ・高度な機械学習アルゴリズム:ディープラーニングや強化学習などの機械学習アルゴリズムの進化により、コンテンツを理解して生成できる複雑なモデルの開発が可能になった。 ・計算能力:ゲームや映画で利用されていたGPU(Graphics Processing Unit:画像処理装置)が高性能化し、低価格になったことで、GPUを使ったスーパーコンピュータが誕生したこと。さらに最近は研究が進み、特殊
AIはいったい何を「学習」しているのか…「生成AIにできて、コンピュータには決してできないこと」とは 「ChatGPT維持費1日7000万円」問題も解決に向かう コンピュータが不要になる未来が訪れる 人工ニューラルネットワークは、前述したようにマッチ箱とビーズのような素朴なものでも作ることができます。しかし、それを使って学習したり推論したりする作業は膨大なものになります。 そして、人工ニューラルネットワークがいかに「説明不能なものの関係を学習できる」機械だとしても、それが機械である以上は、必ず「学習する手順」と「推論する手順」は説明可能でなければいけません。そして、説明可能なものであればどんなものでも扱えるのがコンピュータという自動機械ですから、人工ニューラルネットワークの研究にとっては、コンピュータというのは都合のいい道具なのです。 要するにいま、コンピュータの上で人工ニューラルネットワ
エイダは類稀なる数学の才能を持つ女性で、バベッジの示した解析機関の講義を聞いて、「解析機関は、手順を説明可能ならばどのような処理もできる自動機械である」と考えました。これは、そっくりそのまま、現代のコンピュータの原理に当てはまります。 逆に言えば、コンピュータの限界も同時に示されていました。 つまり、コンピュータという機械は、「手順を説明されなければなにもできない機械」でもあるわけです。 「説明なしで学ぶ」を実現したAI これに対し、AI、とくに最近注目されているディープラーニングに用いられるAIは、人工ニューラルネットワークと呼ばれています。人工ニューラルネットワークの目的は、「手順を説明することなく、入力と欲しい出力だけを示せば、その過程を自動的に学習する機械」です。 コンピュータに必須であったはずの「手順の説明」を丸ごと省こうというのが人工ニューラルネットの根底にある考え方です。 「
昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた 我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。 ChatGPTには限界がある。しかも低い。 だから通常はPluginと組み合わせたり、プログラムから呼び出したりするという「工夫」が必要になる。 GPTを使うプログラムを書くのはものすごく簡単だ。 たぶんプログラムの世界でも最も簡単な部類だろう。 たとえば僕がプログラムでGPTを使おうかなと思った時、こんなふ
More than 300 people seek compensation for being sexually abused by the late Johnny Kitagawa.
「Googleの組織的強さ」ってどこにあると感じますか?ちなみに、日本の会社にそれに近い強さ、をもつ会社はありませんでしょうか。 眼の前の仕事を上手くやる、という技芸レベルの話では実はそれほど他社との決定的な差はなく、組織として上手く行ってるのはとにかくスケールする事を意識しているのがポイントではないかと思っています。 組織構造のデバッグが上手仮に全社員が優秀で与えられたタスクを誠実にこなしていても、組織を大きくしていくと部署間で細かい矛盾が起きたり正義が衝突することは珍しくありません。また衝突しなくても特定の問題を解決する部署が事実上存在しなかったり問題自体が放置される事は一般的な組織において珍しくありません。 Googleが組織として上手くやっているなと感じるのはそういった組織内での矛盾を早期に見つけて自発的に解決しようとし続けているという点です。技術の創造と設計という本から図を引用し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く