タグ

ブックマーク / note.com/shi3zblog (3)

  • AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから|shi3z

    昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた 我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。 ChatGPTには限界がある。しかも低い。 だから通常はPluginと組み合わせたり、プログラムから呼び出したりするという「工夫」が必要になる。 GPTを使うプログラムを書くのはものすごく簡単だ。 たぶんプログラムの世界でも最も簡単な部類だろう。 たとえば僕がプログラムでGPTを使おうかなと思った時、こんなふ

    AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから|shi3z
    omega314
    omega314 2023/10/03
    難しくても数学やれ。
  • プレ・シンギュラリティ、もう始まってない?|shi3z

    毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIAIを設計している部分

    プレ・シンギュラリティ、もう始まってない?|shi3z
    omega314
    omega314 2023/07/27
    また生成AIみたいな言葉に中身が伴わない文章書いてるのか。理論や技術の本質を掴めない(意味が分かってない)奴に限ってSOTAって言いたがる定期。(←DL界隈を過学習した人)
  • AIを学ぶのに必要な最低限の数学の知識は5つだけ!|shi3z

    最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘

    AIを学ぶのに必要な最低限の数学の知識は5つだけ!|shi3z
    omega314
    omega314 2023/06/16
    自信満々に「代数幾何学」についての理解が誤ってるの、まるでAIが吐く文章感ある。「基礎」を疎かにするから…。 / 渡辺澄夫ベイズ理論は素晴らしいぞ。(私もまだまだ勉強できてないけど)
  • 1