タグ

2023年4月29日のブックマーク (4件)

  • 謎だらけのAI、深層学習の賢さ説明できず 人の意図超す - 日本経済新聞

    Chat(チャット)GPTなど話題の生成人工知能AI)は人間のような自然な文章やイラストをつくりだす。脳の神経回路の働きをモデルとする「深層学習(ディープラーニング)」と呼ぶ技術が基盤となる。登場して20年近くたつが、なぜ優れているのかはわかっていない。数学や統計学を駆使して謎解きに挑む研究が進んでいる。「深層学習はなぜうまくいくのか。正直にいえば、よくわからないところがある」。深層学習の原

    謎だらけのAI、深層学習の賢さ説明できず 人の意図超す - 日本経済新聞
    T-norf
    T-norf 2023/04/29
    ちゃんと「分からない」と言ってくれる専門家がいると安心する。画像処理なら、まだどっかに変換フィルターみたいなの作ってるのかなと想像してたけど、言語処理だと、多数の論理回路あるはずで想像もつかない
  • 竹中平蔵氏はひどく賢い|shinshinohara

    竹中平蔵氏はひどく賢い人だと思う。「頑張る人間には報い、そうでない人は淘汰される、それが競争社会、これからそれがますます加速する」と主張。この論理は実に巧み。高給をもらっている人は「自分が頑張っているからだ」と自信を深める。貧困にあえぐ人は自分に力がないからだと自らを責める。 しかし有能だとされて高給をつかむのはごく一部。そうでない人は派遣社員や契約社員などになるしかなく、正社員でも給与水準を下げられ。こうすると、高給取りと正社員と派遣・契約社員とが互いにいがみ合う。労働者同士で反目し合う。「協働」が難しくなってしまう。 「これから競争社会になる」と言えば竹中氏に非はなく、世の中が勝手にそうなるのだと、世界のせいにできる。 こうした構造を作った上で、派遣会社の会長におさまり、派遣社員から上前をはねて自分の収入にする。実に賢い。 また、労働者同士がいがみ合い、反目し合う中で、株主への還元をや

    竹中平蔵氏はひどく賢い|shinshinohara
    T-norf
    T-norf 2023/04/29
    私のバブル後の経済史観は全然違って、生産性の伸びは止まったのに「土地・株価・期待」だけで膨れ上がった日本経済の転落は決定的だった。失業・倒産を抑制するためには、年功序列正社員の削減は必要悪だったかと
  • RLHF (人間のフィードバックからの強化学習) の図解|npaka

    以下の記事が面白かったので、軽く要約しました。 ・Illustrating Reinforcement Learning from Human Feedback (RLHF) 1. はじめに言語モデルは、人間の入力プロンプトから多様で説得力のあるテキストを生成することで、ここ数年、目覚ましい成果をあげています。しかし、「良い」テキストかどうかは、主観的で文脈に依存するため、定義することが困難です。 「良い」テキストを生成するための損失関数の設計は難しく、ほとんどの言語モデルは、まだ単純な次のトークン予測損失(クロスエントロピーなど)で学習しています。この損失自体の欠点を補うために、BLEUやROUGEなどの人間の好みをよりよく捉えるように設計された指標も定義されています。しかしこれらは、能力測定において損失関数より適してますが、生成されたテキストを単純なルールで参照比較するため、制限があり

    RLHF (人間のフィードバックからの強化学習) の図解|npaka
    T-norf
    T-norf 2023/04/29
    この強化学習の教師役(報酬モデル)が、途中まで同じ学習を進めたベースモデルを教師向けにファインチューニングしてという、双子の兄を踏み台(猛特訓パートナー ?)にして高みに登るみたいな展開、なんかいいよね。
  • ChatGPTの運用コストは1日70万ドル…費用削減へマイクロソフトは専用チップを開発中

    Aaron Mok [原文] (翻訳:仲田文子、編集:井上俊彦) Apr. 28, 2023, 10:30 AM テックニュース 13,217 ChatGPTを稼働させるには1日最大70万ドル必要だとアナリストが試算している。 Pavlo Gonchar/SOPA Images/LightRocket via Getty Images ChatGPTは「高価なサーバー」を使っているため、OpenAIがそれを稼働させるのに1日最大70万ドルのコストがかかっているようだと、あるアナリストがThe Informationに語っている。 ChatGPTは、クエリに答えるために高価なサーバー上で大量の計算をしなくてはならない。 マイクロソフトは、密かにコストを削減するためのAIチップを製造しているとThe Informationが報じている。 ユーザーがChatGPTを使ってカバーレターを書いたり、

    ChatGPTの運用コストは1日70万ドル…費用削減へマイクロソフトは専用チップを開発中
    T-norf
    T-norf 2023/04/29
    OpenAIの全インフラ独占契約してるMSとしては、投機的実行であっても専用ハードを開発するインセンティブは巨大よね。単なるNVIDIA対抗か、transformer専用とかまで踏み込むか