tradeの検索結果1 - 2 件 / 2件

• あとで読む

  ついに来るのか!?拡散言語モデル｜shi3z

  • 66 users
  • note.com/shi3zblog
  • テクノロジー
  • 2024/10/31

  我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散モデルで有名なのは、StableDiffusionで、主に画像生成に使う。 実は画像生成は最初はTransformerだった。OpenAIのDALL-Eは、Transformerとして画像生成を行なった。しかしTransformerには明らかな欠点があり、それはあまりにも膨大な計算量が必要なことだ。 Transformerの事前学習プリトレーニングには、今でも天文学的な計算資源が必要だし、微調整ファインチューニングにも今なお膨大な計算機が必

  • AI
  • 機械学習
  • あとで読む
  • shi3z
  • research
  • 研究

  
• あとで読む

  We’re leaving Kubernetes - Blog

  • 31 users
  • www.gitpod.io
  • テクノロジー
  • 2024/11/05

  Kubernetes seems like the obvious choice for building out remote, standardized and automated development environments. We thought so too and have spent six years invested in making the most popular cloud development environment platform at internet scale. That’s 1.5 million users, where we regularly see thousands of development environments per day. In that time we’ve found that Kubernetes is not

  • kubernetes
  • あとで読む
  • セキュリティ