2023年7月3日のブックマーク (3件)

  • スライド紹介: LoRAによるメモリ使用量削減の検証 - RevComm Tech Blog

    Research Engineerの大野です。 新しいスライドを公開したのでご紹介します。 speakerdeck.com スライドの概要 ここでは、機械学習モデルの学習の際のメモリ要件を下げることができる、Low-Rank Adaptation (LoRA) の評価を行いました。 言語モデルの大きさが加速度的に増えており、それに伴いハードウェアの要件が大きくなっています。第1回LLM勉強会の資料の図を下記に引用し、近年に作成された言語モデルのパラメータ数を示します。 第1回LLM勉強会の資料の図 評価では、対話要約のデータセットである[Gliwa 19]のSAMSumコーパス(コーパスへのリンク)を使用し、ファインチューニングに必要な時間とGPUメモリを計測しました。また、ROUGEスコアを使用してそのモデルの性能を評価しました。実験では、NVIDIA A10G Tensor Core

    スライド紹介: LoRAによるメモリ使用量削減の検証 - RevComm Tech Blog
  • アイの歌声を聴かせて - たいやき姫のひとり旅

    ネタバレ全開につき閲覧ご注意ください。 はじめに 当初、あまり気にかけていなかったのですが、SNSの評判が良くて観に行きました。評判通りの楽しいアニメ映画でした。 小難しく考える映画じゃなくて、とにかくミュージカルシーンに代表されるパンチ力あるポジティブな青春モノという作風です。インド映画みたいな楽しい手触りです。 AIと人間の共存について、一部追記(2021.11.3) 「サトミの幸せ、シオンの幸せ」(2023.7.2追記) 感想・考察 インド映画的な楽しさ溢れるミュージカル映画 インド映画的な楽しさについて考えると、やっぱり庶民の憤を、映画で憂さ晴らしする娯楽的要素がコアにあると思う。そして、そこに音楽による感情の爆発を乗せるという作風が強烈なスパイスになる。作は、まさにそんな魅力を持ったアニメ映画たと思う。 主人公のサトミは学校では孤立、ゴッちゃんとアヤは喧嘩中、サンダーは試合で

    アイの歌声を聴かせて - たいやき姫のひとり旅
  • 11-15章『ソフトウェアアーキテクチャ・ハードパーツ』読書会に参加してきた - 天の月

    yasashii-agile.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。 会の概要 会の様子 会全体を通した感想 会の概要 ソフトウェアアーキテクチャ・ハードパーツを読んで色々と議論をしていく会です。 ひとまずは読み切ることを意識してハイペースでを読み進めて、気になるところを書き留める形式で進めており、今回は第10章まで読んでいきました。 会の様子 今回も、詳細な議論は後回しにして、気になる部分や気がついた部分の共有をしていきました。以下のような話が挙がっていました。 このの説明だと、ワークフローとビジネストランザクションが似たような意味で使われているように思えるが、おそらくデータに対しての一連の処理が必要になる場合トランザクションと言っているように思える オーケストレーション通信スタイルは、Facadeパターンとかなり近しい

    11-15章『ソフトウェアアーキテクチャ・ハードパーツ』読書会に参加してきた - 天の月