RWKVを論文と実装から読み解く
RWKVとは 昨今GPTをはじめとしたtransformerベースの大規模言語モデルが流行しています．transformerの重要な要素であるSelf-Attentionは，長距離の依存関係を学習するできるというメリットがある一方で，シーケンス内のすべての要素と他のすべての要素との依存関係を計算するために，計算量とメモリ使用量がシーケンス長の二乗（つまり、トークンの数の二乗）に比例してしまうという問題があります． 一方でRNNベースのモデルは，メモリと計算要件の面で線形にスケールしますが、並列化と拡張性の制限からtransformerと同等の性能を達成することが困難です． そこで，transformerの効率的な並列学習と，RNNの効率的な推論の両方を兼ね備えたモデルとしてRWKV（Receptance Weighted Key Value）という新たなモデルアーキテクチャーが提案されまし
パワポ芸人・トヨマネが徹底解説！ 見づらい資料と見やすい資料の違いはココだ - ミーツキャリアbyマイナビ転職
あの先輩が作っていた資料、めちゃくちゃカッコよかったな……。 SNSで話題になっていたあのスライド、すごく見やすかったな……。 そんな憧れの資料は、Microsoft PowerPoint（以下、パワポ）を使って作られていることが多いです。 ビジネスパーソンにとって身近な、資料作成・プレゼンテーションツールのパワポ。しかし、自由自在に使いこなし、見た人を引き込むような資料を作るのは簡単ではありません。 憧れの資料をマネしたはずが、情報を詰め込み過ぎて見づらくなったり、図やイラストを活用して見やすくしているつもりがかえってごちゃごちゃしたり。パソコンを前に、頭を悩ませた経験をお持ちの方は多いはずです。 一体、パワポ資料ってどうやったら見やすくなるのだろう。 そんなモヤモヤをぶつけたのは、パワポ作成の達人、通称“パワポ芸人”として活動されているシリョサク株式会社代表のトヨマネ（豊間根青地）さん
とにかく日本の住所のヤバさをもっと知るべきだと思います｜inuro
「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが（2023年6月6日）、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日本の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン
2023年6月5日 ナイスネイチャ 最後のご報告｜渡辺牧場だより｜引退馬協会
渡辺牧場さんから、ナイスネイチャの報告が届きました。渡辺はるみさんによる手記です。長きにわたりナイスネイチャを支え、献身的なケアを続けてこられたはるみさん、そして渡辺牧場のみなさまに、心より感謝申し上げます。 ＊ ＊ ＊ ナイスネイチャは、5月30日12時40分、安らかに息を引き取りました。大変長い年月を、多くの皆様に深い愛情を持って支えていただきましたことを、心から感謝申し上げます。長文になりますが、ナイスネイチャの最後の闘病記録として残したいと思います。 【食欲が落ちてきた頃】 この春、青草が生えてきた頃から厩舎内で食べる飼い葉（粉末をぬるま湯で練って離乳食状にしたもの）の量が徐々に減って来ました。そのため、5月6日に血液検査をしたところ、異常はありませんでした。 5月上旬から特に偏食気味になり、切り草(乾草)やビートパルプは食べようとしていました。このような傾向は胃潰瘍の馬によく見ら
Vue3の衰退を招いたのは<script setup>とCompositionAPIかもしれない という考察 - Qiita
[6/8 12時頃追記] Vueは死んでないし殺すつもりもないし私はVueが大好きだ、誤解しないでほしい Vue3でOptions APIは消えてないし今後消えていく方向のAPIでもないし挫折した人もこっちつかって再挑戦してほしい [6/8 11時頃追記] 「俺はComposition API使えてるぞ！」「便利じゃん！何をいってるんだこいつは！」 あなたはすごい、でもVueを挫折した人の話を聞くに、Composition APIが「アタリマエでしょ？」の雰囲気の前にうまく馴染めず散っていったという話で、Composition API自体は好きです Vue3の衰退を招いたのは<script setup>かもしれないCompositionAPIという考察 ほとんど肌感であり、根拠のない妄言だと思ってもらって構わないのだが、Vue3のリリース以降Vueが流行から離れつつあり、その原因は<scr
管理や報酬と結びついた目標は“チート”を誘発する モラルを崩壊させない「目的ベースの目標設定」のやり方
NTT Comの技術顧問が「目標設定の基本」について講演する「エンジニアリングマネージャーと目標設定」。ここで株式会社アトラクタ Founder兼CTO / アジャイルコーチ兼NTT Comの技術顧問の吉羽氏が登壇。目標設定のやり方とその運用方法について話します。 「定量的に判断できる目標が良い目標」なのかはまぁまぁ怪しい話 吉羽龍太郎氏：さて、本題に入っていきたいと思います。今日はどういう方が（このセッションを）聞いているかはわからないんですが、目標設定の時に、特に上司の方からよく言われる話ってこういう話なのかなと思います。 「目標を設定する時は、達成できたかどうかを定量的に判断できるようにしましょう」。「定量的に判断できる目標が良い目標なんだ」と。（言われたことがある方は）リアクションとかで教えてくれるとうれしいです。 僕もいろいろな会社に勤めましたが、若い頃とかによく言われた記憶があ
Vision Proを体験した人たちの感想を見て、僕はちょっと凹んでいる… #WWDC23
Vision Proを体験した人たちの感想を見て、僕はちょっと凹んでいる… #WWDC232023.06.07 19:3055,787 山本勇磨 悔しい…。 Vision Proを体験してる現地勢のツイート見てちょっと凹んでいます。今のところ国内でVision Proを触れているのは一部のITジャーナリストやメディアの数人程度。ギズモード・ジャパンでも綱藤さんが触ってきました。 正直、ここに立ち会えてなくてめちゃくちゃ悔しい…。なぜ、ここに呼ばれていないんだ、この日のためにテックが好きじゃなかったのかよ…！という気持ちです。 それくらいこのVision Proは未来を変えるプロダクトだと感じています。 こういったAR/VR系のデバイスは、体験するまで結局わからない、という特性の強いプロダクトだと思っています。だからこそVision Proを触った人の説得力は強すぎて、テックを追いかけている
AIと3Dを利用したアニメ制作 統一性のある背景を様々なアングルから生成｜abubu nounanka
こんにちは。一般クリエイターです。前回からlineart(AI着色)を利用したイラスト製作を色々と試していましたが、lineartを使用することでかなり細部に渡って生成物の形状を制御できることが分かってきました。3D背景と併用することで、統一性のある背景を様々なアングルから描写することができます。これによって「AIが生成する背景は描写毎に形が変わってしまうので、同一室内の複数カットを作成できない」という問題がある程度解決されてしまいました。されてしまいましたよ！ある程度！ なので今回は3D背景モデルを使用して３カットほどシーンを生成させて何かアニメっぽいやつ作りたいと思います。作業手順はだいぶ複雑になりますので、「AIを活かしてなんか作品作りてえな～」と思ってる人向けの内容となっております。AI着色を使用したイラスト作成に関しては前回記事を参照してください。 まずは今回のアニメの舞台となる
直感を超えたソフトウェア開発８つの常識と注意点 | Social Change!
2023年6月10日に発売の拙著「人が増えても速くならない ～変化を抱擁せよ～」は、経営者やマネージャの方々がソフトウェア開発の経験がなかったとしても、その本質を掴めればと思って書きました。 今や経営や事業をしていく上でITを使ったシステムは欠かせなくなっており、関わらないわけにはいきません。特に、事業そのものにソフトウェアを内包している場合において、ただ使うだけでなく開発して活用していく必要があります。 そこでソフトウェアと、ソフトウェアを作るエンジニアたちをマネジメントしていかねばならないとき、従来通りのマネジメントをしていると、うまくいかないときが出てきます。 ソフトウェアとエンジニアのマネジメントは、ともすれば直感的なものから外れていることがあります。本のタイトルにある「人が増えても速くならない」のも、その一つです。 本書では章の目次ごとに、そうした直感とは違っているソフトウェアな
「大規模言語モデル（LLM）カオスマップ」2023年度6月版が公開
株式会社ANOBAKAは、直近の大規模言語モデル（LLM：Large Language Models）の開発競争の激化を受け、Generative AI領域で起業を考えている人への参考情報として「大規模言語モデル（LLM）カオスマップ」2023年度6月版を公開したと発表した。 大規模言語モデル（LLM：Large Language Models）とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルだ。2022年11月に発表され大きな話題となったChatGPTも、2022年初頭にトレーニングした「GPT-3.5シリーズ」を対話向けにファインチューニングしたものであり、大規模言語モデルの応用例の一つだ。 米国同様、日本でも今後アプリケーションレイヤーのGenerative AIスタートアップが多数勃興することが予測されるという。アプリケーションレイヤーのGenerative
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
