概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo

TOPインタビューエンジニア不足は「業界全体」の問題。LayerX松本CTOに聞く「自走できるエンジニア不足」から脱する方法 日本CTO協会 理事　株式会社LayerX 代表取締役CTO 松本 勇気 東京大学在学時に株式会社Gunosy入社、CTOとして技術組織全体を統括。またLayerXの前身となるブロックチェーン研究開発チームを立ち上げる。2018年より合同会社DMM.com CTOに就任し技術組織改革を推進。大規模Webサービスの構築をはじめ、機械学習、Blockchain、マネジメント、人事、経営管理、事業改善、行政支援等を歴任。2019年日本CTO協会理事に就任。2021年3月よりLayerX 代表取締役CTO就任。開発や組織づくり、及びFintechとPrivacy Techの2事業の推進を担当。2023年、LayerX LLM Labsを立ち上げ所長に就任 多くの企業がエンジ

※2023/09/12追記 2023/09/11にアップデートパッチが配信されてゲームバランスが変更されたり知らない人が多すぎるターゲットアシストの仕様が公式サイトで説明されるようになりました。本記事はそれ以前の時期にキレた感想なので、今読んでも現在のゲームプレイとは一致しない可能性があります。 やりました。ARMORED CORE™ VI FIRES OF RUBICON™を…… www.armoredcore.net およそ10年ぶりとなるアーマード・コアシリーズの最新作。個人的にもアーマード・コアは2からⅤまでそこそこ長く付き合ってきたシリーズなので思い入れはあり、発売から二日間わーっと遊んでとりあえず一周したので感想をしたためます。 先に言っておくと割とキレ散らかしているので本作を楽しんでいる人の気分を害してしまう可能性があります。でもインターネットでいくらバズってるタイトルでも、

Appleは、同社の有名な顔認証システム「Face ID」をMacBookに導入しようとしているかもしれません。それが実現されれば、これらのデバイスのセキュリティが大幅に強化される可能性があります。今回の推察は、Face IDの利点とAppleのラップトップシリーズへの組み込みの可能性について詳述する、最近付与された特許から生じています。 今回の特許出願では、コンピューターの多面的な機能とそこに内蔵される機密データの保護の必要性を強調しています。これに対して、AppleはMacBookのセキュリティを強化するために、Face ID等の認証システムの統合を検討しています。 ただし、Face IDソリューションを導入しながら、MacBookの洗練されたフォームファクターを維持することが課題となります。Appleはこの懸念を認識し、「光パターン認識モジュール」を提案しています。このモジュールは、

例えば CMS の管理画面を考えます。 /posts に記事一覧画面、/posts/new に新規作成画面、 /posts/:postId に記事更新画面を置くような URL の設計はあるあるかと思います。 今回は /posts/new の画面はないほうが色々嬉しいと思った話をします。 新規作成画面があることで増える考慮事項 まず新規作成画面があると、どんな煩わしさがあるかを考えます。 下書き保存した時、どうする？ 新規作成画面で下書き保存をすると、内部的にはリソースの ID が採番されます。つまり下書き保存した段階で、それは記事更新画面になるはず。 その ID で URL を /posts/:postId に書き換えるかどうかを検討します。 筆者は React 一辺倒人間なので React 寄りの話にはなりますが、Next.js や React Router などでは /posts/ne

アップルのハードウェアで最高のゲームパフォーマンスを求めるMacユーザーは、業界標準を満たした最新のOpenGLドライバーの話で興奮するだろう。さらに驚くのは、これらのドライバーはアップルから提供されるわけではなく、アップルのハードウェア上でLinux（リナックス）を動かすLinuxコミュニティから提供されているものだ。 2月にリリースされたLinux 6.2カーネルでは、Appleシリコン、特にM1ファミリーが初めてメインラインとしてサポートされたが、Appleシリコンを使っているLinuxユーザーの多くはAsahi Linuxを使っている。 そのAsahi LinuxにOpenGL ES 3.1ドライバーが追加されたことは、アップルのハードウェアでLinuxを動作させる際に、最先端のゲームプラットフォームとしての潜在能力を解放するための重要なステップだ。ドライバー自体はオープンソースで

「著者や編集者に『図書館で／古本で』読みましたと感想をわざわざ言ってしまう人」の話がまたTwitter(X)とかで話題になった。「あなたへは一銭も払わないが、あなたのコンテンツは消費させてもらいました」と言うことになってしまう。 「変なマナーを作るな」「払えない人を排除するな」「商売の話と創作活動の話を分けて考えろ」等の意見も見られたが、現実的にはそれで金銭を得ている人に向かって（子供でなく大人が）普通はまあわざわざ言わないんじゃない、とは思う。 この「わざわざ」の意図について、「嫌がらせで言ってる」、「本との出会い方を大切にしてるからだ」、「特に何も考えてない（雑談の一種）」等の色んな説が出た。個人的には「相手に『わざわざ』言って後ろめたさを解消するムーブ」の一種もあるのかなと思ってる。 昔20代のときに職場で「OA推進担当（パソコンとかOA機器の管理する人）」をやっていて、同僚のおじさ