「Unreal Engine (UE) Advent Calendar 2022 その3」23日目の記事です。 はじめに OpenAIの音声認識AI「Whisper」がすごいらしい。これをUnreal Engineでリアルタイムに動かせるようにしたら応用範囲が広がっておもしろいんじゃないかと思いました。 （「異議あり！」って実際に声に出させたいよね） （NLPアドベンチャーを音声入力で、みたいな夢も広がる） しかし、いざやってみたらいろいろな課題にぶつかりました。この記事は、それらをどう解決したかの記録です。 目次 目標設定：C++とONNX Runtimeで実装する Whisperの処理の全体感 課題と対応 課題1：マイク入力と前処理をC++で実装する 課題2：Whisperの機械学習モデルをONNXにエクスポートする 課題3：ONNXモデルをtransformer＆FP16向けに最適化

現在、広くWeb業界やアプリ開発業界でコードを書き働く方を「エンジニア」と呼ぶという慣習があることは承知しておりますが、twitterで見かけて「不思議だな」と思ったので、書こうと思いました。「慣習に従おう！」であれば、不毛な議論なので、エンターテインメントとして楽しんでください（そうは言っても、私は結構真面目に書いていますが…）。 きっかけ Twitterで「エンジニアに数学が必要か」という議論が盛んに行われていたので。これについて、簡単に議論したいと思いました。その内容を、この記事に書こうと思います。 私の結論 私がこれまで受けてきた教育の中と、これから議論する参考文献などから、私の結論は「数学を使わない技術者はエンジニアではない」です。 ここで重要なのは「エンジニアは数学が必要」とか「エンジニアは数学は不要」とかいうことではないということです。 そもそも「エンジニア」とは何かについて

CPUはなんとARMのCPUを採用しています。(そのおかげでLLVMのターゲットに指定できる) ゲームボーイとの違い CPU 最大の違いはCPUです。ゲームボーイ(以降、GB)ではZ80を独自カスタムしたLR35902というCPUを使っていますが、このCPUは8bitで動作するCPUです。つまり命令のサイズが8bit(1byte)しかありません！ しかも、LR35902は掛け算命令など現代のCPUでサポートしている基本的な命令をサポートしていません。 これに比べてGBAに搭載されているARM7TDMIは32bit CPUです。つまり命令のサイズが4byteとGBの命令の4倍の大きさになります！ このおかげでCPUの命令セットがさまざまな命令をサポートできるようになりました。(まあ後述の理由で実質16bit CPUですが...) またクロック数もGBの4MHzから16MHzに伸びました。 B

フロントエンド用語を100秒で解説するチャンネルを作りました！ よかったらチェックしてみてください！ はじめに 以前書いた記事「Webページがブラウザに表示されるまでに何が起こるのか？」で ブラウザレンダリングについて詳細に知りたいという意見をいただいたので、調べてまとめてみました。 全体図 レンダリングの大まかな流れです。 HTMLのダウンロード サーバから送られてきたHTMLをダウンロードします。 HTMLの解析 サーバから送られてきたHTMLファイルは、「0」と「1」でできたデータになっています。 ブラウザは、サーバから受け取ったデータをそのままHTMLとして解釈することはできないので、自分で扱うことができる形、つまりDOMに変換する必要があります。この作業を 解析 ( Parse ) と言います。 HTMLをダウンロードしたら、すぐにこの解析作業に入ります。作業は以下のようなステッ