Darren Doyle氏がGreyfox Booksよりリリースする予定だったメガドライブに関する書籍『Mega Book Collection Digital Book』のPDFを無料配布中です。 ●Mega Book Collection Digital Book https://www.greyfoxbooks.com/product/mega-book/ この『Mega Book Collection Digital Book』は、よく海外で見かけるレトロゲームのアートワークやパッケージなどをグラフィカルなデザインで編集したもので、英語ではありますがビジュアルを見ているだけでも楽しい気分にさせてくれるものとなっています。 書籍自体は2021年にセガから要請を受けて発売中止になったもので、Darren Doyle氏はこれまでの苦労を無駄にするのではなく無料公開することを決めています

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動

フリーランスのWebエンジニアとして仕事をする上で、いつも気をつけていたことをつらつらと書いてみます。 フリーランスやっている人、興味ある人の参考になれば。 ※情報商材みたいなタイトルになったけど中身は真面目（多分） ※（一行だけ宣伝）今はSALESCOREでCTOやってます！積極採用中です！自分に興味もっていただけた方、お気軽にご連絡ください！ 自分についての情報フリーランスのWebエンジニアを2年半 当時はRails, Vue.js, Reactがメイン(2018-2020) 情報系の大学院 → メガベンチャー2年 → スタートアップ2年からの独立 今はSALESCOREのCTO 単価は相場の最高額くらい お金の話あんまりしたくないが、みんな興味あると思うので一応 一度お世話になったFindy Freelanceさんの募集を数年ウォッチして、自分がFindyさんで受けた案件が頭を抜けて

最近の核融合発電の開発競争で最速の核融合開始計画は、今のところ米国のスタートアップであるHelion Energyで、2024年。商用発電開始は2028年で、既に米Microsoftと売電契約まで結んだ。 もっとも、Helion Energyの方式は非常に斬新で、多くの“伝統的”な核融合研究者はその実現性に懐疑的だ。彼らが指摘する課題は少なくとも2つある。具体的には、（1）想定する“燃料”が、重水素（D）とヘリウム3（3He）で、“点火”させるのにはセ氏10億度前後の高温が必要なため、非常に大きなエネルギーを投入しなければならない、（2）核融合のエネルギーをどこまで効率良く電力に変換できるか未知数、の2つである。（1）と（2）をまとめて言い換えると、核融合で発電できる電力が、核融合を起こさせるのに投入するエネルギーを大きく上回ることが容易ではないのである。 一方、核融合発電の開始予定時期が

App Router への移行は「改善」となり得るのか？/ Can migration to App Router be an improvement

■ はじめに <div>要素にonClickを渡すべきではない、ということ聞いたことはないでしょうか？ ただ、なぜ渡すべきでないのか？ 理解してなかったので今回調べてみました。 サンプルコード 今回動作確認に利用したサンプルリポジトリのコードはReactで書いています。 ■ 結論：<div>にonClickを定義するのがなぜダメなのか？ ユーザーにとって操作性の低いボタンになってしまうから、です！ 要するに UX が悪くなってしまうから！ その理由を解説していきます！ ■ 操作性の低いボタンになってしまう理由 大きく３つあると考えています。 div要素は focus を持たないから returnキー, spaceキーをonClickに変換しないから スクリーンリーダーが認識しない要素だから ◎ focus を持たないから <div>要素はfocusを持ちません。 なので、tabキーで要素に

🗃 {Dev/Infrastructure/Docker/OrbStack} 🏷 Docker 🏷 OrbStack 🏷 kind 🏷 MetalLB 🗓 Updated at 2023-06-18T23:45:47Z  🗓 Created at 2023-06-16T04:09:56Z   🌎 English Page OrbStackは軽量・高速を謳うDocker Desktop for Macの代替です。 drop-in replacementであり、Docker Desktop for Macと同じくdockerコマンドが使えます。 https://orbstack.dev/ リソース消費が少ない & 起動が速い DockerだけでなくLinux Machineも使える Macのホストからコンテナ/Linux Machineに直接アクセスできる(!) 自分はDock

Memray公式サイトのキャプチャ インストール方法は以下のとおりです。 $ pip install memray Memrayの基本的な使い方 Memrayがインストールされていると、memrayコマンドが使えるようになります。 プロファイリング対象のスクリプトをmemrayから実行すると、スクリプトを実行した同じフォルダに実行時のプロファイリング結果がバイナリ形式でファイルに保存されます。 プロファイルの実行 サンプルのPythonスクリプトとしてsample.pyを準備します。以下のコードでは、状態表示をわかりやすくするために1秒間の待ちを入れています。実行内容は、リスト内包表記で要素数が約1億個のリストを生成しています。 sample.py - リスト内包表記でリストを作る import time time.sleep(1) # 状態表示をわかりやすくするために1秒待つ resul

ビルゲイツ、自分の限界を知りプログラムを書かなくなったわけ 1970年代の後半から1980年代の初頭においては、㈱アスキーがマイクロソフトの代理店として活動していた時代がありました。その頃は西和彦さんが次々と日本の会社へのアプローチを実現し、多くの日本人プログラマが日本だけではなく、アメリカに長期滞在して日本向けのBASIC言語その他の移植作業をしていました。1982年前後はIBMPCの出荷に併せて日本のメーカーによるIBM互換機の投入に並行して、8ビット機としての終焉を飾るPC-88シリーズから、世界初のGUIべースのパソコンNEC PC-100,　日立のBAISCマスター、沖電気のif800、NCR9005、YE-Data、ALPSなどのハードウェアが次から次へとシアトルのマイクロソフト本社に持ち込まれBASIC言語の移植に日夜、日本人も関わりを持っていました。当時の開発環境はDEC社

みんなお世話になっている TypeScript のコードを読みたいと思ったことはないだろうか。読んだ。 一週間ぐらいかかった。完全に読み切ったとは言えないが、概要は掴んだ。 なかなかに複雑でドメイン知識を得るのが難しかったので、これから読む人向けに、登場人物や概念を整理して紹介したい。 読んだのは 2023/6/8 時点で git clone したコード。 最初に: 自分のゴール設定 複数ファイルにまたがった参照を、 TypeScript の Language Service が提供する findReferences() や findRenameLocations(), goToDefinitions() を使って、インクリメンタルに書き換えたかった。 Terser を使うと、今触ってるオブジェクトが何で、何のメンバを書き換えたかの情報が残らない。これを TypeScript のレイヤーで

アマゾンプライムで見られるから、アマプラ契約している人は是非見て欲しい。 事前情報が一切ない状態で見始め、気づいたらラストまで笑い続けてしまっていた。 簡単に言うと、学校給食を舞台にした孤独のグルメ。孤独のグルメと違うのは、給食好きな二人によるバトル者である点。給食バトル？という意味不明なテーマだけど、これが実によくできている。その詳細は本編に委ねるとして、特に主演の市原隼人演じる甘利田幸男の怪演は必見だ。 とにかく甘利田の食べっぷりはいい。全ての給食を肯定し、給食センターと開発した料理人に感謝をし、残すことなく平らげる。全身全霊で美味しさと喜びを表現し、多幸感で脳と胃が同時に満腹になった表情をする。給食に対しての誠意を真正面からぶつけつつ、それを周りには決して悟らせないようにするのが彼のモットーだ。邪道を嫌い、正道に生きる男。それが甘利田。 給食を愛し、給食のために学校に来ていると言って

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transformers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.logits, params=dict(

ラックについて 今回買ったラックは、なぜかネジを締めるとWIFIが繋がらなくなる事象が発生した。多分金属製だからと思われる。 面白いことに、手をラックの近くに置くとWIFIがつながる。（繋がらない場合もある） すべてのラズパイがWIFI接続というわけではなくmasterのみなのであんまり影響がないが、本事象は完全に想定外だったのでラック選びは要注意。 ラックの組み立て ​説明書あったが、ネジの種類のラベルが貼っていなくて全然分からなかった。 ので、公式が動画を出しているのでこちらを参考に組み立てた。 なぜかネジが足りなかったり余ったりしているが、ガタガタしていないので一旦気にしない。 OSをSSDにインストール ​OSは「Ubuntu Server 22.04.2 LTS(64bit)」を使う。 歯車のところからWIFIやssh、キーボードレイアウトなど設定をよしなにやる。 Mac側の接続

はじめに みなさん、デジタル庁のサイトはご覧になったことはありますか？今話題のデジタル庁です。 こちらが2023年6月現在のデジタル庁のサイトです。やばくないですかこれ？最初見たときこれ「やっばw」と思いました。これからこのサイトのやばさを語っていきたいと思います。 洗練されたシンプルさ、そしてデザイン 僕は最初見たときびっくりしました。「なんてシンプルで見やすいんだ！」官公庁のサイトですよ？官公庁のサイトといえば、細かい字がずらっと並んで見づらいイメージでしたが、デジタル庁のサイトはとことんシンプルさを追求して見やすくしてます。フォントもNoto Sans JPを使われててとても読みやすい。黒も #000 でなく見やすい色になっている。 やばいですねこれ。 そしてこのレイアウトを見たとき、余白のおかげでとても見やすいなと思いました。そこでChrome Dev Toolでレイアウトを見てみ

Windows環境でLLMをPEFTでファインチューニングしようとしたとき、ほぼ必ずbitsandbytesというライブラリのエラーに悩まされると思うのですが、こちらの記事ではその対処法が書いてあります。助かりました。 そして、npakaさんの上記の記事を参考に、Google Colabではなくローカルで動かしたという感じです。 キャラクター性が一貫したLLMを作るための最初のテストに最適「一貫したキャラ性を持った回答をするAIを作りたい」 「でもライセンスの問題もなくキャラ性を保ったままそれなりの規模があるデータセットなんて無い」 「自分のツイートを使えばいいのでは💡」 そんなことを考えて、自分（@matsu_vr）の過去ツイートで、日本語LLMのrinna/japanese-gpt-neox-3.6bをファインチューニングしたところ、思った以上に「俺っぽい」ツイートを生成することがで

【Ver. 3.6に改訂】ChatGPT学術英語ライティング添削・改訂プロンプト -- 語法添削の後にまず米国の大学入学レベルの改訂を出力し、次に学術ジャーナルレベルの改訂を出力します 追記（2023/11/14） このプロンプトは、改訂（書き換え）の例を3種類に増やしたVer.4に改訂しました。プロンプトの細かな表現も改善していますので、このプロンプトに興味のある方は、下の記事をご参照ください。 【Ver.4に改訂】 ChatGPT学術英語ライティング添削・改訂プロンプト --　語法添削と3種類の改訂例を出力します。 https://yanase-yosuke.blogspot.com/2023/11/ver4chatgpt-3.html *** ここに公開するChatGPT用のプロンプトは、先日公開した「ChatGPTに学術英語ライティングの指導をさせるプロンプト」（以下、Ver. 1

Markdown + AI（GithubCopiotX）の驚異のタッグ！💥 2023年新世代の爆速ライティング体験へようこそ！💻いま、✨GithubCopiotXでMarkdownを作らないで、いつ作りますか？MarkdownVSCodegithubcopilotChatGPTMarkdownViewer 新世代のライティング体験 VSCode Insider＋GitHub Copilot nightly(Chat機能)で快適なMarkdown執筆体験を実現！ Markdown Viewerでリアルタイムにプレビューを確認しながら執筆可能！ Typoraを使っていた頃のライティング体験とは比べ物にならないほど快適！ ChatGPTと比べても、MarkDownを理解して会話ができるので便利すぎる！ ※2023/06/09追記(Chat機能など）ベータプレビュー版の機能について一旦削除m(

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス

2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(