『（ある程度は読めるが）喋れない、聞けない』から、『TOEIC　815点（リスニング420点）まで、5時間ｘ10か月＝1500時間』 大学受験で英語が得意科目だったのははるか昔。喋れない、聞けないから脱却の必要があり、10ヶ月の猛勉強で、さほど苦労なく英語で世間話ができて、ニュースやTEDなら比較的楽に聞けるようになった。日常的に字幕なしの海外のYOUTUBEを見ているし、世界一人気があるというポッドキャスト『The Joe Rogan Experience』も、まだら状の理解ながら、テキストなしで楽しめるようになった。 僕の勉強量と成果のバランスが良いのかどうか、自信はない。勉強時間も、平均したら、一日5時間を大きくは超えないとは思うが、サボり気味だった期間もあり不正確である。 それだけの時間をかけたら、そりゃ、それぐらいにはなるわな、と思う方もいるだろう。 が、『TOEIC　815点』

50+ free and open-source animated components built with React, Typescript, Tailwind CSS, and Framer Motion. Perfect companion for shadcn/ui.

Promises in JavaScript can seem a bit daunting at first, but understanding what's happening under the hood can make them much more approachable. In this blog post, we'll dive deep into some of the inner workings of promises and explore how they enable non-blocking asynchronous tasks in JavaScript. I'm still working on making this blog better on mobile devices, mobile browsers don't always render t

Maximum Type-safety (incl. error handling)Makes your code more composable, reusable and testableExtensive library with a rich ecosystem of packagesClustering and Workflows (Alpha)

Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし

江口大和さん（元弁護士）が横浜地検特別刑事部から犯人隠避教唆の疑いをかけられ、逮捕されたのが平成30年10月15日。 彼はそれまでの任意の検事取調べにおいて被疑事実を否認していた。 そして、逮捕直後の弁解録取において彼は黙秘権の行使を宣言した。 日本国憲法第38条1項 何人も、自己に不利益な供述を強要されない。 ところがそこから約21日間、合計約56時間、一言も話さない江口さんに対して、横浜地検特別刑事部の検察官（そのうちのほとんどは川村政史検事）は取調べと称して「僕ちゃん」、「お子ちゃま」、「ガキ」呼ばわりし、「うっとうしい」、「どうやったらこんな弁護士ができあがるんだ」、「嘘を付きやすい体質」、「詐欺師的な類型の人に片足突っ込んでる」などと言ったり、江口さんの弁護人の活動を侮辱したりする発言をし続けた。 それでも江口さんは決して口を開くことはなく、耐え抜いた。 このような検察官の取調べ

TypeScriptとドメイン駆動設計（DDD）を組み合わせ、APIを構築するハンズオンガイドです。この本では、DDDとは何かという基礎的なところからソフトウェア開発における戦略的設計、戦術的設計まで、包括的な知識を提供します。 戦略的設計では、ビジネスの要求に合わせたドメインモデルの設計をイベントストーミングを用いて行います。その後、戦術的設計では、具体的なコードの実装に関連するDDDの原則と実践を学びます。 TypeScriptを使ってコードを書きながら、DDDの概念を実際のプロジェクトに適用するヒントを紹介します。

マイクロソフト、初心者向け生成AI学習教材「生成AIアプリケーションの開発を始めるために必要な全知識を学べる12講座」を無償公開 コースの内容には、大規模言語モデル（LLM）がどのように動くかを理解する。「生成 AI と大規模言語モデルの紹介」、ユースケースに適したAIモデルを選択できるようにする「様々なLLMの調査と比較」、プロンプトの構造と使用法の理解のための「プロンプト・エンジニアリングの基礎」、埋め込み技術を利用したデータ検索アプリケーションを構築する「Vector Databasesを利用した検索アプリケーションの構築」、外部APIからデータを取得するためFunction Callingを設定する「Function Callingとの統合」など、入門的な内容から高度なアプリケーションの開発まで多岐にわたるレッスンが用意されています。 レッスン内容は日本語による説明と図で構成 各レ

今年はkindle umlimitedの契約をしてしまったんですよ。きっかけは仕事上ですぐにスキルつけたかったのですが、その本がunlimitedで読めたので２か月99円とかで契約。気づけばそのまま継続しており、完全に術中にはまっております。いざ契約して思ったのですが、kindle umlimitedユーザはどうやって読みたい本を探しているのか。この辺をどなたか教えていただきたいものですが、教えてもらいたいなら自分で発信しろの法則で新刊の表紙を眺めるだけのブログに毎週日曜7:00に私が見つけたおすすめkindle umlimitedを紹介しているので、参考にどぞどぞ。そんなわけで、気軽に読めることから今年は105冊。最近は電車の移動時間もYouTubeに時間を奪われつつある中でだいぶ読めたと思います。 ■戯言シリーズ14年ぶり最新作 「キドナプキディング 青色サヴァンと戯言遣いの娘」西尾維

機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2023年12月版） こんにちわ、カレーちゃんです。Kaggle GrandMasterです。 Kaggleはデータサイエンスに入門するのにとても適しています。ですが、英語の問題などがあり、入門するのが難しい。そこで、Kaggleの「入門」をこうすれば高速に完了できるというnoteを書きます。 同じタイトルの記事を、2020年8月にも書いたのですが、それから2年以上がたちました。それから、おすすめできる資料が増え、また、私が思う入門のコースもやや変わりましたので、更新をしたいと思います。 1.Kaggleに入門（はじめに取り組むと良い資料）Kaggleには、「タイタニックコンペ」という、練習用のコンペがあります。 これは、事故が起こったタイタニックの乗客のデータから、乗客の生死を予測するという、やりたいこと

フィードバックを送信 プロンプト設計戦略 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 プロンプト設計により、機械学習（ML）制御モデルの出力を初めて利用するユーザーでも、オーバーヘッドを最小限に抑えられます。プロンプトを慎重に作成することで、目的の結果を生成するようにモデルを調整できます。プロンプト設計は、特定のユースケースに合わせて言語モデルを適応させることをテストする効率的な方法です。 言語モデル、特に大規模言語モデル（LLM）は、単語間のパターンと関係を学習するために、膨大なテキストデータでトレーニングされています。テキスト（プロンプト）を受け取った言語モデルは、高度なオートコンプリート ツールのように、次に来ると思われるものを予測できます。したがって、プロンプトを設計する際は、モデルによる次の予測に影響を与える可能性のあるさまざまな要因を考慮し

最近 ratatui という crate に Small String Optimization を利用した最適化を入れたので，その話を書きます． 目次 Small String Optimization (SSO) とは（SSO を既に知っている人は読み飛ばして大丈夫です） Rust で SSO を適用した文字列型を提供する crate 比較 SSO を利用して ratatui のメモリ効率と実行効率を最適化した話 compact_str crate の実装の最適化の話 インラインストレージに24バイト全てを使える理由 隙間最適化のための工夫 説明を簡潔にするため，特に断りが無い場合 64bit アーキテクチャを前提とします． Small String Optimization (SSO) とは Rust の可変長文字列型 String は文字列バッファへのポインタ，文字列の長さ，バッフ

Remix + Cloudflare Pages/WorkersをベースにD1とKVと組み合わせた構成で作るアプリの解説は巷に結構あるが、それらに加えてQueueやR2なども合わせた参照実装みたいなものが見当たらなかったので作った。 このアプリの機能は下記。 Googleアカウントを用いたOAuthログイン セッション管理にKV,ユーザー管理にD1を使う はてブのようなブックマーク機能(基本的なCRUD) URLとコメントを入力してD1へデータ登録できる URLの先のページからOGPを取得して登録 QueueのProducerとConsumerを使って非同期にタイトルと画像を取得 取得した画像はR2にアップロードする URLごとにブックマーク数を管理する Durable Object(DO)を使う。 Cron Trigger ついでに追加。アプリ的には不要だがせっかくなので設定だけしておく

はじめにお前は誰やねん解析学を研究している博士課程の2年生。 この記事の目的もし大学1年生の自分に会えたら数学の勉強についてアドバイスしたいことがいくつかあるので、それを簡単にまとめたい。現在進行形で学部生をやっている人の参考になれば嬉しい。ただし、あくまで個人的な考えであり、視点が偏っているので、鵜呑みにはしない方が良い。 最初にやるべきことできる限り早い段階で集合と写像の言葉を覚えよう。微分積分や線形代数より先にこちらをやった方が良い。そもそも集合と写像の言葉は大学数学をやっていくうえで必要不可欠であり、微分積分や線形代数さえこれらの知識がなければ十分には理解できない。それから、定義に従って厳密に議論できるようにならなければ、そもそも大学数学のスタートラインにさえ立てない。集合と写像の勉強はその習得に適していると思う。 ちなみに、僕がこの「スタートライン」に立てたのは学部1年後期だった

どうも、木村（@kimu3_slime）です。 大学数学の各分野、一般的なロードマップを紹介したいと思います。 東京大学数学科のカリキュラムを参考に、自分なりに図を作りました。 このマップに合わせて入門書を紹介しています：「趣味の大学数学」おすすめ入門書籍・教科書・参考文献 この画像の分野名をクリックすれば、その分野のまとめ記事へ飛びます（一部分のみ対応）。 教養数学微積分学、線形代数学は、大学で数学をする人はもちろん、自然科学や工学、社会科学や人文科学を学ぶすべての人が身につけて損はない数学です。高校数学から大学数学への接続をするきっかけとなります。 統計学は、特に数学以外への応用に役立つ分野です。ただし、数学の（諸分野の）基礎としての役割は、微積分や線形代数に比べると小さいでしょう。 数学基礎論理学は、通常数学科のカリキュラムに明示されていませんが、集合論や教養数学で教えられるので明示

As its name suggests, gorilla testing differs from the monkey testing technique, and it’s advantageous for companies and product teams to understand and appreciate these differences. This blog will explore how gorilla testing differs from monkey testing and why it’s essential to quality assurance practices. What is Gorilla Testing? Gorilla Testing is a software testing method where all or most sys

本書では、小さなOSをゼロから少しずつ作っていきます。 OSと聞くと腰が引けるかもしれませんが、OS (特にカーネル) の基本機能は案外単純です。巨大なオープンソースソフトウェアとしてよく挙げられるLinuxでさえ、バージョン0.01はたった8413行でした。様々な要求に応えるために次第に肥大化していっただけで、当初は大変素朴な実装になっていました。 本書では素朴なコンテキストスイッチ、ページング、ユーザーモード、コマンドラインシェル、ディスクデバイスドライバ、ファイルの読み書きをC言語で実装します。これだけ様々な機能が詰め込まれているのに、コードは合計でたった1000行未満です。 「1000行なら1日でできそう」と思うかもしれませんが、初学者には少なくとも3日はかかるでしょう。OS自作のハマりポイントは「デバッグ」です。アプリケーション開発とは違うデバッグ手法・能力を習得する必要がありま

LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co

Over the past few months, during the lead-up to the TypeScript 5.0 beta, our team spent a good portion of our time looking for ways to improve the performance of our compiler so that your projects build faster. One of the ways we improved was by looking into an oft overlooked aspect of many JavaScript VMs: inline caching. A Brief Primer on Inline Caching Inline caching is an optimization often use