概要 この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか？？ Transformerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、

東京ディズニーシーと植民地主義 2001年9月4日、新たなディズニーパークが開園した。その名も東京ディズニーシー。冒険とイマジネーションをテーマにした、世界でも唯一のディズニーパーク。中心に建つモニュメントとそれを囲うように存在するエリア(テーマポート)など、構造はディズニーランドに基礎を置きつつも、アトラクションやレストラン、ストーリーなど大きな独自性が見られるのが特徴だ。 アラビアンコーストの建築について記述した前回のブログに続き、東京ディズニーシー(以下、TDSと記述)の持つ植民地主義(コロニアリズム)的な側面について記述していこうと考えている。 このアイデアは私が大学院生だった2021年頃からずっと頭にあったが、書く気が起きず放置していた。今回文章化に踏み切ったのは、あるTwitter上での投稿がきっかけだ。 でずにーC、入ったら地中海で少し奥に隣あってニューヨーク、別方向の奥に嘘

リンク Yahoo!ニュース 国内100社の株を不正に売買 証券口座不正アクセス“相場操縦”の疑いも（日テレNEWS NNN） - Yahoo!ニュース 証券会社で、口座の乗っ取りなど不正アクセスによる株の売買が相次いで確認されている問題で、少なくとも国内の100社の株が不正に売買されていたことがわかりました。 「相場操縦」の疑いもあるとして、証券 2 users リンク 日本経済新聞 証券口座乗っ取り、三菱UFJモルガンも確認 大手で9社目 - 日本経済新聞 三菱UFJモルガン・スタンレー証券は30日、第三者が顧客の証券口座に不正にログインして取引した事例が確認されたと明らかにした。証券会社をかたるメールなどから偽サイトへ誘導する「フィッシング」により顧客情報が盗まれたとみられる。被害が確認された証券会社は少なくとも 1 user cis@株 先物 FX 新信長の野望 @cissan_9

ある日、メルカリのレコメンド機能で欲しかったカメラレンズが出品されているのを見つけました。相場の10％ほど安く、丁寧に使われているような商品のようでした。直前に自分が値下げ依頼した商品を他の人に買われてしまったこともあり、急いで購入したのですが、これが間違いでした。 後から確認すると、出品者は本人確認前、評価0件、出品商品は高額なカメラレンズとダミーと思われる日用品の2点のみというかなり怪しいものでした。

sponsored ファーウェイの最新モデルから見えてくるそれぞれの魅力とは？ スマートバンドとスマートウォッチ、どっちがいい？ どっちを選ぶ？ 最新モデルで考える sponsored MSIの23.6インチモニター「MAG 242C」をレビュー 物価高なのに性能アップで価格を下げるという、ありがたいゲーミングディスプレーを複数買いしたい sponsored CData Arcで基幹システムのデータをkintoneに取り出したら、業務が変わった 残業地獄終了　ERPとkintoneを連携させたら、見積もりも在庫管理も爆速に sponsored 基幹システムとkintoneとの連携、チャレンジしたらDXが見える 触れたら怖いERP　なぜ重厚長大になってしまったのか？　サイボウズとCDataが語る sponsored MSI「MAG B860M MORTAR WIFI」レビュー マイクロタワー

期間工がきついと言われる理由ランキング5選 期間工がきついと言われるのは、仕事がきついとか、体力的にきついだけではありません。 いったい期間工はどうきついのか、その辺りを体験談から探っていきます。 1位｜体力的にきつい 期間工がきついと言われる一番の理由は、やはり体力的な面でしょうか。 一日中立ちっぱなしだったり、重い部品を繰り返し上げ下ろしすることで、体力は想像以上に消耗します。 そのため寮に帰って寝るだけということも多いようです。 そのあたりの実情を体験談で見てみましょう。 基本的に体をつかう仕事なので、体力に自信がないときついかもしれません。 基本立ち仕事ですし、重い物を持ちながら移動しなければいけないことも度々あります。 休憩は、しっかりとらせてもらえますが、体力がない人は継続しない印象です。 （ホンダ埼玉製作所勤務） 一日中立ち仕事。 僕が配属されたのはフランジという部品を作る機

期間工を選ぶ際は、自分の希望に合ったポイントを基準にメーカーを選ぶことが大切です。 自分のニーズに合った求人を選ぶことで、きついと言われる期間工の仕事を乗り越えやすくなり、収入を趣味や将来に役立てることができます。 この記事では、複数のメーカーで採用経験がある筆者が、ニーズ別のおすすめ期間工をランキング形式で紹介し、それぞれのメリット・デメリットについても解説しています。 自分にぴったりの期間工メーカーを見つけるために、ぜひこの記事を参考にしてください。 メーカー おすすめポイント

需要はあるのにこれ以上の増産には踏み切れない…。いま、多くの企業の経営者がこのような悩みに直面し、頭を抱えています。コロナ禍からの経済活動の正常化が進み、ようやく明るい兆しが見えてきた日本経済。一方、足元では慢性的な人手不足が企業の大きな課題となっています。 静岡県浜松市にある菓子メーカーでは、土産物の生産量がコロナ禍前を上回る水準まで戻った一方、人手不足からこれ以上の増産には踏み切れないでいます。 「うなぎパイ」を製造する「春華堂」は、2019年には1か月あたりおよそ600万本を生産していましたが、コロナ禍で需要が減少し、生産量は半分の月300万本ほどにとどまっていました。 その後、徐々に人の移動が活発になって土産物の需要も高まり、新型コロナの感染症法上の位置づけが5類に移行したあとは生産量が2019年を上回る水準まで戻っていて、現在、工場はフル稼働の状態だということです。 一方、コロナ

（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? セキュリティチェックシートって大変ですよね 「契約締結目前で、今日もらったチェックシートを3日後までに出せば決まりです！」 「これNGだと契約できないんですけどなんとかならないですか？」 「（書いてもらったシートをレビュー中）え！？これOKじゃなくてNGですよ！？」 「書き始めたら8時間以上かかってるんですけどこれ無償対応なんですか・・・？」 っていうことありませんか！？ない！？良かったですね！！（血涙） ということで、結構セキュリティチェックシートで苦労しています。 過去にISMS認証を取得したときには「これでちょっとは楽になるな！よ

Gitで開発していて、あるサブディレクトリ以下を別のレポジトリに移行したいと思うことがある。今回はそういうことをしてみたのでメモ。 まずGitHubにそのようなやり方の指南がある（Splitting a subfolder out into a new repository - GitHub Docs）。大体これで良いのだけれど、このやり方だとサブディレクトリのpathがそのままになってしまうという問題がある。大抵のケースで、あるサブディレクトリを別のレポジトリに分割したいとなった時、そのサブディレクトリがレポジトリルートに来てほしい。 そういう場合はGit Filter Repo — Splitting a Subfolder Into A New Repository | by Edward Ezekiel | Mediumにも紹介されているようにgit filter-repo --s

なかなか眠れないときはどうすればいいのか。公認心理師の柳川由美子さんは「あえて手足の力を入れてから抜く『漸進的筋弛緩法』が効果的だ。さらに、身体がゆるんで気持ちがほぐれてきたら、『気持ちが落ち着いてきた』『のんびり～』などと声に出して言うと、より効果が高くなる」という――。

フリーランスのWebエンジニアとして仕事をする上で、いつも気をつけていたことをつらつらと書いてみます。 フリーランスやっている人、興味ある人の参考になれば。 自分についての情報フリーランスのWebエンジニアを2年半 当時はRails, Vue.js, Reactがメイン(2018-2020) 情報系の大学院 → メガベンチャー2年 → スタートアップ2年からの独立 今はSALESCOREのCTO 単価は相場の最高額くらい お金の話あんまりしたくないが、みんな興味あると思うので一応 一度お世話になったFindy Freelanceさんの募集を数年ウォッチして、自分がFindyさんで受けた案件が頭を抜けて最高額だった ややボカすため最低限の目安だけ書くと、時給1万円〜（人月160万円〜）以上 技術顧問業を上手くやると、もっともらえると思う 準委任契約、月N時間稼働って感じで契約 シードA〜シリ

【読売新聞】　「人気度Ｎｏ．１」といった文言で販売実績や顧客満足度を強調する「ナンバーワン広告」。この手の宣伝文句は世の中にあふれているが、根拠がないものも多いとみられる。広告主に持ちかけて「偽りの高評価」を作り出す調査会社もあると

57歳で突然の雇い止めにあった女性。小さな飲食店を始めるも事業に失敗…月収は10万円以下、必死の節約で老後に備える

HOMEBtoBマーケティングとは？戦略立案方法と基礎知識、成功事例「施策やプロセス、マーケティング手法も解説」 BtoB企業のマーケティング「BtoBマーケティング」の基礎知識をわかりやすく解説。「BtoBマーケティングとは何か」「BtoCとの違いは何か」「どんな施策を打つのか」「戦略と計画を立案するにはどうすればいいか」「どんな手法があるのか」「BtoBマーケティングプロセスはどのような流れか」「成功事例」などについて詳しく解説している。

2023年6月16日 から改正電気通信事業法が施行なんですけど知ってました？ これ、収益目的なら企業運営でも個人運営でもほとんどのWebサービス・スマホアプリが対象という、めちゃめちゃ広範囲にみんなが対応が必要なやつなんですけど、ヤバくない? 何もしてなくない? やっべえなというWEBサイト担当者/アプリ開発者が結構いそうな雰囲気がいんたーねっつから漂ってまいりました。 企業のオウンドメディアや、個人運営のアフィリエイト目的サイトなんかも対象になる場合があって、メディア系サイトはもちろんアプリ開発者にも影響ある感じですので、やるべき内容をブログにしたためておきます。 ※ぼくは法律の専門家ではないので、ちゃんと総務省の公式ドキュメントなどにも当たってくださいね。 ググると「外部送信規律」とか「電気通信事業者又は第三号事業を営む者」とか専門用語の記事ばっかり出てきて自分が何をしたらいいのかの情