作りながら学ぶLLM入門：前処理
概要 この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。 この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。 この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説 (長いので、お急ぎの方はスキップしてください) MCP、AIエージェント等盛り上がりを見せてますが、 そもそもLLMってなんで動いているんでしょうか？？ Transformerっていうのが内部にあって、 確率的分布に従って、 RLHFで人間のフィードバックで学習させてetc、、、 理論的な説明はよく見かけます。 ですが、
僕らの仕事を楽にするかもしれない「データスペース」という技術
はじめに 昨今、欧州や日本を中心に発展しつつある「データスペース」について、皆さんに手を動かしながら体験頂けるようなブログを書いてみます。 本記事の想定読者 ITの基礎的素養はあるけど、データスペースのことをあまり知らない方 様々な分野でデータ利活用を検討している方 そもそもデータスペースとは データスペースとは、参加する組織・企業同士が互いに信頼できる仕組みのもとで、安全かつ自由にデータをやり取りできる制度と技術基盤が整った空間のことを指します。 こうした制度・技術の構築・標準化により、業界・組織・企業間のコラボレーションを加速し、横断的な課題解決や新たなデジタルサービスの創出を支えることができます。 データスペースは、近年欧州や日本を中心に広がりを見せています。以下の図はデータスペースの概念を表しています。データスペースの各参加者は、「コネクタ」と呼ばれるソフトウェアを用いて、「カタロ
不均衡データに対する機械学習：理論と実践 - tomtom58’s blog
はじめに 1. 不均衡データとは何か 1.1 不均衡データの定義と実例 1.2 なぜ不均衡データが問題なのか 1.3 数学的視点から見た不均衡データの課題 2. 不均衡データへの対処の根本的な考え方 2.1 基本的アプローチの体系 2.2 統計的基盤: なぜこれらの方法が機能するのか 3. データレベルの対処法: サンプリング技術 3.1 アンダーサンプリング手法 3.1.1 ランダムアンダーサンプリング（RUS） 3.1.2 情報損失を最小化するアンダーサンプリング Tomek Links Condensed Nearest Neighbor Rule (CNN) One-Sided Selection (OSS) 3.2 オーバーサンプリング手法 3.2.1 ランダムオーバーサンプリング（ROS） 3.2.2 SMOTE (Synthetic Minority Over-samplin
UTokyo Open Science Portal
このサイトは、オープンアクセス、 オープンサイエンスに関する情報を提供するポータルサイトです。 オープンサイエンスとは、オープンアクセスと研究データのオープン化を含む概念です。研究データを適切に管理することで、研究データのオープン化につなげることができます。 東京大学の研究者・学生が、研究成果の発信および研究データ管理を行う際に役立つ知識や、附属図書館による支援情報を発信します。
触ってわかるデータレイクハウス（Parquet, Iceberg, Trino）
この記事は毎週必ず記事がでるテックブログ Loglass Tech Blog Sprint の79週目の記事です！ 2年間連続達成まで残り27週となりました！ 昨今、データエンジニアリングの重要性が高まるなか、データレイクハウスという言葉を聞く機会が増えてきました。一方で、BI、DWH、データレイクといった分野は、色のついた商用製品であったり大規模な技術スタックになったりと気軽に触りにくい印象があったりもして個人的に最近はあまり触れてこなかった分野でした(15年程前はだいぶBI製品にお世話になりましたが)。 でも、実はかじってみると美味しい、単なる食わず嫌いだったかもしれません。この記事では前半にデータレイクハウスを概観しつつ後半に軽くハンズオンしてみたいと思います。チョイスは、最も使われるフォーマットである Apache Parquet 、S3 Tables の元となっている Apach
テーブルデータの前処理を何でやるか
最近読んだ、The Rise of Single-Node Processing: Challenging the Distributed-First Mindset という記事に最近考えていたことが書いてあったので便乗して自分の考えを書き留めておく。 元記事では、かつては大規模なデータの処理というと何はともあれ分散システムであり、Spark や BigQuery などを導入するのが当然であったが、近年は DuckDB や Polars など、シングルノードでも高速にテーブルデータを処理できる技術が登場してきたことで必ずしも分散システムは必要ではないよねという風潮に変わってきた、ということが述べられている。コスト面でもクラウドを使うのであれば、小さいインスタンスをいくつも立てて分散処理するのと、合計して同程度の vCPU や RAM を持つ一つの大きなインスタンスを立てて処理するのとで料金
データエンジニアリングって何が面白いんだ？ - 30歳からのプログラミング
最近『データエンジニアリングの基礎』という本を読み始めた。 この本の冒頭で、データエンジニアリングやデータエンジニアの定義は曖昧で、人によって言っていることがバラバラだという話が出てくる。そこで著者たちは自分たちなりの定義を示し、それに則ってデータエンジニアリングの全体像を解説することを試みている。 「データエンジニアリング」が指すものが定まっていない、というのは自分も日々実感している。指すもの、イメージするものが、人や組織によって違いすぎる。 単に言葉の定義の問題ではなく、「データエンジニア」と称される人が実際に何をやっているのかは、組織によって本当にバラバラだと思う。 そんな状態なので、各組織の各データエンジニアが何をしているのか外からはよく分からないだろうし、データエンジニアが何に面白さを感じているのかも世間に伝わりづらいと思う。 この記事では、私が HERP のデータエンジニアとし
perplexity社（パープレ）のLLM sonarが爆速になった【まさかの乱入 ゴボウ抜き】 - 社内SEゆうきの徒然日記
gigazine.net xenospectrum.com パープレ sonar LLMはオープンソースに近いメタ社のllamaを独自改造して、商用ライセンス料払っているっぽい https://www.unite.ai/ja/is-meta-llama-truly-open-source/ 出遅れた日本勢がイチからLLMを開発するのは、厳しそうだけど、この方法ならどこか参入できるかもね。 自分ところでホストするなら、外部に機密情報漏れたら、、、とかの心配いらないしね。 (プライベートクラウド) https://it.webcli.jp/topics/privatecloud/ コストとノウハウ、プライベートクラウド構築運用に対応できる人材の確保の問題さえクリアできればこれが一番 (個人の感想) まあ、自社用ではなくても、国内大手企業がホストすれば安心して使える法人もいるのでは？ 共産国はも
高木浩光＠自宅の日記 - 充実に向けた視点意見書を一般向けに書き直してみた
■ 充実に向けた視点意見書を一般向けに書き直してみた 前々回では、意見書の内容をClaudeに質問して理解するデモであったが、そんなのに付き合って読む暇ないわ、ということもあろうかと思われるので、意見書を一般向けに書き直すことにし、Claudeを使って以下のプロンプトから始めてやってみた。 私：これは、個情委に提出した意見書ですが、個情委が用意した質問に答える形式で書いているため、何を言いたいのかが一般読者にはわかりにくいかもしれません。 このようなプロンプトを何十回と指示して完成したのが以下の文書だ。これでおわかりいただけるだろうか。 高木意見書の生成AI Claude 3.5 Sonnetによる解説 はじめに 個人情報保護法の3年ごと見直しにあたり、個人情報保護委員会は「制度の基本的な在り方」に立ち返った議論を求めています。特に、「何をどのような方法で守るべきか」「個人情報の有用性に配
データワークスペースサービス『Morph』のオープンソース(OSS)版を試してみた | DevelopersIO
小ネタです。 先に公開したデータアプリケーションサービスのMorphに関するブログですが、 このサービスについては最近オープンソース(OSS)版もリリースされています。 当エントリではそのオープンソース版を手元の個人環境起動させてみた、という内容を紹介致します。 下準備 MorphのOSS版については、基本的にはpipで必要なライブラリをインストールした後はコマンドを幾つか打つだけであら簡単、あっという間に出来上がり...！という流れなのですが、手元の端末でPython/pip実行環境を整える必要があったのでその部分もメモとして記載しておきます。 ## Mac OSのバージョン確認 % sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79 ## Python実行環境の確認 ### pythonは入っていない
熊本のバス５社「共同経営」だと!? しかしそのデータ分析システムがすごかった！ - バス総合情報誌「バスマガジン」公式WEBサイト
熊本のバス5社がデータ分析を活用している様子が発表された。マウス操作だけで、便ごと区間ごとの利用者数や遅延の状況が地図やグラフで表示され、複数会社間の意思決定が容易になったという。このシステムがあれば「経験と勘」が中心だったバス業界が変わるかもしれない。 文／写真:古川智規（バスマガジン編集部） （詳細写真は記事末尾の画像ギャラリーからご覧いただくか、写真付き記事はバスマガジンWEBまたはベストカーWEBでご覧ください） 九州産交バスの担当者らからデータ分析システムについて発表があったのは、様々な移動サービス向けにITシステムを提供しているWill Smart（ウィルスマート）社主催のセミナーだ。11月13日に東京都内で開催され、全国からバス、鉄道、レンタカー事業者、さらに自動運転やEV（電気自動車）等のベンチャー企業が参加したセミナーの様子をレポートする。 冒頭に、同社顧問で国土交通省自
Power BIの日付テーブル②: 不要期間の除外 - テクテク日記
前回は日付テーブルの基礎として、設定の必要性、設定をしなかった場合の副作用、ネーミング規則等について解説をしました。今回は日付テーブルを使って期間をフィルターする際にモヤモヤする事例及びその解決法を紹介したいと思います。 日付テーブル: 月次ベース vs 日次ベース 日付テーブルが1/1から12/31までカバーする理由 フルカバーゆえの悩み 不要な期間を除外する方法 最後に 日付テーブル: 月次ベース vs 日次ベース こちら、下記記事ですでに解説した通りですので、特に月次ベースで分析を行う必要がある場合には熟読して頂くことをお勧めします。 marshal115.hatenablog.com 簡単にまとめると、月次ベースの日付テーブルは、1行が1ヶ月を表す日付テーブルです。このテーブルはシンプルに作成できるのが魅力ですが、副作用も伴うため、それを理解した上で使用することが重要です。 月次テ
市区町村マスタを手に入れろ、そして更新し続けろ - エムスリーテックブログ
全国の市区町村の名前とコードをデータベーステーブル化したもの、すなわち市区町村マスタはITシステムを作っていれば何かしらの場面で必要になるものです。 ではその市区町村マスタを作るための元データはどこから手に入れたらいいものか。 そして「作る」というのもありますが、市区町村は再編されるものですから最新の変更にどう追従するか、しかもそれを自動化できるかというのも大いに気になるところですね。 エムスリーエンジニアリンググループ三浦(@yuba@reax.work) [記事一覧 ]です。 Unit1（製薬プロモーション）およびUnit9（治験臨床研究支援）のエンジニアです。 今回は私も皆様とまったく同じように市区町村マスタのデータ源に悩んでいろいろ調べましたので、それで得た知見を共有させていただこうと思います。今回は代表的な3つのデータソースをご紹介し比較していきます。 ほしいのはこんな感じのデ
データとAIの企業：未来をリードするデータインテリジェンスプラットフォーム | Databricks
Databricks データインテリジェンスプラットフォームDatabricks は、AI とデータの融合と活用、成果の創出を支援します。
2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
実務において回帰分析を行うに当たっての注意点を改めて挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
先日のことですが、以下のニュースが統計的学習モデル界隈で話題になっていました。 肝心の箇所が会員限定コンテンツなので簡潔にまとめると、従来モデルよりも説明変数に入れる海域の数を増やした上で、Lasso（L1正則化）回帰で多重共線性を抑えつつ汎化性能を高めるというアプローチを取った、というお話です*1。これは回帰分析という基本に立ち返った、昨今の「猫も杓子も生成AI」という流れからは一線を画した試みで、いかにも玄人好みという感があるなと僕も感じた次第です。 一方で、僕が身を置く広告・マーケティング業界でもMMM (Media/Marketing Mix Models)を初めとして様々なタイプの回帰分析が広く行われていますが、個人的に見聞する範囲では冗談でなく本当にピンキリで、中には「そんなデタラメな回帰分析で本当に役員会の意思決定に使っているんですか？？？」みたいなケースも珍しくありません。
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
「100均」セリアは女性管理職が50％超 社長肝いりのデータ化がもたらした働きやすさとは？ #令和に働く（Yahoo!ニュース オリジナル 特集）
100円ショップ大手の「セリア」は、競合他社が300円、500円と商品価格のラインアップを広げるなか、いまも全品100円を貫く。セリアという名称になって20年余り。直営店とFC店の合計が昨年2000店を突破し、業界では第2位の座にある。同社は女性管理職の比率が51.5％と高く、女性社員の登用も顕著だ。女性からの人気が高いといわれるセリアの経営戦略について、代表取締役社長の河合映治氏に尋ねた。（文・写真：ジャーナリスト・古川雅子／Yahoo!ニュース オリジナル 特集編集部） 女性に人気 でも女性向け品ぞろえは「意識せず」白基調の明るい店内には、文具やキッチン用品、収納用品、スマホ関連用品のほか、食器や女性向けメイク用品など多彩な商品が並ぶ。そのすべてが100円だ。売上高で業界2位のシェアをもつ100円ショップ「セリア」の特徴は、女性からの支持が高いことが挙げられる。昨年3月公表のLINEに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データの整合性を保つ非同期処理アーキテクチャパターン / Async Architecture Patterns
Excelでできる統計術、「クロス集計＆データひも付け」分析法
