RAGをゼロから実装して仕組みを学ぶ【2025年版】
本記事では、RAGの基本的な仕組みを理解するために、Pythonを使ってゼロからRAGを実装する手順をざっくり解説します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事では、非エンジニアでも、手元のPCで「RAG」を動かせるというところまで解説したいと思います。 こんな感じでRAGを構築できます。入門から解説します 最近、非エンジニアでも、RAGに興味を持つ方が増えました。 ただ、一方で、RAGの「基本」についての記事は、だいぶ減っています。このままだと、「RAGに詳しい人だけが、さらに詳しくなっていく」という状態になってしまいます。 そこで今回は、入門者向けに、「やってみた」形式で、RAG技術のざっくり解説をしていきます。なるべく簡単に行きます↓ そもそもRAGとは？ RA
「データ視覚化のデザイン #1」をmatplotlibで実装する - Qiita
データ視覚化のいろはを無視したグラフはニュースや学術論文によく現れます。いろんな資料からかきあつめたり苦労して測定したデータ、あるいは自分の部署の成果をかっこよく見せたい気持ちはわかりますが、たいていの場合「よく見せる」という欲求は色の濫用や3D化などデザイン要素の足し算として現れがちです。結果としてよく見せたいデータがごちゃごちゃした印象になってしまい、メッセージを読み取りにくいだけでなく時に誤解を生む図に仕上がってしまっていることも多いでしょう。 「データ視覚化のいろは」とは書きましたが、自分は実際に体系的に学んだことがあるわけではなく、ウェブや論文などで目にした良い例と悪い例からぼんやりと「こうすべきなのかな」という指針を認識している程度です。そんな折に、UXやUIを突き詰めたサービスで有名なTHE GUILDの方がデータ視覚化に関するnote記事を公開しているのをみつけました。 デ
Pythonの生みの親、グイド・ヴァンロッサム氏が職業プログラマーからの引退を表明
この記事は新野淳一氏のブログ「Publickey」に掲載された「Pythonの生みの親グイド・ヴァンロッサム氏が職業プログラマから引退を表明。昨年Pythonの優しい独裁者からも引退」（2019年11月1日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Pythonの生みの親であるGuido van Rossum（グイド・ヴァンロッサム）氏が、勤務先であったDropboxを退社し、これからは引退生活を送ることを表明しました。 下記はヴァンロッサム本人のツイートです。 Python開発からGoogleへ、そしてDropboxへ 1956年にオランダで生まれたヴァンロッサム氏は、約30年前の1989年12月に趣味の一環として新しいプログラミング言語Pythonの開発をスタート。Pythonという名前はBBCのコメディー番組「モンティ・パイソン」にちなんだとされています
Pythonのシリアライズモジュール pickle marshal dill cloudpickle を比較する - Qiita
pickle は python に標準的に組み込まれているモジュールです。なので pip などでインストールする必要はありません。 pickle では python の全てのオブジェクトをシリアライズできる訳ではなく、シリアライズ可能なオブジェクトは決まっています。python のドキュメントを見ると以下のようになっています。 None 、 True 、および False 整数、浮動小数点数、複素数 文字列、バイト列、バイト配列 pickle 化可能なオブジェクトからなるタプル、リスト、集合および辞書 モジュールのトップレベルで定義された関数 (def で定義されたもののみで lambda で定義されたものは含まない) モジュールのトップレベルで定義されている組込み関数 モジュールのトップレベルで定義されているクラス dict 属性を持つクラス、あるいは getstate() メソッドの返
【翻訳】scikit-learn 0.18 User Guide 3.3. モデル評価：予測の質を定量化する - Qiita
>>> >>> from sklearn import svm, datasets >>> from sklearn.model_selection import cross_val_score >>> iris = datasets.load_iris() >>> X, y = iris.data, iris.target >>> clf = svm.SVC(probability=True, random_state=0) >>> cross_val_score(clf, X, y, scoring='neg_log_loss') array([-0.07..., -0.16..., -0.06...]) >>> model = svm.SVC() >>> cross_val_score(model, X, y, scoring='wrong_choice') Traceback (m
Pythonで時系列データをクラスタリングする方法 | NHN テコラス Tech Blog | AWS、Google Cloudなどのインフラ技術ブログ
こんにちは。データサイエンスチームのHan-Cheolです。 この記事は、DataScience Advent Calendarの12日目の記事です。 1. はじめに 実世界のデータの多くは時間と共に変化する情報、つまり時系列データです。私たちの周辺に目を向けてみると、ウェブサイトに訪れるユーザーの行動データや消費電力データなど、身近なところでもすぐ見つけることが可能です。 今回は、「クラスタリング」手法を利用して「時系列データ」から繰り返して出現するパターンを見つけ出す方法を調べてみます。 利用するデータ ここ数年、再生可能エネルギーや電力自由化のような話がよく聞こえてきます。このトレンドは日本の話だけではなく、機械学習・データ分析のコンペで有名なKaggleでも電力に関する内容がよく見当たります。 ここではこのトレンドに乗ってUC Irvine Machine Learning Rep
【脱GIS】（Pythonとかで）地理空間情報、位置情報を扱うための情報まとめ【随時更新】 - Qiita
注 継続的にいいねもらっているのですが、知識が浅い頃に書いたので、不正確なところがあります。今度直します。 私のGIS、重すぎ GIS使っていますか？ GISで利用するデータが多くなればなるほど、やりたい処理が増えれば増えるほどこう思うはずです。 地理情報くらいコードで扱わせろやとおもうあなたのためにあるいは地理空間情報入門者のためにまとめてみました。 そもそも地理空間情報、位置情報とは 地理空間に紐付いた情報。ある点や線、面、空間が地球上のどこに位置するかを表す情報を含む情報です。地球は歪な楕円であるためさまざまな手法があります。測量は真面目にやるとすごく複雑になるので軽く触れるだけですが（私も理解しきれていないし） 経度、緯度、高度（省略されることも）を持つもの 地球上の限られた範囲を無理やり直行座標とみなし、その平面内の位置を表したもの などのパターンがあります。どの方法で座標を表し
hyperoptって何してんの？ - Qiita
hyperoptのロジック、使い方、検証結果についてまとめる はじめに 機械学習でモデルを作成する際、hyper-parameterのチューニングが必要になります。 gridサーチで徹底的に調べることができればいいのですが、DNNのようにパラメータ数が多くなると、計算量がとんでもないことになります。 ランダムサーチでパラメータの探索を行えば、計算量を少なくすることは可能ですが、最適なパラメータを見つける確率は低くなります。 そこで、効率よく、良さげなパラメータを探索していく方法に、Sequential Model-based Global Optimization（SMBO）というものがあります。 pythonには、SMBOを利用するためのライブラリであるhyperoptというものがあります（kagglerがよく利用しているらしい・・・）。 hyperoptで検索すると、使い方を説明した記
Pycon2017
1. Yuta Kashino presented on Edward, a probabilistic programming library built on TensorFlow. Edward allows defining probabilistic models and performing Bayesian inference using techniques like MCMC and variational inference. 2. Dropout was discussed as a way to approximate Bayesian neural networks and model uncertainty in deep learning. Adding dropout to networks can help prevent overfitting. 3.
20171012 found IT #9 PySparkの勘所
This document discusses PySpark and how it relates to Spark, Hadoop, and Python for data analysis (PyData). It provides an overview of key PySpark concepts like RDDs and DataFrames. It also discusses common file formats like Parquet and Apache Arrow that can be used with PySpark for efficient data storage and transfer between Spark and Python tools.
『データサイエンティストとマシンラーニングエンジニアはKaggleやれ』というのは何故なのか - Qiita
この記事は将来的に自身のブログにも載せる予定（許可なき転載とかではない） 概略 データサイエンティスト、マシンラーニングエンジニアがどのように勉強を進めるべきか、始めるべきかという問いに対して、『Kaggleやれ』というのはよく聞く答えだ。 なるべく早い段階でKaggleのコンテストに参加するべきだというのは僕も個人的に賛成だ。 実際に、なぜ、Kaggleに参加すると勉強になるのかという点を実際にまとめていく。 Kaggleとは？ Kaggleとはデータサイエンスのコンペティションサイトだ。賞金のかかっていたりいなかったりするコンペが集められており、規約に同意すれば個人でも団体でも自由に参加することができる。 さて、数は少ないが日本独自のデータサイエンスコンペティションサイトもないことはない。DeepAnalyticsなどはその例だし、コンテストサイトでなくてもデータサイエンス、マシンラー
スライド上でコードが動く！Jupyter+RISEによるプレゼン環境 | Code Craft House
Jupyter のノートブックでプレゼンするための拡張機能、 RISE を試してみたので、環境構築や使い方についてまとめてみました。今回紹介する方法では、静的なHTMLに変換するのではなく 実行中のJupyterノートをプレゼン形式で見せる ことが可能で、 プレゼン表示のままコードの実行もできてしまう スゴイやつです。そのうち発表するときに使ってみたいなあと思いながら、自分用のメモを兼ねて一通り動かすところまで記事にしてみます。 RISEについて RISEは、実行中のJupter Notebookをスライド表示するための拡張機能になります。実行中の、というのがミソで、コードサンプルをスライドに載せるだけではなく、 スライド上のコードを書き換えたり、そのまま再実行する ことが可能になります。うたい文句にも "Live" という文字があるのですが、入力値をその場で書き換えて挙動の変化を見せるよ
cppyy: Automatic Python-C++ bindings — cppyy 3.5.0 documentation
cppyy: Automatic Python-C++ bindings cppyy is an automatic, run-time, Python-C++ bindings generator, for calling C++ from Python and Python from C++. Run-time generation enables detailed specialization for higher performance, lazy loading for reduced memory use in large scale projects, Python-side cross-inheritance and callbacks for working with C++ frameworks, run-time template instantiation, au
Python pandas 図でみる データ連結 / 結合処理 - StatsFragments
なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については網羅したい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて書きたい。 公式の方はもう少し細かい使い方も載っているのだが、特に重要だろうというところだけをまとめる。 連結 / 結合という用語は以下の意味で使っている。まず憶えておいたほうがよい関数、メソッドは以下の 4 つだけ。 連結: データの中身をある方向にそのままつなげる。pd.concat, DataFrame.append 結合: データの中身を何かのキーの値で紐付けてつなげる。pd.merge, DataFrame.join 連結 (concatenate) 柔軟な連結 pd.concat ふたつの DataFram
Pandasで特徴量取得する場合に使う操作をまとめてみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 分析は基本的にPythonを使って行います。（大体Pandasですが・・・） Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。 自分のメモがてらカテゴリを分けて記録に残したいと思います。 最後のほうは特徴量の作り方集になっています。 Kaggleで実際に使ったことがある処理も数多く掲載しました。 思いついたら随時、追加しようと思います。 準備 ファイル操作 読み込み 書き込み テーブル操作 1行ごとに処理をする。 複数列を取得する。 選択操作 テーブル条件の指定 複数条件の指定 NaNを埋める。 カラム、テーブルの統計情報を取得する。 完全一致の列を発見し、除去する。 日付操作 日付から日などの情報を取得する。 2つ以上のDataFrameの結合操作 内部結合 外部結合 2つの結合処理 集計操作を使った特
A Comprehensive Beginner's Guide to Creating a Time Series Forecast (With Codes in Python and R)
Introduction Time Series (referred as TS from now) is considered to be one of the less known skills in the data science space (Even I had little clue about it a couple of days back). I set myself on a journey to learn the basic steps for solving a Time Series problem and here I am sharing the same with you. These will definitely help you get a decent model in any future project you take up! Before
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの可視化ツールはHoloViewsが標準になるかもしれない - Qiita
Dataflow Stream Processing now supports Python | Google Cloud Blog
Cloud Dataflow 超入門 - Qiita
