はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、

学習データと評価データの読み込み import pandas as pd import numpy as np # タイタニックデータセットの学習用データと評価用データの読み込み df_train = pd.read_csv("/Users/hinomaruc/Desktop/blog/dataset/titanic/titanic_train.csv") df_eval = pd.read_csv("/Users/hinomaruc/Desktop/blog/dataset/titanic/titanic_eval.csv") 概要確認 # 概要確認 df_train.info() RangeIndex: 891 entries, 0 to 890 Data columns (total 22 columns): # Column Non-Null Count Dtype --- ---

環境を揃えたいTomi（@nouns_is）です。Processing の公式IDEはかなり良くできていると思うのだけれど、コードを書くなら普段使い慣れているエディタで書きたい…という欲望を叶えるために、Visual Studio Code で Processing を動かしてみた。 ProcessingとVisual Studio Codeをインストール どちらも普通にインストールするだけなので、サクッとインストール。 https://processing.org/ https://code.visualstudio.com/ Processing に「processing-java」をインストール Processingを起動して、メニューバーの「ツール」から「”processing-java”をインストール」を選択し、インストール。パスワードを要求されたら、PCのパスワードを入力しよう

この本では、初心者・入門者の方に向けて、AIネイティブ開発（AI-Native Programming）の知識や使い方を体系的にまとめました。 【概要】 ・内容：AIネイティブ開発とは？（AI-Native Programmingとは？）、GitHub Copilotとは？、GitHub Copilotの基本的な使い方、GitHub Copilotの料金体系、GitHub Copilotのインストール方法、AIネイティブ開発のテクニック10選、プロジェクト生成、ソースコード生成、コード補完、コマンド生成、データ生成、ドキュメント生成、デバッグ、コードレビューおよび修正、データ読み込み、ドキュメントへの質問、GitHub Copilotを使う上で気をつけるべきこと、Cursorの紹介、Google Colab AIの概要と使い方、AIネイティブ開発の「社内研修」を検討している方々へ ・所要時

streamlitを使えばWebアプリケーションが簡単に作成できます。 この記事では、streamlitでよく使う機能をサンプルコードと共に紹介し、それらを組み合わせたWebアプリケーションの作成方法を紹介していこうと思います。 目次 1. はじめに 2. streamlitの基本的な使い方 3. streamlitの応用的な使い方 4. テキストマイニングアプリを開発してみる 5. streamlitの注意点 6. まとめ 1. はじめに streamlitはPythonで簡単にWebアプリケーションを作成できるオープンソースのライブラリです。streamlitを使うことで、データの可視化や機械学習モデルのデバッグ、プロトタイプの作成など、様々な用途でWebアプリケーションを作成することができます。 また、streamlitは簡単なコードで高度なUIを作成することができ、ウェブフレームワ

Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT（GPTs）でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版は

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

当サイト【スタビジ】の本記事では、Plotlyの使い方について解説していきます！Plotlyは非常にキレイにグラフを描画できるライブラリ。描画後にインタラクティブにグラフを操作できるのも特徴の１つです。 こんにちは！データサイエンティストのウマたん(@statistics1012)です！ この記事ではグラフをキレイに描画することのできるPlotlyの使い方について解説していきたいと思います！ Pythonでの描画と言えば、MatplotlibやSeabornなどが有名ですがPlotlyも非常に使いやすく人気です。 Plotlyを使うことでインタラクティブにグラフを表現することもできるんです！ Plotlyについて詳しく学びたい方は当メディアが運営するスタビジアカデミーの「株価のテクニカル指標可視化」コースをチェックしてみてください！ Plotlyを使う準備物は試し！それでは早速Plotly

ボードゲームやアクションゲーム、各種ツールやシミュレーションなどさまざまなソフトが100日間に作られた いままで数えきれないほどのプログラマーに会ってインタビューもさせてもらってきたが、久しぶりに若いプログラマーの話を聞いてきた。ここ1、2年では U22グランプリの男子中学生や全国小中学生プログラミング大会の受賞者たちだが、今回は、ChatGPTを使ってプログラムを書きまくった女子大生である。 彼女は X（Twitter）の自分のアカウントで1日1本のソフトを100日間連続で作るというイベントをやっていて「おっ、頑張っているな！」と思って応援していた。「こんなゲームを作ってほしい」などとリクエストを出したりもしていたのだが、どうも私が想像していたものと内容もやり方も違っていたようである。 目下、ソフトウェア産業の最大のテーマは「我々は人間の言葉でプログラムを書くようになるだろうか」というこ

3. APIキーの取得APIキーの取得手順は、次のとおりです。 (1) 「Anthropic」のサイトのAPIの「Get API Access」をクリックしてログイン。 はじめての場合は、アカウントを新規作成します。 (2) ダッシュボードを確認。 初回は「Get started testing Claude with $5 in fee credits.」で$5分のクレジットを取得できます。 (3) 「Get API Keys → Create Key」でAPIキーを作成。 APIキーはGoogle Colabで利用します。 4. Colab での実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install anthropic(2) 環境変数の準備。 左端の鍵アイコンで「ANTHROPIC_API_KEY」を設

こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から

新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました（この記事を参考にコンテンツのほうもブラッシュアップしたいと思います）。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。

今回の記事では下記のような悩みを解決します。 「LightGBMというワードをよく目にするので、LightGBMについて知りたい」 「LightGBMのpythonでの実装方法が知りたい」 早速解説していきます。 LightGBMとは Li... 今回は、「住宅価格予測問題」を使って、「データの前処理、LightGBMでモデル構築、Optunaを使ってハイパーパラメータを調整し予測精度をup」という機械学習（回帰問題）の一連の流れを解説していきます。 まずはデータの読み込みと前処理から解説します。 データの読み込みと前処理 下記のコードで住宅価格予測のデータを読み込み、dfとします。 （下記のコードは覚える必要ないです。コピペしてデータを読み込んでください） dfは81個の列、1460個のデータからなります。 from sklearn.datasets import fetch_openm

LightGBMとearly_stopping LightGBMは2022年現在、回帰問題において最も広く用いられている学習器の一つであり、機械学習を学ぶ上で避けては通れない手法と言えます。 LightGBMの一機能であるearly_stoppingは学習を効率化できる（詳細は後述）人気機能ですが、この度使用方法に大きな変更があったようなので、内容を記事にまとめたいと思います 変更の概要 early_stoppingを使用するためには、元来は学習実行メソッド（train()またはfit()）にearly_stopping_rounds引数を指定していましたが、2021年の年末（こちらのissues）よりこの指定法は非推奨となり、コールバック関数lightgbm.early_stopping()で指定する方式へと変更になりました。 新たな方式であるコールバック関数によるearly_stopp

上記の方々の推奨本 2票（naotaka1128、カレーちゃん）[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) 1票（naotaka1128）PythonとKerasによるディープラーニング 1票（naotaka1128）scikit-learnとTensorFlowによる実践機械学習 1票（mlm_kansai）機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン) 記事の概要 Kaggle参戦記 〜入門からExpert獲得までの半年間の記録 & お役立ち資料まとめ〜 *1) 特徴量エンジニアリング 次元削減系 LDA、PCA、tSNE Kaggle TalkingData Fraud Detection コンペの解法まとめ(基本編) 「カテゴリー変数を組み合わ