こんにちは。CX事業本部Delivery部のakkyです。 少々旧聞となりますが、今年9月にMojo言語がローカルで実行できるようにリリースされました。 MojoはSwiftの開発者が立ち上げたModular社が開発している新しいプログラミング言語で、Pythonの文法とRustのメモリ安全性を兼ね備えたコンパイラ型プログラミング言語です。 AI開発に使用することが想定されていて、SIMDのファーストクラスサポートなども特徴的です。実際にllama2.mojoというLlama2の実行環境の実装も行われています。 現在はPythonとの完全な互換性はありませんが、Pythonインタプリタを呼び出すことでPythonコード/ライブラリを呼び出すことができ、将来的にはMojo自体がPythonのスーパーセットとなることを目指しているそうです。 10月19日にはMacのApple silicon(
Gradio: Pythonで簡単にAIをWebアプリ化 - Safie Engineers' Blog!
この記事はSafie Engineers' Blog! Advent Calendar16日目の記事です。 はじめに Gradioとは Hello World! Gradioのインストール コード実装 実行結果 認証機能 リアクティブインターフェース ブロック構造とイベントリスナー コンポーネントの種類 実装例 ソースコード 画面 その他ドキュメント 関連記事 まとめ はじめに セーフィー株式会社 開発本部 第3開発部 AIVisionグループで画像認識AIの開発エンジニアをしている土井 慎也です。 セーフィーには2023年1月に入社し、もうすぐ1年が経とうとしています。 今年を思い返せば、生成系AIを中心とした、AI界隈の発展がすごい1年でした。 毎日のようにいろんな技術が発表されて、使えそうなものはすぐにOSSに実装されていて、技術進歩の速度がものすごく速く感じました。 さて、今回はそ
NEC は、プログラミング言語「Python」を用いたデータ分析において標準的に使用されているテーブルデータ分析用ライブラリ「pandas」を高速化するソフトウェア「FireDucks」を開発しました(注1)。データ分析に必要なデータの前処理を最大16倍(注2)高速化し、データ分析にかかる時間の大幅な削減とコンピューティングコストの低減に貢献します。 また本日よりFireDucksのβ版をオンライン(https://fireducks-dev.github.io/)で公開します。どなたでも無償でご使用いただくことが可能です。 近年POSやEコマース等の売り上げデータや金融取引のトランザクションデータなど、大量のデータが容易に取得できるようになりましたが、それらデータから価値ある分析結果を導き出すためには、人工知能(以下、AI)や機械学習(machine learning： 以下、ML)を使
可視化手段(難易度) BIツールやPythonを一切触ったことがない人であれば、習熟難易度はSigmaが最も簡単かなと思います。(無論、日頃からPythonを使っていればStreamlit) Tableauも初めて触った際はドラッグ&ドロップで可視化ができてすごく感動しましたが、実際に利用し始めるとLODやブレンドなどを用いなければ集計できないことも多いです。 SigmaであればExcelライクに計算フィールドを作成でき、LODを意識せずとも行レベル計算も可能です。 動作環境 TableauはデスクトップアプリとWeb編集がありますが、SigmaはWeb編集のみになっています。 個人的にはさっとデータを確認する際にExcelを使う感覚でTableauを使う場面も多かったので、ネット環境がないと利用できないのは不便かなと思ったりはします。 ちなみにローカルデータもアップロードすればSigma
はじめに Streamlitって気づいたら神アプデしてますよね。もっと大々的に宣伝してほしいものです（←自分で情報取りに行け）。 さて、化学メーカーに勤めている"自称"データサイエンティストとしてはやはりベイズ最適化したい衝動に駆られます。Notebook上では実装できていたのですが、もっと簡単に使いたいし、周囲に広めるためにもアプリの方が便利だなぁと思いました。 世の中にはそんなアプリがあるけど、ダウンロードが必要だったり（社内申請めんどくさい）、お金がかかったり・・・そうだ！自作しよう！ ということで、Streamlitでベイズ最適化による実験点提案アプリを自作しました。 ひとまず必要最低限の機能だけ実装したので、今後アップデートしていきます。 メインライブラリ streamlit==1.30.0 scikit-learn==1.4.0 ガウス過程回帰、ベイズ最適化 ・scikit-l
プログラミングで気になるあの娘と一夏の青春を送る無料恋愛ノベルゲーム×「初恋プログラミング研究会〜海に行こうよ〜」遊んでみたレビュー
少女から出題されるプログラミングの問題を解いていくことで、少女との思い出を増やしていき、一夏の青春を送るノベルゲーム「初恋プログラミング研究会〜海に行こうよ〜」をpaizaがリリースしたので、プログラミング初心者である編集部員が実際にプログラミングの問題を解きながら、少女との仲をじっくりと深めてみました。 初恋プログラミング研究会〜海に行こうよ〜 https://paiza.jp/entry/proken_g paizaのアカウントにログインした状態で、「初恋プログラミング研究会～海に行こうよ～」にアクセスし、「ゲームスタート」をクリックします。paizaのアカウントは新規登録ページから、無料で登録可能です。 「初恋プログラミング研究会～海に行こうよ～」のあらすじはこんな感じ。 高校2年の夏、俺は勇気を出して同じプログラミング研究会に所属する橘まりかを海に誘った。 彼女はいたずらな笑みで
連載目次 前回は、機械学習の基礎と、主要なPythonライブラリの概要を説明しました。 今回は、Pythonを使った機械学習プログラミングの基本的な流れを、実際にコードを書きながら体験的に学んでいきましょう。具体的には、データの読み込みと加工から、グラフによる可視化、統計的な数値計算、そして簡単な機械学習モデルの構築まで、基本的な一連の流れを体験できます（図1）。 今回で学べること 図1の通り、機械学習プログラミングの基本的な流れに沿って進めると、第1回で紹介した主要なPythonライブラリ（pandas、NumPy、Matplotlib、seaborn、scikit-learnなど）を各場面で使い分けることになります。 各ライブラリを深く理解して使いこなすためには、個別に詳しく学ぶことが必要です。ただし本連載では、詳細には触れず、実践で役立つ基本的な使用例に絞って説明します。もっと深く掘
TL;DR: uv is an extremely fast Python package manager, written in Rust. We first released uv in February as a drop-in replacement for common pip workflows. Today, we're announcing a series of features that extend uv beyond a pip alternative, and into an end-to-end solution for managing Python projects, command-line tools, single-file scripts, and even Python itself. It's Cargo, for Python: a unifi
Python言語による実務で役に立つ100の最適化問題
最適化問題を100以上集めて，Python言語を用いた実用的な解法を紹介しています．
Amazon Bedrock（Claude2）でPythonのソースコード／テストコードの生成を確認してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえばFizz Buzzです。 1-100までの数字のうち、3の倍数の時にはFizzを、5の倍数の時はBuzzを、３の倍数且つ、5の倍数の時はFizzBuzzと、それ以外の時はその数字を表示するプログラム
本記事では、放物形偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう！ 注） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。こ
Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita
はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する
群馬県沼田市は、市政改革大綱を定め、人口減少や逼迫する財政状況などの直面する課題へ取り組み、持続的行政サービスの提供を行うことを掲げている。 そうした中、副市長の川田正樹CIO（Chief Information Officer)をトップとしたDX推進室を令和4年度から新たに組織し、デジタルを活用した業務変革、DX（デジタルトランスフォーメーション）に取り組んでいる。具体的には、スマート自治体を推進するため、効果的な手段としてAIやRPAの導入を進めている。 当初は、有償のRPAソフトを導入し効果を上げていたが、浮かんできた課題を解決するため、オープンソースのPythonとRPAソフトに切り替えた。これにより、どのような効果が得られたのだろうか。 この一連の取り組みについて、沼田市総務部企画政策課 課長 星野盾氏、DX推進室長 鳥羽雄一郎氏、主査 石澤賢一郎氏、主任 原沙和氏に聞いた。 左
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AnthropicAI Tool で Retrieval-Augmented Generation を実装してみた
LangChain なんか使わなくてもシュッと作れたので記事にしておく。 RAG とは 生成AIに検索能力をもたせるやつ。 要は検索機能をこちらで提供してやって、AIにそれを読ませる。 AnthropicAI Tool OpenAI でいう Function Calling JSONSchema で関数シグネチャを与えると、それを使うDSLを生成する。実際の関数は自分で実装して、AI が生成した引数(JSONSchema に従う)を渡す。 TypeScript の Mapped Types でツールの実装部分に型をつける簡単なラッパーを書いた。 RAG の CLI を作る Google検索をするAPIを実装 Google Custom Engine API を使った 本文要約をするAPIを実装 Mozilla の実装を使った 与えられた URL を fetch して、その本文部分を抽出する
大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた
テラーノベルで機械学習を中心に担当している川尻です。みなさんも大量のデータを特徴抽出してみたけど、どう使ったらいいかわからないなぁということありますよね。とりあえずどういうデータなのか雰囲気だけでもみるために、簡単な可視化から入るかと思います。以前にもグラフデータの可視化について記事を書きました。 テラーノベルでは小説投稿アプリを作っており、OpenAI Embedding APIを使って全作品の特徴量を出しているデータベースがあります。今回はこのデータを例にして、UMAPという可視化に便利な次元削減手法の使い方を紹介します。 UMAPとは UMAPというのは非線形の次元削減手法で、特徴は次元数やデータ量に対してほとんど一定の計算時間で済むということです。LLMなどの事前学習モデルでよく扱うような1,000次元を超えるような特徴量でも全く問題なく動きます。さらに、Pythonでとても使いや
すみません、すごい前置きが長くなってしまったので、ランキングの結果だけ知りたい場合は目次から飛んでください！ 「本番環境でやらかしちゃった人 Advent Calendar」をご存知ですか おはようございます！ 自分が好きなアドベントカレンダーに、「本番環境でやらかしちゃった人 Advent Calendar」 というのがあります。インフラエンジニアとして働く自分は、毎年こんなにもリアリティのある やらかしと学びの集大成 を「明日は我が身」だと胃を痛めながらありがたく拝見していました…。 この分野における しくじり先生 がここまで一同に介する機会というのはあまりないことから、大変マニアックながらも知る人ぞ知るアドベントカレンダーという感じになっています。 このアドベントカレンダーのいいところ ポイントは、しっかりと ポストモーテム の要素がルール化されているところだと思っています。 振り返
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM 2023 10/19 皆さん、StreamingLLMというLLM用のアプリケーションをご存知ですか？ LLMで無限に入力ができることを可能にしたツールなんです！LLMを日々使い倒している弊社としては、衝撃のツールなんですよ。 GitHubでも4500超えのスターを獲得しており、徐々に注目が集まっています。AIオタクであれば、知らなかったなんてことないですよね。 このStreamingLLMを使えば、対話型でLLMを動かすことができ、モデルが質問の都度、リアルタイムで応答を生成してくれます。 というわけで、今回はStreamingLLMの使い方や、実際に使ってみた感想などをご紹介します。 この記事を最後まで読むと、StreamingLLMを使いこなすことができ、LLMとのリアルタイムの会話も可能になります！
はじめに ここ最近、大雨のニュースを見るたびに「〇〇年に一度の大雨」という表現を目にします。これは「千年に一人の美少女」や「百年に一度の逸材」といったレトリックではなく、データに基づいて統計的に算出された根拠のある数字です。 気象庁や自治体では観測結果をもとにこのような量を算出し、発表することで防災に役立てています。このシリーズでは、算出方法を確認し、Pythonを使って、実装・計算してみたいと思います。 なお、ここで紹介する手法は、実際に公的機関が発表しているものとは異なる場合が多分にありますので、十分にご注意ください。 今回は、前回に引き続き、分布関数をヒストグラムに当てはめる方法について紹介したいと思います。 「○○年に一度の大雨」の計算方法とは？ 気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のこ
音声データをPythonで取り込んで表示したり解析したりしたいと思ったことはありませんか？ この記事では音声データの入出力をPythonで行えるpydubのインストールと基本的な使用方法（音声データの読み込み）について説明します。 pydubで音声データファイルの入力ができれば，Numpyが提供する関数等を使用してPython上で音声データの解析・加工ができるようになります。 動作検証済み環境 macOS Catalina(10.15.7), python3.7.10, Jupyter Notebook, OpenCV 3.4.2 Pythonで音声データを読み込み，波形を描画する方法 pydubのインストール Pythonで音声データファイルの読み込みをするときは，pydubが便利です。 pydubは内部で ffmpegというライブラリを使用しますので，あらかじめインストールしておく必要
個人的には、前者の方がわかりやすいので[]を使っていたのですが、 同じチーム内にlist()で書く人もいて、コードレビューのときに「結局どっちがいいんだっけ？」の議論になったので両者の違いをまとめようと思います。 結論 以下の観点から[]を使うルールにしました。 読みやすさ []は他の多くのプログラミング言語（例えば JavaScript、C++、Java など）でも配列やリストを表すのに使われており、一般的に慣れ親しんだ表現であること。 Pythonの教育/学習資料でも、空のリストを生成する標準的な方法として[]が紹介されている印象。 シンプルに[]の方が簡潔 一方で、list()はpython特有の記法であり、pythonに精通していない人は一瞬「？」となる。 パフォーマンス [] は list() よりも生成が速い。 検証してみた 両方の書き方でそれぞれ空のリストを100万回作成する
![pythonでリストを生成するときにlist()と[]どっちを使うか？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/297fbfd731b3bdf3f1ad0389dde8914563a1a693/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9cHl0aG9uJUUzJTgxJUE3JUUzJTgzJUFBJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgyJTkyJUU3JTk0JTlGJUU2JTg4JTkwJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUE4JUUzJTgxJThEJUUzJTgxJUFCbGlzdCUyOCUyOSVFMyU4MSVBOCU1QiU1RCVFMyU4MSVBOSVFMyU4MSVBMyVFMyU4MSVBMSVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9OGUwMTAxYjI0YjYxYzUxYmI3ODZhYjA4MzgxNzdlMjk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBpbmV0Y3BsJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xZGVhZWYxNmI4MWJhYmQ0ZDU2ZGY5NzYxODc2NDk1ZA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da65ad3aa2c65a0c1d99c822afd834a86)
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - google/magika: Detect file content types with deep learning
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに 前回は、非常に小さなレトロ風RPGの、バトル画面を作りました。今回は、Pythonのクラスと、Pygameのスプライトについて学びます。 クラスとインスタンス クラスは多くのプログラミング言語に存在している仕様です。Pythonにもクラスがあります。クラスはデータと処理をまとめてグループ化できる仕組みです。他にも便利な仕組みを持っています。 クラスは整数やテキストなどと同じような「型」になります。そして、クラスという設計図のようなものから、インスタンス（実体）と呼ばれるオブジェクト（物）を作ることができます。 クラスとインスタンス 実際にどのようなものか、Pythonのプログラムで見てみましょう。class_1.pyというファイルを作り、プログラムを書いて実行します。 class Chara: # コンストラクター、第一引数はself def __init__(self, nam
はじめに みずほリサーチ&テクノロジーズの @fujine です。 本記事では、Pythonの辞書をより便利に使うためのテクニック10個を解説していきます。基本的な操作も多く含まれていますが、 パフォーマンスを意識して実装する キーの数に依存せず、短い行数で簡潔に実装する 辞書の可読性を高める ことに重点を置きました。Pythonの辞書に一通り慣れた初心者が、チーム開発やより複雑なプログラム開発へステップアップする際に活用いただけたらと思います。 辞書を作成する 複数の辞書を１つに結合する 初期値を持つ辞書を作成する 辞書の要素を取得・更新・追加・削除する 要素の追加と取得を一度に実行する 辞書から複数の要素を同時に取得する 辞書をキーや値でソートする 辞書を読み取り専用にする カスタム辞書を作成する 型ヒントを導入する 実行環境はWindows10(64bit) 22H2、Pythonバ
PyTorch の社内勉強会の題材にしたいと思い立ち、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いた自己対戦型強化学習の三目並べ AI を実装したので公開します。見通しの良いシンプルな実装を目指しました。結局、それなりのコード量になってしまいましたが。 動作環境 Google Colaboratory の CPUランタイムにて動作を確認しました。 概略 おおまかな処理フローは次図の通りです。盤面情報を受け取った先攻方策と後攻方策は、○×を書き込む場所を返します。この先攻方策と後攻方策に AI を実装し自己対戦させます。 盤面情報は、空白マスをゼロ、先攻 ○ を+1、後攻 × を-1とした形状 (H,W)=(3,3) の二次元配列とします。 盤面座標は、場合により二次元座標と1次元に展開したフラット座標を使い分けます。 三目並べの
こんにちは、松尾研究所シニアデータサイエンティストの浮田です。 松尾研究所では、多種多様な機械学習プロジェクトを進めています。これらのプロジェクトの中には、本番環境に近い開発が必要なものもあり、開発した機械学習アルゴリズムを推論用にどのように提供するかについて検討することがしばしばあります。この記事では、私たちがプロジェクトで実際に採用した、機械学習の推論APIの実装例を紹介します。 機械学習アルゴリズムの推論パターン 機械学習モデルの学習やLLMのプロンプトエンジニアリングなどの開発が完了すると、次に考えるのはそのアルゴリズムをどのように提供するかです。提供方法にはいくつかのパターンがありますが、以下の「AIエンジニアのための機械学習システムデザインパターン」の書籍に網羅的にまとまっています。 実際には、特にディープラーニングモデルやLLMを使ったアルゴリズムでは、非同期で推論することが
ドワンゴのN予備校という教育サービスでプログラミング講師をしている @sifue といいます。N高等学校/S高等学校のプログラミング講師もしており、学内のツール開発や運用などもしたりしています。 最近は生成AIが流行ったこともあって、Pythonだったり、UIが必要なものはどうしてもTypeScriptとReactで実装することも多いのですが、久しぶりにScalaを使っての開発をしてみました。 自身は、Scalaでの開発はニコニコ生放送のサービスを開発するときに使っていた他、N予備校内で提供している大規模Webアプリの教材やドワンゴが当初作成していたScalaテキストの作成などにも関わらせてもらいました。 その当時のScalaは2.12であったわけなのですが、その後2.13が出て、さらに今はScala3系になって3.3.1までバージョンが進み、開発環境が変わってすごく使い勝手がよくなったと
ダウンロードはこちら 世の中には幾つものプログラミング言語が存在する。開発者がこれから学ぼうとするプログラミング言語を選ぶことは簡単ではない。そこで指標になるのが、近年の勢いだ。開発者の間で人気が高まっているプログラミング言語を選ぶことは、トレンドに追従したり、求人市場でより良い職を得たりする際に役立つ可能性がある。 「Python」と「Go」（「Golang」とも）は、どちらも近年人気のプログラミング言語だ。それぞれ独自の文法や仕組みを持っており、適する用途も異なる。本資料は、サンプルコードと共にPythonとGoの違いをさまざまな面から解説する。両者の違いを理解し、適切なプログラミング言語を選ぶための手掛かりを得よう。 中身を読むには、「中身を読む」ボタンを押して無料ブックレットをダウンロードしてください。 連載：「Python」と「Go」の違いを比較
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.16 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケージが次の3つのパッケージに分割
tl;dr In our continued efforts to expand and improve your profiling experience, we are excited to announce new additions to our language support: Ruby and Python. All the features that are described in this blog post have recently been released as part v0.26.0 of Parca Agent. While currently these language supports are in beta, they can be enabled using the --enable-ruby-unwinding and --enable-pyt
解決！Python CSVファイル編
こんなときにはどんなコードを書くんだっけ？ というときに役立つ連載「解決！Python」から今回は、以下のcsvモジュール／NumPy／pandasという3つのモジュール／フレームワークを使ってCSVファイルを読み書きする方法をまとめてeBook化しました。 これら3つのモジュール／フレームワークを対象に、CSVファイルを読み込むときにはこんなコード、CSVファイルに書き込むときにはこんなコード、さらにあーしたい、こうしたいというときには、こんなパラメーターにこんな値を指定する、といったサンプルが満載の一冊になっています。 解決！Pythonは短い記事の中にサンプルコードをギュッとまとめたいと思っているのですが、合わせて7つの記事をまとめてみたら、なんと！ 100ページ近い分量になってしまいました。 機械学習やディープラーニングに限らず、表形式のデータを読み込んで何らかの処理を行いたいとい
大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）
本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル（LLM）の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報
Rye and uv: August is Harvest Season for Python Packaging
Rye and uv: August is Harvest Season for Python Packaging written on Wednesday, August 21, 2024 It has been a few months since I wrote about Rye here last. You might remember that in February I passed over stewardship of my Rye packaging too to Astral. The folks over there have been super busy in building a lot of amazing tooling for Python packaging in the last few months. If you have been using
「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの
Pythonデータサイエンスハンドブック 第2版
Pythonのデータサイエンス用のツールを使いこなすための実用的な情報が詰め込まれたリファレンスの待望の改訂版です。IPythonとJupyter、NumPy、pandas、Matplotlib、scikit-learnを利用し、データの操作、可視化、行列計算、時系列解析、統計分析、機械学習、データモデルの構築、複雑な科学計算まで、幅広いトピックをカバー。それぞれのトピックについて、押さえておくべき基本、tips、便利なコマンドなどを紹介します。Pythonでデータ処理を行う人にとってはいつも手元に置いておきたい「使える」一冊です。 『Python Data Science Handbook, Second Edition』への称賛 訳者まえがき はじめに Ⅰ部 Jupyter：Pythonより優れたPython 1章 IPython、Jupyter入門 1.1 IPythonシェルの起動
形状分類について 形状分類（Shape Classification）は、さまざまな形状を識別し、分類するプロセスです。これは、コンピュータビジョン、パターン認識、機械学習などの分野で広く使用されています。形状分類の目的は、画像や物体内の特定の形状を識別し、それらを事前に定義されたカテゴリに分類することです。このプロセスは以下のステップで構成されます。 データ収集と前処理： 形状を含む画像や物体のデータセットを収集し、ノイズの除去やサイズの調整などの前処理を行います。 セグメンテーション：前処理された画像は、個々のオブジェクトを識別するためにセグメンテーションされます。 特徴抽出：各オブジェクトから形状記述子（面積、周囲長、円形度、アスペクト比、丸み、固体度など）を計算し、形状を識別するために重要な特徴を抽出します。 分類と評価： 抽出された特徴を使用して形状を分類し、例えば機械学習（ニュ
NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 Pythonの代表的な学術計算ライブラリNumPyの初のメジャーバージョンアップとなる「NumPy 2.0」のリリース日が、2024年6月16日となることが発表された。 NumPy 2.0 release date: June 16 -News-NumPy NumPyはPythonで数値計算を行うためのライブラリ。NumPyプロジェクトにより、修正BSDライセンスの元で開発されているオープンソースソフトウェアである。低レベルから高度なものまでさまざまな計算に対応し、高いパフォーマンスを発揮することから、近年のAI、機械学習の発展において欠かせないモジュールとなっている。 NumPy 2.0は2006年以来の最初のメジャーリリースとなり、数多くの新機能と大幅なパフォーマンスアップが盛り
でインストールいけます! Windows(ARM も!), Linux(arm も!), macOS の全バイナリがあるので, コンパイル不要でいけるよ. 辞書データは別途必要です. とりあえずは の README からたどれるコンパイル済み KWDLC を使いましょう. import jagger model_path = "model/kwdlc/patterns" tokenizer = jagger.Jagger() tokenizer.load_model(model_path) text = "吾輩は猫である。名前はまだない。" toks = tokenizer.tokenize(text) for tok in toks: print(tok.surface(), tok.feature()) print("EOL") 吾輩 名詞,普通名詞,*,*,吾輩,わがはい,代表表記:
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新しいPython風プログラミング言語Mojoを試してみた | DevelopersIO
NEC、Pythonを用いたデータ分析を高速化するソフトウェア「FireDucks」の無償提供を開始
データ可視化手段を比較してみる (Tableau・Sigma・Streamlit)
ベイズ最適化（実験点提案）アプリをStreamlitで構築するぜ！ - Qiita
scikit-learn入門＆使い方 ― 機械学習の流れを学ぼう
uv: Unified Python packaging
【コード付き】放物形の偏微分方程式の数値解法【Python】 - LabCode
有償RPAソフトからオープンソースのPythonに切り替えた沼田市、その狙いと効果とは
GitHub - google/mesop: Rapidly build AI apps in Python
本番環境でやらかしちゃった人 Advent Calendar 2019〜2022 総合ランキング - Qiita
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM | WEEL
【気象データ】「〇〇年に一度の大雨」の算出 (分布関数の当てはめ編)【統計解析】 - LabCode
【Python】pydub使ったら音声データの解析がめっちゃ簡単だった
pythonでリストを生成するときにlist()と[]どっちを使うか？ - Qiita
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
GitHub - dai-motoki/zoltraak
【作って学ぶPython】クラスとスプライトを学んでメンテナンスしやすいコードを書こう！
Python初心者がマスターしておきたい辞書の活用テクニック10選！ - Qiita
自己対戦で強化学習する三目並べ AI をPyTorchで実装 - Qiita
機械学習の推論結果を非同期にPOSTで返す — FastAPIでの実装例
Scala3の開発体験がScala2時代に比べてめちゃくちゃ良くなっていた話 - Qiita
「Python」と「Go」を徹底比較 どちらのプログラミング言語を学ぶべき？
LangChain v0.1 クイックスタートガイド - Python版｜npaka
Profiling Python and Ruby using eBPF
Google Colab で OpenAI API の Retrieval を試す｜npaka
【画像解析】画像データ内の粒子の形状分類・検出【ImageJ】 - LabCode
NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 | gihyo.jp
高速形態素解析 Jagger の Python binding のメモ