退屈なことはPythonにやらせよう 第2版
一歩先行くハイパフォーマンスなビジネスパーソンからの圧倒的な支持を獲得し、自作RPA本の草分けとして大ヒットしたベストセラー書の改訂版。劇的な「業務効率化」「コスト削減」「生産性向上」を達成するには、単純な繰り返し作業の自動化は必須です。本書ではWordやExcel、PDF文書の一括処理、Webサイトからのダウンロード、メールやSMSの送受信、画像処理、GUI操作といった日常業務でよく直面する面倒で退屈な作業を、Pythonと豊富なモジュールを使って自動化します。今回の改訂では、GmailやGoogleスプレッドシートの操作、Pythonと各種モジュールの最新版への対応、演習等を増補しています。日本語版では、PyInstallerによるEXEファイルの作成方法を巻末付録として収録しました。 関連ファイル サンプルコード 正誤表 書籍発行後に気づいた誤植や更新された情報を掲載しています。お手
関数名、メソッド名、変数名でよく使う英単語のまとめ
プログラミングをしていると関数名、メソッド名、変数名をどうするか悩みます。 ロジックより命名に時間を費やすこともざらにあります。翻訳したり、一般的な命名規則なのかいつも検索して大変です。 よく使うサイトの内容をコピってメモしておく 関数名とメソッド名の違いについて よく使う英単語のまえに、いつもごっちゃにして使っているけど、定義はこんな感じ 「関数」と「メソッド」の違い 似ているところ どちらも何か（引数）を入れると処理をして何か（戻り値）を返してくれます。 違うところ やってること自体は大差ありません。概念としては違います。 メソッドはオブジェクト指向で登場する用語で、オブジェクトの動作を定義したものです。 まずオブジェクトありきなのですね。一方の関数は、オブジェクト云々は関係ありません。 個人的な使い分け Java で登場する関数は「メソッド」です。C 言語で登場する関数は「関数」と呼
ルールは現場で死にました - The Rules of Programming の読書感想文 - じゃあ、おうちで学べる
本日は人生の数ある選択肢のなかから、こちらのブログを読むという行動を選んでくださいまして、まことにありがとうございます。 はじめに プログラミングの世界には多くの指針や原則が存在します。Chris Zimmerman氏の「The Rules of Programming」（邦題：ルールズ・オブ・プログラミング ―より良いコードを書くための21のルール）は、不変の知恵を凝縮した一冊です。これらの原則は、多くの開発現場で活用できる有益な内容となっていると思いました。 The Rules of Programming: How to Write Better Code (English Edition) 作者:Zimmerman, ChrisO'Reilly MediaAmazon 本書は、大ヒットゲーム『Ghost of Tsushima』などで知られるゲーム制作スタジオ、Sucker Pun
キャッシュフローを考慮……？ 例えばなのだが「1000 万円を〇〇に投資したら、10 年後に 1300 万円になりました！ 300 万円、つまり 30%も儲かりました！」というような話をしている人がいる。これは儲かったと言えるのだろうか？これを年利に換算すると、2.6%程度の利益になる。これはインフレ率が 2-3%という前提で考えると、実質的にはほとんど儲からなかったもしくは損をした、 ということになる。S&P500 の平均リターンは 10%程度ということを考えると、ちょっと分が悪い投資だな、という感想になるだろう。これが逆に 1 年で 1300 万円になった場合は、 30%のリターンになるので、これはかなりいい投資だった、ということになる。 このように、投資の成果を評価するときには、単純に金額だけでなく、キャッシュフローを考慮することが重要になる。賃貸と不動産購入を比較するときに、「購入
OpenAIのプロンプトジェネレーターで至高のプロンプトを生成する - Taste of Tech Topics
こんにちはイワツカです。 食欲の秋ということでサツマイモやキノコが美味しい季節ですね。 さて今回は、生成AIを使おうと思ってもプロンプトの書き方がよく分からず、生成AIから思ったような回答を得られない...なんて方におススメのOpenAIのプロンプトジェネレーター機能を紹介します。 1. プロンプトジェネレーターとは 使い方 2. ユースケースごとのプロンプトと結果比較 Pythonコードのリファクタリング プロンプトジェネレーターを使わない場合 プロンプトジェネレーターを使う場合 API設計 プロンプトジェネレーターを使わない場合 プロンプトジェネレーターを使う場合 ブログ作成 プロンプトジェネレーターを使わない場合 プロンプトジェネレーターを使う場合 3. まとめ 1. プロンプトジェネレーターとは プロンプトジェネレーターとは、その名の通り、AIに対する指示文（プロンプト）を自動的に
高速化のエンジニアリング。注文してから0.722秒。100倍速いぞ！Python : 75.884 C++ : 3.392 JIT Python : 0.722 JITコンパイラで高速化されたコードを自動生成するツール。 - Qiita
アリスは驚きと興奮を抑えきれませんでした。彼女はすぐに新しいコードを試し、その速さに目を見張りました。今まで数時間かかっていた計算が、ほんの数分で終わったのです。 翌日、アリスはこの発見を友人たちに話しました。友人たちも同じように魔法の本を使い、彼らのコードを高速化しました。こうして、プログラミング王国全体で「JITの魔法の本」が広まりました。 やがて、アリスは王国のプログラミング大会で優勝し、JITの魔法の本の力をさらに広めることになりました。彼女は「JITの守護者」として称えられ、プログラミング王国はかつてない繁栄を迎えました。 アリスはいつも心に誓いました。どんなに強力なツールも、それを使う人々の努力と情熱があってこそ、本当の力を発揮するのだと。彼女の言葉は次世代のプログラマーたちに伝わり、JITの魔法の本は永遠に受け継がれていくのでした。 前回のあらすじ。 Python count
【GIS】365日20℃生活☀️日本の平年気温データから適温で暮らし続ける方法を探る｜朝日新聞社 メディア研究開発センター
はじめに メディア研究開発センターの石井です。 データジャーナリズムのためのデータ分析、文章校正AI Typolessの開発などを担当しています。 あと数ヶ月で、また汗が止まらない季節がやってきそうですね。 日本の四季は素晴らしいですが、やっぱり夏は暑いし冬は寒い。 常に20℃で暮らしたい！ 夏は北海道、冬は沖縄など、季節によって移動し続ければ、一年中快適な気温で過ごし続けることができるでしょうか？ 今回は、日本の平年気温のデータを使って、日本全国適温マップを作ってみました！ マップ作成までの流れまずは、日本全国の平年気温データをダウンロードします。 そこから、月ごとに適温（ここでは平年気温20℃）になる箇所を探します。 最後に、選んだ地点から全国マップを作ります。 今回扱うのは気温のデータですが、「位置」に紐づくものなので、ここでは緯度経度を含むGIS※データを扱うことになります。 ※G
技術部の笹田（ko1）と遠藤（mame）です。クックパッドで Ruby (MRI: Matz Ruby Implementation、いわゆる ruby コマンド) の開発をしています。お金をもらって Ruby を開発しているのでプロの Ruby コミッタです。 本日 12/25 に、ついに Ruby 3.1.0 がリリースされました（Ruby 3.1.0 リリース ）。今年も Ruby 3.1 の NEWS.md ファイルの解説をします。NEWS ファイルとは何か、は以前の記事を見てください。 プロと読み解く Ruby 2.6 NEWS ファイル - クックパッド開発者ブログ プロと読み解くRuby 2.7 NEWS - クックパッド開発者ブログ プロと読み解くRuby 3.0 NEWS - クックパッド開発者ブログ 本記事は新機能を解説することもさることながら、変更が入った背景や苦労な
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 この Colab Notebookの実行結果をエクスポートした上で、不要な部分を一部削って記事にしています。colab notebook をコピーして実行してもらえれば再現することが可能なはずです。(colabにコメント等をいただいても返すことはできないと思います、すみません。) 前提条件 この記事ではあくまで「遅くない(なりづらい)書き方を紹介する」ことに努めます。よって、以下のような改善点はあるが一旦考慮の外におくものとして話を進めます。 並列化ライブラリ
(追記)本記事で使用しているLINE Notifyが2025/3/31にサービス終了します。今後はLINE Messaging APIへ通知するよう変更した以下記事のツールを代わりにご使用ください。 こんにちは、つくぼし(tsukuboshi0755)です! みなさんは、利用中の AWS 料金を逐一把握されていますでしょうか？ リソースの消し忘れ等で、いつのまにか AWS からの請求額がとんでもない事になっていた...という体験談を持つ方もいらっしゃるかと思います。(私もその一人です) 上記の対策として、以下の記事のように、AWS の請求額を毎日通知するシステムを構築し、確認する方法が挙げられます。 こちらのシステムは非常に便利なのですが、 Slack への通知が前提となるため、普段 Slack を利用していない方からすると多少扱いづらいかもしれません。 そこで今回は、上記のシステムを少し
Introducing Amazon S3 Vectors: First cloud storage with native vector support at scale (preview) | Amazon Web Services
AWS News Blog Introducing Amazon S3 Vectors: First cloud storage with native vector support at scale (preview) Today, we’re announcing the preview of Amazon S3 Vectors, a purpose-built durable vector storage solution that can reduce the total cost of uploading, storing, and querying vectors by up to 90 percent. Amazon S3 Vectors is the first cloud object store with native support to store large ve
GPT-5 の新パラメータとツール｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・GPT-5 New Params and Tools - OpenAI Cookbook 1. verbosity1-1. 概要「verbosity」は、出力トークン数を調節できます。 ・low : 簡潔なUX、簡潔な文章 ・medium (デフォルト) : バランスの取れた詳細 ・high : 詳細な情報。監査、教育、引き継ぎに最適 1-2. verbosityの効果の確認プロンプトを一定に保ったまま、「verbosity」を変更することで、効果を確認できます。 response = client.responses.create( model="gpt-5", input="人生、宇宙、そして万物に関する究極の問いに対する答えは何でしょうか?", text={ "verbosity": "low" } ) print(response
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
プロと読み解くRuby 3.4 NEWS テクノロジー部門技術基盤グループの笹田（ko1）と遠藤（mame）です。Ruby (MRI: Matz Ruby Implementation、いわゆる ruby コマンド) の開発をしています。お金をもらって Ruby を開発しているのでプロの Ruby コミッタです。 本日 12/25 に、恒例のクリスマスリリースとして、Ruby 3.4.0 がリリースされました（Ruby 3.4.0 リリース ）。今年も STORES Product Blog にて Ruby 3.4 の NEWS.md ファイルの解説をします（ちなみに、STORES Advent Calendar 2024 の記事になります。他も読んでね）。NEWS ファイルとは何か、は以前の記事を見てください。 プロと読み解く Ruby 2.6 NEWS ファイル - クックパッド開発者
この記事は、新しくプログラミング言語を設計する際に数値型をどうするべきかについて、私の持論をまとめたものです。 数の体系 JavaScript（BigInt以前）やLua（〜5.2）などは唯一の数値型が浮動小数点数型で、整数も実数も同じ「number」型で表現します。ミニマルな言語を作るのならそういう設計もアリかもしれませんが、ネイティブコンパイルも視野に入る実用的な言語を作るなら整数と実数を一緒くたにする設計はやめた方が良いと思います。 特に、JavaScriptにコンパイルする言語を作るからと言って、数値型の設計まで真似る必要はありません。 整数を浮動小数点数で表現すると、思わぬ性能低下の要因になったりします。最近（2023年2月）、次のツイートが話題になりました： これは正のゼロと負のゼロが値として区別され、正のゼロは内部的に整数扱いされるのに対し負のゼロはそうではないことによるもの
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
1. はじめに Transformerは2017年に「Attention is all you need」という論文で発表され、自然言語処理界にブレイクスルーを巻き起こした深層学習モデルです。論文内では、英語→ドイツ語翻訳・英語→フランス語翻訳という二つの機械翻訳タスクによる性能評価が行われています。それまで最も高い精度を出すとされていたRNNベースの機械翻訳と比較して、 精度(Bleuスコア) 訓練にかかるコストの少なさ という両方の面で、Transformerはそれらの性能を上回りました。以降、Transformerをベースとした様々なモデルが提案されています。その例としては、BERT,XLNet,GPT-3といった近年のSoTAとされているモデルが挙げられます。 ここで、「Attention is all you need」内に掲載されているTransformerの構造の図を見てみま
MCP Python SDK のドキュメント｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・modelcontextprotocol/python-sdk 1. 概要「MCP」を使用すると、アプリケーションは標準化された方法でLLMにコンテキストを提供できます。これにより、コンテキストの提供とLLMとの実際のやり取りを分離できます。「Python SDK」はMCP仕様を完全に実装しており、以下のことが容易になります。 ・任意のMCPサーバに接続できるMCPクライアントの構築 ・リソース、プロンプト、ツールを公開するMCPサーバの作成 ・stdio、SSE、Streamable HTTPなどの標準トランスポートの使用 ・すべてのMCPプロトコルメッセージとライフサイクルイベントの処理 2. インストール2-1. PythonプロジェクトにMCPを追加Pythonプロジェクトの管理には「uv」が推奨されています。 (1) プロジェク
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
このようなゲームを作りました。基本的には迷路のゲームです。 サイトのリンク 本記事ではこのゲームの製作過程を掲載すると共に、きっと有益にな情報をまとめます。楽しんで頂けたら幸いです。 Step0 前提 まず用語を整理します。 Blender : 3DCG制作ソフト。Pythonによって操作が可能になっています。 Python : 言わずと知れた有名プログラミング言語。 Unity : ゲーム制作ソフト。スタート画面の表示やゲームオーバーの判定などをしてくれます。言語はC#です。 大まかな流れとしては、 Step1. Blenderで3Dオブジェクトを作成 Step2. Pythonでそれを迷路に組み立てる Step3. Unityでゲームとして完成させる という風になっています。 コードに関しては、読みやすさも考え記事中においては一部抜粋に留めています。もし全体のコードを知りたい場合はプル
Node/Deno でソースコードにテストを書く
tl;dr ファイルをそれ単独で単体テストとして実行するボイラープレートを編み出した そのヘルパとして mizchi/test という実装を作った なぜソースコードにテストを書きたいか Rust や Python の doctest ではソースコードにテストを書く方法があります。 ソースコードにテストを書けると、コードとテストの心理的な距離が近くなってテストが書きやすくなる、という肌感があります。(諸説あります) 実装とテストが混ざって汚れるのが嫌という意見も理解できますが、それはありつつ認めた上で、あとでリファクタする前提で最初の一歩をその実装に書けると嬉しい、という気持ちがあります。 現状の Node だととりあえず assert するだけという単純なテストを書くことは可能ですが、構造化する方法がないので、簡単なスクラッチの時ぐらいしか行われません。 // test.js import
[8/27追記] 投資関連のPythonプラグラム等を自由にシェアできるサービスのベータ版を作成しました。 興味がある方は覗いてみてください↓ inbaseシェア|EA・bot・プログラムのシェアサービス この投稿では、Python3を使って仮想通貨の裁定取引を行います。 今回は、コインチェックとGMOコインの価格差を利用してサヤ抜きを行うことを目指します。 以前自分のブログで、 【Pythonデモコード】仮想通貨のアービトラージ（裁定取引）botの作り方 という記事を公開したのですが、こちらはあくまでもシュミレーションで実際に売買が作動することはありませんでした。 今回は実際に取引所のAPIを操作するところまでコートに組み込んでみました。 なおコインチェックと GMO コインの口座開設から API キーの発行までは下の記事で公開している手順と全く同じです。 一応画像付きで解説しているので
【Python 3.12】型ヒント機能がいつの間にか進化していたので、慌ててキャッチアップする - ABEJA Tech Blog
ABEJA でプロダクト開発を行っている平原です。 先日、バックエンドで使っているGo言語のお勉強しようと「go言語 100Tips ありがちなミスを把握し、実装を最適化する」を読んでいました。その中でinterfaceは（パッケージを公開する側ではなく）受け側で定義するべきという記述を見つけてPythonでも同じことできないかと調べていると（PythonではProtocolを使うとうまくいきそうです。）、どうやら型ヒント機能がかなりアップデートされていることに気づき慌てて再入門しました。（3.7, 3.8あたりで止まってました。。） この記事では、公式ドキュメントを見ながら適当にコードを書き散らし、どの機能はどこまで使えるのか試してみたことをまとめてみました。 docs.python.org 環境 Python: 3.12.1 エディタ: Visual Studio Code Pylan
Python FastAPIで構築する実用的データ統合パイプライン: 天気・交通APIを例にしたジェネレータ活用術 - Qiita
はじめに こんにちは、皆さん。今回は、FastAPIを使用して天気予報APIと交通情報APIを作成し、それらから取得したデータを効率的に統合する方法について、Pythonのジェネレータを使用したアプローチを紹介します。この例を通じて、複数のデータソースを組み合わせることで、日常生活の計画をより効率的に立てる方法を学びましょう。 目次 はじめに 環境準備 FastAPIを使用した天気・交通APIの作成 ジェネレータを使用したデータ統合 動作確認と日常生活への応用 パフォーマンスと拡張性 まとめ はじめに 日々の生活において、天気予報や交通情報は私たちの行動計画に大きな影響を与えます。本記事では、これらの情報を提供する2つのAPIを作成し、それらからのデータを効率的に統合して活用する方法を紹介します。 環境準備 まず、必要なライブラリをインストールします： from fastapi impor
大規模言語モデルの「脳波」をとって言葉を生成しているときにどこが活動しているのか見てみる - きしだのHatena
ChatGPTなんかの大規模言語モデルが言葉を生成しているときに、どういう反応が起きているのか気になりますよね。きっと気になる。 ということで、手元で動かせる言語モデルのニューラルネット各層での出力を表示してみました。 GPTにはGPTブロックが複数あって、それぞれのブロックが２層のニューラルネットレイヤを持っています。 モデルを読み込んだあとでこういうコードを動かしてニューラルネットの出力の二乗を足していきます。 for idx, elm in enumerate(model.transformer.h): elm.ln_1.index = idx * 2 elm.ln_2.index = idx * 2 + 1 elm.ln_1.old_forward = elm.ln_1.forward elm.ln_2.old_forward = elm.ln_2.forward def new_
はじめまして、ZOZO研究所福岡の家富です。画像検索システムのインフラ、機械学習まわりを担当しています。 今回は画像検索システムでお世話になっているAnnoyについてじっくり紹介したいと思います。 目次 目次 Annoyについて 近傍探索について Annoyのソースコードを読むときのポイント AnnoyIndexというクラスのインスタンスを作る インストール過程について PythonのC/C++拡張 Annoyの実装 1. add_item 2. build 3. get_nns_by_vector 4. build再考 他に問題となる点について CPU依存部分 ディスクかメモリか まとめ さいごに Annoyについて Annoyは、SpotifyによるPython近傍探索ライブラリです。 github.com 弊社のテックブログでも以前に取り上げています。 techblog.zozo.c
気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 大まかには次のような流れになっています。 年最大日降水量のヒストグラムを作成する分布関数を当てはめる分布関数の当てはまり具合を確認する当てはめた分布関数から確率降水量を算出する今回は、上記3. をとばして、4.の「当てはめた分布関数から確率降水量を算出する」を実際にやってみましょう！ 再現年と確率降水量気象庁の解説ページにもあるように、再現年 $T$ は $$ T = \frac{1}{1 – F(x; \theta)} $$ で与えられます。ここで、$F(x; \theta)$ は確率分布関数
The Scary Thing About Automating Deploys - Engineering at Slack
Most of Slack runs on a monolithic service simply called “The Webapp”. It’s big – hundreds of developers create hundreds of changes every week. Deploying at this scale is a unique challenge. When people talk about continuous deployment, they’re often thinking about deploying to systems as soon as changes are ready. They talk about microservices and 2-pizza teams (~8 people). But what does continuo
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
はじめに VAE、変分オートエンコーダのVAEです。機械学習のネットワークの一つです。 これを読まれている方は、VAEについて多少以上は御存じであるという前提でお話します。 VAEとは、端的に言えば特徴を潜在変数を介した表現に起き換える手法です。 潜在変数というのは、正体不明だがその入力を決定づける何らかの変数、といった感じに理解していればOKだと思います。 表に顕在していない、その入力を決定づける何かを、まず0まわりの値を取る自然な乱数的なサムシングとして仮定し、オートエンコーダで絞ったときの最低限の特徴がその0まわりの乱数的なサムシングのみで成り立つように設計するということです。 これ以上の詳しい説明は他に譲ります。参考としてはこちらが有名かと。 Variational Autoencoder徹底解説 VAEがこんなことできるって知ってた？ ところでこの画像、何かわかりますか。 実はこ
雨上がりの町でライトが水たまりに反射した夜景、綺麗ですよね。こうした景色はコンピュータ上でも再現することができて、それを実現する技術の一つにレイトレーシングというものがあります。本記事では簡易的なレイトレーシングをPyTorchを用いて実装してみました。 基本的にmain.pyの1ファイルで完結しています。また、importは省略しています。 環境 主な環境を書いておきます OS: Windows11Python: Python3.12.3torch: 2.3.1+cu121レイトレーシングについて レイトレーシングの基本的なアイデアは「すべての光線の軌跡をたどる」ということです。しかし本当にすべての光線をたどると非効率的です。最終的に得たいものは視点となるカメラからの景色です。そのため、カメラからたくさん光線(レイ)を飛ばし、それがどういった経路をたどるかを求めてカメラからの見え方を逆
Embedding Model を用いたキーフレーズ抽出の検証といろんな Embedding Model の比較 - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている藤原です。ABEJAアドベントカレンダー2024 の11日目のブログになります！ キーフレーズ抽出を簡単に試すという機会がよくあるのですが、簡単に検証する範囲だといつも同じツール・モデルを使っているため、他の方法でも上手くキーフレーズ抽出ができないか？ということで今回いくつか検証してみました。やることとしては、まず Embedding Model を使って日本語の長めの文章からキーフレーズを上手く抽出できるか？というのを検証します。その上で、色々な Embedding Model 間で抽出されるフレーズがどのように違うか？も比較してみます。 目次 目次 はじめに キーワード抽出・キーフレーズ抽出とは？ キーフレーズ抽出の手法 1. グラフベース・統計ベース 2. LLM ベースのアプローチ 3. Embedding ベースのアプローチ
LLMのことを知りたいと思ってチュートリアルなどを眺めても結局transformersのAPI紹介で何も分からない。そこで「分からないなら作ればいいじゃない」、というファインマン流な勉強を始めてみました。ゼロから作ろうかと思ったのですが、ちょっと大変そうなので、このシリーズではJAXとequinoxで実装していきます。JAXは自動微分やJIT機能のついたnumpyですが、流石にそのレベルから頑張るのはしんどいので、JAXでニューラルネットワークなどを作りやすくするライブラリーであるequinoxを使います。flaxなどより薄いラッパーで、扱いやすいのが特徴です。 Llama3モデルを色々用意するのは大変なので、今回はLlama3に限定します。LlamaはMetaの開発しているLLMで、同じ構造はSarashinaやLLM-jpといった日本語LLMにも採用されているようです。私が使ったことの
分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したのでその結果を報告します。 Overview 弊社が抱える類似文書検索の課題 Sentence-BERT Valdを使った近似最近傍探索 NGT Vald Vald×Sententce-BERTで類似文書
投資家IPランドスケープ・スタートアップ支援IPランドスケープ・大学支援用に改良中 更新中）tfidf etc embeddings cluster reconstructing vis: 特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 投資家IPランドスケープ・スタートアップ支援IPランドスケープ・大学支援用に改良中 更新中）tfidf etc embeddings cluster reconstructing vis: 特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加）自然言語処理NLP可視化Visualization特許 これは何 複数の特許等の文章を「特定の母集団における互いの類似度」を元
缶つぶし機とソフトウェア移行技術 - Refactoring to Rust の読書感想文 - じゃあ、おうちで学べる
はじめに ——あるいは、「知っている」と「理解している」の間 Rustのことは、知っていた。学習もしていた。実務でも使っていた。 でも、それは知っているつもりだった。 知ってるつもり 無知の科学 (ハヤカワ文庫NF) 作者:スティーブン スローマン,フィリップ ファーンバック早川書房Amazon 日々Rustで開発し、BoxとRcとArcを使い分け、tokio::spawnでタスクを生成し、?演算子を当たり前のように書いている。FFI？PyO3使えばいいでしょ。WebAssembly？wasm-bindgenがあるじゃない。技術的には、確かに「使える」レベルにはあった。 でも、心のどこかで感じていた違和感があった。 オートバイのエンジンを分解できる人と、エンジンが動く原理を理解している人は違う。コードが動くことと、なぜそう書くべきかを理解することも違う。私は前者だった。メカニックではあった
偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。 有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。 有限体積法（Finite Volume Method）:
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
キャッシュフローを考慮して賃貸と分譲を比較する - draftcode.osak.jp
プロと読み解く Ruby 3.1 NEWS - クックパッド開発者ブログ
【コード付き】Pythonを使った偏微分方程式の数値解法【入門】 - LabCode
遅くないpandasの書き方 - ML_BearのKaggleな日常
AWSサービス毎の請求額を毎日LINEに通知してみた | DevelopersIO
【コード付き】非線形の偏微分方程式の数値解法【Python】 - LabCode
プロと読み解くRuby 3.4 NEWS - STORES Product Blog
新しくプログラミング言語を作る際に数値型をどうするべきか
【コード付き】二次元放物形の偏微分方程式の数値解法【Python】 - LabCode
Python(PyTorch)で自作して理解するTransformer
Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
GPT in 60 Lines of NumPy | Jay Mody
BlenderとPythonとUnityで巨大な立体迷路を作成する - Qiita
【Python実践編】ビットコインのアービトラージ（裁定取引）コード例 - Qiita
近傍探索ライブラリ「Annoy」のコード詳解 - ZOZO TECH BLOG
【気象データ】「〇〇年に一度の大雨」の算出 (確率降水量の算出)【統計解析】 - LabCode
今更ながらVAEってこんなに凄かったの？ってなった話
PyTorchで爆速レイトレーシング
イチからつくるLLM（１）｜ディープラーニングネイティブ
【コード付き】放物形の偏微分方程式の数値解法【Python】 - LabCode