並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 42件

新着順 人気順

python print array format floatの検索結果1 - 40 件 / 42件

  • [電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO

    はじめに Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(電話番号,日時,名前,人数)を正しく抽出できるか検証しました。 コールセンターでは、有人対応から無人対応に変更したいニーズが増えているように思います。 電話予約の無人対応を想定し、1回の発話で、下記の5つの予約情報を抽出できるか確認します。 お名前 電話番号 予約日 予約時間 人数 発話で予約情報を抽出する方法として、GPT-4 Turbo のJSONモードを利用します。 JSONモードの詳細は、下記を参照ください。 例えば、「名前はクラスメソッドで、電話番号は09011111111。来週の火曜日の19時に4名で予約できますか?」というテキストの場合、予約情報を下記のようにJSON形式で抽出が可能です。 発話した日付が2023年11月20日なので、来週の火曜日は、11月28

      [電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO
    • Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報(名前、住所、生年月日)を正しく認識できるか試してみた | DevelopersIO

      構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream(KVS)への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時

        Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報(名前、住所、生年月日)を正しく認識できるか試してみた | DevelopersIO
      • 【コード付き】Pythonを使った偏微分方程式の数値解法【入門】 - LabCode

        偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式(PDE: Partial Differential Equations)の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法(Finite Difference Method): 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。 有限要素法(Finite Element Method): 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。 有限体積法(Finite Volume Method):

          【コード付き】Pythonを使った偏微分方程式の数値解法【入門】 - LabCode
        • GPT-5 の新パラメータとツール|npaka

          以下の記事が面白かったので、簡単にまとめました。 ・GPT-5 New Params and Tools - OpenAI Cookbook 1. verbosity1-1. 概要「verbosity」は、出力トークン数を調節できます。 ・low : 簡潔なUX、簡潔な文章 ・medium (デフォルト) : バランスの取れた詳細 ・high : 詳細な情報。監査、教育、引き継ぎに最適 1-2. verbosityの効果の確認プロンプトを一定に保ったまま、「verbosity」を変更することで、効果を確認できます。 response = client.responses.create( model="gpt-5", input="人生、宇宙、そして万物に関する究極の問いに対する答えは何でしょうか?", text={ "verbosity": "low" } ) print(response

            GPT-5 の新パラメータとツール|npaka
          • Ollama で structured outputs (構造化出力)を試す|ぬこぬこ

            tl;drJSON Schema で指定したフォーマットで出力を制御可能になったよ cURL / Python / JavaScript のそれぞれで試してみたよ 具体的な実用例があったのでそれも動かしてみたよ 使う上での tips や今後どんな機能が追加されるかまとめたよ 公開されたブログの流れに準拠しつつ、意図がズレない範囲で翻訳、解説、コードの実行をしていきます。チュートリアルになっているので、よかったら手を動かして試してみてください。 Ollama が structured outputs をサポート。JSON Schema で定義したフォーマットに LLM の出力を制御するすることが可能になりました。Ollama の Python と JavaScript のそれぞれのライブラリにおいてもサポートするよう更新。 ブログでは structured outputs のユースケースとし

              Ollama で structured outputs (構造化出力)を試す|ぬこぬこ
            • GPT in 60 Lines of NumPy | Jay Mody

              January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv

              • Writing a C compiler in 500 lines of Python

                A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog

                • 【実践】PythonとOpenStreetMapで学ぶ経路システム開発入門 - uepon日々の備忘録

                  前回はGoogle Map APIを使用して開発を行いましたが、今回はOpenStreetMapを使用した似たようなことにチャレンジしてみようと思います。Pythonを使ってOpenStreetMapの経路検索URLを生成する方法ことを目的とします。 参考 uepon.hatenadiary.com オープンストリートマップ(OpenStreetMap)とは? オープンストリートマップ(英語: OpenStreetMap、OSM)は、自由に利用でき、なおかつ編集機能のある世界地図を作るオープンコラボレーションプロジェクトである。GPS機能を持った携帯機器、空中写真、衛星画像、他の地理情報システムからのデータをもとに作られていくのが基本だが、編集ツール上で道1本から手入力での追加も可能である。与えられた画像とベクトルデータセットはオープンデータベースライセンス(ODbL)1.0のもと再利用可

                    【実践】PythonとOpenStreetMapで学ぶ経路システム開発入門 - uepon日々の備忘録
                  • Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction - cl-fast-ecs by Andrew

                    Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction In this series of tutorials, we will delve into creating simple 2D games in Common Lisp. The result of the first part will be a development environment setup and a basic simulation displaying a 2D scene with a large number of physical objects. It is assumed that the reader is familiar with some high-level programming language, has a gener

                      Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction - cl-fast-ecs by Andrew
                    • [電話無人対応] Amazon Bedrock + Whisperで、名前のヒアリング精度を確認してみた[Amazon Connect] | DevelopersIO

                      以下の設定を行います 環境変数は、OpenAIのキーを設定 タイムアウトは、3秒から10秒に変更 メモリは512MB Lambdaレイヤーに追加 OpenAIのPython向けのライブラリ ebmlite IAMの管理ポリシーを適用 AmazonKinesisVideoStreamsReadOnlyAccess AmazonBedrockFullAccess 以下がLambdaのコードです。コードにおいて、上記の1と2の処理は、以下の記事で詳細に解説していますので、ご参考ください。 from datetime import datetime, timedelta, timezone from ebmlite import loadSchema from enum import Enum from botocore.config import Config import boto3, os,

                        [電話無人対応] Amazon Bedrock + Whisperで、名前のヒアリング精度を確認してみた[Amazon Connect] | DevelopersIO
                      • [電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO

                        はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams(以降、KVS)への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz

                          [電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
                        • Why I use attrs instead of pydantic

                          This post is an account of why I prefer using the attrs library over Pydantic. I'm writing it since I am often asked this question and I want to have something concrete to link to. This is not meant to be an objective comparison of attrs and Pydantic; I'm not interested in comparing bullet points of features, nor can I be unbiased since I'm a major contributor to attrs (at time of writing, second

                          • はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場

                            今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder(以下、FiD )1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B

                              はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
                            • Tips on Adding JSON Output to Your CLI App - Brazil's Blog

                              A couple of years ago I wrote a somewhat controversial article on the topic of Bringing the Unix Philosophy to the 21st Century by adding a JSON output option to CLI tools. This allows easier parsing in scripts by using JSON parsing tools like jq, jello, jp, etc. without arcane awk, sed, cut, tr, reverse, etc. incantations. It was controversial because there seem to be a lot of folks who don’t thi

                                Tips on Adding JSON Output to Your CLI App - Brazil's Blog
                              • YOLOv8でナンバープレートを検出してAI-OCRで読み取ってみました。 〜ファインチューニングに使用したデータは、撮影した写真ではなく、Pythonで生成した画像(30,000枚・192,000アノテーション)です〜 | DevelopersIO

                                YOLOv8でナンバープレートを検出してAI-OCRで読み取ってみました。 〜ファインチューニングに使用したデータは、撮影した写真ではなく、Pythonで生成した画像(30,000枚・192,000アノテーション)です〜 1 はじめに CX 事業本部 delivery部の平内(SIN)です。 最近は、精算が終わっていれば、出口のゲートが自動的に開いてスムーズに退場できる駐車場をよく見かけます。これは、出入口のカメラでナンバープレートを読み取って、駐車券と紐づけることで実現されているサービスだと思いますが、非常に体験の良いシステムだと感動しています。 ナンバープレートの読み取りを軽易に行うことができれば、この他にも色々と気持ちいいサービスが作れるのでは?と思っています。 という事で、今回は、ナンバープレートの読み取りを試してみました。最初に動作している様子を御覧ください。 写真からナンバープ

                                  YOLOv8でナンバープレートを検出してAI-OCRで読み取ってみました。 〜ファインチューニングに使用したデータは、撮影した写真ではなく、Pythonで生成した画像(30,000枚・192,000アノテーション)です〜 | DevelopersIO
                                • ​Getting Started with Python

                                  Python is a powerful programming language that provides many packages that we can use. Using the versatile Python programming language, we can develop the following: AutomationDesktop applicationAndroidWebIoT home automationData Science and the list goes on.In this article, our primary focus will be knowing how to start learning Python and the essentials required to be a data scientist. Below is t

                                    ​Getting Started with Python
                                  • 0.10.0 Release Notes ⚡ The Zig Programming Language

                                    Tier 4 Support § Support for these targets is entirely experimental. If this target is provided by LLVM, LLVM may have the target as an experimental target, which means that you need to use Zig-provided binaries for the target to be available, or build LLVM from source with special configure flags. zig targets will display the target if it is available. This target may be considered deprecated by

                                    • Blog

                                      Hachi: An (Image) Search engine Only the dead have seen the end of war .. George Santayana For quite some time now, i have been working on and off on a fully self-hosted search engine, in hope to make it easier to search across Personal data in an end to end manner. Even as individuals, we are hoarding and generating more and more data with no end in sight. Such "personal" data is being stored fro

                                      • MACEによる機械学習を用いた分子動力学計算【MD simulation】 - LabCode

                                        宣伝こちらの記事は合成生物学大会iGEMの強豪校であるiGEM-Wasedaさん協力のもと執筆されました。ご協力誠にありがとうございます! 【iGEM-Waseda】は合成生物学の研究を行う早稲田大学の学術サークルです。iGEMと呼ばれる合成生物学の世界大会の世界大会に出場するために日々研究に励んでいらっしゃいます。 本記事では、iGEM2024で日本Undergrad部門で史上初のTOP10に選ばれたプロジェクトの一環として、特にIn Silicoシミュレーションに関わる部分のツールの一部を紹介しています。プロジェクトの詳細については、iGEM-Wasedaの成果報告サイトをご覧いただければ幸いです。 MACEとはMACEは、機械学習ポテンシャル(Machine Learning Potential)の一種として開発されたツールで、材料内の原子間相互作用を高精度かつ高速に予測できるのが特

                                          MACEによる機械学習を用いた分子動力学計算【MD simulation】 - LabCode
                                        • Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers

                                          For demonstration purposes, we'll fine-tune the multilingual version of the small checkpoint with 244M params (~= 1GB). As for our data, we'll train and evaluate our system on a low-resource language taken from the Common Voice dataset. We'll show that with as little as 8 hours of fine-tuning data, we can achieve strong performance in this language. 1{}^11 The name Whisper follows from the acronym

                                            Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers
                                          • はじめての自然言語処理 ELYZA 日本語 Llama 2 指示応答モデルのファインチューニングと vLLM での推論 | オブジェクトの広場

                                            今回は Elyza さんの日本語 Llama 2 指示応答モデルをファインチューニングし、vLLM にデプロイして高速に推論してみます。70 億パラメータモデルならギリギリ Tesla T4 x 1 の構成でも float16 で動かせるかと思ったのですが、どうだったでしょうか。vLLM には OpenAI 互換の API インタフェースも備えているので、ついでに LangChain からも接続してみたり。 1. はじめに 今回は Elyza さんが公開されている大規模指示応答言語モデルである、ELYZA-japanese-Llama-2-7b-fast-instruct1 をファインチューニングして vLLM で推論してみます。 そんな訳で今回あまり書くことがなく、動かし方だけサラっと書いて「動きましたー。では良いお年を~。」で締めることにします。 しかし、時代感覚無視の隔月連載でネタを

                                              はじめての自然言語処理 ELYZA 日本語 Llama 2 指示応答モデルのファインチューニングと vLLM での推論 | オブジェクトの広場
                                            • Mastering Customer Segmentation with LLM | Towards Data Science

                                              Unlock advanced customer segmentation techniques using LLMs, and improve your clustering models with advanced techniques Content Table · Intro · Data · Method 1: Kmeans · Method 2: K-Prototype · Method 3: LLM + Kmeans · Conclusion Intro A customer segmentation project can be approached in multiple ways. In this article I will teach you advanced techniques, not only to define the clusters, but to a

                                                Mastering Customer Segmentation with LLM | Towards Data Science
                                              • What's New in Emacs 28.1?

                                                Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y

                                                • Pythonでの音声信号処理 (8) 波の解析の一歩 - Qiita

                                                  やりたいこと 波形データを解析するための理屈的な側面を整理すること やってみた 波形データの一般形 波のデータは、色々なsin波を合成したもの。 sin波といっても、大きさが違うもの、周波数が違うもの、ちょっと横にズレた(いわゆる位相が違う)ものなどがある。 位相がずれたsin波は、sinとcosの和で表現できる。 つまり、 sin(x + φ) = A・sin(x) + B・cos(x) のように書くことができる。 このことから、どんな波形データも、 F = (a1・sin(x) + b1・cos(x)) + (a2・sin(2x) + b2・cos(2x)) + ・・・ のような形で表現できる。 やりたい解析 sin(2x)の「2」の部分は、いわゆる周波数。なので、a2・sin(2x)でのa2は、「2」の周波数がどれくらいの大きさで入っているかということ。 つまり、波 F に対して、a

                                                    Pythonでの音声信号処理 (8) 波の解析の一歩 - Qiita
                                                  • Node.js — Node.js 22.10.0 (Current)

                                                    Or if the package is only meant to be run on Node.js and wants to fallback to CJS on older versions that don't have require(esm): { "type": "module", "exports": { // On new version of Node.js, both require() and import get the ESM version "module-sync": "./index.js", // On older version of Node.js, where "module-sync" and require(esm) are // not supported, use the CJS version to avoid dual-package

                                                      Node.js — Node.js 22.10.0 (Current)
                                                    • インストール無しにWEBブラウザで動作するPython環境"Pyodide"を使ってみた - Qiita

                                                      Pyodideとは WebAssembly技術を用いてWEBブラウザ上でPython3を動かすことができる素晴らしいソフトウェアです。WEBブラウザでPyodideを簡単に体験できるサイトが用意されており、これは面白そうだと思いました。 WEBエディタAceとの組みあわせ 本来のPyodideの目的はWEBブラウザ上でのPythonでの科学計算だと思いますので、エディタとしてはIodideのようにグラフ表示の要求優先度が高そうです。 とはいえ、コンソール上で単純にPythonが動くだけでも応用は利きそうだと思いましたので、今回はPythonコードを記述するエディタとしてAceを利用します。 simple版コードは下記のようになります。Aceエディタの領域とPyodide実行ボタンを縦に並べて、JavaScript内で初期化、実行するだけです。実行ログはF12キーで出るブラウザのコンソールを

                                                        インストール無しにWEBブラウザで動作するPython環境"Pyodide"を使ってみた - Qiita
                                                      • Node.js — Node.js 23.0.0 (Current)

                                                        2024-10-16, Version 23.0.0 (Current), @RafaelGSS We’re excited to announce the release of Node.js 23! Key highlights include: Enabling require(esm) by default for Node.js applications Removing support for Windows 32-bit systems Stabilizing the node --run command Enhancements to the test runner, including glob pattern support for coverage files Node.js 23 will replace Node.js 22 as the ‘Current’ re

                                                          Node.js — Node.js 23.0.0 (Current)
                                                        • The World's Smallest Hash Table | orlp.net

                                                          This December I once again did the Advent of Code, in Rust. If you are interested, my solutions are on Github. I wanted to highlight one particular solution to the day 2 problem as it is both optimized completely beyond the point of reason yet contains a useful technique. For simplicity we’re only going to do part 1 of the day 2 problem here, but the exact same techniques apply to part 2. We’re go

                                                          • LispText.pdf

                                                            Lisp Common Lisp / Scheme 0.1 Copyright c � 2020, Katsunori Nakamura 2020 2 29 1 1 1.1 Common Lisp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3.1 Lisp . . . . . .

                                                            • InfluxDB及びGrafanaを利用して為替損益を自動計算し可視化してみた - GMOインターネットグループ グループ研究開発本部

                                                              はじめに 最近円安の進行で値動きが激しいですね。特に9月に円相場は、24年ぶりの円安水準となる1ドル=140円台前半まで下落しましたので、この状況で為替損益を常に監視したい方々が多くなるでしょう。今回はUSDJPYの為替レートを継続的にInfluxDBに格納し、Grafanaで為替損益を可視化するシステムの構築方法を紹介したいと思います。 ちなみに、為替レートの変動により生じた利益を為替差益、生じた損失を為替差損といいます。たとえば、米ドルを1ドル=105円のときに購入した後、為替レートが円安方向に動いて1ドル=120円となった場合、購入していたドルを円に交換すれば1ドルにつき15円の利益を得ることになり、これが為替差益となります。逆に、為替レートが円高に進んで1ドル=100円となった場合は1ドルにつき5円の損失をこうむることになり、これが為替差損となります。 1.やりたいこと Docke

                                                                InfluxDB及びGrafanaを利用して為替損益を自動計算し可視化してみた - GMOインターネットグループ グループ研究開発本部
                                                              • サーバーレスなGPUクラウド "Modal" で Swallow の 70B モデルをサクッと実行する($30のクレジットあり)

                                                                import os from modal import Image, Stub, method, gpu MODEL_DIR = "/model" # BASE_MODEL = "TheBloke/Swallow-13B-Instruct-AWQ" # ←13Bの場合はここだけ変更する BASE_MODEL = "TheBloke/Swallow-70B-Instruct-AWQ" def download_model_to_folder(): from huggingface_hub import snapshot_download from transformers.utils import move_cache os.makedirs(MODEL_DIR, exist_ok=True) snapshot_download( BASE_MODEL, local_dir=MODEL_DI

                                                                  サーバーレスなGPUクラウド "Modal" で Swallow の 70B モデルをサクッと実行する($30のクレジットあり)
                                                                • [電話無人対応] Amazon Bedrock + Whisperで住所のヒアリング精度を確認してみた[Amazon Connect] | DevelopersIO

                                                                  以下の設定を行います 環境変数は、OpenAIのキーを設定 タイムアウトは、3秒から10秒に変更 メモリは512MB Lambdaレイヤーに追加 OpenAIのPython向けのライブラリ ebmlite IAMの管理ポリシーを適用 AmazonKinesisVideoStreamsReadOnlyAccess AmazonBedrockFullAccess 以下がLambdaのコードです。コードにおいて、上記の1と2の処理は、以下の記事で詳細に解説していますので、ご参考ください。 from datetime import datetime from ebmlite import loadSchema from enum import Enum from botocore.config import Config import boto3, os, struct, json, openai

                                                                    [電話無人対応] Amazon Bedrock + Whisperで住所のヒアリング精度を確認してみた[Amazon Connect] | DevelopersIO
                                                                  • はじめての自然言語処理 T5X と Prompt Tuning の検証 | オブジェクトの広場

                                                                    今回は T5X と Prompt Tuning の検証をしてみました。T5X は JAX と Flax で実装された T5 の新世代実装です。 Prompt Tuning は近年流行している事前学習済みモデルとプロンプトで下流タスクを解く手法の一つです。 Prompt Tuning に関しては T5X で実装されたコードが公開されていたので、合わせて検証してみることにしました。 1. はじめに 今回は T5X1 と Prompt Tuning2 の検証とご紹介になります。 T5X は第7回で紹介した T53 の次世代実装になります。T5 は、Mesh Tensorflow4 を採用することで、 単一の TPU や GPU に全パラメータが格納できない大規模モデルを実現していますが、学習ループ周辺の実装は Tensorflow 1.x 系列の Estimator API を用いた、やや古びた

                                                                      はじめての自然言語処理 T5X と Prompt Tuning の検証 | オブジェクトの広場
                                                                    • Optimize PyTorch Performance for Speed and Memory Efficiency (2022) | Towards Data Science

                                                                      Tuning deep learning pipelines is like finding the right gear combination (Image by Tim Mossholder on Unsplash) Why should you read this post? The training/inference processes of deep learning models are involved lots of steps. The faster each experiment iteration is, the more we can optimize the whole model prediction performance given limited time and resources. I collected and organized several

                                                                        Optimize PyTorch Performance for Speed and Memory Efficiency (2022) | Towards Data Science
                                                                      • Metashapeで全天球画像をキューブマップに変換

                                                                        Metashapeは全天球画像(エクイレクタングラー)の処理に対応していますが、アライメント結果を他のSfM系ソフトで利用する場合は、全天球画像のままでは渡すことが出来ません。 postshot、RealityCapture、Inria 3D Gaussian Splatting等は全天球画像には対応していないためです。 しかし先日smert999氏が「Agisoft_metashape_convert_to_cubemap」を公開されました! Metashapeでアライメントした全天球画像を、そのアライメント結果を維持したままキューブマップに変換できるというものです。 Theta, Insta360等で360度動画/全天球画像撮影 → Metashapeでアライメント → キューブマップ変換 → RealityCaptureで活用・postshotで3DGS生成 といったワークフローが可

                                                                          Metashapeで全天球画像をキューブマップに変換
                                                                        • Bag of WordsをPythonで書いてみる - 薬剤師のプログラミング学習日記

                                                                          文書データを数値表現に変換する手法の1つであるBag of Wordsを一からPythonで書いてみました。 Bag of Words(BoW)とは BoWの問題点 nグラムによるBoW sklearnのCountVectorizerのパラメータについて tokenizer preprocessor analyzer stop_words max_dfとmin_df BoWを自分で書いてみる 参考 Bag of Words(BoW)とは 単語が含まれているかどうかだけを考え、語順は考慮せずに文書をベクトル(数値表現)に変換する方法です。このベクトル化により、文書データを機械学習アルゴリズムで使用できるようになります。 「ベクトル化」と聞いたときは最初ちょっと身構えてしまいましたが、このやり方自体はそれほど難しいものではありませんでした。 そのやり方とはこのようなものです。 A = "副作用

                                                                            Bag of WordsをPythonで書いてみる - 薬剤師のプログラミング学習日記
                                                                          • 【Network pharmacology】化合物からの標的タンパク質予測【in silico 創薬】 - LabCode

                                                                            Network pharmacologyとは?Network pharmacology(ネットワーク薬理学)は、漢方薬や機能性食品に含まれる複数の成分が、体内のさまざまな標的(タンパク質、遺伝子など)に同時に作用し、複雑な生理的効果をもたらす仕組みを「ネットワーク」として解析する手法です。 従来の薬理学が「1成分=1標的」の考え方に基づいていたのに対し、ネットワーク薬理学は「多成分=多標的=多経路」の全体像をとらえます。たとえば、漢方薬「黄芩」に含まれるバイカリンなどの成分が、乳がんに関与する複数の遺伝子やシグナル経路に作用している可能性を、各種データベースを用いて可視化できます。 これにより、伝統的処方の有効性を科学的に裏付けたり、新たな疾病への応用可能性を探索したりすることができます。 Network pharmacologyの流れ成分取得:PubChemなど各種データベースを使って、

                                                                            • Numba のコンパイルが通らなかった時の対処 - 菜

                                                                              Numba はいいぞ この記事は何 ふつうの Python なら動くけど Numba では動かないようなコードを列挙して、対処法を書いたもの 主に AtCoder 目的だけどそれ以外でも役に立つはず Numba のバージョン 0.48.0 くらいの情報なので将来的にいろいろ変わってくると思うので注意(2020 年 8 月現在で AtCoder に入ってるのも 0.48.0) 先に読んでおくといいかもしれない記事 qiita.com ikatakos.com Numba で使えないもの 2 次元以上の ndarray のイテレーション できない エラーになるコード @numba.njit("void()", cache=True) def solve(): array = np.random.rand(5, 2) # 5x2 array for a in array: # コンパイルエラー

                                                                                Numba のコンパイルが通らなかった時の対処 - 菜
                                                                              • Nine Rules for Elegant Rust Library APIs

                                                                                Photo by Kai Dahms on UnsplashI love creating software libraries. Two months ago, I started porting one of our Python packages into a Rust crate. This new Rust crate matches the Python package’s ease of use and expressiveness. Along the way, I learned nine rules that can help you create beautiful libraries in Rust. The rules are: Create examples that don’t embarrass you.Accept all kinds of strings

                                                                                  Nine Rules for Elegant Rust Library APIs
                                                                                • Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全

                                                                                  普段、筆者がデータの前処理で使っているpandasやNumPy、scikit-learnなどのモジュールの使い方を逆引きのリファレンス形式でまとめました。 一部のサンプルデータや前処理の手法については、データサイエンティスト協会の100本ノック(構造化データ加工編)を参考にさせていただきました。素晴らしいコンテンツをご用意頂いたこと本当に感謝します。 それでは、以下のモジュールをインポートして、この記事をデータ前処理時の辞書代わりにして利用してください。 モジュールのインポート import numpy as np import pandas as pd from sklearn import preprocessing as pp from sklearn.model_selection import train_test_split from imblearn.under_sampli

                                                                                    Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全