今回は BRIO を使って抽象型要約に挑戦してみようと思います。 BRIO は特定のモデルに依存しない手法で、論文では PEGASUS と BART を使って実験をしています。今回は T5 を使って BRIO を試し、素の T5 と比較してみましょう。 1. はじめに 今回は BRIO1 を使って抽象型要約に挑戦してみようと思います。 そういえば、この連載で要約モデルを扱うのは初めてですね。要約には大きく分けて抽出型と抽象型の二種類があります。 簡単に説明すると、抽出型は長い文章全体から重要そうな文をつまみ食いして短くする手法、 抽象型は Seq2seq モデルで文章全体の意味をとらえた短い要約文を生成する手法です。 過去に抽出型要約は LexRank2 や劣モジュラ関数を使った手法3などを試したことがある(この連載の記事にはしてません)のですが、抽象型要約は試したことがなく、やってみたい
Maya 2020まではPythonのバージョンが2でしたが、Maya2022の登場によりPython3が使用できるようになりました。このセミナーの前半では、Python3で新しく追加された機能について説明します。 後半は、これまでPython 2で作成したツールなどの資産を、Python3でもできるだけ使えるようにするために、コードを共有化する方法について説明します。 最後に、Python3で追加された async/await を用いた非同期処理について、Maya2022と絡めて紹介します。 Python3では、非同期処理が扱いやすくなりました。非同期処理の利用で、待機時間の長い処理を複数実行する際に、全体の処理時間を短縮できます。 スマイルテクノロジーユナイテッド株式会社 テクニカルアーティスト 榎本 智 氏ご講演のコンテンツです。 【アジェンダ】 Python3の新機能について 非同
Pythonのデータクラスのようにxarrayのデータ定義ができる拡張機能を公開しました - Qiita
この記事で紹介しているxarray-customは現在メンテナンスを休止しております。 後継としてxarray-dataclassesを公開しましたので、こちらのご利用をご検討ください。 TL;DR xarrayは多次元配列にメタデータ（軸のラベルなど）がくっついたデータを扱うためのツールとして、NumPyやpandasと同様にデータ解析で使われるPythonパッケージですが、様々なデータをxarray（のDataArray）で扱っていく中で以下のように感じることが増えてきました。 多次元配列の軸（dimensions）や型（dtype）を指定した配列生成関数がほしい 同様にメタデータ（coordinates）にも軸・型・デフォルトの値を指定したい 上2つを満たしたNumPyのones()のような特別な配列生成をしたい データ独自の処理（メソッド）を定義したい これらをかなえる方法は色々考
【mypy】データクラスである抽象基底クラスは、mypyに`Only concrete class can be given ～`というエラーで怒られる - Qiita
import abc from dataclasses import dataclass @dataclass(frozen=True) class Animal(abc.ABC): name: str @abc.abstractmethod def cry(self): pass @dataclass(frozen=True) class Dog(Animal): color: str def cry(self): print("ワンワン") @dataclass(frozen=True) class Bird(Animal): can_fly: bool def cry(self): print("ガーガー") def main(): dog = Dog(name="alice", color="blue") dog.cry() bird = Bird(name="bob", can_
LangGraph ではじめるAIエージェント操作 その２ on Azure OpenAI - Qiita
▼会話のテーマ 「当社の商品A、B、Cの過去5年分のデータを調べ、今年の販売戦略を立てる。」 環境 Windows10 Python v3.11.4 主なlangchainライブラリバージョン ・langchain-core==0.1.27 ・langgraph==0.0.26 ・langchain==0.1.9 APIキー等の環境変数は、試したコードと同じフォルダに".env"ファイルを作り、その中に記述しています。 requirements.txt は、最後の方に載せています。 # main_multi.py # 1.環境設定 import os from dotenv import load_dotenv load_dotenv("./.env") # 2.エージェント設定 import json from langchain_core.messages import ( AIMes
はじめに 当方はしがないバショウカジキなので、情報収集にSNSはあまり活用できていません。 代わりにslackにRSS feedを流して眺めています。 外国語のサイトのfeedも購読しているのですが、外国語を読むのは母国語を読むのとは頭の使い方が違うので、記事が大量に配信されるようなサイトだとつい読むのをサボりがちです。 読むかどうかの取捨選択がもう少し簡単になるよう、RSSで配信される内容を翻訳してからslackに投稿する処理を作ることにしました。 (実はZapierに同じことをやって翻訳feedを生成できるテンプレートがあるみたいなんですが(使ったことはない)、せっかくやる気になったので自分で作ります。) どういうものができますか? Before slackにあるアプリを利用したRSS feed投稿はこういったものですが、 After 今回作るものでは、それをこういう形になるよう処理し
![[Python]RSS取得した情報を翻訳してslackに投稿する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/41554691746177f5715ad21d723367561ff224e3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEUlNTJUU1JThGJTk2JUU1JUJFJTk3JUUzJTgxJTk3JUUzJTgxJTlGJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgyJTkyJUU3JUJGJUJCJUU4JUE4JUIzJUUzJTgxJTk3JUUzJTgxJUE2c2xhY2slRTMlODElQUIlRTYlOEElOTUlRTclQTglQkYlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY2MWRmMmYxZDg2OTUxYjY1N2YyZDIxOTdhZDZlY2Q4%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBJc3Rpb3Bob3J1cyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NjgwYzY4MzE3OTRhYWU0M2U1ZjBhMDY5YzNjOTM3MWU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5bf61a5efcbe130adb24b87413942e75)
オートエンコーダとは 通常の教師あり学習では入力から異なる種類の出力を得ますが、オートエンコーダでは入力と出力の形式は同じになります. では何を学習するのかといいうと、データの潜在変数を学習します. 以下がモデルの構造になります. まず、入力値はエンコーダーを介して、より次元の少ない潜在変数に変換されます. その後、潜在変数はデコーダを介して元の次元に復元されます. デコーダによって潜在変数から元の情報を復元できるなら、うまく学習できているこということになります. ちなみにこうした、ある次元のデータを元の情報を含むより少ない次元に変換することを次元削減といます. オートエンコーダの用途 こことでは、オートエンコーダのさまざまな用途を紹介していきます. 事前学習 最近では、学習アルゴリズムが改善され、あまり使われなくなった方法です. 学習ずみのエンコーダの重みを他の識別器の重みの初期値として
LangChain × SlackAPI × Lambda でWebページを要約してくれるSlackChatGPTサーバーレスアプリ作った - Qiita
LangChain × SlackAPI × Lambda でWebページを要約してくれるSlackChatGPTサーバーレスアプリ作ったAWSlambdaSlackChatGPTlangchain 作ったもの SlackでWebページを渡すと要約してくれて、その後はURLを元に回答を生成してくれるアプリを作りました🤗 (難解なWebページとか読むのめんどくさい時用です) インフラ構成 それぞれの役割 こんな感じの構成になっています。 LangChain周りのパッケージが重たすぎて、LambdaLayerのデプロイパッケージの制限(解凍後サイズ 250MB)を超えてしまうので、ECRにDockerイメージを保管しそこからLambdaを展開しています。 資料 イベント登壇時の資料です コード 超特急で作ったので細かい所や汚いところは目を瞑ってください🥲 FROM public.ecr.a
WhiteAtelier Archives
簡単に使えるQTableWidgetに比べて、モデルを構築する必要のあるQTableView、大変そうで苦手だったのですが、最近なんとなく使い方に慣れてきた気がするので、一度記事にまとめてみます。今回は読み取りのみの非常にシンプルなQTableViewとQAbstractTableModelの扱い方についてです。 以下のコードをすべてまとめた最終のコードは、このページの一番下に掲載しています。 まずはテスト用のウィンドウを作る QTableViewの挙動を確認するために、QTableViewを含んだウィンドウを表示するプログラムを書きます このスクリプトを実行すると、下画像のようなウィンドウが立ち上がります。真ん中にQTableViewがありますが、モデルを設定していないため、何も表示されません。 データクラスの用意 次に、表示させたいデータのデータ構造を用意します。今回はサンプルコードの
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? import dataclasses import logging import random import sys import threading import time from concurrent.futures import ThreadPoolExecutor from typing import List # ログ設定 logger = logging.getLogger() logger.setLevel(logging.INFO) log_format = logging.Formatter("%(asctime)s
概要 堅牢な型(Strict Type)が現時点で5つしかなく、結局__post_init__などでバリデーションを行う必要があるのは面倒と感じていましたが、なんとpydanticでは型を自分で作ることが出来ます！ ただの型の作成であれば、下記のQiita記事やドキュメントを参照すれば作ることが出来ます。 今回はこれの堅牢な型バージョンです。 型の作成方法 めちゃくちゃ簡単です。 作成する型のクラスを定義する __get_validators__を定義して、次で作成するvalidate関数を呼び出す validateを定義する関数を作成し、エラーパターンを記述する 簡単な例を紹介すると、0以外の数値を受け取るNotZeroNumber型を定義してみます。 from pydantic.dataclasses import dataclass class NotZeroNumber(int):
コードの可読性と保守性を向上させるためには、モジュール性を高めることが重要です。 そのために、実装の詳細を隠蔽し、適切な抽象化レイヤーを維持します。 その際、メソッドの戻り値を通じて実装の詳細が漏洩することに注意が必要です。 本記事では、戻り値から実装の詳細が漏洩することによる問題点と、その解決策について解説します。 サンプルコードを交えながら、抽象化レイヤーを維持するための戻り値の設計について見ていきましょう。 この記事を通じて、より保守性の高いコードを書くための具体的な手法を学びます。 戻り値からの実装の詳細の漏洩による問題 以下のコードは、ユーザーの連絡先情報を取得するための get_user_contact メソッドの例です。 def get_user_contact(self, user_id): query = f"SELECT * FROM contacts WHERE us
Conoha WingでFlaskを使ってみた
今回は、Flaskを使って、Conoha WingのWebサイトに新しいページを作ってみます。Conoha Wingは最初からPython 3.6.9が入っているので、そこに、Flaskを入れて、「Hello World」を表示させてみます。 Flaskのインストール 「pip install flask」とやってみましたが、しばらくインストーラーが動いたあと、インストールを開始する前にエラーが起きて止まっていました。エラーメッセージを読むと、 どうやらサーバーのシステムの方にインストールしようとしてしまったので、ユーザーディレクトリに保存するように「–user」をオプションで使えてpipを実行してほしいとのこと。 もう一つはエラーではないが、新しいバージョンのpipがあるからそちらをつかってほしいとのこと。 [cxxxxxxx@web0xxx ~]$ python3 --version
Vertex AI Pipelinesを効率的に開発するための取り組み - Timee Product Team Blog
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小関です。 今回はDSグループがMLパイプライン構築時に活用しているVertex AI Pipelinesを効率的に開発するための取り組みを紹介したいと思います！ Vertex AI Pipelinesとは Vertex AI Pipelinesとは、Google Cloudが提供しているMLパイプラインをサーバーレスに構築・実行できるサービスです。 Vertex AI Pipelinesを活用することで、下記のようなデータをBigQeuryから取得し、特徴量の作成・データセットの分割後、モデルを学習するようなML パイプラインが比較的容易に構築できます。 Vertex AI Pipelinesで構築したMLパイプラインのサンプル Vertex AI Pipelinesの活用事例と挙げられた改善点 タイミーのDSグ
はじめに この記事ではpythonをメイン言語とする筆者が、Javaで書かれた設計の名著 「良いコード/悪いコードで学ぶ設計入門」を読んで躓いた急所について、pythonの文脈で解釈を試みます。 同じ境遇のpythonエンジニアの方の助けになればと思っています。 不正確な部分や改善点、アイディアなどありましたら是非コメントいただけますと幸いです。 データクラス (1.3節) 本書ではデータクラス（変数の管理のみを目的としたクラス）の利用を非推奨し、ロジックをまとめたバリューオブジェクトとしての利用を推奨しています。 Pythonにはこれを実現する仕組みとして@dataclassesがあります。 dataclasses Python 3.7で導入されたdataclassは、基本的なデータハンドリングのメソッドを提供することによりクラス定義を容易にするデコレーターです。 具体的には、インスタン
gigazine.net このコストの多くはRobloxの管理外で発生しているものです。売上の平均23％がApp Storeなどの配信プラットフォームの手数料として支払われています。基本的に配信プラットフォームは売上の30％を手数料として徴収しているにもかかわらず、平均が23％となっている理由はRobloxのPC版はサードパーティーの配信プラットフォームを介しておらずクレジットカードの手数料以外にコストが発生しないためです。さらに、売上の26％はRobloxのユーザー生成コンテンツの開発者に報酬として支払われています。 月間アクティブユーザー数が3.8億人超なのに赤字のゲーム「Roblox」は一体どんな問題を抱えているのか？ - GIGAZINE ⇧ Appleが売上の30%も徴収してるのに驚きなんですが、 diamond.jp スマホのシェアが高いことからアップルが標的にされることも多い
概要 @dataclassを用いると型アノテーションが強制化されますが、この型自体に強制力はありません1。 例えば、下記のように違う型を入れた場合でも動作してしまいます。 from dataclasses import dataclass @dataclass class User: name: str age: int def main(): user_info = User(20, "Hoge") print(user_info) # User(name=20, age='Hoge') print(type(user_info.name)) # <class 'int'> print(type(user_info.age)) # <class 'str'> if __name__ == "__main__": main() なぜ強制力がないかというと、この型アノテーションは型のヒントで
この記事はPythonその2 Advent Calendar 2020、16日目の記事です。 Python3.5でType Hintsが導入され、元々動的型付け言語であったPythonでもコードに型情報を記述することが現在では当たり前になってきました。 今回は、この型情報を最大限活用してより堅牢なPythonコードを書く大きな助けになるライブラリ、pydanticを紹介します。 pydanticとは 最近話題のPython製WebフレームワークFastAPIでも使用されているので、存在自体は知っている方も多いのでは無いでしょうか。 実は私もFastAPIを初めて使ったときにこのpydanticの存在を知りました。 pydanticはずばり以下の機能を実現してくれるライブラリです。 実行時の型情報の提供 不正なデータにはユーザーフレンドリーなエラーを返す これだけだとなんのこっちゃ、って人の
[dataclasses-json] Dict型のプロパティに文字列を設定しようとすると、"TypeError: Type List cannot be instantiated; use list() instead"が発生した - Qiita
環境 Python3.10.2 dataclasses-json 0.5.7 何が起きた？ dataclasses-jsonのfrom_dict関数で、Dict型のプロパティに文字列を設定しようとすると、当たり前ですがエラーが発生します。 from dataclasses import dataclass from dataclasses_json import dataclass_json from typing import List, Dict, Any @dataclass_json @dataclass class Person: name: str type: Dict[str, Any] """型が間違っている。正しくは`str`型""" @dataclass_json @dataclass class School: name: str people: List[Perso
![[dataclasses-json] Dict型のプロパティに文字列を設定しようとすると、"TypeError: Type List cannot be instantiated; use list() instead"が発生した - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0cf66bf3b610d753de900f58748f268541bc1002/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCZGF0YWNsYXNzZXMtanNvbiU1RCUyMERpY3QlRTUlOUUlOEIlRTMlODElQUUlRTMlODMlOTclRTMlODMlQUQlRTMlODMlOTElRTMlODMlODYlRTMlODIlQTMlRTMlODElQUIlRTYlOTYlODclRTUlQUQlOTclRTUlODglOTclRTMlODIlOTIlRTglQTglQUQlRTUlQUUlOUElRTMlODElOTclRTMlODIlODglRTMlODElODYlRTMlODElQTglRTMlODElOTklRTMlODIlOEIlRTMlODElQTglRTMlODAlODElMjJUeXBlRXJyb3IlM0ElMjBUeXBlJTIwTGlzdCUyMGNhbm5vdCUyMGJlJTIwaSVFMiU4MCVBNiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGMwZTNkOGJjNWY0ODAzNTkyNjljZWM3MzZjZDc5MTY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dWppMzhrd210JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yNjg3YTFiODExMDFhZDYxYmQ5YzEzNjQzNjFkZWJlZA%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5pyJ6ZmQ5Lya56S-5p2l5qCW5bed6Zu7566X%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dba9205a957dd0c58aca78127718ce836)
コードで理解するAlphaFold - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. AlphaFold2をコードで理解する AlphaFold2(以下AlphaFold)とはGoogle DeepMindが開発したタンパク質構造予測モデルで、アミノ酸配列からタンパク質の立体構造を予測します。2021年に発表されたHighly accurate protein structure prediction with AlphaFoldでアルゴリズムが説明されていて、ソースコードも公開されています。 アルゴリズムの概要を理解することを目的とした記事はいくつか既にあるので、この記事ではPyTorchで各ブロックを簡易的に実
今pythonでCLIの設定ファイルと付き合うならpydanticを使うかも？ - podhmo's diary
argparse関連の記事を最近色々書いてきたけれど。そういえば設定ファイルとの付き合い方については書いていなかった。今ならどうやって付き合うかなーということのメモ。 ここでの設定ファイルとはファイル名がコマンドライン引数として渡されて、それを読み込むという形のもの。 典型的なCLIは以下のようなもの。 $ python 00dict_args.py -h usage: 00dict_args.py [-h] [--config CONFIG] optional arguments: -h, --help show this help message and exit --config CONFIG ここでのconfigが設定ファイル。 辞書を引数に取る関数への値の受け渡し コマンドライン引数で設定ファイルを受け取るコマンドというのは、ちょっと見方を変えると、引数として辞書を持つ関数の実行
ファーストクラスコレクションのPythonでの実装例を見て考えたこと - nikkie-ftnextの日記
はじめに 京都リサーチパークにて開催のYAPC::Kyotoでノベルティを受け取りし参加者の1人、nikkieです。 読書会駆動でミノ駆動本（『良いコード／悪いコードで学ぶ設計入門』）を読んでいます。 7章ではファーストクラスコレクションが紹介されます。 Pythonで実装する上で参考になりそうな先駆者の例が見つかりました。 それを見て考えたことをアウトプットします。 目次 はじめに 目次 ファーストクラスコレクション Pythonでファーストクラスコレクション、先駆者による例 なるほどと思った点 dataclassにする 変更提案したい点 1-1. appendの返り値はNoneなのです 1-2. ファーストクラスコレクションが持つコレクションは変更しないほうがいいのではないか 2. as_listメソッドが返すのはtuple 提案実装 終わりに ファーストクラスコレクション ファースト
dataclasses-json：オプショナルなプロパティの型を`None | str`にして`schema().load`を実行したらwarningが発生した。 - Qiita
from dataclasses import dataclass from dataclasses_json import DataClassJsonMixin @dataclass(frozen=True) class Project(DataClassJsonMixin): project_id: str project_name: None | str = None print("Use `Project.from_dict()`") print(Project.from_dict({"project_id": "1"})) print("Use `Project.schema().load()`") print(Project.schema().load([{"project_id": "2"}], many=True)) $ python sample1.py Use `Pro
class DBClient: PATH = 'hoge/fuga' @classmethod def insert(cls, recs): for rec in recs: # ここでは仮でprintするだけとする print(f"PATH: {cls.PATH}, name: {rec['name']}, age: {rec['age']}") records = [ {"name": "Taro", "age": 20}, {"name": "Jiro", "age": 18}, {"name": "Saburo", "age": 12} ] DBClient.insert(records) import dataclasses from typing import Final @dataclasses.dataclass class Record: name: str age: i
zenn.dev › takehiro1111 › articles › python_class_dataclasses 2024/12/20 · Python3.7以上のデータ格納はdataclassを活用しよう - Qiita. はじめにPythonでデータを格納する際に辞書や普通のクラスを使っていませんか？Python3.7 ...
【Python】外部データとLLMの間のシンプルで柔軟なインターフェイス「gpt-index」のインストール
GPTが作成するインデックスで、外部情報を整理してクエリに答えるように設計されたライブラリ「gpt-index」のインストールについて解説します。 「gpt-index（https://github.com/jerryjliu/gpt_index,https://gpt-index.readthedocs.io/en/latest/）」は、大規模な外部知識ベースを大規模言語モデル(Large-scale Language Model:LLM)で容易に利用できるように設計されたデータ構造群からなるプロジェクト。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■gpt-indexをインストールするgpt-indexをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindo
はじめての自然言語処理 Rasa に transformers を組み込んでチャットボットを作ってみる | オブジェクトの広場
今回は OSS の Rasa でチャットボットを作ります。普通に作るだけでは、つまらないので transformers を組み込んでみました。また、Rasa を初めて触る方向けにその概要とチャットボットを作るときのコツ的なところもご紹介できればと思います。 1. はじめに 今回は OSS の Rasa1 を使ってチャットボットを作ります。 「世の中は ChatGPT が大きな話題をさらい、GPT-4, Stanford Alpaca, LoRA, RLHF, LLM.int-8, …等々。このタイミングで Rasa ! 何故？」と思われるかもしれませんが。。。 いやぁ、スゴイですよね、ChatGPT。 とはいえ「なんでもかんでも ChatGPT で作ればOK」という訳ではない（といいな）と思うので、 利用シーンを限定した局地戦に持ち込みつつ、状況に応じて ChatGPT (あるいはその亜種
Vertex AI Pipelines で利用している Kubeflow Pipelines を v2 へ移行しました - Commune Engineer Blog
こんにちは，コミューンで機械学習エンジニアとして働いている柏木（@asteriam_fp）です． 最近は，鬼滅の刃の柱稽古編が毎週日曜日に放送されていて，それを見て楽しんだ勢いで月曜日からの仕事も勤しんでいます！（無限城編も楽しみです） はじめに 現在我々のチームでは，Google Cloud 上の Vertex AI Pipelines 上で機械学習パイプライン（バッチレコメンド等で利用中）を動かしています．その裏側では，Kubeflow Pipelines (KFP) を利用していますが，このライブラリ（フレームワーク）が2023年6月にバージョン2.0をリリースしました． 以前まで使用していたバージョン1.8は2024年12月にサポートが終了してしまいます．これに伴い我々のチームでもバージョン2.0への移行対応を実施したため，本ブログではその内容を紹介したいと思います． https:
Blenderで自動ベイク - Qiita
Blenderで自動ベイク Blender3.1で、マテリアルをベイクするPythonコードの紹介です。 アドオンとしてインストールもできます。 Blenderではいろいろベイクできますが、ディヒューズとラフネスとノーマルだけ対象にしています。 「おのぼCG_OnoboCG」チャンネルの「Blender内蔵テクスチャを "画像ファイル"化する方法 - YouTube」を参考にしました。 前提条件 Principled BSDFという名前のノードが必要です。 UV展開が必要です。また、UVがはみ出ている部分は黒くなります。 やり方 下記を実行します。 """ Bake image from material - Set parameter for bake. - Make image. - Bake. - Replace to baked image. Prerequisite - Name
問題提起 Python 3.7 で新たに登場したdataclassデコレータは、クラスに様々なメソッドを自動的に付加してくれる。 例えば、次のようにすることで、__init__()と__hash__()と__eq__()を適切に実装したnamedtupleのようなものを作ってくれる。 from dataclasses import dataclass @dataclass(eq=True, frozen=True) class Point3D: """Immutable struct for 3-D points""" x: float y: float z: float = 0.0 # default value if __name__ == '__main__': p = Point3D(x=3.14, y=2.72) print(p) # -> Point3D(x=3.14, y=2
Pythonでマルチプロセス処理を書いていて、サブプロセス内で同期的に変数を更新する（＝状態を持つ）必要が出てきましたので試してみました。 公式ドキュメントを見てみると、マルチプロセスで状態を管理する方法は大きく二つあるようです。 共有メモリ（Shared Memory） 特徴 メインプロセス内の共有メモリで変数を保持する 変数の型（入れ物）としては、Value, Arrayのみが提供されている Valueは一つのデータの入れ物、Arrayは複数のデータの入れ物 中に突っ込める型は、arrayモジュールで利用できる型・cypesの型のみ => 型の制約があり concurrent.futures.ProcessPoolExecutorでは利用できない 実装サンプル arrayモジュールで使える型（今回はint）を利用する実装サンプルはこんな感じです。 並列処理で、それぞれ数値を二乗して共有
はじめに Hugging FaceにはBertForClassificationなどの既存のモデルが定義されていますが，自作のアーキテクチャでモデルを定義・学習したいこともあります．本記事では，ある程度ちゃんとした形式で実装をするための事始めについて書きます． 本記事はpython3.11.0，および以下のモジュールで検証しました． torch==2.1.0 transformers==4.34.0 はじめに 概要 最小限の自作モデルの実装例 Configの定義 モデル定義 既存モデルを組み合わせる場合の実装例（マルチタスク文分類を例に） Configの定義 モデルの定義 おわり 概要 （HuggingFaceらしく）モデルを定義するためにはConfigとModelの2つのclassが必須です． Configには，モデルを初期化および訓練するための情報を定義します．例えば，隠れ層のサイズや
Pythonでpython-rapidjsonモジュールを使用しJSONデータの読み書きを行ってみます。 今回はpython-rapidjsonを用います。このライブラリ・モジュールはPythonの標準ライブラリではありませんので事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows11） ■arrowとdataclasses-jsonを用いて現在の日時を取得しJSON形式に変換するでは、早速arrowとdataclasses-jsonを用いて現在の日時を取得しJSON形式に変換（シリアライズ）するスクリプトを書いていきます。 ■コードimport rapidjson # JSONデータの作成 data = { "name": "田中 テスト勇也", "age": 30, "city": "宮城" } #
ALDA実行メモ - Qiita
asn1crypto==0.24.0 certifi==2018.1.18 chardet==3.0.4 cryptography==2.1.4 dataclasses==0.7 future==0.18.2 idna==2.6 imageio==2.1.2 keyring==10.6.0 keyrings.alt==3.0 numpy==1.14.6 Pillow==5.3.0 protobuf==3.13.0 pycrypto==2.6.1 pygobject==3.26.1 pyxdg==0.25 requests==2.18.4 SecretStorage==2.3.1 six==1.11.0 ssh-import-id==5.7 tensorboardX==1.4 torch==1.7.0 torchsummary==1.5.1 torchvision==0.8.1 tqdm==
Python のみを使用した InterSystems のインターオペラビリティフレームワーク
このフォーメーションは私の GitHub にあり、30 分で csv ファイルと txt ファイルの読み取りと書き込み方法、Postgres を使ったIRIS データベースとリモートデータベースの挿入とアクセス方法、FLASK API の使用方法について説明します。これらすべてに、PEP8 命名規則に従った、Python のみのインターオペラビリティフレームワークを使用します。 このフォーメーションは、ほとんどをコピー＆ペースト操作で実行でき、グローバル演習を行う前に、ステップごとの操作が説明されています。 記事のコメント欄、Teams、またはメール（lucas.enard@intersystems.com）でご質問にお答えします。 このフォーメーションに関するあらゆる点において、ご意見やご感想をお送りいただけると幸いです。 1. Ensemble / Interoperability の
背景 Pythonのdataclassについてです。 dataclassについての説明は以下。 タイトルだけだといまいちわかりにくいかもしれませんが、やりたいのは↓のような感じです。 抽象クラス(もしくは普通のクラス)を継承してサブクラスをdataclassにできないか？という感じです。 class SubClass(SuperClass): foo: str = '' >>> sub = SubClass() >>> print(sub) SubClass('foo'='') >>> is_dataclass(sub) True 本来ならSubClassの上に@dataclassデコレータを付与することでクラスをdataclassとして定義します。 こちら にも書いたようにオリジナルのデコレータを作成してデコレートしたclassをdataclassにするようなことをしていたんですが、__
![[Python] デコレータを使わずにdataclassにする](https://cdn-ak-scissors.b.st-hatena.com/image/square/8e9b8f9c270320c23b2e3a23d59e221f6ab82b61/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--PFT4DDYO--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255D%252520%2525E3%252583%252587%2525E3%252582%2525B3%2525E3%252583%2525AC%2525E3%252583%2525BC%2525E3%252582%2525BF%2525E3%252582%252592%2525E4%2525BD%2525BF%2525E3%252582%25258F%2525E3%252581%25259A%2525E3%252581%2525ABdataclass%2525E3%252581%2525AB%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252588%2525E3%252582%252593%2525E3%252581%2525B6%2525E3%252582%252593%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2g1LW5HV3VTeEFVM1VzVHV4bWljUVVCUDhSMXUtZ19IU0VpQTdUPXMyNTAtYw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
はじめに 以前カジキはこういうものを作り、定期実行する環境まで作成しました(環境作成については別途記事にするつもり) [Python]RSS取得した情報を翻訳してslackに投稿する で、いざ運用に乗っけてみると、当初心配していたgoogleTransのAPI制限には特に引っかかることはなく使えました。 しかし、翻訳テキストとして渡す中身によって動作が安定しないという別の問題に直面しました。特に、あるRSSサイトが配信しているfeedと相性が悪く、そのfeedでだいたい落ちてしまう。そのfeed自体、翻訳処理をかけるまでにこっちでテキストをだいぶ加工してあげなければならないような、お行儀のよくないサイトではあるんですが、処理が落ちるテキストを調べてもおかしなところが特に見つからずハマりました。(ライブラリ側の置換処理がうまくいっていないことが原因だった模様) ここは、翻訳APIがgoogl
![[Python]RSS翻訳で利用する翻訳APIをDeepL(無料版)にした話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ab2125c0861f00686e150281951c3a915520cdb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEUlNTJUU3JUJGJUJCJUU4JUE4JUIzJUUzJTgxJUE3JUU1JTg4JUE5JUU3JTk0JUE4JUUzJTgxJTk5JUUzJTgyJThCJUU3JUJGJUJCJUU4JUE4JUIzQVBJJUUzJTgyJTkyRGVlcEwlMjglRTclODQlQTElRTYlOTYlOTklRTclODklODglMjklRTMlODElQUIlRTMlODElOTclRTMlODElOUYlRTglQTklQjElRTMlODAlODAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWRkMjc5MDg4YzRmZDhjNjA2ZWRmZWIzYWU5N2JlZGM2%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBJc3Rpb3Bob3J1cyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NjgwYzY4MzE3OTRhYWU0M2U1ZjBhMDY5YzNjOTM3MWU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dac700bfb059345d73d2ee016e1cd7bc3)
Python メモ – REST APIのテスト
PythonでREST APIをテストするツールを探していたら、Tavernなるものを見つけたのでメモ。 REST APIまず、テスト対象として、ユーザーを追加とユーザー取得のAPIを用意。 # app.py from flask import Flask, request, jsonify import json from dataclasses import dataclass app = Flask(__name__) users = [] @app.route('/user/<int:id>', methods=['GET']) def index(id): return jsonify(users[id-1]) @app.route('/user', methods=['POST']) def create(): users.append(User(request.json['n
【Python】SQLを使用する強力なデータベース及びデータウェアハウスの機械学習ワークフロー「MindsDB」のインストールについて解説しています。 「MindsDB（https://github.com/mindsdb/mindsdb/）」は、仮想AIテーブルを介して機械学習モデルを自動化および抽象化することができる。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■MindsDBをインストールするMindsDBをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install mindsdb起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Pyth
TL;DR dataclassのmetadataを使うと、メンバ変数にメタ情報を付与できる。 メタ情報を付与することで、実装を簡略化できるケースがある。 ※metadataはサードパーティー製用なので本来の意図とは違う可能性あり dataclasses(dataclass)とは Python3.7から追加されたデータを格納するクラスを簡単に定義できる機能を提供するモジュールです。 こんな感じ from dataclasses import dataclass @dataclass class Company: """ 会社クラス """ name: str address: str average_age: int description: str if __name__ == "__main__": company = Company(name="創屋", address="石川県白山市
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめての自然言語処理 BRIO による抽象型要約の検証 | オブジェクトの広場
Maya2022とPython3 最新環境のメリット、注意点（セミナー会場）
[Python]RSS取得した情報を翻訳してslackに投稿する - Qiita
オートエンコーダによる次元圧縮 - Qiita
Pythonで並列処理するコードの雛形（進捗表示つき） - Qiita
pydanticを用いて堅牢な型を作成する - Qiita
モジュール性を高めるテクニック: 戻り値を通じた実装の詳細の漏洩を防ぐ
良いコード/悪いコードで学ぶ設計入門 の急所をpythonで解釈 - Qiita
Pythonのクラスが何かとややこしい - ts0818のブログ
pydanticを用いて@dataclassの型を堅牢にする - Qiita
pydanticを使って実行時にも型情報が適用されるPythonコードを書く - Qiita
Python業務歴1年目から5年目でコードはこう変わった - Qiita
%26rlz%3D1C5CHFA_enJP906JP906%26oq%3Dpython%2Bdataclass%2B(%2Bzenn%2BOR%2Bqiita%2B)%26gs_lcrp%3DEgZjaHJvbWUyBggAEEUYOTIHCAEQIRifBdIBCDcyNzZqMGo0qAIAsAIA%26sourceid%3Dchrome%26ie%3DUTF-8)
python dataclass ( zenn OR qiita ) - Google 検索
【Python3.7】dataclassがHashableを継承できない話 - Qiita
Pythonにおけるマルチプロセスでの状態管理 – rinoguchi's techlog
Hugging Faceを使った自作モデル作成の事始め - gotutiyan’s blog
Pythonでpython-rapidjsonモジュールを使用しJSONデータの読み書きを行う
[Python] デコレータを使わずにdataclassにする
[Python]RSS翻訳で利用する翻訳APIをDeepL(無料版)にした話 - Qiita
SQLを使用する強力なデータベース「MindsDB」のインストール
Pythonのdataclassにおけるmetadata - Qiita