Kindle for PC コレクション対応記念 嘘です。 もうそろそろなんとかしたかっただけです 本来なら元記事の変更で済ますべきなんでしょうが、ソースコードがかなり変更されたので、新記事にしました。 の強化版です 変更点 設定ファイルを使うようになった カレントディレクトリのkindless.iniファイルを参照して動作設定をするようになりました。 コマンドラインで設定ファイルを指定すると、その設定ファイルを読むようになりました。 PyInstallerやNuitkaで実行ファイル化できるかもしれません tkinter以外のダイアログを表示するようにしました ソースコードを置き換えればWXPython , PyQt5 , PyQt6 , tkinterのうちの一つを選べます ウィンドウ誤爆対策 実行ファイルがkindle.exeのものを選択するようにしました ウィンドウからタイトルを拾
オートエンコーダとは 通常の教師あり学習では入力から異なる種類の出力を得ますが、オートエンコーダでは入力と出力の形式は同じになります. では何を学習するのかといいうと、データの潜在変数を学習します. 以下がモデルの構造になります. まず、入力値はエンコーダーを介して、より次元の少ない潜在変数に変換されます. その後、潜在変数はデコーダを介して元の次元に復元されます. デコーダによって潜在変数から元の情報を復元できるなら、うまく学習できているこということになります. ちなみにこうした、ある次元のデータを元の情報を含むより少ない次元に変換することを次元削減といます. オートエンコーダの用途 こことでは、オートエンコーダのさまざまな用途を紹介していきます. 事前学習 最近では、学習アルゴリズムが改善され、あまり使われなくなった方法です. 学習ずみのエンコーダの重みを他の識別器の重みの初期値として
概要 メジャーな組合せ最適化問題（Set Partitioning, Graph Coloring 等）の QUBO 行列生成コードを実装した 参考：A Tutorial on Formulating and Using QUBO Models(本文中の引用はすべてこの資料から) この記事の JupyterNotebook はこちら -> GitHub 準備 requirements python>=3.7 dwave_qbsolv networkx from __future__ import annotations from itertools import combinations from dwave_qbsolv import QBSolv from typing import Set, Tuple, Container, Dict, Sequence from dataclas
Pythonで並列処理するときのコードの雛形です。タスクを何件処理したかの進捗も表示します。自身の備忘録用に投稿しておきます import dataclasses import logging import random import sys import threading import time from concurrent.futures import ThreadPoolExecutor from typing import List # ログ設定 logger = logging.getLogger() logger.setLevel(logging.INFO) log_format = logging.Formatter("%(asctime)s [%(levelname)8s] %(message)s") # 標準出力へのハンドラ stdout_handler = logg
はじめに この記事ではpythonをメイン言語とする筆者が、Javaで書かれた設計の名著 「良いコード/悪いコードで学ぶ設計入門」を読んで躓いた急所について、pythonの文脈で解釈を試みます。 同じ境遇のpythonエンジニアの方の助けになればと思っています。 不正確な部分や改善点、アイディアなどありましたら是非コメントいただけますと幸いです。 データクラス (1.3節) 本書ではデータクラス（変数の管理のみを目的としたクラス）の利用を非推奨し、ロジックをまとめたバリューオブジェクトとしての利用を推奨しています。 Pythonにはこれを実現する仕組みとして@dataclassesがあります。 dataclasses Python 3.7で導入されたdataclassは、基本的なデータハンドリングのメソッドを提供することによりクラス定義を容易にするデコレーターです。 具体的には、インスタン
WhiteAtelier Archives
簡単に使えるQTableWidgetに比べて、モデルを構築する必要のあるQTableView、大変そうで苦手だったのですが、最近なんとなく使い方に慣れてきた気がするので、一度記事にまとめてみます。今回は読み取りのみの非常にシンプルなQTableViewとQAbstractTableModelの扱い方についてです。 以下のコードをすべてまとめた最終のコードは、このページの一番下に掲載しています。 まずはテスト用のウィンドウを作る QTableViewの挙動を確認するために、QTableViewを含んだウィンドウを表示するプログラムを書きます このスクリプトを実行すると、下画像のようなウィンドウが立ち上がります。真ん中にQTableViewがありますが、モデルを設定していないため、何も表示されません。 データクラスの用意 次に、表示させたいデータのデータ構造を用意します。今回はサンプルコードの
Conoha WingでFlaskを使ってみた
今回は、Flaskを使って、Conoha WingのWebサイトに新しいページを作ってみます。Conoha Wingは最初からPython 3.6.9が入っているので、そこに、Flaskを入れて、「Hello World」を表示させてみます。 Flaskのインストール 「pip install flask」とやってみましたが、しばらくインストーラーが動いたあと、インストールを開始する前にエラーが起きて止まっていました。エラーメッセージを読むと、 どうやらサーバーのシステムの方にインストールしようとしてしまったので、ユーザーディレクトリに保存するように「–user」をオプションで使えてpipを実行してほしいとのこと。 もう一つはエラーではないが、新しいバージョンのpipがあるからそちらをつかってほしいとのこと。 [cxxxxxxx@web0xxx ~]$ python3 --version
dataclass-wizardを使ってyamlをdataclassの値に変換する - kazasiki's blog
Pythonに限らずプログラムを書いてれば固定値の集まりをJSONやYAMLなどの別ファイルに分けたいことがあると思います。今回はそんな時に便利なライブラリとしてJSONやYAMLをdataclassにmarshalしてくれるdataclass-wizardをご紹介します。 背景 PythonでYAMLを読み込んで扱う場合、普通はPyYAMLを使いますが、例えば yaml.load の戻り値はdict型になってしまいます。そこから値を取り出す場合も、 dict["key"] などといった風にキーを指定する形になります。 これでも問題ないかも知れませんが、キーの名前に対するIDEやエディタの補完が効かなかったり、まとまった値を関数に渡す場合もdict型になってしまうので、関数の方で何のキーを指定すれば良いのか分かりづらくなる原因になります。 そこでJSONやYAMLを読み込んでdatacla
Vertex AI Pipelinesを効率的に開発するための取り組み - Timee Product Team Blog
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小関です。 今回はDSグループがMLパイプライン構築時に活用しているVertex AI Pipelinesを効率的に開発するための取り組みを紹介したいと思います！ Vertex AI Pipelinesとは Vertex AI Pipelinesとは、Google Cloudが提供しているMLパイプラインをサーバーレスに構築・実行できるサービスです。 Vertex AI Pipelinesを活用することで、下記のようなデータをBigQeuryから取得し、特徴量の作成・データセットの分割後、モデルを学習するようなML パイプラインが比較的容易に構築できます。 Vertex AI Pipelinesで構築したMLパイプラインのサンプル Vertex AI Pipelinesの活用事例と挙げられた改善点 タイミーのDSグ
LangChain × SlackAPI × Lambda でWebページを要約してくれるSlackChatGPTサーバーレスアプリ作った - Qiita
LangChain × SlackAPI × Lambda でWebページを要約してくれるSlackChatGPTサーバーレスアプリ作ったAWSlambdaSlackChatGPTlangchain 作ったもの SlackでWebページを渡すと要約してくれて、その後はURLを元に回答を生成してくれるアプリを作りました🤗 (難解なWebページとか読むのめんどくさい時用です) インフラ構成 それぞれの役割 こんな感じの構成になっています。 LangChain周りのパッケージが重たすぎて、LambdaLayerのデプロイパッケージの制限(解凍後サイズ 250MB)を超えてしまうので、ECRにDockerイメージを保管しそこからLambdaを展開しています。 資料 イベント登壇時の資料です コード 超特急で作ったので細かい所や汚いところは目を瞑ってください🥲 FROM public.ecr.a
概要 堅牢な型(Strict Type)が現時点で5つしかなく、結局__post_init__などでバリデーションを行う必要があるのは面倒と感じていましたが、なんとpydanticでは型を自分で作ることが出来ます！ ただの型の作成であれば、下記のQiita記事やドキュメントを参照すれば作ることが出来ます。 今回はこれの堅牢な型バージョンです。 型の作成方法 めちゃくちゃ簡単です。 作成する型のクラスを定義する __get_validators__を定義して、次で作成するvalidate関数を呼び出す validateを定義する関数を作成し、エラーパターンを記述する 簡単な例を紹介すると、0以外の数値を受け取るNotZeroNumber型を定義してみます。 from pydantic.dataclasses import dataclass class NotZeroNumber(int):
コードの可読性と保守性を向上させるためには、モジュール性を高めることが重要です。 そのために、実装の詳細を隠蔽し、適切な抽象化レイヤーを維持します。 その際、メソッドの戻り値を通じて実装の詳細が漏洩することに注意が必要です。 本記事では、戻り値から実装の詳細が漏洩することによる問題点と、その解決策について解説します。 サンプルコードを交えながら、抽象化レイヤーを維持するための戻り値の設計について見ていきましょう。 この記事を通じて、より保守性の高いコードを書くための具体的な手法を学びます。 戻り値からの実装の詳細の漏洩による問題 以下のコードは、ユーザーの連絡先情報を取得するための get_user_contact メソッドの例です。 def get_user_contact(self, user_id): query = f"SELECT * FROM contacts WHERE us
gigazine.net このコストの多くはRobloxの管理外で発生しているものです。売上の平均23％がApp Storeなどの配信プラットフォームの手数料として支払われています。基本的に配信プラットフォームは売上の30％を手数料として徴収しているにもかかわらず、平均が23％となっている理由はRobloxのPC版はサードパーティーの配信プラットフォームを介しておらずクレジットカードの手数料以外にコストが発生しないためです。さらに、売上の26％はRobloxのユーザー生成コンテンツの開発者に報酬として支払われています。 月間アクティブユーザー数が3.8億人超なのに赤字のゲーム「Roblox」は一体どんな問題を抱えているのか？ - GIGAZINE ⇧ Appleが売上の30%も徴収してるのに驚きなんですが、 diamond.jp スマホのシェアが高いことからアップルが標的にされることも多い
dataclasses-json：オプショナルなプロパティの型を`None | str`にして`schema().load`を実行したらwarningが発生した。 - Qiita
環境 Python 3.11.2 dataclasses-json 0.5.7 起きたこと 以下のコードを実行したらdataclasses_jsonで「Unknown type at Project.project_name: None | str」というwarningが発生しました。 from dataclasses import dataclass from dataclasses_json import DataClassJsonMixin @dataclass(frozen=True) class Project(DataClassJsonMixin): project_id: str project_name: None | str = None print("Use `Project.from_dict()`") print(Project.from_dict({"projec
概要 @dataclassを用いると型アノテーションが強制化されますが、この型自体に強制力はありません1。 例えば、下記のように違う型を入れた場合でも動作してしまいます。 from dataclasses import dataclass @dataclass class User: name: str age: int def main(): user_info = User(20, "Hoge") print(user_info) # User(name=20, age='Hoge') print(type(user_info.name)) # <class 'int'> print(type(user_info.age)) # <class 'str'> if __name__ == "__main__": main() なぜ強制力がないかというと、この型アノテーションは型のヒントで
この記事はPythonその2 Advent Calendar 2020、16日目の記事です。 Python3.5でType Hintsが導入され、元々動的型付け言語であったPythonでもコードに型情報を記述することが現在では当たり前になってきました。 今回は、この型情報を最大限活用してより堅牢なPythonコードを書く大きな助けになるライブラリ、pydanticを紹介します。 pydanticとは 最近話題のPython製WebフレームワークFastAPIでも使用されているので、存在自体は知っている方も多いのでは無いでしょうか。 実は私もFastAPIを初めて使ったときにこのpydanticの存在を知りました。 pydanticはずばり以下の機能を実現してくれるライブラリです。 実行時の型情報の提供 不正なデータにはユーザーフレンドリーなエラーを返す これだけだとなんのこっちゃ、って人の
[dataclasses-json] Dict型のプロパティに文字列を設定しようとすると、"TypeError: Type List cannot be instantiated; use list() instead"が発生した - Qiita
環境 Python3.10.2 dataclasses-json 0.5.7 何が起きた？ dataclasses-jsonのfrom_dict関数で、Dict型のプロパティに文字列を設定しようとすると、当たり前ですがエラーが発生します。 from dataclasses import dataclass from dataclasses_json import dataclass_json from typing import List, Dict, Any @dataclass_json @dataclass class Person: name: str type: Dict[str, Any] """型が間違っている。正しくは`str`型""" @dataclass_json @dataclass class School: name: str people: List[Perso
![[dataclasses-json] Dict型のプロパティに文字列を設定しようとすると、"TypeError: Type List cannot be instantiated; use list() instead"が発生した - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0cf66bf3b610d753de900f58748f268541bc1002/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCZGF0YWNsYXNzZXMtanNvbiU1RCUyMERpY3QlRTUlOUUlOEIlRTMlODElQUUlRTMlODMlOTclRTMlODMlQUQlRTMlODMlOTElRTMlODMlODYlRTMlODIlQTMlRTMlODElQUIlRTYlOTYlODclRTUlQUQlOTclRTUlODglOTclRTMlODIlOTIlRTglQTglQUQlRTUlQUUlOUElRTMlODElOTclRTMlODIlODglRTMlODElODYlRTMlODElQTglRTMlODElOTklRTMlODIlOEIlRTMlODElQTglRTMlODAlODElMjJUeXBlRXJyb3IlM0ElMjBUeXBlJTIwTGlzdCUyMGNhbm5vdCUyMGJlJTIwaSVFMiU4MCVBNiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGMwZTNkOGJjNWY0ODAzNTkyNjljZWM3MzZjZDc5MTY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dWppMzhrd210JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yNjg3YTFiODExMDFhZDYxYmQ5YzEzNjQzNjFkZWJlZA%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5pyJ6ZmQ5Lya56S-5p2l5qCW5bed6Zu7566X%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dba9205a957dd0c58aca78127718ce836)
ファーストクラスコレクションのPythonでの実装例を見て考えたこと - nikkie-ftnextの日記
はじめに 京都リサーチパークにて開催のYAPC::Kyotoでノベルティを受け取りし参加者の1人、nikkieです。 読書会駆動でミノ駆動本（『良いコード／悪いコードで学ぶ設計入門』）を読んでいます。 7章ではファーストクラスコレクションが紹介されます。 Pythonで実装する上で参考になりそうな先駆者の例が見つかりました。 それを見て考えたことをアウトプットします。 目次 はじめに 目次 ファーストクラスコレクション Pythonでファーストクラスコレクション、先駆者による例 なるほどと思った点 dataclassにする 変更提案したい点 1-1. appendの返り値はNoneなのです 1-2. ファーストクラスコレクションが持つコレクションは変更しないほうがいいのではないか 2. as_listメソッドが返すのはtuple 提案実装 終わりに ファーストクラスコレクション ファースト
今pythonでCLIの設定ファイルと付き合うならpydanticを使うかも？ - podhmo's diary
argparse関連の記事を最近色々書いてきたけれど。そういえば設定ファイルとの付き合い方については書いていなかった。今ならどうやって付き合うかなーということのメモ。 ここでの設定ファイルとはファイル名がコマンドライン引数として渡されて、それを読み込むという形のもの。 典型的なCLIは以下のようなもの。 $ python 00dict_args.py -h usage: 00dict_args.py [-h] [--config CONFIG] optional arguments: -h, --help show this help message and exit --config CONFIG ここでのconfigが設定ファイル。 辞書を引数に取る関数への値の受け渡し コマンドライン引数で設定ファイルを受け取るコマンドというのは、ちょっと見方を変えると、引数として辞書を持つ関数の実行
はじめての自然言語処理 Rasa に transformers を組み込んでチャットボットを作ってみる | オブジェクトの広場
今回は OSS の Rasa でチャットボットを作ります。普通に作るだけでは、つまらないので transformers を組み込んでみました。また、Rasa を初めて触る方向けにその概要とチャットボットを作るときのコツ的なところもご紹介できればと思います。 1. はじめに 今回は OSS の Rasa1 を使ってチャットボットを作ります。 「世の中は ChatGPT が大きな話題をさらい、GPT-4, Stanford Alpaca, LoRA, RLHF, LLM.int-8, …等々。このタイミングで Rasa ! 何故？」と思われるかもしれませんが。。。 いやぁ、スゴイですよね、ChatGPT。 とはいえ「なんでもかんでも ChatGPT で作ればOK」という訳ではない（といいな）と思うので、 利用シーンを限定した局地戦に持ち込みつつ、状況に応じて ChatGPT (あるいはその亜種
DataFrameとdataclassの相互変換を簡単に出来るクラスを作った - Qiita
きっかけ pandasのDataFrameは大規模データの処理に便利！だけどデータへのアクセスはdataclassのlist形式の方が便利… なので互いに変換処理を書くことが多かったのですが、特にDataFrameをdataclassのリストに変換する処理は面倒で、しかも同じような処理ばかりだったので非常に面倒くささを感じておりました。 ということで、それを解決できるクラスをChatGPTとペアプログラミングして作ってみました。 この場を借りて共有したいと思います。 説明 このDataClassFrameクラスは、DataFrameとDataClassの相互変換を抽象化するためのユーティリティです。 使用例 from dataclasses import dataclass from pandas import DataFrame from dataclass_frame import D
【Python】外部データとLLMの間のシンプルで柔軟なインターフェイス「gpt-index」のインストール
GPTが作成するインデックスで、外部情報を整理してクエリに答えるように設計されたライブラリ「gpt-index」のインストールについて解説します。 「gpt-index（https://github.com/jerryjliu/gpt_index,https://gpt-index.readthedocs.io/en/latest/）」は、大規模な外部知識ベースを大規模言語モデル(Large-scale Language Model:LLM)で容易に利用できるように設計されたデータ構造群からなるプロジェクト。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■gpt-indexをインストールするgpt-indexをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindo
class DBClient: PATH = 'hoge/fuga' @classmethod def insert(cls, recs): for rec in recs: # ここでは仮でprintするだけとする print(f"PATH: {cls.PATH}, name: {rec['name']}, age: {rec['age']}") records = [ {"name": "Taro", "age": 20}, {"name": "Jiro", "age": 18}, {"name": "Saburo", "age": 12} ] DBClient.insert(records) import dataclasses from typing import Final @dataclasses.dataclass class Record: name: str age: i
問題提起 Python 3.7 で新たに登場したdataclassデコレータは、クラスに様々なメソッドを自動的に付加してくれる。 例えば、次のようにすることで、__init__()と__hash__()と__eq__()を適切に実装したnamedtupleのようなものを作ってくれる。 from dataclasses import dataclass @dataclass(eq=True, frozen=True) class Point3D: """Immutable struct for 3-D points""" x: float y: float z: float = 0.0 # default value if __name__ == '__main__': p = Point3D(x=3.14, y=2.72) print(p) # -> Point3D(x=3.14, y=2
Blenderで自動ベイク - Qiita
Blenderで自動ベイク Blender3.1で、マテリアルをベイクするPythonコードの紹介です。 アドオンとしてインストールもできます。 Blenderではいろいろベイクできますが、ディヒューズとラフネスとノーマルだけ対象にしています。 「おのぼCG_OnoboCG」チャンネルの「Blender内蔵テクスチャを "画像ファイル"化する方法 - YouTube」を参考にしました。 前提条件 Principled BSDFという名前のノードが必要です。 UV展開が必要です。また、UVがはみ出ている部分は黒くなります。 やり方 下記を実行します。 """ Bake image from material - Set parameter for bake. - Make image. - Bake. - Replace to baked image. Prerequisite - Name
Vertex AI Pipelines で利用している Kubeflow Pipelines を v2 へ移行しました - Commune Engineer Blog
こんにちは，コミューンで機械学習エンジニアとして働いている柏木（@asteriam_fp）です． 最近は，鬼滅の刃の柱稽古編が毎週日曜日に放送されていて，それを見て楽しんだ勢いで月曜日からの仕事も勤しんでいます！（無限城編も楽しみです） はじめに 現在我々のチームでは，Google Cloud 上の Vertex AI Pipelines 上で機械学習パイプライン（バッチレコメンド等で利用中）を動かしています．その裏側では，Kubeflow Pipelines (KFP) を利用していますが，このライブラリ（フレームワーク）が2023年6月にバージョン2.0をリリースしました． 以前まで使用していたバージョン1.8は2024年12月にサポートが終了してしまいます．これに伴い我々のチームでもバージョン2.0への移行対応を実施したため，本ブログではその内容を紹介したいと思います． https:
Pythonでマルチプロセス処理を書いていて、サブプロセス内で同期的に変数を更新する（＝状態を持つ）必要が出てきましたので試してみました。 公式ドキュメントを見てみると、マルチプロセスで状態を管理する方法は大きく二つあるようです。 共有メモリ（Shared Memory） 特徴 メインプロセス内の共有メモリで変数を保持する 変数の型（入れ物）としては、Value, Arrayのみが提供されている Valueは一つのデータの入れ物、Arrayは複数のデータの入れ物 中に突っ込める型は、arrayモジュールで利用できる型・cypesの型のみ => 型の制約があり concurrent.futures.ProcessPoolExecutorでは利用できない 実装サンプル arrayモジュールで使える型（今回はint）を利用する実装サンプルはこんな感じです。 並列処理で、それぞれ数値を二乗して共有
ALDA実行メモ - Qiita
cat svhn_image.tar.gz.1 svhn_image.tar.gz.2 > svhn_image.tar.gz asn1crypto==0.24.0 certifi==2018.1.18 chardet==3.0.4 cryptography==2.1.4 dataclasses==0.7 future==0.18.2 idna==2.6 imageio==2.1.2 keyring==10.6.0 keyrings.alt==3.0 numpy==1.14.6 Pillow==5.3.0 protobuf==3.13.0 pycrypto==2.6.1 pygobject==3.26.1 pyxdg==0.25 requests==2.18.4 SecretStorage==2.3.1 six==1.11.0 ssh-import-id==5.7 tensorboardX
Pythonでpython-rapidjsonモジュールを使用しJSONデータの読み書きを行ってみます。 今回はpython-rapidjsonを用います。このライブラリ・モジュールはPythonの標準ライブラリではありませんので事前にインストールする必要があります。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows11） ■arrowとdataclasses-jsonを用いて現在の日時を取得しJSON形式に変換するでは、早速arrowとdataclasses-jsonを用いて現在の日時を取得しJSON形式に変換（シリアライズ）するスクリプトを書いていきます。 ■コードimport rapidjson # JSONデータの作成 data = { "name": "田中 テスト勇也", "age": 30, "city": "宮城" } #
はじめに Hugging FaceにはBertForClassificationなどの既存のモデルが定義されていますが，自作のアーキテクチャでモデルを定義・学習したいこともあります．本記事では，ある程度ちゃんとした形式で実装をするための事始めについて書きます． 本記事はpython3.11.0，および以下のモジュールで検証しました． torch==2.1.0 transformers==4.34.0 はじめに 概要 最小限の自作モデルの実装例 Configの定義 モデル定義 既存モデルを組み合わせる場合の実装例（マルチタスク文分類を例に） Configの定義 モデルの定義 おわり 概要 （HuggingFaceらしく）モデルを定義するためにはConfigとModelの2つのclassが必須です． Configには，モデルを初期化および訓練するための情報を定義します．例えば，隠れ層のサイズや
GoogleChromeのブックマークを登録日順に出力する
はじめに GoogleChromeのブックマーク一覧を登録時の時系列順に並べて出力するpythonプログラムを実装しました。 ディレクトリの中にさらにディレクトリがあるような入れ子の場合にも対応しています。 ブックマークの情報には登録時のタイムスタンプが保存されているのでそれを使って並び替えています。 出力 後述のプログラムを実行した際の出力は以下のようになります。 3 urls 2022-10-04 Zenn｜エンジニアのための情報共有コミュニティ https://zenn.dev/ 2022-10-05 Zenn｜エンジニアのための情報共有コミュニティ https://zenn.dev/ 2022-10-06 Zenn｜エンジニアのための情報共有コミュニティ https://zenn.dev/ from pathlib import Path import json from data
はじめに 以前カジキはこういうものを作り、定期実行する環境まで作成しました(環境作成については別途記事にするつもり) [Python]RSS取得した情報を翻訳してslackに投稿する で、いざ運用に乗っけてみると、当初心配していたgoogleTransのAPI制限には特に引っかかることはなく使えました。 しかし、翻訳テキストとして渡す中身によって動作が安定しないという別の問題に直面しました。特に、あるRSSサイトが配信しているfeedと相性が悪く、そのfeedでだいたい落ちてしまう。そのfeed自体、翻訳処理をかけるまでにこっちでテキストをだいぶ加工してあげなければならないような、お行儀のよくないサイトではあるんですが、処理が落ちるテキストを調べてもおかしなところが特に見つからずハマりました。(ライブラリ側の置換処理がうまくいっていないことが原因だった模様) ここは、翻訳APIがgoogl
![[Python]RSS翻訳で利用する翻訳APIをDeepL(無料版)にした話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ab2125c0861f00686e150281951c3a915520cdb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEUlNTJUU3JUJGJUJCJUU4JUE4JUIzJUUzJTgxJUE3JUU1JTg4JUE5JUU3JTk0JUE4JUUzJTgxJTk5JUUzJTgyJThCJUU3JUJGJUJCJUU4JUE4JUIzQVBJJUUzJTgyJTkyRGVlcEwlMjglRTclODQlQTElRTYlOTYlOTklRTclODklODglMjklRTMlODElQUIlRTMlODElOTclRTMlODElOUYlRTglQTklQjElRTMlODAlODAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWRkMjc5MDg4YzRmZDhjNjA2ZWRmZWIzYWU5N2JlZGM2%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBJc3Rpb3Bob3J1cyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NjgwYzY4MzE3OTRhYWU0M2U1ZjBhMDY5YzNjOTM3MWU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dac700bfb059345d73d2ee016e1cd7bc3)
Python メモ – REST APIのテスト
PythonでREST APIをテストするツールを探していたら、Tavernなるものを見つけたのでメモ。 REST APIまず、テスト対象として、ユーザーを追加とユーザー取得のAPIを用意。 # app.py from flask import Flask, request, jsonify import json from dataclasses import dataclass app = Flask(__name__) users = [] @app.route('/user/<int:id>', methods=['GET']) def index(id): return jsonify(users[id-1]) @app.route('/user', methods=['POST']) def create(): users.append(User(request.json['n
Pythonの標準ライブラリにdataclassというのがあるの見つけたので使ってみました。 参考: dataclasses — データクラス — Python 3.10.6 ドキュメント 名前から、オリジナルのデータ型を定義するためのモジュールなのかなとも思ったのですが実際は少し違いそうです。もちろん、オリジナルのデータ型を定義するためにも使えるのですが、その実態は、クラスに対して__init__()や__repr__()といった特殊メソッドを自動的に生成してくれるデコレーターという解釈が正確のようです。 お試しに、証券コードと会社名と説明を属性として持ったCompanyクラスを作ってみましょう。 import dataclasses @dataclasses.dataclass class Company: code: int name: str description: str =
背景 Pythonのdataclassについてです。 dataclassについての説明は以下。 タイトルだけだといまいちわかりにくいかもしれませんが、やりたいのは↓のような感じです。 抽象クラス(もしくは普通のクラス)を継承してサブクラスをdataclassにできないか？という感じです。 class SubClass(SuperClass): foo: str = '' >>> sub = SubClass() >>> print(sub) SubClass('foo'='') >>> is_dataclass(sub) True 本来ならSubClassの上に@dataclassデコレータを付与することでクラスをdataclassとして定義します。 こちら にも書いたようにオリジナルのデコレータを作成してデコレートしたclassをdataclassにするようなことをしていたんですが、__
![[Python] デコレータを使わずにdataclassにする](https://cdn-ak-scissors.b.st-hatena.com/image/square/8e9b8f9c270320c23b2e3a23d59e221f6ab82b61/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--PFT4DDYO--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255D%252520%2525E3%252583%252587%2525E3%252582%2525B3%2525E3%252583%2525AC%2525E3%252583%2525BC%2525E3%252582%2525BF%2525E3%252582%252592%2525E4%2525BD%2525BF%2525E3%252582%25258F%2525E3%252581%25259A%2525E3%252581%2525ABdataclass%2525E3%252581%2525AB%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252588%2525E3%252582%252593%2525E3%252581%2525B6%2525E3%252582%252593%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2g1LW5HV3VTeEFVM1VzVHV4bWljUVVCUDhSMXUtZ19IU0VpQTdUPXMyNTAtYw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
【Python】SQLを使用する強力なデータベース及びデータウェアハウスの機械学習ワークフロー「MindsDB」のインストールについて解説しています。 「MindsDB（https://github.com/mindsdb/mindsdb/）」は、仮想AIテーブルを介して機械学習モデルを自動化および抽象化することができる。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■MindsDBをインストールするMindsDBをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install mindsdb起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャーを使用しており、Pyth
TL;DR dataclassのmetadataを使うと、メンバ変数にメタ情報を付与できる。 メタ情報を付与することで、実装を簡略化できるケースがある。 ※metadataはサードパーティー製用なので本来の意図とは違う可能性あり dataclasses(dataclass)とは Python3.7から追加されたデータを格納するクラスを簡単に定義できる機能を提供するモジュールです。 こんな感じ from dataclasses import dataclass @dataclass class Company: """ 会社クラス """ name: str address: str average_age: int description: str if __name__ == "__main__": company = Company(name="創屋", address="石川県白山市
概要 自身のインスタンスを返すクラスメソッドを作成する際、下記のように返り値の型をクォーテーションで囲む必要がある from __future__ import annotations from dataclasses import dataclass @dataclass class User: name: str name_in_lowercase: str name_in_uppercase: str age: int @classmethod def create(cls, name: str, age: int ) -> User: return User(name=name, name_in_lowercase=name.lower(), name_in_uppercase=name.upper(), age=age) def print_description(self):
【Python】PriorityQueueで優先度が同じ場合キューに追加した順番で取得できるようにする - Qiita
はじめに Pythonのビルドインのqueueモジュールには様々なキュークラスが定義されています． その中に優先度付きのキュー（PriorityQueue）があります． 優先度が同じ場合，キューに追加した順番でアイテムを取得できるように思えるが，実は違います． PriorityQueueではヒープキューを使用するのが一般的です． Pythonでもヒープキュー（heapq）を使って実装しています． このヒープキューの実装で，キューからポップした際に順番がずれてくるからです（詳しい説明は省きますが要望があれば書きます）． （ヒープ自体の説明はこちらのサイトが詳しいです） 試したソースが以下です． from dataclasses import dataclass, field from typing import Any import queue @dataclass(order=True)
Tesseract ノベルゲームに特化した日本語OCR(文字認識)をしてみた - SPARKCREATIVE Tech Blog
こんにちは!!!クライアントエンジニアの小林です。 趣味で触っているコーパス作成の過程でテキスト入力を自動化したいなぁと思いOCRを導入してみました。 cloud visionはAPI叩くスタイルなので鯖落ちとか面倒だなぁと思い、ローカルで動作するtesseractを選びました。 がしかし、tesseractさん、日本語に対する精度が低いです。 といっても英字は比較的読めているので読めないことはないだろうと思い、プリプロセスを頑張ったらギリギリ実用レベルに達しました。 今回はそれについてのご紹介です。 概要 作業環境 処理フロー SequenceMatcher ひらがな小文字や記号を区別するか ゲシュタルトパターンマッチングのスコア算出方法の追加 TesseractCommon pyocr.tesseract.TESSERACT_CMD tesseract_layout 画像から文字に変換
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kindle for PCのスクショを撮る(強化版) - Qiita
オートエンコーダによる次元圧縮 - Qiita
10 のメジャーな組合せ最適化問題における QUBO 行列生成コードの実装 - Qiita
Pythonで並列処理するコードの雛形（進捗表示つき） - Qiita
良いコード/悪いコードで学ぶ設計入門 の急所をpythonで解釈 - Qiita
pydanticを用いて堅牢な型を作成する - Qiita
モジュール性を高めるテクニック: 戻り値を通じた実装の詳細の漏洩を防ぐ
Pythonのクラスが何かとややこしい - ts0818のブログ
pydanticを用いて@dataclassの型を堅牢にする - Qiita
pydanticを使って実行時にも型情報が適用されるPythonコードを書く - Qiita
Python業務歴1年目から5年目でコードはこう変わった - Qiita
【Python3.7】dataclassがHashableを継承できない話 - Qiita
Pythonにおけるマルチプロセスでの状態管理 – rinoguchi's techlog
Pythonでpython-rapidjsonモジュールを使用しJSONデータの読み書きを行う
Hugging Faceを使った自作モデル作成の事始め - gotutiyan’s blog
[Python]RSS翻訳で利用する翻訳APIをDeepL(無料版)にした話 - Qiita
Pythonのdataclassを使ってみた | 分析ノート
[Python] デコレータを使わずにdataclassにする
SQLを使用する強力なデータベース「MindsDB」のインストール
Pythonのdataclassにおけるmetadata - Qiita
Pythonのクラスメソッドで自身の型を返す方法 - Qiita