GitHub - jcrist/msgspec: A fast serialization and validation library, with builtin support for JSON, MessagePack, YAML, and TOML
msgspec is a fast serialization and validation library, with builtin support for JSON, MessagePack, YAML, and TOML. It features: 🚀 High performance encoders/decoders for common protocols. The JSON and MessagePack implementations regularly benchmark as the fastest options for Python. 🎉 Support for a wide variety of Python types. Additional types may be supported through extensions. 🔍 Zero-cost s
概要 @dataclass(frozen=True)を使うことで、イミュータブルなデータクラスを実現することが出来ます。 from dataclasses import dataclass, field @dataclass(frozen=True) class User: name: str age: int hobbies: list[str] = field(default_factory=list) def main(): user_info = User("Alice", 20, ["Programming", "Sports"]) # 下記は`FrozenInstanceError`が返される -> 代入不可 # user_info.name = "Bob" # user_info.age = 15 # user_info.hobbies = ["Sleeping"] if _
各dataclassで共通のフィールドがほしい、でもデフォルトの値を付けたいから普通に継承すると前にこれがついてtypeerror。つらいさんなのだ だめ from dataclasses import dataclass @dataclass class Base: base: int = 10 @dataclass class Extend(Base): extend: int typeerrorです あと、@dataclassしていないclassを継承しても継承元のフィールドは(__init__には)継承しないみたい。 正直読みにくいけどまあ解決 デコレータを書きます from dataclasses import dataclass def add(c): @dataclass class wrap(c): added: int = 10 return wrap @add @dat
コンピュータビジョン分野における世界最高峰の国際会議ICCV21の論文&コード紹介（前編） - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの鈴ヶ嶺・齋藤です。普段はコンピュータビジョンの技術開発やAI/MLシステムの検証に取り組んでいます。10月11日から17日にかけて、コンピュータービジョン分野におけるトップカンファレンスのひとつである ICCV2021 がオンラインで開催され、NTT Comからは複数名が参加しました。ここでは、会議の概要と参加メンバー2名からICCV2021の論文紹介をします。 ICCV2021 ICCV（International Conference on Computer Vision）は、2年ごとに開催されるコンピュータービジョン分野におけるトップカンファレンスのひとつです。2021年は10月11日から17日にかけて、オンラインで開催されました。 アクセプトされた国の比率は上記のようになっており、中国とそれに続いてアメリカが多数を占めていました。一昨年
Image captioning with visual attention | Text | TensorFlow
The transformer decoder is mainly built from attention layers. It uses self-attention to process the sequence being generated, and it uses cross-attention to attend to the image. By inspecting the attention weights of the cross attention layers you will see what parts of the image the model is looking at as it generates words. This notebook is an end-to-end example. When you run the notebook, it d
Why can't dataclasses have mutable defaults in their class attributes declaration?
This seems like something that is likely to have been asked before, but an hour or so of searching has yielded no results. Passing default list argument to dataclasses looked promising, but it's not quite what I'm looking for. Here's the problem: when one tries to assign a mutable value to a class attribute, there's an error: @dataclass class Foo: bar: list = [] # ValueError: mutable default <clas
GitHub - Kludex/awesome-pydantic: A curated list of awesome things related to Pydantic! 🌪️
Transformers 🌟(125016) - State-of-the-art Natural Language Processing for PyTorch and TensorFlow 2.0. ray 🌟(31092) - Ray provides a simple, universal API for building distributed applications. spaCy 🌟(28738) - spaCy is a free open-source library for Natural Language Processing in Python. It features NER, POS tagging, dependency parsing, word vectors and more. jina 🌟(20030) - Jina is geared tow
quickpython
Home Home Changelog Contributing Usage Reference Home Read Latest Documentation - Browse GitHub Code Repository QuickPYTHON A retro-futuristic educational interactive coding environment. Powered by Python and nostalgia. Key features Mouse support Futuristic blue color scheme Auto-formatting Integrated Debugging Support Quick shortcuts for creating new dataclasses, static methods, etc Built-in help
「データに関する堅牢性と可読性を向上させるpydanticとpanderaの活用方法の提案」の質疑応答 - AREKORE
先日、PyCon JP 2022にて「データに関する堅牢性と可読性を向上させるpydanticとpanderaの活用方法の提案」という題で発表をしました。 2022.pycon.jp 発表資料は以下です。 speakerdeck.com とてもありがたいことに、想像以上に多くの方に発表を聞いていただくことができました。今回の発表について、確認しただけでも以下のような反響を得ることができました。ありがとうございます。 Twitterにおいて約50件のツイート Slidoにおいて約20件の質問 ただし、質問については、発表後の時間が短かったこともあり、回答しきれないものも多く、整理した情報や意見を十分に伝えることができませんでした。そこで、本記事では、いただいた質問に基づき、質問を整理します。そして、それらの質問に対する回答という形式で、発表を補足していきます。※本記事は随時更新予定です。
The other day I got a question about some old code I had written which, instead of raising an exception for an error condition as the reader expected, returned an error object: With your EmailVerifyTokenGenerator class, why do you return error classes instead of raising custom errors? You could still pass the email to a custom VerifyExpired exception. https://github.com/cciw-uk/cciw.co.uk/blob/eae
【Unity】NuGet importer for Unityを使って簡単にNuGetパッケージをUnityに導入する(NuGetForUnityの後継者になりうるか) - はなちるのマイノート
はじめに 今回はNuGet importer for UnityというNuGetのパッケージをUnityへ導入できるようにするエディタ拡張を紹介したいと思います。 github.com 一応UnityでNuGetといえばNuGetForUnityが有名だと思いますが、バージョンの指定がうまくできなかったりエラーが解消できなかったりと(私としては)上手くいかないことが多く、最近はあまり利用していませんでした。 github.com 対してNuGet importer for UnityはNuGetForUnityに影響を受け一から作成した後発のパッケージで、ドキュメントの説明にもかなり自信を感じます。 NuGet importer for Unity は高速で使いやすく、非常に強力に NuGet のパッケージを Unity へ導入できるようにするエディタ拡張です。 また、ネイティブプラグイン
By properly utilizing Algebraic Data Types (ADTs, not to be confused with abstract data types), you can transform certain types of invalid states from runtime errors into type-checking errors, making them an excellent method for representing data and managing state. Although ADTs may sound complex, they represent a fairly straightforward concept. They are composite types, meaning they reference or
“To me, legacy code is simply code without tests.” — Michael Feathers If untested code is legacy code, why aren’t we testing data pipelines or ETLs (extract, transform, load)? In particular, data pipelines built in SQL are rarely tested. However, as software engineers, we know all our code should be tested. So in this post, I’ll describe how we started testing SQL data pipelines at SoundCloud. Now
こんにちは。 はけです。 python3.7から使えるようになったdataclass。 データの箱を示すクラスを用意するときにとても重宝します。 本記事は、次のような方を対象にしています。 dataclassをdictやjsonに変換したい！ jsonやdictをdataclassに変換したい！ dataclassのデータを使って処理を行うときや、出力用のフォーマットに整形するようなとき、データの変換を行う必要があります。 そんなデータの変換について、本記事ではdictや jsonへ相互に変換する方法を解説します。 特に、json形式のリクエストをAPIで受け取るときや、DBから情報を取得するときに使用します。 覚えてしまえば簡単にできてしまいます。 ぜひ試してみてくださいね！ pythonのdataclassをdictやjsonに相互変換する dataclassをdictやjsonに相互
Pythonの新常識 dataclassを使ってみた。AtCoder 二次元問題用処理を書いてみる編 - Qiita
はじめに dataclassについて勉強中です。 dataclass自体の説明は、他の記事にお任せします。 学習の為にdataclassを使ってみたかったので、AtCoderの問題で使ってみました。 2次元問題 私が勝手に2次元問題と呼んでいるのですが、H列、W行の二次元平面の問題があります。 例えばこの問題 (1,1) から(H,W) まで移動できるは判定する問題です。 上下左右に移動する時、[(1,0),(-1,0),(0,1),(0,-1)]のようなリストを用意して移動させたり、H列、W行の範囲外のチェックなどが必要になります。 dfsを使って辿っていけるかを確認してみます。 二次元固有の処理はBoardクラスにまとめてみます。 from dataclasses import dataclass @dataclass class Board: H: int W: int S: lis
Amazon Connect〜KinesisVideoStreamsで保存された音声をpythonで取得したい - Qiita
やりたいこと まさにこれ（先駆者に感謝） https://dev.classmethod.jp/articles/amazon-connect-voice-mail-from-kinesis-video-stream 記事中に載っているコードはnodejsで書かれていますが、wavへの変換部分をpythonで書いてみた...という内容 boto3で取得 DataEndpointを取得して、コンテンツを取得するまではドキュメントを見ながら書ける import boto3 kinesis_client = boto3.client('kinesisvideo') endpoint_response = kinesis_client.get_data_endpoint( StreamARN=stream_arn, APIName='GET_MEDIA' ) data_endpoint = end
はじめに 社内用のもくもく会サーバーを作ったのでQiitaのOrganizationの記事をポストするBOTを作りました 使うもの Python Qiita API discord.py 参考にした記事 Pythonで実用Discord Bot(discordpy解説) 前準備 discord BOTアカウントの作成 Qiitaのアクセストークンはなくてもいいです 方針 Organizationのユーザー取得してくる 1で取得したユーザーの記事を取得してくる discordにポストする 実装 import requests from bs4 import BeautifulSoup import json import datetime from dataclasses import dataclass import discord import asyncio import platfo
Awesome Python：素晴らしい Python フレームワーク・ライブラリ・ソフトウェア・リソースの数々 - Qiita
元記事: Awesome Python Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Go Awesome Selenium Awesome Appium 管理パネル 管理インタフェース用ライブラリ ajenti - サーバ用管理パネル. django-grappelli - Django 管理インターフェースのためのジャズスキン. django-jet - 改良された機能を備えた Django 管理インターフェース用の最新のレスポンシブテンプレート. django-suit - Django Admin インターフェースの代替 (非商用の場合のみ無料). django-xadmin - Django 管理者のドロップイン置換. jet-bridge -
あるクラスの設計で、何かの計算された値を返したいとき、引数なしのメソッドを実装することが有ると思います。 その場合、値の取得は次のような形になります。 # あるクラスのインスタンスが x だとして i = x.foo() しかし、返される値が何かの属性値、例えばそのオブジェクトの長さのようなものであれば、括弧なしで x.foo として取得したくなるのが人情というものです。 @property デコレータ Python 3 には、そのような動作を手軽な記述で可能にする @property デコレータがあります。 次の例で、@property デコレータの基本的な利用法を示します。 なお、@wrapper 構文のデコレータは、メソッド(関数)やクラスの直前の行に付与することで、その定義内容を自動的に書き換える為の仕組みです。 文字数を返す属性値の実装 Python 3 の文字列クラス str
半導体ウェハー生産計画の最適化 - Qiita
はじめに CPLEX CP Optimizerの資料で説明されている半導体ウエハー生産計画の最適化を再現してみた。 https://www.slideshare.net/PhilippeLaborie/introduction-to-cp-optimizer-for-scheduling https://ibmdecisionoptimization.github.io/docplex-doc/cp/index.html 生産計画の仕様 ロットは、ウエハーの数(n)、優先度(priority)、生産開始可能日(release_date)、納期(due_date)を持つ。 ロット毎に、生産ステップのシーケンスが与えられる。 ロットを構成するステップの間隔(lag)が長くなるとコストが発生する。 各ステップはファミリー(f)を持つ。 ファミリーに対して、生産可能なマシンと生産時間(proces
from fastapi import FastAPI from pydantic import BaseModel import dataclasses import uuid class UserInput(BaseModel): name: str @dataclasses.dataclass class User: id: str name: str data = dict() app = FastAPI() @app.post("/users/") async def create_user(user_input: UserInput) -> User: user_id = str(uuid.uuid4()) user = User(user_id,user_input.name) global data data[user_id] = user print(user_id) r
データクラス名やキーワード引数名を明示できるため、テストコードを見たときに分かりやすくなることが期待できます。 pytestのparametrizeを活用すれば、ひとつのテストメソッドに対して、パラメータを変えるテストが便利に書けます。 How to parametrize fixtures and test functions — pytest documentation しかし、parametrizeのパラメータの数が多かったり、数は少なくとも内容が多いとき、テストコードが縦に長くなって見づらくなることがあります。 改善方法を考えているとき、ふと、「そういえば、pytestのparametrizeでdataclassが使えたりするかな？」と閃いたので、試してみました。 おすすめの方 pytestのparametrizeでdataclassを利用したい方 テストパターンが見づらい例 たと
検証は、次のバージョンのPythonで行います。 > python -V Python 3.10.4 まずは、現状のインストール済みパッケージを確認しておきます。 > pip list Package Version ---------- ------- pip 22.3.1 setuptools 65.7.0 wheel 0.37.1 次にするべきことは、pipとsetuptoolsの更新です。 pipコマンドを使う場合、常に以下のコマンドを実行しておきましょう。 python -m pip install --upgrade pip setuptools では、GPT Indexのインストールです。 GPT Indexのインストールは、以下のコマンドとなります。 pip install gpt-index GPT Indexのインストールは、しばらく時間がかかります。 処理が終了したら
データサイエンティストが感じたプログラミング言語Kotlinの美しさ - GMOインターネットグループ グループ研究開発本部
次世代システム研究室のT.Sです。私は弊社内で「シニアデータサイエンティスト」という職を頂いており、かなりMLエンジニア寄りではあるもののデータ分析なども実施したりしております。そういったデータ分析の際にはpythonを主に利用していますが、ここ最近それ以外の分野でKotlinを利用する機会が多くなってきました。その都度「この言語素晴らしいなあ…」と感嘆することが多く、ぜひ今回は私が感じたその素晴らしさをここに記すとともに、Kotlinの魅力を少しでも皆様にお伝えできればと思います。ちなみに下記で色々コードを記載していますが、よりよいコードの書き方も有ると思います。そのため参考までにご覧いただければと。 ※ちなみにKotlinをデータ分析業務に使うのはかなり厳しく、その分野におけるpythonの優位性というのは崩れません。あくまで今回はpythonを日頃扱う人間がKotlinで受けたマニア
この記事では、Pythonでデータクラスを定義する方法を解説します。 データクラスとは、データを保持するクラスのことを呼びます。ファイルやデータベースから読み込んだデータをデータクラスに保存して使ったりすることができます。 データクラスは、データを扱うためのクラスなので__init__や__repr__の定義が他のデータクラスと似通ったものになりやすいです。 データクラスを使うために同じようなメソッドを毎回定義する必要がありましたが、Python 3.7で追加されたdataclassesモジュールのdataclassデコレータを使うことで__init__などのプリミティブなメソッドを省略して実装できるようになりました。 外部リンクdataclasses --- データクラス — Python 3.10.4 ドキュメント それでは、dataclassデコレータを使ってデータクラスを定義する方
はじめに昨年(2023年)末にMambaアーキテクチャが公開されました。 MambaはS4などと同様の状態空間モデルというもので、Transformerと比べて、 高速な推論 シーケンス長が伸びた際のメモリ効率の良さ 単純なモデル性能の良さ で優れている様です。 日本語モデルがないので、日本語Mambaの事前学習のコードを作成しました。Google colabで動くことは確認したもののA100(40B)でも15時間近くかかるので実質最後までは実行できないです。コードの参考にしていただければ幸いです。 Paperspace gradientなどを使ってそのうち最後まで実行してみようと考えています。 1. 準備Google colabにCheckpointを保存するためにGoogle Driveにマウントします。 # Google ColabとGoogle Driveを接続 from goog
pythonでmypyを騙してfieldにmetadataを付加したクラスを定義してみる - podhmo's diary
ちょっとだけ背景説明 なんでそんなことがしたくなったかというと、やっぱり定義を記述したらおしまいでいられる世界が理想なので。そして特定の領域(e.g. OpenAPI, GraphQL, Protcol Buffers, database定義, ...)に属さないような中立的な表現が欲しくなったので。 この記事は一言で言うならpythonのクラスの各フィールドにどうやってメタデータを持たせようか？ということに対するメモです。 どうしてpython? 現状よく触るのがgoとpythonなのですが、goは直和型が素直に記述できないので1。 普及している言語の中ではTypeScriptの方がゆるふわな表現を良い感じに型パズルしやすいとは想うのですが、literal typeやtyped dictやprotocolなどそこそこpythonでも悪くはない形で型チェックが可能になってきたかなーというこ
Get rid of boilerplate writing classes using dataclasses!In this video we learn about dataclasses and how to use them, as well as the related attrs library t...
今回は BRIO を使って抽象型要約に挑戦してみようと思います。 BRIO は特定のモデルに依存しない手法で、論文では PEGASUS と BART を使って実験をしています。今回は T5 を使って BRIO を試し、素の T5 と比較してみましょう。 1. はじめに 今回は BRIO1 を使って抽象型要約に挑戦してみようと思います。 そういえば、この連載で要約モデルを扱うのは初めてですね。要約には大きく分けて抽出型と抽象型の二種類があります。 簡単に説明すると、抽出型は長い文章全体から重要そうな文をつまみ食いして短くする手法、 抽象型は Seq2seq モデルで文章全体の意味をとらえた短い要約文を生成する手法です。 過去に抽出型要約は LexRank2 や劣モジュラ関数を使った手法3などを試したことがある(この連載の記事にはしてません)のですが、抽象型要約は試したことがなく、やってみたい
バージョン Python 3.7.0 目次 ドメインサービスとは エンティティ自身に横断的な知識を実装 ドメインサービスに横断的な知識を実装 使う場面によっては別の案があるかも ドメインサービスとは ドメインサービスは、値オブジェクトとエンティティの横断的な知識を実装することが許されている。 エンティティ自身に横断的な知識を実装 エンティティに横断的な知識を持たせるように実装してみる。 ユーザ自身に他のユーザとの重複を判断させるのは、確かに違和感がある。 from __future__ import annotations import unittest import uuid from dataclasses import dataclass @dataclass(frozen=True) class UserId: value: str @dataclass(frozen=True)
Pythonのデータクラスのようにxarrayのデータ定義ができる拡張機能を公開しました - Qiita
この記事で紹介しているxarray-customは現在メンテナンスを休止しております。 後継としてxarray-dataclassesを公開しましたので、こちらのご利用をご検討ください。 TL;DR xarrayは多次元配列にメタデータ（軸のラベルなど）がくっついたデータを扱うためのツールとして、NumPyやpandasと同様にデータ解析で使われるPythonパッケージですが、様々なデータをxarray（のDataArray）で扱っていく中で以下のように感じることが増えてきました。 多次元配列の軸（dimensions）や型（dtype）を指定した配列生成関数がほしい 同様にメタデータ（coordinates）にも軸・型・デフォルトの値を指定したい 上2つを満たしたNumPyのones()のような特別な配列生成をしたい データ独自の処理（メソッド）を定義したい これらをかなえる方法は色々考
【mypy】データクラスである抽象基底クラスは、mypyに`Only concrete class can be given ～`というエラーで怒られる - Qiita
import abc from dataclasses import dataclass @dataclass(frozen=True) class Animal(abc.ABC): name: str @abc.abstractmethod def cry(self): pass @dataclass(frozen=True) class Dog(Animal): color: str def cry(self): print("ワンワン") @dataclass(frozen=True) class Bird(Animal): can_fly: bool def cry(self): print("ガーガー") def main(): dog = Dog(name="alice", color="blue") dog.cry() bird = Bird(name="bob", can_
LangGraph ではじめるAIエージェント操作 その２ on Azure OpenAI - Qiita
▼会話のテーマ 「当社の商品A、B、Cの過去5年分のデータを調べ、今年の販売戦略を立てる。」 環境 Windows10 Python v3.11.4 主なlangchainライブラリバージョン ・langchain-core==0.1.27 ・langgraph==0.0.26 ・langchain==0.1.9 APIキー等の環境変数は、試したコードと同じフォルダに".env"ファイルを作り、その中に記述しています。 requirements.txt は、最後の方に載せています。 AZURE_OPENAI_TYPE = "azure" AZURE_OPENAI_KEY = "YOUR AZURE OPENAI KEY" azure_endpoint = "YOUR AZURE ENDPOINT URL" AZURE_OPENAI_DEPLOYMENT_NAME = "YOUR AZURE
Kindle for PC コレクション対応記念 嘘です。 もうそろそろなんとかしたかっただけです 本来なら元記事の変更で済ますべきなんでしょうが、ソースコードがかなり変更されたので、新記事にしました。 の強化版です 変更点 設定ファイルを使うようになった カレントディレクトリのkindless.iniファイルを参照して動作設定をするようになりました。 コマンドラインで設定ファイルを指定すると、その設定ファイルを読むようになりました。 PyInstallerやNuitkaで実行ファイル化できるかもしれません tkinter以外のダイアログを表示するようにしました ソースコードを置き換えればWXPython , PyQt5 , PyQt6 , tkinterのうちの一つを選べます ウィンドウ誤爆対策 実行ファイルがkindle.exeのものを選択するようにしました ウィンドウからタイトルを拾
前回まででAutoMLをコード上から実行することが確認できています。 今回はこれをAzureFunction上から実行してみたいと思います。 この記事では細かい実行内容にはあまり触れず、実装方法をメインに解説していきたいと思います。 実行内容につては前回の記事を参考にしてみてください。 実行環境 バージョン リソース作成 まずはリソースを作成していきます。AzureMLのワークスペースの作成については終わっているものとして考えます。 こちらについてはこの記事で記載しているので参考にしてみてください。 最初にFunctionsのリソースを作成します。 ローカルからライブラリをアップロードしたいので、今回はVSCodeの拡張機能を利用してリソースの作成を行っていきます。 VSCodeにこちらをインストールしてください。 インストールが終わるとツールバーにアイコンが表示されるのでクリックしてウィ
はじめに 当方はしがないバショウカジキなので、情報収集にSNSはあまり活用できていません。 代わりにslackにRSS feedを流して眺めています。 外国語のサイトのfeedも購読しているのですが、外国語を読むのは母国語を読むのとは頭の使い方が違うので、記事が大量に配信されるようなサイトだとつい読むのをサボりがちです。 読むかどうかの取捨選択がもう少し簡単になるよう、RSSで配信される内容を翻訳してからslackに投稿する処理を作ることにしました。 (実はZapierに同じことをやって翻訳feedを生成できるテンプレートがあるみたいなんですが(使ったことはない)、せっかくやる気になったので自分で作ります。) どういうものができますか? Before slackにあるアプリを利用したRSS feed投稿はこういったものですが、 After 今回作るものでは、それをこういう形になるよう処理し
![[Python]RSS取得した情報を翻訳してslackに投稿する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/41554691746177f5715ad21d723367561ff224e3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEUlNTJUU1JThGJTk2JUU1JUJFJTk3JUUzJTgxJTk3JUUzJTgxJTlGJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgyJTkyJUU3JUJGJUJCJUU4JUE4JUIzJUUzJTgxJTk3JUUzJTgxJUE2c2xhY2slRTMlODElQUIlRTYlOEElOTUlRTclQTglQkYlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY2MWRmMmYxZDg2OTUxYjY1N2YyZDIxOTdhZDZlY2Q4%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBJc3Rpb3Bob3J1cyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NjgwYzY4MzE3OTRhYWU0M2U1ZjBhMDY5YzNjOTM3MWU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5bf61a5efcbe130adb24b87413942e75)
オートエンコーダとは 通常の教師あり学習では入力から異なる種類の出力を得ますが、オートエンコーダでは入力と出力の形式は同じになります. では何を学習するのかといいうと、データの潜在変数を学習します. 以下がモデルの構造になります. まず、入力値はエンコーダーを介して、より次元の少ない潜在変数に変換されます. その後、潜在変数はデコーダを介して元の次元に復元されます. デコーダによって潜在変数から元の情報を復元できるなら、うまく学習できているこということになります. ちなみにこうした、ある次元のデータを元の情報を含むより少ない次元に変換することを次元削減といます. オートエンコーダの用途 こことでは、オートエンコーダのさまざまな用途を紹介していきます. 事前学習 最近では、学習アルゴリズムが改善され、あまり使われなくなった方法です. 学習ずみのエンコーダの重みを他の識別器の重みの初期値として
Vertex AI Pipelinesを効率的に開発するための取り組み - Timee Product Team Blog
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小関です。 今回はDSグループがMLパイプライン構築時に活用しているVertex AI Pipelinesを効率的に開発するための取り組みを紹介したいと思います！ Vertex AI Pipelinesとは Vertex AI Pipelinesとは、Google Cloudが提供しているMLパイプラインをサーバーレスに構築・実行できるサービスです。 Vertex AI Pipelinesを活用することで、下記のようなデータをBigQeuryから取得し、特徴量の作成・データセットの分割後、モデルを学習するようなML パイプラインが比較的容易に構築できます。 Vertex AI Pipelinesで構築したMLパイプラインのサンプル Vertex AI Pipelinesの活用事例と挙げられた改善点 タイミーのDSグ
Conoha WingでFlaskを使ってみた
今回は、Flaskを使って、Conoha WingのWebサイトに新しいページを作ってみます。Conoha Wingは最初からPython 3.6.9が入っているので、そこに、Flaskを入れて、「Hello World」を表示させてみます。 Flaskのインストール 「pip install flask」とやってみましたが、しばらくインストーラーが動いたあと、インストールを開始する前にエラーが起きて止まっていました。エラーメッセージを読むと、 どうやらサーバーのシステムの方にインストールしようとしてしまったので、ユーザーディレクトリに保存するように「–user」をオプションで使えてpipを実行してほしいとのこと。 もう一つはエラーではないが、新しいバージョンのpipがあるからそちらをつかってほしいとのこと。 [cxxxxxxx@web0xxx ~]$ python3 --version
dataclass-wizardを使ってyamlをdataclassの値に変換する - kazasiki's blog
Pythonに限らずプログラムを書いてれば固定値の集まりをJSONやYAMLなどの別ファイルに分けたいことがあると思います。今回はそんな時に便利なライブラリとしてJSONやYAMLをdataclassにmarshalしてくれるdataclass-wizardをご紹介します。 背景 PythonでYAMLを読み込んで扱う場合、普通はPyYAMLを使いますが、例えば yaml.load の戻り値はdict型になってしまいます。そこから値を取り出す場合も、 dict["key"] などといった風にキーを指定する形になります。 これでも問題ないかも知れませんが、キーの名前に対するIDEやエディタの補完が効かなかったり、まとまった値を関数に渡す場合もdict型になってしまうので、関数の方で何のキーを指定すれば良いのか分かりづらくなる原因になります。 そこでJSONやYAMLを読み込んでdatacla
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
@dataclass(frozen=True) の注意点 - Qiita
pythonのdataclassで後ろに継承したい - Qiita
Raising exceptions or returning error objects in Python
Algebraic Data Types in (typed) Python
Testing SQL for BigQuery
Pythonのdataclassをdictやjsonと相互に変換する方法を解説！ | はますけブログ
Discordにorganizationの記事を投稿する - Qiita
Python3: 属性名のみの括弧無しでメソッドを実行する
ザクっと立てるFastAPI - Qiita
pytestのparametrizeでdataclassを利用してみる | DevelopersIO
FAQチャットボット開発に役立つGPT Indexのインストール
【Python】dataclass(データクラス)の定義と使い方｜ゆうまるブログ
Google Colabでの日本語Mambaの事前学習｜はち
Python dataclasses will save you HOURS, also featuring attrs
はじめての自然言語処理 BRIO による抽象型要約の検証 | オブジェクトの広場
PythonでボトムアップDDD 【ドメインサービス】 - Qiita
Kindle for PCのスクショを撮る(強化版) - Qiita
【Azure】AzureAutoMLをFunctionsから実行してみた【AutoML】 - Qiita
[Python]RSS取得した情報を翻訳してslackに投稿する - Qiita
オートエンコーダによる次元圧縮 - Qiita