Triton を使って CUDA を書かずに高速な GPU カーネルを実装する
Triton とは Tritonは、2021年にOpenAIがリリースしたソフトウェアで、リリース記事曰く以下のような特徴があります。 an open-source Python-like programming language which enables researchers with no CUDA experience to write highly efficient GPU code—most of the time on par with what an expert would be able to produce. (翻訳) オープンソースのPython風プログラミング言語で、CUDAの経験がない研究者でも、多くの場合専門家と同等の効率でGPU向けコードを記述できるように設計されている。 Tritonは、タイル（Tile） または ブロック（Block） と呼ばれるデー
AIエンジニアリング入門：Pythonによる開発の基礎（uv, Ruff, dataclass, Pyright, Git hooks）
はじめに データソリューション事業部の宮澤です。 近年、多くの企業においてDXの推進とともにデータ活用が進んでいます。それに伴って機械学習モデルもPoCからさらに進んで、システムに組み込んで実運用へと進むケースが増えているように感じます。このことを踏まえると、これから必要になるのはデータを分析して示唆を得るスキルはもちろんですが、それに加えて機械学習モデルを社会実装するエンジニアリングスキルがより求められるのではないかと考えます。ここではそのスキルを「AIエンジニアリングスキル」と呼び、本シリーズの記事はデータサイエンティストがこのスキルを身につけるための学習過程をアウトプットしたものと位置付けます。したがって本記事の対象読者は「これからAIエンジニアリングスキルを身につけたい技術者」とします。 今回は「Pythonによる開発の基礎（プロジェクト管理・コード品質）」と題して、Pythonを
uv workspacesでスッキリ作るPythonモノレポ | Keep Coding by @mocobeta
この記事で言いたいことuvはいいぞ。Pythonでモノレポするならuv workspacesを使おう！ イントロダクションPython界でデファクトになりつつある新興パッケージ／プロジェクト管理ツールのuv。 uvには，workspacesという，マルチパッケージをサポートするための機能がある。Cargoにある同名の機能からインスパイアされたもので，Rustを使っている人には馴染み深いコンセプトだろう。 これまで，Pythonでモノレポ構成を作るための，これといって決め手となるソリューションはなかったように思う。Bazelは小規模プロジェクトで使うには正直とっつきづらく，Poetryでも頑張ればできると思うのだけれど，Poetryそのものはマルチパッケージ構成をサポートしていないためdependency groupを駆使するなどしなければならず，一筋縄ではいかない。 uvのworkspac
GitHub - google/langextract: A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.
Precise Source Grounding: Maps every extraction to its exact location in the source text, enabling visual highlighting for easy traceability and verification. Reliable Structured Outputs: Enforces a consistent output schema based on your few-shot examples, leveraging controlled generation in supported models like Gemini to guarantee robust, structured results. Optimized for Long Documents: Overcom
【保存版】 2 万文字で語る Python の with 文で始めるリソース管理 ── C++/Go/TypeScript の技法を横断
本記事では、Python の with 文を起点に、多言語の with に相当する概念を横断的に比較し、 リソース管理という "地味だけど重要" なテーマ を一気に理解できるように整理しました。 「〇〇をしたら必ず △△ する」 をコードで保証する ── リソース管理とは？ A. 「そのタスク終わったら Slack で私に連絡してくださいね！」 B. 「はい、わかりました！」 (数日後...) A. 「あれ、Slack で連絡来てないな。」 B. 「違う仕事していたら、Slack で連絡するの忘れてました！」 そんな経験、ありませんか？ 「〇〇をしたら絶対にこれをやる」ということを強制する。 それを実現するのが、Python の with 文です。 〇〇をしたら絶対にこれをやるというのは、 例えばファイルを open したら必ず close をするなどのリソースに対して行うことは特に多く、
2024年のPythonプログラミング - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」で推薦や検索などのアルゴリズム開発をしている北内です。Pythonは頻繁に新機能や便利なライブラリが登場し、ベストプラクティスの変化が激しい言語です。そこで、2024年2月時点で利用頻度の高そうな新機能、ライブラリ、ツールなどを紹介したいと思います。 この記事では広く浅く紹介することに重点を置き、各トピックについては概要のみを紹介します。詳細な使用方法に関しては各公式サイト等での確認をおすすめします。なお、本記事ではOSとしてmacOSを前提としています。 環境構築 Pythonの環境構築はpyenvとPoetryの組み合わせがもっとも標準的でしょう。 以下の手順でpyenvとPythonをインストールできます。 brew install pyenv # Bashの場合 echo 'eval "$(pyenv init -)"' >> ~/.ba
ロバストPython
Pythonはシンプルな構文で読みやすいプログラミング言語ですが、コードをロバストにする機能も備わっています。本書では、Python 3.5から導入された型ヒントを使って、ロバストなPythonコードを記述する方法にアプローチします。全4部構成のうち、Ⅰ部とⅡ部ではPythonにおける型ヒントの位置づけや組み込み型について基本的な事柄をしっかりおさえ、ユーザ定義型を使う方法、部分型、プロトコル、pydanticによる実行時型チェックなど、Pythonの型システムを最大限に活用する方法を詳しく説明します。Ⅲ部は依存関係や設計手法について、Ⅳ部はセーフティネットとして高度なテスト手法を扱います。本書の内容を理解すれば、クリーンで保守しやすいPythonコードが書けるようになります。 正誤表 書籍発行後に気づいた誤植や更新された情報を掲載しています。お手持ちの書籍では、すでに修正が施されている場
今から始める型安全 Python / Start Python Type Hints
#stapy https://speakerdeck.com/yamitzky/mastering-type-safety-in-python-3-dot-9-era の内容を加筆して削ったものです
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re
Parallelization in Python: The Easy Way | Towards Data Science
Many beginners and intermediate Python developers are afraid of parallelization. To them, parallel code means difficult code. Processes, threads, greenlets, coroutines… Instead of ending up with performant code, work on parallelizing code often ends up in headaches and frustration. In this article, I want to show that this does not have to be the case. In simple scenarios, code can be simple to pa
Pythonのドキュメントコメントの書き方(Googleスタイル編) - くらげになりたい。
Pythonのドキュメントコメント(Docstrings)の書き方、何やら流派があるらしい。。 Googleスタイルを調べてみたので、その時の備忘録。 reStructuredText（reST）スタイル NumPyスタイル numpydoc – Numpy’s Sphinx extensions — numpydoc v0.9.dev0 Manual NumPyスタイルPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleスタイル styleguide/pyguide.md at gh-pages · google/styleguide · GitHub GoogleスタイルのPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleスタイルの例 Short Summary：簡単な1行説明。名前とか def
pytestでテストケースの前後処理をする - Qiita
はじめに (TL;DR) 初投稿です。どうぞよろしくお願いします。 さて、今回はpytestで前後処理の記述方法について紹介します。 Javaっとした世界でいうところのbeforeClassやafterClass等ですね。 目的としてはこんなところでしょうか。 前後処理などセットアップコードを共通化したい setup処理からparameterを引き渡したい テストケースごとに固有の前後処理をしたい では、ゴタックーを並べるのはその辺にして、早速見ていきましょう。 構成 pytestの世界では、セットアップコードをconftest.pyと呼ばれる別ファイルに外だしするのがお作法なようです。 従って、ディレクトリは例えば以下のように切ります。 tests ├── __init__.py └── sample ├── __init__.py |── conftest.py # セットアップコード
unittest — Unit testing framework
unittest — Unit testing framework¶ Source code: Lib/unittest/__init__.py (If you are already familiar with the basic concepts of testing, you might want to skip to the list of assert methods.) The unittest unit testing framework was originally inspired by JUnit and has a similar flavor as major unit testing frameworks in other languages. It supports test automation, sharing of setup and shutdown c
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonで文字列の類似度を120倍高速に計算するRapidFuzzを勧めたい - Qiita
How Python type hints simplify Pandas UDFs in Apache Spark 3.0
GitHub - ctgk/PRML: PRML algorithms implemented in Python
Pythonで、処理をより効率化するためのTips集
PyCon JP 2019 - 資料一覧 - connpass
Modern Parallel and Distributed Python: A Quick Tutorial on Ray
Do I need to explicitly pass multiprocessing.Queue instance variables to a child Process executing on an instance method?