Software Design連載 2021年9月号 「テストが無い」からの脱却 - MonotaRO Tech Blog
こんにちは、鈴木です。 「テストが無い」状態を脱却しました。 「いつの時代かよ！」と突っ込まれるかもしれませんが、モノタロウは創業から 20 年ほど EC をやっています。昨日書いたコードも、15 年前に書いたコードも、元気にビジネスを支えています。 本記事ではモノタロウの EC を支える API の話をします。「テストが無い」状態がスタートラインでした。そこから、CI を導入して、ローカル開発環境の整備して、テストコードを書いて、リリースマネジメントを導入しました。 目新しいことは書きません。長寿の大規模システムであっても、愚直に数年取り組むことで、「前進できる！」「変えられる！」という実例を書きます。 ※本記事の初出は、 Software Design2021年9月号「Pythonモダン化計画（第2回）」になります。第1回の記事は「Software Design連載 2021年8月号
How to improve Python packaging, or why fourteen tools are at least tw
There is an area of Python that many developers have problems with. This is an area that has seen many different solutions pop up over the years, with many different opinions, wars, and attempts to solve it. Many have complained about the packaging ecosystem and tools making their lives harder. Many beginners are confused about virtual environments. But does it have to be this way? Are the current
初心者でもできる！HuggingFaceモデルをGGUF形式に変換しOllamaで使う手順 - uepon日々の備忘録
最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠 先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。 リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇 ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。 （2024.09.11）Ollamaに作成したGGUF形式のモデルをpullする方法のリンク
Dataflow with Python practical setup guide - LegalOn Technologies Engineering Blog
こんにちは、LegalOn Technologies検索・推薦チームの志水です。 私たちのチームでは Elasticsearch へのデータのインデキシングをCloud PubSub を queue として挟んで非同期にしており、その処理にDataflowを活用しています。Dataflow(=Google managed Apache Beam) はサーバーレスでスケーラブルなデータ処理を得意としています。 Python を用いたDataflowの活用については、例えばこちらの記事が網羅的です。 この記事では似たような観点に加え、Docker上で動かす工夫やintegration testの工夫も合わせて書いていければと思います。 全体像 パッケージ構成 pyproject.toml (Poetry) Pipeline Integration test DoFnのテスト DirectRun
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 個人的な話になるけど、20年前は Linux ばかり使っていた。当時は「ディストリビューションガー」「ウィンドウマネージャーガー」って言ってたけど、10年ぐらい前からMacを使い始め「全部Appleにお任せでいいんじゃね？」となってしまってからは、Linux や Ubuntu の事はすっかり頭から消えて無くなってしまっていた。 ところが最近、どうしても Linux を使わなきゃいけない事態が発生し、10年ぶりに Ubuntu を入れてみたら「あれ？Ubuntu もやっぱり楽しくない？」と思ってしまった。でもしばらく Mac OSX しか
概要 WSLにて現在実行しているものを一覧出力 WSLにて特定のイメージをインポートする 作った仮想マシンを停止したい場合 作った仮想マシンを削除したい場合 作った仮想マシンをエクスポートしたい場合 WSLが利用するメモリ量を制限したい場合 一般ユーザの作成 仮想マシンに特定のユーザでログインする ロケールを調整する C言語の環境を作る Pythonの環境を作る Goの環境を作る dotnetの環境を作る Java の環境を作る JavaでSpring Bootの環境を作る Flutterの環境を作る 補足 PowerShell (pwsh) の環境を作る 参考資料 概要 最近は、docker とかで環境構築したりするのがデフォルトになっているかもしれませんが、WSL2とVSCodeの組み合わせもとても便利なので、個人的にはよく利用しています。 WSL関連の記事を見ていると、大抵ストアから
一枚絵があれば動く。Talking-Head-Anime-3のインストールして、ポーズデータでスムーズに動かすーAPI編｜めぐチャンネル
夜宣伝 1枚の立ち絵イラスト用意があればモデリングやパーツ分け不要ですぐにVTuberになったりできます！ Talking Head Anime 3 SWhttps://t.co/hKO1VfCDmz Talking Head Anime 3 SW Plus (NDI, Spout出力対応＆個人商用利用可ver.) https://t.co/7Gy2oAoIG3 https://t.co/y0amBEd2V2 — あわいろ (@pale_color) January 30, 2024 Talking Head Anime 3に需要はあるのか手軽に動かしたい、2Dや3Dの制御は大変、キャプチャして変換をするにはちょっと作業が重い、など、とにかくかんたんに動くキャラが欲しいという方々向けです。手や足は動きませんし、物理演算をするわけでもないので髪の毛は揺れませんが、上半身は十分にスムースに動い
【備忘録】Ubuntu 24.04 で Python3.12 の Pip を利用する - Qiita
導入 Pythonの仕様の変更とOSのバージョンにより，これまでの pip3 install xxx のように Ubuntu で pip コマンドが使えなくなった．これによって，基本的に Python は venv の仮想環境下でのみの実行しか行えなくなっている．例えば，numpy をインストールしようと，以下のようにコマンドを実行するとエラーが出力される． $ pip3 install numpy error: externally-managed-environment × This environment is externally managed ╰─> To install Python packages system-wide, try apt install python3-xyz, where xyz is the package you are trying to ins
Starting with 0.3.0, Astral’s uv brought many great features, including support for cross-platform lock files uv.lock. Together with subsequent fixes, it has become Python’s finest workflow tool for my (non-scientific) use cases. Here’s how I build production-ready containers, as fast as possible. I’m keeping this post up-to-date with my own production use of uv – see History. Currently, this post
After needing to do a deep dive on the venv module (which I will explain later in this blog post as to why), I thought I would explain how virtual environments work to help demystify them. Why do virtual environments exist?Back in my the day, there was no concept of environments in Python: all you had was your Python installation and the current directory. That meant when you installed something y
Ubuntu 24.04 開発・研究環境構築ガイド
【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境（C/C++、Python、Java、R）、NVIDIA GPU環境（ドライバ、CUDA、cuDNN）、データベース（PostgreSQL）、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ
Press ← or → to navigate between chapters Press S or / to search in the book Press ? to show this help Press Esc to hide this help The PyO3 user guide Welcome to the PyO3 user guide! This book is a companion to PyO3's API docs. It contains examples and documentation to explain all of PyO3's use cases in detail. The rough order of material in this user guide is as follows: Getting started Wrapping
LocalStack でローカル環境に EC2 と RDS を用意する - GMOインターネットグループ グループ研究開発本部
1 EC2 1-1 〇 立てられた。 1-2 △✕ 設定値は登録されるが、期待したような通信制約はなさげ。 2 RDS 2-1 〇 立てられた。 Aurora Postgres, MySQL 2-2 〇 EC2 と通信できた。 私が実行した環境は以下の通りです。 環境 ・Windows 10 ・WSL 2 ・Ubuntu 20.04.4 LTS ・docker 20.10 ・docker-compose 2.11 ・LocalStack 1.1 準備 LocakStacl を Pro 版で立ち上げる 前提としてProの申し込みが必要です。 Proを使うためにはアカウントを作ってログインし、 Account → Subscriptions でProのトライアルを選んで進むとAPIキーが発行されます。特にクレジットカード等の入力は不要でした。 次に LocalStack を Pro で立ち上
PythonのWebアプリをXserverで動かす(Flask編)
Pythonで作成したWebアプリケーションをXserverで動作させる方法を説明します。XserverではCGIもしくはFastCGIで動作させます。 はじめに XserverではWSGIではなく、CGIもしくはFaskCGIでPythonのWebアプリを動作させることができます。 ただ、Xserverにすでに導入されているPythonは追加でモジュールがインストールできない(pipが使えない)ので、新たにPythonをインストールする方法から説明します。 XserverにはSSH接続してサーバーに入って作業します。 SSH接続の方法は別の記事 で説明しているのでこちらを参照してください。 XserverにPythonをインストール まずはXserverに入ってPythonをインストールします。 Xserverではsudoコマンドが使えないので、ユーザーとしてPythonをインストールす
自動売買bot「Freqtrade」で始める仮想通貨取引：特徴と活用法ガイド｜ユニコ🦄 AIエージェント開発 ＆ Obsidianの人
Freqtradeの概要と重要性Freqtradeとは？Freqtradeとは、仮想通貨の自動売買を行うためのオープンソースのトレードボットです。Pythonで開発された無料のツールであり、主要な暗号資産取引所（仮想通貨取引所）に対応しています。ユーザーは自分でサーバーやPC上に設置して動かすため、APIキーを外部サービスに預ける必要がなく、セキュリティ面でも安心です。Freqtradeは24時間365日市場を監視し、人間の介在なしに売買を実行できるため、手動取引では捉えきれないチャンスも逃しません。また、Telegramを介したリモート操作や通知、Web UI（FreqUI）による管理機能も備え、離れた場所からでもボットの状況確認や指示が可能です。 自動売買ボットの必要性と利点仮想通貨市場は昼夜を問わず動き続け、急激な価格変動が頻繁に起こります。こうした市場で利益を上げるには、素早い判断
Ubuntu でよく使うコマンドまとめ｜npaka
Ubuntu でよく使うコマンドをまとめました。 ・Ubuntu 22.04 1. バージョンの確認1-1. Ubuntuのバージョンlsb_release -aNo LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04.5 LTS Release: 22.04 Codename: jammy1-2. CUDA Toolkit のバージョンCUDAアプリやライブラリをコンパイルするときに使用するライブラリのCUDAバージョン。 nvcc --versionnvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2024 NVIDIA Corporation Built on Thu_Mar_28_02:18:24_PDT_2024 Cu
(Warning, this is a long article. I got carried away.) After one year of trying uv, the new Python project management tool by Astral, with many clients, I have seen what it's good and bad for. My conclusion is: if your situation allows it, always try uv first. Then fall back on something else if that doesn’t work out. It is the Pareto solution because it's easier than trying to figure out what you
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
UbuntuをMacOSXみたいにする話 - Qiita
WSL2とVSCodeで欲しい環境を好きなだけ作る - いろいろ備忘録日記
Production-ready Python Docker Containers with uv
How virtual environments work
Introduction - PyO3 user guide
A year of uv: pros, cons, and should you migrate