並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 51件

新着順 人気順

python sqlite pip installの検索結果1 - 40 件 / 51件

  • Pythonでの開発・CI/CDの私的ベストプラクティス2022

    はじめに 2021年、Pythonで複数の暗号系ライブラリを開発してPyPIで公開してきました。その過程で、setuptools、flit、poetryと、幾つかのパッケージ管理をわたり歩き、GitHub上でのCI/CDも色々試す中で私的なべスプラが定まってきたので、2022年初に備忘録としてまとめておきます。 具体的には、pyenv、poetry、pre-commit、tox、GitHub Actions を活用し、低コストで(=なるべく自動で)、高品質のプロダクトをPyPIにデプロイする方法・設定を共有します。個別のツールの記事はよく目にするのですが、開発ライフサイクル全体をカバーする記事がなかなか無かったので。 開発環境の整備 - pyenvで複数のPythonバージョンでの開発環境を整備 パッケージ管理 - poetry/pyproject.tomlでの一元的なパッケージ管理 静的

      Pythonでの開発・CI/CDの私的ベストプラクティス2022
    • SQLiteでベクトル検索ができる拡張sqlite-vssを試す|mah_lab / 西見 公宏

      SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試

        SQLiteでベクトル検索ができる拡張sqlite-vssを試す|mah_lab / 西見 公宏
      • なんかいけそうな気がしたので Code Interpreter でシュッと Web アプリつくってもろた|bbz

        ちゃっす(/・ω・)/ 今日も ChatGPT Code Interpreter さんと戯れていましたの。 で、タイトルの通りなのだけれど、仕様書書いて渡したら Web アプリシュッと作ってくれんじゃね?( ・ω・) という闇の遊戯をした。 という話。 目標実行や指示はすれどもワタクシは一切コードを書かぬ!! 普通にエラー修正とか自分でやった方が早いけどやらぬ!! 全てを ChatGPT への指示で完結する!! で、納品されたもの(/・ω・)/ 納品物 トップページ 登録画面 ログイン画面 Activity 一覧 Activity 修正 レポート画面 すごない?( ・ω・) やったこと~ChatGPT との対話を残すでござる( ・ω・) ※ ChatGPT Code Interpreter Plugin が使えないと同じ事はできないぞ☆ 仕様書を提供しますので、 仕様にそった Flask

          なんかいけそうな気がしたので Code Interpreter でシュッと Web アプリつくってもろた|bbz
        • SQLFluffを完全に理解する | DevelopersIO

          Google Cloudのデータエンジニアをしています、はんざわです。 今回はSQLのリンターであるSQLFluffを触りながら理解を深めたいと思います。 検証環境 macOS: 13.3.1 Python: 3.9.5 SQLFluffとは SQLFluffとは、SQLのフォーマットを自動で問題点の指摘や修正をしてくれるオープンソースサービスです。 さっそくインストールして使ってみたいと思います。 インストール SQLFluffをインストールするにはPython3が必要です。 $ pip3 install sqlfluff 正常にインストールできているか確認します。 $ sqlfluff version 2.0.7 インストールが完了しました。実際にクエリを用意し、使ってみたいと思います。 さっそく使ってみる sqlfluffには大きくlintとfixの2つの機能があります。 まずはli

            SQLFluffを完全に理解する | DevelopersIO
          • Pythonのセキュリティ関連ライブラリを試してみました。 - Qiita

            # pip3 install pylint # pylint main.py ************* Module main main.py:10:0: C0301: Line too long (114/100) (line-too-long) main.py:97:0: C0305: Trailing newlines (trailing-newlines) main.py:1:0: C0114: Missing module docstring (missing-module-docstring) main.py:28:0: C0115: Missing class docstring (missing-class-docstring) main.py:32:0: C0116: Missing function or method docstring (missing-funct

              Pythonのセキュリティ関連ライブラリを試してみました。 - Qiita
            • Adding Python WASI support to Wasm Language Runtimes

              We recently added Python support to Wasm Language Runtimes. This article provides an overview of how Python works in WebAssembly environments and provides a step by step guide on how to use it. At VMware OCTO WasmLabs we want to grow the WebAssembly ecosystem by helping developers adopt this new and exciting technology. Our Wasm Language Runtimes project aims to provide up-to-date, ready-to-run We

                Adding Python WASI support to Wasm Language Runtimes
              • Mini Shai-Hulud の概要と対応指針(2026年4月末 連続パッケージ侵害) - GMO Flatt Security Blog

                2026年4月29日から30日にかけて、複数の主要パッケージが連続して侵害されました。npm 上では SAP CAP の @cap-js/sqlite / @cap-js/postgres / @cap-js/db-service および SAP の mbt、加えて intercom-client が、PyPI 上では PyTorch Lightning(lightning)が標的となりました。 これら一連の侵害は、攻撃者がデータ持ち出しに用いるリポジトリの description が A Mini Shai-Hulud has Appeared であることから、コミュニティで Mini Shai-Hulud と呼ばれています。 本記事は、各社の公開分析および手元での検証を踏まえ、日本のコミュニティ向けに事象と対応を整理するものです。 TL;DR - 対応指針 はじめに タイムライン 侵害

                  Mini Shai-Hulud の概要と対応指針(2026年4月末 連続パッケージ侵害) - GMO Flatt Security Blog
                • Joining CSV and JSON data with an in-memory SQLite database

                  Sponsored by: Honeycomb — AI agents behave unpredictably. Get the context you need to debug what actually happened. Read the blog 19th June 2021 The new sqlite-utils memory command can import CSV and JSON data directly into an in-memory SQLite database, combine and query it using SQL and output the results as CSV, JSON or various other formats of plain text tables. sqlite-utils memory The new feat

                    Joining CSV and JSON data with an in-memory SQLite database
                  • 【Claude Code完全攻略ロードマップ】非エンジニアでもOK!たった1日でClaude Codeを丸ごと完全理解する!|そう|Claude Code×n8nでAI自動化

                    【Claude Code完全攻略ロードマップ】非エンジニアでもOK!たった1日でClaude Codeを丸ごと完全理解する! どうも、こんにちは。「そう|AI自動化」(@so_ainsight)です。 今回は「【非エンジニアのためのClaude Code完全攻略ロードマップ】」をご覧頂き、誠にありがとうございます。 本noteは、プログラミング知識がゼロの方でも、Claude Codeを使いこなして自動化マスターになれる完全攻略ロードマップです。約4万文字超、画像枚数90枚超 、全45章構成の超大作となっています。 「プログラミングなんて無理...」そう思っていませんか? でも、大丈夫です。Claude Codeは、あなたが日本語で指示を出すだけで、自動的にコードを書いてくれる革命的なツールです。 コードを1行も書かずに、エクセルの分析、レポート自動生成、画像処理、データ整理...あらゆる

                      【Claude Code完全攻略ロードマップ】非エンジニアでもOK!たった1日でClaude Codeを丸ごと完全理解する!|そう|Claude Code×n8nでAI自動化
                    • Python is Actually Portable | Blog Needs a Name

                      Python is Actually PortableUpdate (2024-04-15): The Python executable build process described in this post is from 2021, and both Cosmopolitan Libc and the surrounding tooling have improved since 2021. The build process is much simpler now, you can download Python 3.11.4 Actually Portable Executables built via Github Actions at https://github.com/ahgamut/superconfigure – one of the Python binaries

                      • Pythonデータ分析のためのDuckDB(組み込み用途のOLAP系のRDBMS)

                        データがSQL対応のDB(データベース)に格納されている場合、SQLを使いデータを取得し操作することが多いことでしょう。 Python上ではPandasやPolarを使うかもしれませんが、SQLを利用したほうが便利な場面も少なくありません。 そこで登場するのがDuckDBです。 DuckDBは、インプロセス(例えば、Python内駆動)で動作するRDBMS(リレーショナルデータベース管理システム) で、指示を送信するクライアントもそれらを読み取って処理するサーバーも必要ありません。 そこが、PostgreSQLやMySQLなどの通常のRDBMSとの大きな違いです。 また、オンライン分析処理 (OLAP) 系のRDBMSのため、データ分析に適しています。 要するに、DuckDBは「組み込み用途のOLAP系のRDBMS」ということです。 似たようなものに、SQLiteというものがありますが遅速

                          Pythonデータ分析のためのDuckDB(組み込み用途のOLAP系のRDBMS)
                        • Optunaで始めるハイパーパラメータ最適化 - Preferred Networks Tech Blog

                          この記事は、電気情報通信学会会誌に寄稿した解説記事「Optunaで始めるハイパパラメータ最適化」の転載です。この記事のパワーアップ版ともいえる書籍「Optunaによるブラックボックス最適化」が2月21日に出版されます。Optuna開発チームのメンバーが、Optunaについてより詳しく、よりわかりやすく説明し、より豊富な事例を紹介していますので、ぜひ予約して発売日からお読みください! 出典 柳瀬利彦, Optunaで始めるハイパパラメータ最適化, 電子情報通信学会誌 Vol.104 No.7 pp.728-733 2021年7月 ©電子情報通信学会2021 Abstract 機械学習アルゴリズムの性能を引き出すためには,ハイパパラメータをデータやタスクに応じて適切に調整する必要がある.本稿では,その自動的な調整のためのツールとして,オープンソースのハイパパラメータ最適化フレームワークであるO

                            Optunaで始めるハイパーパラメータ最適化 - Preferred Networks Tech Blog
                          • FastAPI SQLModel 入門 - Qiita

                            SQLModel はPythonコードから SQL databases と会話するためのライブラリです。ここでは FastAPI での使われ方を見ていきますが、FastAPIとは独立したものとして設計されています。 SQLModelはFastAPI の作者が自ら作成しており、SQLAlchemy と Pydantic の両方との互換性を保っています。Pydantic はデータ検証のためのPythonライブラリです。Pythonのtype hintが使われます。ですからPydanticクラスはAPIの入り口であるパスオペレーション関数で使われることが一般的です。 過去記事「FastAPI と SQL Databases(SQLAlchemy)」でFastAPIで SQLAlchemy を使ってSQL Databaseを扱う方法を述べましたが、SQLAlchemy と Pydantic の2重

                              FastAPI SQLModel 入門 - Qiita
                            • GILを無効化したPythonを早速試してみた (2024/06 更新) - RevComm Tech Blog

                              バックエンドエンジニアの小門です。 この記事ではグローバルインタプリタロック (GIL) が解消されたPythonを動かしてみた検証の方法と結果について書きます。 なおGIL自体の説明や詳しい仕組みについてこの記事ではほとんど説明しないのでご了承ください。 準備として開発バージョンを取得してソースコードからビルドし、ビルド成果物のPythonランタイムを使って検証します。 追記: 2024/6/14 時点で最新の 3.13.0 beta2 を使ってベンチマークを再疎検証しました。また、一部の内容の訂正を行いました。 準備(ビルド) Pythonにおける「GIL廃止」の第一歩として、CPython本家のリポジトリにおいてGILを無効化できるようにするための修正が2024年3月12日mainブランチへマージされました。 gh-116167: Allow disabling the GIL wi

                                GILを無効化したPythonを早速試してみた (2024/06 更新) - RevComm Tech Blog
                              • BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog

                                背景 & Disclaimer DuckDB 概念や代表的なユースケース 使ってみる 1週間〜一ヶ月などある程度の期間、分析で使いたい場合 便利なCLIツールとして使う 所感 参考 Dataflow 代表的なユースケース 具体例 参考 背景 & Disclaimer BigQueryは非常に便利で、BigQueryにさえ上がってしまえばSQLで巨大なデータを簡単に相手にできます とはいえ、BigQueryに行きつくまでが大変な場合もありえます 例: 個人情報を含むsensitiveなデータで、BigQueryに気軽に上げられないケース 一時的であっても、相談なしにその手のデータを気軽にアップロードするのはやめてください... 数万件程度であれば手元のエクセルで開いて、問題ない行/列だけに絞る、ということもできるが、もっと量が多いデータだとそういうわけにもいかない。そもそも分析はSQLでやり

                                  BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
                                • Here’s how I use LLMs to help me write code

                                  11th March 2025 Online discussions about using Large Language Models to help write code inevitably produce comments from developers who’s experiences have been disappointing. They often ask what they’re doing wrong—how come some people are reporting such great results when their own experiments have proved lacking? Using LLMs to write code is difficult and unintuitive. It takes significant effort

                                    Here’s how I use LLMs to help me write code
                                  • Flask SQLAlchemy で REST API を作ってみた | DevelopersIO

                                    SQLAlchemyを何となくで使用していたのでこの機会に入門してみました。 Flask-SQLAlchemy を用いてRDBをORMとして扱い、REST APIを作成します。 ORMとは ORM(Object-Relational Mapping)とは、データベースとオブジェクト指向プログラミング言語とのマッピングを行うことを指します。 ただこれだけ聞くと、イメージしづらいですが、簡単に言うと、SQL文を直接記述せずに、通常のオブジェクトを扱うようにデータベースを扱うことができるということです。 Pythonでは、ORMモジュールの1つに SQLAlchemy があります。 SQLAlchemy SQLAlchemyは、Pythonでポピュラーに使用されているORMライブラリの1つのようです。 SQLite、Postgresql、MySQL、Oracleなどさまざまなエンジンにも対応して

                                      Flask SQLAlchemy で REST API を作ってみた | DevelopersIO
                                    • How we added full networking to WebVM via Tailscale

                                      WebVM is a virtual Linux environment running fully client-side in the browser. It is based on CheerpX: our WebAssembly-powered x86 virtualization technology. Thanks to a powerful JIT recompilation engine, and an ext2 block-based filesystem, it makes it possible to run large-scale use cases: GCC / Clang / Python / Node.js / Ruby and many other things are supported out-of-the-box. But something impo

                                        How we added full networking to WebVM via Tailscale
                                      • LLM: A CLI utility and Python library for interacting with Large Language Models

                                        LLM# A CLI tool and Python library for interacting with OpenAI, Anthropic’s Claude, Google’s Gemini, Meta’s Llama and dozens of other Large Language Models, both via remote APIs and with models that can be installed and run on your own machine. Watch Language models on the command-line on YouTube for a demo or read the accompanying detailed notes. With LLM you can: Run prompts from the command-lin

                                        • DuckDB爆速すぎてGISに使ったりChatGPTと組み合わせてみる|gisp_shin

                                          この記事ではDuckDBを使用した地理分析や、Python上でLangchainを使ったモデルを利用することで話し言葉でSQLを実行させる例を紹介します。 Duckdb, Python, SQL, Data Analysis, Geospatial, LLM, langchain SQLの価値 2023年も残り数ヶ月ですが、2022年では最も人気あるプログラミング言語のアンケートでSQLはPythonを抑えて3位でありました(参照)。今年はどうなるでしょうか。ただSQLがここに位置するのは必要性が上昇しているからでしょう。 同僚もデータサイエンス分野ではPythonかRで良かった(はずな)のに、SQL学びなおすのかと笑いながら話していました。 軽く聞いたアンケートでも、多くの人がSQLは「まあできる」「ベーシックはわかるよ」と言います。でもアメリカ人のそれは「SELECT * FROM t

                                            DuckDB爆速すぎてGISに使ったりChatGPTと組み合わせてみる|gisp_shin
                                          • 最近話題のVector Searchを実現するFaissって何? #1|masuidrive

                                            Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま

                                              最近話題のVector Searchを実現するFaissって何? #1|masuidrive
                                            • OpenSSL 1.1.1 が必須なPython 3.10.x をAmazon Linux 2 にインストールする - サーバーワークスエンジニアブログ

                                              どうも! swx-ochiai です。 Python 3.10.x をAmazon Linux 2 にインストールします。 ただし、プリインストールのOpenSSLバージョンが 1.1.1 未満の場合、インストールに失敗します。 そのため、この記事では、ハマりやすいポイントを取り除くためインストール方法をまとめました。 なお、表示されるバージョンおよび手順は執筆時点(2022/5)時点のものです。 紹介するインストール方法 なぜこの方法を紹介するのか yum の場合 : Python 3.7.10 amazon-linux-extras の場合: Python 3.8.5 Python 3.10.x インストール手順 構築例の環境 事前準備 : OpenSSL 1.1.1 のインストール 1. OpenSSLのバージョン確認 2. OpenSSL 1.1.1 をインストール 3. Open

                                                OpenSSL 1.1.1 が必須なPython 3.10.x をAmazon Linux 2 にインストールする - サーバーワークスエンジニアブログ
                                              • iOS Hacking - A Beginner’s Guide to Hacking iOS Apps [2022 Edition]

                                                My first post will be about iOS Hacking, a topic I’m currently working on, so this will be a kind of gathering of all information I have found in my research. It must be noted that I won’t be using any MacOS tools, since the computer used for this task will be a Linux host, specifically a Debian-based distribution, in this case, Kali Linux. I will also be using ‘checkra1n’ for the device jailbreak

                                                • How I run multiple $10K MRR companies on a $20/month tech stack

                                                  Last night, I was rejected from yet another pitch night. It was just the pre-interview, and the problem wasn't my product. I already have MRR. I already have users who depend on it every day. The feedback was simply: "What do you even need funding for?" I hear this time and time again when I try to grow my ideas. Running lean is in my DNA. I've built tools you might have used, like websequencediag

                                                    How I run multiple $10K MRR companies on a $20/month tech stack
                                                  • GitHub - 9001/copyparty: Portable file server with accelerated resumable uploads, dedup, WebDAV, SFTP, FTP, TFTP, zeroconf, media indexer, thumbnails++ all in one file

                                                    turn almost any device into a file server with resumable uploads/downloads using any web browser server only needs Python (2 or 3), all dependencies optional 🔌 protocols: http(s) // webdav // sftp // ftp(s) // tftp // smb/cifs 📱 android app // iPhone shortcuts 👉 Get started! or visit the read-only demo server 👀 running on a nuc in my basement 📷 screenshots: browser // upload // unpost // thum

                                                      GitHub - 9001/copyparty: Portable file server with accelerated resumable uploads, dedup, WebDAV, SFTP, FTP, TFTP, zeroconf, media indexer, thumbnails++ all in one file
                                                    • AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes

                                                      昨今LLMの台頭により、テキストをベクトル化して類似文書の検索に利用する手法が流行っています。 今回はAWSでこの検索を実現するための一方法として、SQLiteのプラグインであるsqlite-vssをAWS Lambda上で使う方法をまとめます。 github.com 意外とハマりどころや特有の考慮事項が多いので、必見です! アーキテクチャ LambdaでSQLite?と思った方のため、このアーキテクチャの要点をまとめます。 このアーキテクチャのメリットは、完全なサーバーレスでベクトル検索を実行できる点です。OpenSearchやPostgres (pgvector)、Redisなどのインスタンスを管理する必要はありません。サーバーレスの利点はもはや言うまでもないでしょう。 また、SQLiteを使うため、ベクトルだけでなく他のリレーショナルなデータをあわせて格納できる点も便利でしょう。例え

                                                        AWS Lambda Pythonでsqlite-vssによるベクトル検索を利用する - maybe daily dev notes
                                                      • FastAPIでの認証の実装が簡単すぎた!【コード有】 - HapInS Developers Blog

                                                        はじめに こんにちは、山本です。APIを実装するとき、個人的には認証が一番難しいと思っています。しかし、FastAPIでは簡単に認証が実装ができるような仕組みがあります。本記事では、私が公式ドキュメントを読んで学んだ認証の方法を実装を動かしながら紹介します。 認証とは 認証はAPIを特定のユーザしか利用できないようにする技術です。APIはエンドポイント(URL)を知っていれば基本的に誰でもアクセスでき、個人情報などの流出につながる恐れがあります。そこで、アクセスするユーザが誰なのかを認証(authentication)し、そのユーザがどの情報(resource)にアクセスできるかを認可(authorization)します。 はてなブログでのGoogleによるソーシャルログインを例として説明します。Googleのメアドとパスワードの入力が認証にあたり、はてなブログがGoogleのアカウントの

                                                          FastAPIでの認証の実装が簡単すぎた!【コード有】 - HapInS Developers Blog
                                                        • Cloud9 で SAM を利用し AWS サービス毎の請求額を毎日 Slack に通知する | DevelopersIO

                                                          Cloud9 を利用して AWS のサービス毎の料金を毎日 Slack に通知する仕組みを作成しました。 コーヒーが好きな emi です。 AWSサービス毎の請求額を毎日 Slack に通知するため、以下のブログ AWSサービス毎の請求額を毎日Slackに通知してみた を見ながら設定しようとしたのですが、手元の Windows 11 端末に AWS CLI、AWS SAM CLI、Python などの開発環境を整えるのが面倒…!!と思いました。 そこで、AWS Cloud9 を使って手軽に一時的な開発環境を構築し、AWS Serverless Application Model (SAM) でサーバレス通知システムを構築しました。 AWS Serverless Application Model (SAM) とは AWS SAM は、サーバーレスアプリケーション構築用のオープンソースフレー

                                                            Cloud9 で SAM を利用し AWS サービス毎の請求額を毎日 Slack に通知する | DevelopersIO
                                                          • Announcing Optuna 3.4 - Preferred Networks Tech Blog

                                                            ハイパーパラメータ自動最適化フレームワークOptunaの新しいバージョンであるv3.4がリリースされました。今回のリリースには、ユーザーの相対的な評価結果をもとに最適化を行う新機能 “Preferential Optimization” や、ファイル管理機構、Jupyter Lab拡張、VS Code拡張が含まれています。 ✨ハイライト機能 選好に基づく最適化 (Preferential Optimization) 今回のリリースでは、選好に基づく最適化 (Preferential Optimization)が導入されました。この機能は、画像生成や音声合成、自然言語生成タスクのように、生成物の定量的な評価が難しく、人間が主観的な評価をつける必要があるタスクにおいて特に有用です。 Optuna 3.2においてサポートされたHuman-in-the-Loop最適化では、絶対評価のみが可能となっ

                                                              Announcing Optuna 3.4 - Preferred Networks Tech Blog
                                                            • PythonとFlaskの魔法:Webアプリ開発を効率化するFlaskとの連携 - ITエンジニアが仕事に対して思うこと

                                                              ### PythonのWebアプリケーションフレームワークとして広く利用されているFlaskは、シンプルで柔軟な構造により、開発者に優れた自由度を提供しています。この記事では、PythonとFlaskの連携に焦点を当て、具体的なコード例を交えつつ、Flaskを使用したWebアプリケーションの開発手法や豆知識を掘り下げていきます。 Flaskとは何か FlaskはPythonの軽量なWebアプリケーションフレームワークで、マイクロフレームワークの一種です。シンプルながらも強力で、必要最低限の機能を提供しつつ、拡張機能を導入することで柔軟に機能を拡張できます。これにより、小規模なプロジェクトから大規模なアプリケーションまで、幅広い開発ニーズに対応できます。 Flaskの基本的な機能 Flaskが提供する基本的な機能を理解することで、開発の初めての一歩を踏み出すことができます。以下に、Flask

                                                                PythonとFlaskの魔法:Webアプリ開発を効率化するFlaskとの連携 - ITエンジニアが仕事に対して思うこと
                                                              • MLflow と Amazon SageMaker による機械学習のライフサイクル管理 | Amazon Web Services

                                                                Amazon Web Services ブログ MLflow と Amazon SageMaker による機械学習のライフサイクル管理 機械学習(ML) や MLOps の急速な普及に伴い、企業は ML プロジェクトの実験から本番までの速度を高めたいと考えています。 MLプロジェクトの初期段階では、データサイエンティストは、ビジネスニーズに対するソリューションを見つけるために、共同で実験結果を共有します。運用フェーズでは、本番に向けたさまざまなモデルのバージョンや、ライフサイクルの管理も必要です。この記事では、オープンソースのプラットフォームである MLflow がどのようにこれらの問題に対処しているかをご紹介します。完全に管理されたソリューションに興味のある方のために、Amazon Web Services は最近、re:Invent 2020で、機械学習のための初めての、継続的統合およ

                                                                  MLflow と Amazon SageMaker による機械学習のライフサイクル管理 | Amazon Web Services
                                                                • Arc Note: Datasette - Simon Willison

                                                                  I am very happy to introduce our first Arc Note with Simon Willison who is going to be talking about Datasette, SQLite and the challenges of building a server-side web application that also works in both Electron and WebAssembly. Its a great read — I hope you enjoy and hopefully learn a little something. 💡 Simon is the creator of Datasette and co-creator of Django web framework. Formerly he was a

                                                                    Arc Note: Datasette - Simon Willison
                                                                  • AWS App Runner × FastAPI で作る REST API パターン 3 選 - サーバーワークスエンジニアブログ

                                                                    こんにちは。アプリケーションサービス部の河野です。 アプリケーションサービス部では、週に一回、技術発表会という形で、発表者が興味がある技術について自由にプレゼンテーションしています。 その中で「App Runner で REST API 開発するの良いぞ」っていう話をしたので、本ブログでも紹介したいと思います。 導入 コールドスタート問題 デプロイ容量問題 serverless.yaml 書くのツラい問題 ローカルのテストしづらい問題 App Runner とは? FastAPI とは? 環境 パターン①: データストアなし パターン①: 実践 ローカルで動作確認 ECR を作成 イメージをビルド&プッシュ App Runner デプロイ 上手くいかない場合は? パターン②: DynamoDB パターン②: 実践 ローカルで動作確認 fastapi コンテナ localstack コンテナ

                                                                      AWS App Runner × FastAPI で作る REST API パターン 3 選 - サーバーワークスエンジニアブログ
                                                                    • Handling Concurrency Without Locks

                                                                      Concurrency is not very intuitive. You need to train your brain to consider what happens when multiple processes execute a certain code block at the same time. There are several issues I often encounter: Failing to recognize potential concurrency issues: It's not uncommon for both beginner and seasoned developers to completely miss a potential concurrency problem. When this happens, and the concur

                                                                      • FastAPIでPythonアプリを素早く構築する

                                                                        FastAPI は、Python 3.6以降を使用したモダンなアプリケーションプログラミングインターフェースの構築に便利な、高速かつ軽量のウェブフレームワークです。今回の記事では、そんなFastAPI を使ったアプリ構築の基本を説明し、これが2021年ベストオープンソースフレームワークの1つとしてノミネートされた理由の一端をご紹介します。 FastAPIアプリを開発する準備ができたら、サーバー選びが必要になります。Kinstaのウェブアプリケーションサーバーとマネージドデータベースサーバーサービスは、Pythonに強いPaaS(Platform as a Service)です。是非ともあわせてご確認ください。 まずは基本から学びましょう。 FastAPIの強み はじめに、FastAPIフレームワークが各種開発プロジェクトにもたらす利点をご紹介します。 スピード:FastAPIは、その名の通

                                                                          FastAPIでPythonアプリを素早く構築する
                                                                        • The Pitchfork Story

                                                                          A bit more than two years ago, as part of my work in Shopify’s Ruby and Rails Infrastructure team, I released a new Ruby HTTP server called Pitchfork. It has a bit of an unusual design and makes hard tradeoffs, so I’d like to explain the thought process behind these decisions and how I see the future of that project. Unicorn’s Design Is Fine Ever since I joined Shopify over 11 years ago, the main

                                                                          • LLM: A CLI utility and Python library for interacting with Large Language Models

                                                                            LLM# A CLI tool and Python library for interacting with OpenAI, Anthropic’s Claude, Google’s Gemini, Meta’s Llama and dozens of other Large Language Models, both via remote APIs and with models that can be installed and run on your own machine. Watch Language models on the command-line on YouTube for a demo or read the accompanying detailed notes. With LLM you can: Run prompts from the command-lin

                                                                            • GithubActionsのrunnerにBlackSmithを使って高速化とコスト削減する - APC 技術ブログ

                                                                              はじめに こんにちは。クラウド事業部の上野です。 今回はxでBlackSmithという面白そうなTopicを見つけたのでどんなものなのか試してみました。 GithubActionsのコスト削減と高速化に役立ちそうなので興味のある方は見ていただけると幸いです。 はじめに BlackSmithとは? QuickStart 高速化される仕組み コロケーションキャッシュを用いた高速化 Dockerレイヤーの永続化 即実行可能 高性能なマシンを利用 使用できるストレージ 料金について そもそものGithubActionsの料金体系 BlackSmithの料金体系 実際に改善されるか試す docker buildの結果を比較 ubuntu-latest blacksmith-2vcpu-ubuntu-2404 検証に使用したDockerfile, workflowファイル まとめ BlackSmith

                                                                                GithubActionsのrunnerにBlackSmithを使って高速化とコスト削減する - APC 技術ブログ
                                                                              • Ubuntu 24.04 開発・研究環境構築ガイド

                                                                                【概要】本ガイドでは、Ubuntu 24.04 LTSにおける各種ソフトウェアのインストール手順を説明する。プログラミング環境(C/C++、Python、Java、R)、NVIDIA GPU環境(ドライバ、CUDA、cuDNN)、データベース(PostgreSQL)、人工知能・機械学習ライブラリ、3次元コンピュータグラフィックス・地理情報システム・メディア処理ツール、エディタ・統合開発環境などを扱う。 【この記事の対象読者】Ubuntu 24.04 LTS上で開発・研究を行いたい大学生や技術者。C/C++やPythonによるプログラミング、人工知能・機械学習、3次元コンピュータグラフィックス制作、データベース管理などの環境を構築したい人を対象としている。Windows 環境向けの情報は別ページ »で説明している。 【重要概念】 LTS (Long Term Support): 5年間のセキ

                                                                                • 初心者向け Pythonanywhereを使ってみよう(2023/09/09色々追加あり) - Qiita

                                                                                  目的 Pythonで書いたWebプログラムを簡単にインターネット環境で使えるようになる「Pythonanywhere」の使い方、主に自分が書いたコードをデプロイして公開するまでのやり方について自分のためのメモ書きとして残すことであります。そして多少なりとも初心者の「やってみたい!」という気持ちに向けて、未知の世界へトライする時に越えなけりゃならないなにがしかのハードルを少しでも低くすることができれば、同じ初心者としてうれしいです。 環境 Pythonanywhere上の環境は以下の通り Python==3.8 Django==3.2.3 PythonanywhereはPythonのバージョン指定ができます。Djangoなど必要なライブラリはConsoleからバージョンを選択してinstallできます、ってかHerokuみたいなrequirements.txtが使えるかどうかよくわからんから

                                                                                    初心者向け Pythonanywhereを使ってみよう(2023/09/09色々追加あり) - Qiita