FastAPI + async/awaitでAPI速度を3倍にする最適化手法
はじめに 「PythonのAPIが遅い...」 「非同期処理を使っているのにパフォーマンスが出ない...」 「FastAPIとDjangoのどちらを選ぶべき？」 Python Web開発では、適切な非同期処理を実装することでAPI応答速度を3倍改善できます。しかし、間違った使い方をすると、逆にパフォーマンスが悪化することもあります。 この記事では、想定されるSNSアプリのシナリオをもとに、3つの最適化手法とその効果を解説します。数値は一般的なベンチマークや技術資料に基づく想定値です。 想定シナリオ：最適化前の状況 まず、最適化前のAPIパフォーマンスを想定してみましょう。 想定するプロジェクト 規模: FastAPI + PostgreSQL、ユーザー15万人規模 チーム: バックエンド開発者4名程度 用途: SNSアプリのREST API よくあるパフォーマンス問題 レスポンスタイム:
【実践】PythonとOpenStreetMapで学ぶ経路システム開発入門 - uepon日々の備忘録
前回はGoogle Map APIを使用して開発を行いましたが、今回はOpenStreetMapを使用した似たようなことにチャレンジしてみようと思います。Pythonを使ってOpenStreetMapの経路検索URLを生成する方法ことを目的とします。 参考 uepon.hatenadiary.com オープンストリートマップ（OpenStreetMap）とは？ オープンストリートマップ（英語: OpenStreetMap、OSM）は、自由に利用でき、なおかつ編集機能のある世界地図を作るオープンコラボレーションプロジェクトである。GPS機能を持った携帯機器、空中写真、衛星画像、他の地理情報システムからのデータをもとに作られていくのが基本だが、編集ツール上で道1本から手入力での追加も可能である。与えられた画像とベクトルデータセットはオープンデータベースライセンス（ODbL）1.0のもと再利用可
【サーバー編】LM Studioで手元のPCをAIサーバーに！ローカルAPI活用術 - たねやつの木
こんにちは、たねやつです。 これまでの記事で、LM Studioを使ってローカルLLMとチャットする方法や、モデルの設定について解説してきました。 今回は、LM Studioが持つ非常に強力な機能、「ローカルAPIサーバー」に焦点を当てます。この機能を使いこなせば、自作のプログラムや他のツールとローカルLLMを連携させ、AIを活用した独自のワークフローを構築できます！ 前の記事 この記事でできること ローカルサーバー機能とは？ サーバーの起動と設定 curlでAPIを叩いてみる Pythonから接続する 他のツールとの連携 最後に 次の記事 前の記事 www.taneyats.com この記事でできること LM Studioのローカルサーバー機能が理解できる ローカルAPIを起動し、テストできるようになる PythonプログラムからローカルLLMを呼び出せるようになる 他のツールとの連携の
技術書以外から上達のヒントを得る。Python書籍翻訳者・清水川貴之が選ぶ、効率よく学習するための3冊 | レバテックラボ（レバテックLAB）
皆さん、こんにちは。清水川貴之（@shimizukawa）です。前回の記事では、Pythonの学習に役立つ書籍を紹介しました。 これまでPythonプログラマーとして、またコミュニティ活動を通して様々な経験をしてきましたが、 「どのように学び、どのように成長していくか」 を意識する機会が何度もありました。そして、イベントでお会いした方々からは、「どうやって学んできたのか」「どうやったら出来るようになるのか」と質問されることも多くありました。 そこで今回は少し視点を変え、私が日々の学習や成長の指針としている書籍を紹介したいと思います。これらの書籍からは、目標設定、モチベーション維持、効果的な学習方法など、技術以外の側面から成長を促すヒントが得られると思います。 keyboard_arrow_down 物事の原理原則を学び、効率的に上達する keyboard_arrow_down 勝ち続けるた
Scala3の開発体験がScala2時代に比べてめちゃくちゃ良くなっていた話 - Qiita
ドワンゴのN予備校という教育サービスでプログラミング講師をしている @sifue といいます。N高等学校/S高等学校のプログラミング講師もしており、学内のツール開発や運用などもしたりしています。 最近は生成AIが流行ったこともあって、Pythonだったり、UIが必要なものはどうしてもTypeScriptとReactで実装することも多いのですが、久しぶりにScalaを使っての開発をしてみました。 自身は、Scalaでの開発はニコニコ生放送のサービスを開発するときに使っていた他、N予備校内で提供している大規模Webアプリの教材やドワンゴが当初作成していたScalaテキストの作成などにも関わらせてもらいました。 その当時のScalaは2.12であったわけなのですが、その後2.13が出て、さらに今はScala3系になって3.3.1までバージョンが進み、開発環境が変わってすごく使い勝手がよくなったと
GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z
日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r
【Python】Kindleの洋書1冊を1分で日本語PDFに変換するコードを書いた話 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 動機 外資系のAmazonが展開している電子書籍Kindleでは比較的洋書の取り扱いが多いです。 Kindle Unlimitedに登録されている書籍も多く、Springerなんかも含まれているので活用しない手はありません。 そこでkindle-translatorをつくりました。 https://github.com/1plus1is3/kindle-translator これで一冊50万字あるKindleの洋書を1分で日本語PDFに変換できます。 キーボードの矢印キーでページ送りができるならKindleに限らずあらゆる電子書籍リーダ
Google Custom Search APIを使って画像の自動収集 - 小さな星がほらひとつ
こんにちは。 前回はTwitter search APIを使ってTwitterから画像データを自動収集する方法をまとめました。 blog.wackwack.net 今回はGoogleCustomSearch APIを使った画像自動収集プログラムを作成しましたので、必要な手順を紹介します。 カスタム検索エンジンの作成とAPIキーの発行 カスタム検索エンジンの作成 APIキーの発行 画像自動収集プログラム ポイント google-api-python-client パラメータ ループ処理 画像URLの取得 100件以上は取得できない カスタム検索エンジンの作成とAPIキーの発行 GoogleCustomSearch APIを使うには「カスタム検索エンジンの作成」と「APIキーの発行」が必要となります。 GoogleCustomSearch APIではAPIキーを使って認証を行い、作成したカスタ
Netflixにおける実用的なAPI設計: gRPCとFieldMask | pyspa
Netflix Tech BlogのgRPC APIに関する以下の２つの記事に感銘を受けたので、ここにその概要を日本語で記します。 (めんどくさかったので)翻訳の許可は取ってませんが、再構成してますし元のJavaではなくPythonで書き直していますので、容赦して下さい… Practical API Design at Netflix, Part 1: Using Protobuf FieldMaskPractical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation OperationsまとめgRPCでは、FieldMaskをうまく使うことで、必要な情報だけ取得したりあるいは与えたりしたりできまっせ第一部まずField Maskをどのように使うかを述べています。 背景Remote Callというものは、そもそもコ
C++/Java/Ruby/Pythonの並列I/O用ファイルインターフェイス - 豪鬼メモ
ファイルの読み書きをマルチスレッドで並列に行うための仕組みを、各種プログラミング言語（C++、C、Java、Ruby、Python）で利用できるようにライブラリを整備した。メモリマップI/O、通常I/O、ダイレクトI/Oを同じインターフェイスで利用できる。Tkrzw-0.9.38からこの機能が利用できる。メモリマップI/Oと通常I/Oは全ての処理系で、ダイレクトI/OはLinuxとMacとWindowsで利用できる。 データベースライブラリTkrzwはマルチスレッド環境での並列処理性能を重視して開発しているが、そこで利用しているファイル層の機能を直接利用できるようにAPIを整備した。データベースとしてではなく、単なるフラットなファイルとして利用するためのAPIである。テキストにもバイナリにも利用できる。 C++ API C API Java API Python API Ruby API
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) - Attsun blog
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) ウェブAPIの作成など、外部からやってくるデータを安全に捌く上で、スキーマ定義とバリデーションは非常に重要です。 また、特にPythonのような動的型付け言語において、内部でもレイヤをまたぐ場合はきちんと定義されたデータモデルを利用することで、知らない間にデータモデルが変わっていた、というようなケースを防ぐことができます。 Pythonには標準でスキーマバリデーションライブラリがないため3rdパーティのものを使うことになりますが、様々なライブラリがあるので比較してみました。 比較対象のライブラリ概要※Pythonバージョンは3.9.0を利用します。 lib versionGithub Star (2020/1/5)memo
REST API開発に特化したWebフレームワークがもたらす生産性の向上 | IIJ Engineers Blog
皆さんはREST APIの開発にどのようなフレームワークをお使いでしょうか？ これまで、個人的には Flask 等の軽量なWebフレームワークを使って開発することが多く、REST API開発に特化したWebフレームワーク（以下、APIフレームワークと呼ぶ）を使った経験はありませんでした。 しかし先日、業務で Django REST Framework に触れる機会があり、REST APIの実装に必要な機能の多くが提供されていて、圧倒的に少ないコーディング量で開発が完了することを実感できました。例えば、フィルタリング（URLクエリストリングで検索条件等を指定し、取得する値を絞り込む）機能は、一から実装するとなると文字列をパースして、バリデーションして、クエリに渡して……、と結構面倒ですが、Django REST Frameworkではビルトイン機能として提供されているので、最小限のコードで実
PyCon JP 2019に登壇、PythonでのCIとテストの話をしました - BASEプロダクトチームブログ
どうも、はじめまして、東口（@hgsgtk）です。BASE BANK株式会社 Dev Divisionでソフトウェアエンジニアをしています。この度、9月14日〜9月17日に開催されたPyCon JP 2019に参加し、「Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構」というタイトルで発表してきました。 PyCon JP 2019とは 9月14日〜9月17日に開催されたPythonエンジニアが一同に集う国内最大級のPythonのカンファレンスです。9月16日・17日の後半2日間でセッションスピーカーによるトークが行われる2日間で、私は16日の16:00から15分間登壇してきました。 pycon.jp 発表した内容 発表した内容は、Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構というタイトルです。 pycon.jp トークの概要は
人間のためのイケてるPython WebFramework「responder」、そして作者のKenneth Reitzについて - フリーランチ食べたい
この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります
Twilog + Pythonで他人の過去の全ツイート（3200件超）を一括取得する方法 - StatsBeginner: 初学者の統計学習ノート
Twitter APIで「他人の全ツイート」は取得できない さて先日から書いてるように、PythonのTweepyというライブラリを使うと、簡単にTwitterのREST APIを操作することができますので、研究で何か分析するときも、これを使えば手軽に分析用のデータが取得できます。レスポンスのデータの中身を読むのが大変ですが、それなりに理解はできてきました。 statsbeginner.hatenablog.com statsbeginner.hatenablog.com ところで、特定のユーザのツイートの傾向を見たいと思った場合、APIで全ツイートを取得したいところですが、残念ながら最新のものから数えて3200件までしか取得することができません。 「自分のツイート」であれば、Twitterが公式に過去の全件を出力する機能を付けてくれていますが（付属情報がほとんど入って来ませんが）
Python 3.3 以上で使える Python/C API で文字列アクセスを高速化 - methaneのブログ
試しに英語で Blog を書いてみた のですが、書くので精一杯で結局何が言いたいのか分からない感じになってしまったので今後は日本語 Blog 書いてから英訳しようと思います。 Python 3 は 3.2 まで、文字列を unicode に統一した関係で Python 2.7 に比べて遅くなったりメモリ効率が悪くなったりしてしまっていたのですが、 Python 3.3 で PEP 393 Flexible String Representation が導入されて改善されました。 PEP 393 は Python の内部だけではなく Python/C API にも変更を加えており、内部を理解しつつ新しい API を適切に使えば、バイト列と文字列の間の変換を行うような C 拡張を高速化することができます。 そろそろ Python 3.2 のサポートを切れる時期なので、思い当たる人は目を通してお
Pythonのsocketでプロセス間通信をして価格データ等を送信する
どうも、お久しぶりです。キリンです。 取り敢えず1ヶ月ほど、連続でブログの更新を続けてみたのですが、それ以降更新が途絶えてしまっていました。本業（FXの運用）のほうが今鳴かず飛ばずなので、なんとか盛り返そうと頑張ってます。 その中で、どうしてもプロセス間通信(IPC, Inter Process Communication)をしなければならない事案に遭遇してしまったので、忘備録も兼ねてPythonでSocketを使ったプロセス間通信の方法を調べる際に学習したことと、実際に作成したプログラムをご紹介します。きちんとTCP/IPの通信について勉強したわけではないので、間違った理解、解釈があるかと思います。その際はご指導いただけると助かります。 プロセス間通信がしたい Linux上でしか動かないPythonライブラリ Linux上でしか動かないPythonのライブラリをどうしても使いたいという事
lxmlでAmazonAPI (objectify使ってみたよ) - bonlife
bonlifeです。誰かに教えられるほどPython詳しいわけじゃないですが、lxmlのobjectifyはやっぱり便利だよ、ということを伝えたい！ だけどもっとレスポンスが速い方法があるはず。 誰か教えてw まとめ記事はこちら。(記事中のquoteはurllib2.quoteっぽい。) lxmlのobjectifyを使うとかなり使いやすいオブジェクトが生成されます。最初(objectify.parse)のレスポンスは結構遅そうですが…。 import urllib2 from lxml import objectify host = u'http://webservices.amazon.co.jp/onca/xml?Service=AWSECommerceService' id = u'&SubscriptionId=AWSのアクセスキー' ope = u'&Operation=Ite
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.oasob.com/blog/detail/6/
IBM Developer