HTTPXとasyncioを利用したPythonの非同期HTTPリクエスト - Qiita
asyncioによる非同期リクエストで大切なこと asyncioは外部IOの待ち時間でタスクを切り替えます。 大切なのは、外部のIOを行う処理がasyncioに対応していることです。 asyncioを利用した非同期処理を実装する場合、標準ライブラリであるurllib.requestやrequestsでなく、aiothttpやHTTPXを利用する必要があります。 今回の例ではHTTPアクセスですが、データベースアクセスでも同様です。 postgresの場合、psycpg2ではなく、asyncpgや今年の夏asyncioに対応したベータがリリースされたpsycpg3を利用する必要があります。 HTTPXを利用する httpx.AsyncClient() がasyncio対応のクライアントを返すコンテキストマネージャーです。with文で使います。 アクセスする先は元記事同様、PokemonのAP
GitHub - mckinsey/vizro: Vizro is a toolkit for creating modular data visualization applications.
Rapidly self-serve the assembly of customized dashboards in minutes - without the need for advanced coding or design experience - to create flexible and scalable, Python enabled data visualization applications Use a few lines of simple configuration to create complex dashboards, which are automatically assembled utilizing libraries such as Plotly and Dash, with inbuilt coding and design best pract
広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog
こんにちは。データサイエンス部の石川です。 弊社では広告配信の最適化のために CTR・CVR*1 を推定する機械学習モデルを開発していて、定期的な学習とモデルの更新を行っています。 このようなシステムにおいて、学習済みモデルが推論システムで問題なく動作することを保証するために、デプロイされるモデルの挙動を検証する仕組みが必要です。 特に、学習時と推論時で同一の広告リクエストに対して同じ推論値を出力するかを確認する仕組みを「差分検知」と呼んでいます。 この記事では、弊社の広告システムにおける機械学習モデルの差分検知について紹介します。 背景 課題 解決策 PyO3 の実装 まとめ 背景 弊社の CTR・CVR を推定する機械学習システムでは、ワークフローエンジンが定期的にモデルの学習を実行し、その後学習済みモデルを S3 にアップロードします。 広告スコアリングサーバは S3 上のモデル変更
データセットを手にしたら、 Pythonでサクッと半自動EDA（探索的データ分析）をしよう
データセット手にしたら、数理モデルを作ったりする前に、通常はEDA（探索的データ分析）を実施します。 端的に言うと、データと仲良くなるための会話です。 ざっくり次のような流れになります。 データコンディションチェック（欠測値や基本統計量など） 単変量の分析（各変数の分布など） 多変量の分析（変数間の関係性など） 正直、EDA（探索的データ分析）はほぼ半分は似たような分析を実施します。 そこで、EDA（探索的データ分析）の中で似たような分析は自動化しようということで幾つかのライブラリーがあります。 今回は、「データセット手にしたら、Pythonでサクッと半自動EDA（探索的データ分析）をしよう」というお話しをします。 Rに関しては「Rでシンプル半自動EDA（探索的データ分析）」で紹介しています。 半自動EDAライブラリー 色々な半自動EDAライブラリーがあります。 今回紹介するのは、以下の3
BigQuery ↔ Pandas間で読み込み/書き込み - Qiita
はじめに BigQueryクライアントライブラリのgoogle-cloud-bigquery そのラッパーのpandas-gbqを使う方法を書きます。 ※ Googleはgoogle-cloud-bigquery を使って欲しそう。 https://cloud.google.com/bigquery/docs/pandas-gbq-migration?hl=ja 環境 MacOS X 10.14.5 (Mojave) Homebrew 2.2.5 Google Cloud SDK 281.0.0 bq 2.0.53 GCPアカウント登録 【画像で説明】Google Cloud Platform (GCP)の無料トライアルでアカウント登録 Google Cloud SDKのインストール Google Cloud SDKのインストール ~ 初期化 プロジェクト作成 Google Cloud S
pandasでBigQueryのデータを操作する方法 (基本編) - G-gen Tech Blog
G-gen の杉村です。 Python のライブラリである pandas (パンダス) は、データ分析に用いられるツールとして有名です。 当記事では BigQuery から取得したデータを pandas で操作する方法をご紹介します。ごく基本的な内容ですが、コーディング時のメモとして、また Python による BigQuery データを扱う際の練習等にご利用ください。 基本編では簡単なテストデータを使いながら、 SQL での SELECT や 集計関数 + GROUP BY に相当する操作を確認します。 環境準備 gcloud コマンド python および関連ライブラリ テストデータの準備 BigQuery データセットおよびテーブルの作成 Python の実行 データフレームの準備 パッケージのインポート BigQuery からデータを取得 データフレームのプレビュー・射影・フィルタ
Pythonではじめるソフトウェアアーキテクチャ - 共立出版
スケーラビリティ、頑健性、セキュリティ、パフォーマンスが優れているアプリケーションをPythonで実現！ 本書は、Pythonを用いたアプリケーション設計方法を様々な観点から解説します。ビジネス要求を満たす製品を構築するためには欠かすことのできない、保守性、再利用性、テスト容易性、スケーラビリティ、パフォーマンス、ユーザビリティ、セキュリティを取り上げ、読者が頑健かつ柔軟なソフトウェアの設計方法を理解することを目的としています。 またDevOpsや継続的インテグレーション、最適なオブジェクト指向の使用方法なども紹介しています。これらを理解することで、読者はビジネス規模が拡大しても耐え得る、スケーラブルなアプリケーション設計を構築できるようになるでしょう。 アプリケーション構築に欠かせない、各フレームワークのメリットなどにも焦点を当てており、これからアプリケーションを設計しなければならないエ
subprocess — Subprocess management
Information about how the subprocess module can be used to replace these modules and functions can be found in the following sections. Using the subprocess Module¶ The recommended approach to invoking subprocesses is to use the run() function for all use cases it can handle. For more advanced use cases, the underlying Popen interface can be used directly. subprocess.run(args, *, stdin=None, input=
venvを使ってAWS CLI（v1）とAWS CLI v2を使い分ける（Mac, Linux編） | DevelopersIO
AWS CLI version 1 と version2 には、一部互換性がありません。互換性が無いと言われてしまうと、使い分けて実行したくなります。 と、いうわけでPythonのvenvを利用して、AWS CLI v1とv2の環境を使い分ける方法を紹介します AWS CLI v2がGAされました！ [アップデート] リソース名の補完など強力な機能追加！AWS CLI v2 が GA されました！ ｜ Developers.IO が、気をつけないといけないことがあります。 AWS CLI version 1 と version2 には、一部互換性がありません。詳細は公式ドキュメントを御覧ください。 Breaking Changes – Migrating from AWS CLI version 1 to version 2 - AWS Command Line Interface 互換性
成功する投資：トレーディングのサイエンス - Qiita
はじめに 早速ですが、皆さんは投資をしているでしょうか。しているとすれば、どのような投資をしていらっしゃるでしょうか。 世の中には様々な投資対象が存在し、またその投資手法も様々です。投資に関する情報は世の中に溢れています。氾濫していると言ったほうがよいかもしれません。書籍を例に取ると、甘い文句で投資を奨励するライトな入門書から金融の専門書までずらりと並びます。またブログやSNSも重要な情報源となっており、最近では投資向けのYouTubeも人気を集めているようです。 しかしこれだけ多様な情報ソースが存在するにも関わらず、投資で成功を収めることができるのはごく一握りです。少し古いリサーチになりますが2015年の野村證券の個人投資家リサーチでは、通算で利益が出ている個人投資家の割合は9.3%とのことです。どうしてこのような事態に陥ってしまうのでしょうか。投資の初級者の方はどのようなアプローチをし
Django REST Framework の使い方メモ - Qiita
学習履歴 ■はじめに Django REST framework を使って、REST API の作成方法を学んでみる。 ■環境 Mac Python3.7 pipenv Django2.1 Pycharm ■Library API の構築 サンプルとして、Library API を作りつつ、Django REST Framework を学んで行こう。 ただ、Django REST framework だけでは Web API を構築することができないので、 まずは、Django のアプリケーションを作り、その後、 REST framework を追加する。 ■ Djangoプロジェクトの作成 pipenv を使って、仮想環境を構築して、そこに Django をインストールする。 $ mkdir django_rest_framework $ cd django_rest_framework
Django マイグレーション まとめ - Qiita
from django.db import migrations, models class Migration(migrations.Migration): dependencies = [('migrations', '0001_initial')] operations = [ migrations.DeleteModel('Tribble'), migrations.AddField('Author', 'rating', models.IntegerField(default=0)), ] ファイルの内容はこのようになっており、 dependencies に親世代のマイグレーションID operations に処理の内容 が記述されます。 ##マイグレーションディレクトリ アプリケーションのディレクトリにあるmigrationsディレクトリ。 makemigrationsを実行す
Django+Nginx+MySQLの開発環境をDockerで構築する - Qiita
MacOS Mojave docker for mac（下記からインストールできます） https://docs.docker.com/docker-for-mac/install/ ディレクトリ構成 python nginx MySQLで構成を分けておきます。 django ├── docker-compose.yml ├── mysql ├── sql ├── nginx │ ├── conf │ │ └── app_nginx.conf │ └── uwsgi_params └── python ├── Dockerfile └── requirements.txt Djangoの設定 Dockerfileの作成 PYTHONUNBUFFEREDは、バッファが溜まってから出力するのを避けるための記述です。 パフォーマンスの観点からはバッファが溜まってからの出力の方が良
Django REST Frameworkを使って爆速でAPIを実装する - Qiita
この記事は「Python その2」Advent Calendar 2015の14日目です。 何を書こうか迷ってましたが、今年学んだPython関係の技術で一番恩恵を預かったREST Frameworkについて書いてみようと思います。 はじめに APIを作るのは結構面倒 初めにAPIを作るということの難易度に触れておこうと思います。 実際に作った経験のある方も多いと思いますが、WebAPIはWebページと違ってロジックのみに集中して開発できるので、開発しやすいといえば開発しやすいです。デザインや利用環境気にしたり、HTMLやJavascriptような複数の言語を駆使する必要も全く無いです。レスポンスを正しく受け取って適切にレスポンスを返すだけ。 とはいうものの実際作ってみると面倒な事が多く出てきます。例えば入力された値が正しいのかどうかをチェックしたりだとか、複数の条件で結果をフィルタリング
Flask: get current route
In Flask, when I have several routes for the same function, how can I know which route is used at the moment? For example: @app.route("/antitop/") @app.route("/top/") @requires_auth def show_top(): .... How can I know, that now route was called using /top/ or /antitop/? UPDATE I know about request.path I don't want use it, because the request can be rather complex, and I want repeat the routing lo
はじめに | 民主主義に乾杯
学習方法は会社内で自分よりスキルが上の人のコードを読むことですね。初めはわからないことだらけで未知の領域が大きすぎるので気落ちすることもありますが、1年から2年やれば自信はつくと思います！ #peing #質問箱 https://t.co/VvBuU6ROHg — 酒井潤🇺🇸シリコンバレーエンジニア (@sakaijun) May 6, 2019 全部は無理でも、とっかかりになればと思いこのサイトを作りました。 自分も今でも読んでいて、全然わからないことだらけです。 最悪なのは、大抵の場合、ソースコードはおろかチュートリアルでさえ、 公式ドキュメントは、難しかったりします。 僕もわからないことを調べようとして初めて公式ドキュメントを読んだとき、こんな気分になりました笑 9.2. Python のスコープと名前空間 - Python チュートリアル (opens new window)
PyQ - 本気でプログラミングを学びたいあなたへ
必要なのはブラウザだけプログラミングを始める時に、最初につまづくのが環境構築です。 PyQでは環境構築なしで、ブラウザをひらけば10秒でプログラミングを始められます。 読む・書く・動かすサイクルで定着PyQのエディター画面では、実際にブラウザの後ろでPythonが動いています。これにより、教材を読む→コードを書く→実際に動かすという流れを画面内で完結できます。もちろん、自分で内容を変更して、動かして試してみることもできます。 あなたの興味に寄り添う、1500問以上から選べるコンテンツPyQでの学習は、数個の問題からなる「クエスト」という単位で進みます。 600クエスト・1500問以上存在するすべてのクエストは、好きな順に学び放題。 関連の深いクエストはパート・コースにまとめられており、 直感的に様々なクエストを組み合わせて、自分の興味のある分野を学べます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
openai-cookbook/examples/How_to_call_functions_with_chat_models.ipynb at main · openai/openai-cookbook
Pythonによるマーケティングミックスモデリング（MMM：Marketing Mix Modeling）超入門 その1線形回帰モデルでMMMを作ろう！
How To Connect MySQL Database In Django Project Windows & iPhone Tricks