Python multiprocessing vs threading vs asyncio - JX通信社エンジニアブログ
エンジニアの鈴木（泰）です。 今回は、multiprocessingとthreadingとasyncioの違いとはなんだろう？という問に挑戦してみたいと思います。 この問の答えをグーグル先生に聞いてみると、非常にたくさんの情報がヒットします。しかしながら、どの情報も断片的なものばかりで（本記事もそうなのかもしれません）、色々と本を読んだりネットを漁ったりして、情報を補完しなければなりませんでした。 本記事は、僕が調べた限りの情報を集約し、この問に対する結論を１つの記事にまとめたものとなっています。 前提 マルチプロセスとは マルチスレッドとは Pythonにおけるマルチスレッド 本題 マルチプロセス（multiprocessingライブラリ）を利用したほうが良い場合 cpu_sec.py cpu_multiprocessing.py cpu_threading.py cpu_asyncio
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
生成AIを駆使して、バーチャル水田で稲作をシミュレート - Insight Edge Tech Blog
こんにちは。InsightEdgeのDataScientistのSugaです。最近もサウナに通っていますが、サウナ好きのなかではオロポという飲み物があります。 オロナミンC+ポカリスエットというもので独特な味がして気にっています。さて、今回は、生成AIを駆使して、バーチャル水田で稲作をシミュレーションしてみようと思います。 取り組むきっかけ 最近のニュースから 最近のニュースを見ていたら、「農林水産省、「天穂のサクナヒメ」とコラボ」という記事がありました。知らない方もいると思うので、少し説明すると、「天穂(てんすい)のサクナヒメ」というゲーム作品が2020年にリリースされました。ゲームの中で米作りの工程をする必要があり、その内容がとてもリアルだと話題になりました。さらに、農林水産省の公式WEBサイトがゲームの攻略に使えるということがわかり、そのことがニュースになっていたりしました。 You
AWS MediaConvert と hls.js で動画配信サービスを構築しました | MEDLEY Developer Portal
2020-11-27AWS MediaConvert と hls.js で動画配信サービスを構築しましたこんにちは、第一開発グループの矢野です。ジョブメドレー開発エンジニアとして、主にバックエンドを担当しています。 直近では、ジョブメドレーが先月リリースした 「動画選考」 機能の開発プロジェクトに携わっており、動画ファイルのアップロード／配信環境の設計・実装を行っていました。 今回のブログでは、この「動画選考」機能の開発に利用した AWS Elemental MediaConvert サービスと、hls.js という OSS ライブラリについて紹介したいと思います。 ジョブメドレーの「動画選考」機能はじめに、今回リリースした「動画選考」機能について概要を紹介します。 新型コロナウイルス感染拡大によって、対面での面接に不安を感じたり、公共交通機関の利用が難しくなったりすることにより、満足な転
TL;DR Sudachi同義語辞書を「Solr Synonyms形式」に変換して使う あくまで暫定的な使い方: 本来は形態素解析結果を元に厳密に展開されるべき ちゃんとしたフィルタープラグインは、徳島のSudachi公式がもうすぐ公開してくれるはず Sudachi同義語辞書とは ワークス徳島NLPが開発する、専門家の手による大規模で高品質な辞書 Apache2.0ライセンス、商用利用可 詳細は公式ドキュメントを参照のこと 同義語が単に羅列されているわけではなく、詳細化した同義関係が付与されています。 そして、この言語資源は定期的に専門家によりメンテナンス、更新されています。例えば、以下のような語も2020年7月のアップデートなどで追加されています; ... 023538,1,0,1,0,0,0,(医療),新型コロナウイルス感染症,, 023538,1,0,1,2,0,0,(医療),COV
こんにちは、CX事業本部 IoT事業部の若槻です。 今までOpenCVはPythonで使うものというイメージが強かったのですが、OpenCVのJavaScript実装であるOpenCV.jsなるものもあるみたいです。 OpenCV.js 今回は、OpenCV.jsをJavaScriptおよびNode.jsで使ってみました。 やってみた OpenCV.jsの導入 まず準備としてOpenCV.jsの導入を行います。 下記よりOpenCVのソース（opencv-{VERSION_NUMBER}-docs.zip）の最新版をダウンロードします。 Releases · opencv/opencv 解凍したソース内に含まれるopencv.jsを作業パスにコピーします。 JavaScriptで使ってみる こちらのチュートリアルを参考に、OpenCV.jsをJavaScriptで使ってみます。 OpenC
こんにちは山崎です。久しぶりの投稿になります。 今回はJavascriptでドラッグアンドドロップでのファイルアップロードを実装しようと思います。 完成形・仕様 このような画面になります。ファイルはドラッグ＆ドロップもしくは、ファイル選択フィールドからアップロードし、下にアップロードされた画像を表示する形です。 Ajaxなどを使ってアップロードされた時点でサーバーに保存するのではなく、送信ボタンが押された時点でサーバーに画像がアップロードされる仕様です。 今回はスタイルを最低限しか当ててないため質素ですが、こういったUIはCMSの管理画面などでよく見ると思います。 実装 まずHTMLを作っていきます。今回は最低限のスタイルで済ませるので、インラインでスタイルを書いています。 <html lang="ja"> <head> <meta charset="UTF-8"> <title>ドラッグ
Pythonクイックリファレンス 第4版
本書はPythonの機能を十分に活用するためのリファレンスです。チュートリアルとしての「Pythonを使ってみる」、型アノテーションや文字列といった「Python言語と組み込み機能」、ファイルやテキスト、時間の操作、数値処理などをまとめた「Pythonの標準ライブラリと拡張モジュール」、HTTPの処理や構造化テキストを学ぶ「ネットワークとWebプログラミング」、バージョン移行などに関する「拡張、配布、バージョンのアップグレードと移行」という5部構成となっています。Pythonを本格的に学びたい人から、さらなるスキルアップを目指したい人まで、Pythonを最大限に活用するための有益な情報がぎっちり詰まった1冊です。Python 3.11対応。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷
前回あげた写真のExif回転の話でサンプルにも使ってましたが、ファイルをドラッグ&ドロップでアップロードできるよう実装した話。 特にライブラリなしで素のJavascriptでの実装になります。 以下が前回の記事 iPhone[iOS]で縦向きの写真がPCブラウザで横向きになってしまう話とJS/CSSでの解決方法【Exif】iPhoneで撮影した画像をアップロードした際に縦向きの写真がPCのブラウザで確認すると横向きになってしまったことはないでしょうか。今回はそんな話とフロントエンドでの解決方法になります。はじめは以下みたいな画像投稿画面作成して、i...kuwk.jp2020.02.29 今回の実装サンプルがこんな感じです。 htmlとcss 主要部分のhtmlとcssはこんな感じです。 <div id="upFileWrap"> <div id="inputFile"> <!-- ドラッ
はじめに 本記事では、文書分類器を実装するための特徴抽出方法としてのTF(Term Frequency method)法について解説する。 1. 形態素解析 文書分類では、文書内の単語の情報を利用する。日本語は英語のように単語の区切りが明示された分かち書き言語ではなく、非分かち書き言語であり、そのため、文書内の各文を単語に分割する必要がある。文を単語に分割し、各単語の品詞を推定することを形態素解析という。 ここでは、オープンソース形態素解析ソフトウェア MeCab(めかぶ)を使う. • http://taku910.github.io/mecab/ 2. 特徴抽出 分類問題を扱う際、一般に、データ中の、分類に利用する情報のことを特徴量と呼び、この特徴量をデータから抽出する作業を特徴抽出と呼ぶ。 文書の分類では、文書中の単語が特徴量として利用される。 文書内の各単語の出現頻度は、しばしば、単
VoD 動画配信環境がサクッと作れるソリューション「Video on Demand on AWS Foundation」を触ってみた | DevelopersIO
VoD 動画配信環境がサクッと作れるソリューション「Video on Demand on AWS Foundation」を触ってみた こんにちは、大前です。 AWS MediaServices に関するソリューションガイドで気になるものが追加されていたので、今日はこちらを触っていきたいと思います。 Introducing Video On Demand on AWS Foundation どんなソリューションか AWS 上で VoD 動画配信を行うソリューションとなります。今までも Video on Demand on AWS という VoD 動画配信に関するソリューションは提供されていましたが、VoD 動画配信に関する 2つ目のソリューションとして追加されました。 構成 ソリューションの紹介ページ に添付されている構成図は以下です。 元々あった Video on Demand on AW
Running OCR against PDFs and images directly in your browser
30th March 2024 I attended the Story Discovery At Scale data journalism conference at Stanford this week. One of the perennial hot topics at any journalism conference concerns data extraction: how can we best get data out of PDFs and images? I’ve been having some very promising results with Gemini Pro 1.5, Claude 3 and GPT-4 Vision recently—I’ll write more about that soon. But those tools are stil
備忘録 input:fileの画像登録時にドラッグ＆ドッロップでinputに値を渡し、プレビューを出す記述。 （通常登録も対応） JSライブラリ依存せずに使用（してるはず）。 CODEPEN See the Pen 画像をドラッグ＆ドロップで登録してプレビュー表示 by manabu tanaka (@tonkatsu) on CodePen. 記述 <form method="post" enctype="multipart/form-data"> <div id="dragDropArea"> <div class="drag-drop-inside"> <p class="drag-drop-info">ここにファイルをドロップ</p> <p>または</p> <p class="drag-drop-buttons"> <input id="fileInput" type="file"
視点の先に画像を配置するだけのシンプルすぎるゲームです。 スペースキーを押すと画像を空間内に置けます。 マウスで視点移動です。 import http.server # HTTPサーバーの機能を提供 import socketserver # 簡単にサーバーを構築するためのモジュール import tempfile # 一時ファイルを作成するためのモジュール import webbrowser # デフォルトのウェブブラウザを操作するためのモジュール import random # ランダムな値を生成するためのモジュール # HTMLとJavaScriptのコードを文字列として定義 html_content = """ <!DOCTYPE html> <html> <head> <title>僕だけのオープンワールド</title> <style> body { margin: 0; ov
Amazon Cognito Hosted UIで、署名付きURLを使用し認証ユーザーごとにプレフィックス分けてS3バケットにアップロードする | DevelopersIO
Amazon Cognito Hosted UIで、署名付きURLを使用し認証ユーザーごとにプレフィックス分けてS3バケットにアップロードする はじめに 本記事では、Amazon Cognito Hosted UIを利用して、単一のS3バケットに対して署名付きURLを用いて、認証済みユーザーごとにプレフィックスを分けたアップロード方法を解説します。 この手法により、各ユーザーのファイルを効率的かつセキュアに管理することが可能になります。 以前、クライアントからEC2インスタンス経由でS3バケットにファイルをアップロードする方法を紹介しました。しかし、この方式では、大容量ファイルのアップロード時にEC2インスタンスに過度な負荷がかかるという課題がありました。 今回は、署名付きURLでクライアントから直接S3にファイルをアップロードする方式で試してみます。 S3の署名付きURLは、S3バケット
【Java 基本】 Checked Exception と Unchecked Exception について - Qiita
Checked: コンパイル時にチェックされる例外 もしあるメソッド内部のコードがchecked exceptionを投げうる場合は、そのメソッドはその例外をtry/catchで処理するか、throwsキーワードで指定しておく必要がある. (詳細: try/catch か throws Exception か) 例えば、以下のコードを考える. このコードでは、FileReader()を使っているが、FileReader()はFileNotFoundExceptionというchecked exceptionを投げうる(throwsしている)ため、このままではコンパイルしない. また、readLine()メソッドや、close()メソッドも使っているが、それらもIOException を投げうる. import java.io.*; class Main { public static voi
Amazon SageMaker による動画内のスポーツハイライトの自動検出 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker による動画内のスポーツハイライトの自動検出 この記事は、”Automatically detect sports highlights in video with Amazon SageMaker” を翻訳したものです。 動画からハイライトを抽出するのは、時間がかかり、複雑なプロセスです。この記事では、機械学習（ML）ソリューションを使用して、オリジナルの動画コンテンツからハイライト動画を自動的に作成する、スポーツイベントのインスタントリプレイに関する新たな取り組みを紹介します。ハイライト動画はダウンロード可能で、ユーザーが Web アプリで継続して視聴することができます。 Amazon SageMaker を使用して、ノーカットのスポーツ動画 (今回はサッカーの試合) を分析し、元の動画のハイライト (ペナ
この記事の目標 S3バケットに動画ファイルがアップロードされたら、自動的にストリーミング再生用に変換してS3バケットに保存する仕組みを構築していきます。 STEP1: 事前準備 ここでは必要な下準備を行っていきます。 S3バケットの作成 S3バケットは、バケット名以外はデフォルトで作成します。 作成したS3バケットの中にさらにinputフォルダとoutputフォルダを作成します。 inputフォルダに元の動画データがアップロードされ、変換後のファイルがoutputフォルダに出力されるイメージです。 inputフォルダにテストデータを置いておきます。 MediaConvertテンプレートの作成 ファイルを変換するにはAWS Elemental MediaConvertというサービスを使用します。 1回限りの変換ジョブを単体で作成することもできますが、今回はS3にファイルがアップロードされるた
PEP 594 – Removing dead batteries from the standard library | peps.python.org
PEP 594 – Removing dead batteries from the standard library Author: Christian Heimes <christian at python.org>, Brett Cannon <brett at python.org> Discussions-To: Discourse thread Status: Final Type: Standards Track Created: 20-May-2019 Python-Version: 3.11 Post-History: 21-May-2019, 04-Feb-2022 Resolution: Discourse message Table of Contents Abstract Rationale Deprecation schedule 3.11 3.12 3.13
MediaLiveでの配信終了時に自動でアーカイブファイルを変換する仕組みを作ってみた | DevelopersIO
こんにちは、大前です。 MediaLive での配信終了時に自動で MediaConvert の変換ジョブを走らせる仕組みを作ってみました。 構成図 構成は以下の通りです。 MediaLive から S3 にアーカイブを出力するように設定 CloudWatch Events で MediaLive チャネルのステータスを監視 MediaLive チャネルが「停止」になったら指定の Lambda 関数を呼び出す Lambda 関数から MediaConvert の変換ジョブをリクエスト MediaConvert がアーカイブファイルに対して変換ジョブを実行 やってみた 実際にやってみます。 1. MediaLive チャネルを作成 まずは、MediaLive の設定をしていきます。チャネル作成時の詳細な手順を確認したい場合はこちらを参照ください。 チャネル名を入力し、ロールを選択 入力をアタ
h2 2020-03-08T23:50:58.701251Z app/xxxxxx-prod-alb/xxxxxxxxx 222.222.222.222:64202 - -1 -1 -1 302 - 1254 224 "GET https://example.com:443/action_store HTTP/2.0" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 - "Root=1-xxxxxxx-xxxxxxxxxxxx" "at.m3.com" "arn:aws:acm:ap-northeast-1
標準入力を1行ずつ処理する
Ruby の while line = gets puts line end は、コマンドライン引数で与えられたファイルを一つずつ開いて1行ずつ読み込み、出力するループである。コマンドライン引数でファイルを指定しなければ、標準入力から1行ずつ読み込む。 これと同じことをするための仕組みが Python の標準ライブラリの fileinput モジュールで提供されている： import fileinput for line in fileinput.input(): print(line, end="") # または print(line.rstrip()) fileinput.input() に引数でファイル名（のリスト）を与えれば、それが優先される。 Ruby の gets と違い、ループの中で余分に行を読み込むことはできない。 標準入力だけ読めばよいなら、次のようにできる： impor
文字コード
文字化け 文字が糸へんの難しい文字などに化けるのは、UTF-8のバイト列をShift JIS（またはそれをMicrosoftが拡張したCP932（コードページ932））として解釈されてしまったためである。 例えば「あいうえお」というUTF-8文字列は、メモリ中で次のように保存されている： "あいうえお".encode("utf-8") b'\xe3\x81\x82\xe3\x81\x84\xe3\x81\x86\xe3\x81\x88\xe3\x81\x8a' つまり16進で e3 81 82 e3 81 84 e3 81 86 e3 81 88 e3 81 8a である。これをShift JISのバイト列と解釈すると、縺 (e3 81) ゅ (82 e3) ＞ (81 84) 縺 (e3 81) 解釈不能 (86) 縺 (e3 81) 医 (88 e3) ♀ (81 8a) となる。これ
[JavaScript] 動的にinput[type=file]を組み立てて画像をアップロードしたらBase64が手に入るコード - Qiita
public getPictureFromBrowser() { /* * input[type=file] を組み立て */ const inputFile: HTMLElement = document.querySelector('input#browserPhotoUploader'); return new Promise(resolve => { /* * input[type=file] の変更（change）を検知したら、ファイルをアップロードしてresolveする */ inputFile.addEventListener( 'change', (e) => { const file = e.target.files[0]; const reader = new FileReader(); reader.onload = (fileInput => { /* * アップロ
![[JavaScript] 動的にinput[type=file]を組み立てて画像をアップロードしたらBase64が手に入るコード - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0a32580e10e3ae127dc643399d92011f47e279b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCSmF2YVNjcmlwdCU1RCUyMCVFNSU4QiU5NSVFNyU5QSU4NCVFMyU4MSVBQmlucHV0JTVCdHlwZSUzRGZpbGUlNUQlRTMlODIlOTIlRTclQjUlODQlRTMlODElQkYlRTclQUIlOEIlRTMlODElQTYlRTMlODElQTYlRTclOTQlQkIlRTUlODMlOEYlRTMlODIlOTIlRTMlODIlQTIlRTMlODMlODMlRTMlODMlOTclRTMlODMlQUQlRTMlODMlQkMlRTMlODMlODklRTMlODElOTclRTMlODElOUYlRTMlODIlODlCYXNlNjQlRTMlODElOEMlRTYlODklOEIlRTMlODElQUIlRTUlODUlQTUlRTMlODIlOEIlRTMlODIlQjMlRTMlODMlQkMlRTMlODMlODkmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTc3MmMxMDBhM2ZiOWFlYjBkMzNiNzgyN2ZkYmM1Yzdm%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDByZGxhYm8mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTFlYmZmZDllNDE5MzA2NjhmZGMzYjA1NTczMTNiZmJm%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D98f0e61628e9699d422a6ee72ee4d5b6)
multipart/form-dataで、日本語ファイル名が文字化けする(API Gateway, Lambda構成) - Qiita
multipart/form-dataで、日本語ファイル名が文字化けする(API Gateway, Lambda構成)content-type文字化けlambdaAPIGateway はじめに API Gateway, AWS Lambda構成で、multipart/form-dataを使ってファイル送信をした際に、日本語ファイルが文字化けする事象に遭遇しました。その対応方法についてまとめます。 対象となる読者 multipart/form-dataを使って日本語ファイルを送信したが、ファイルが文字化けして困っている方 Lambda実行環境 Node.js 18.x multipart/form-dataで送信したデータのバックエンド処置には nachomazzara/parse-multipart-dataを使用 結論 最初に結論だけ述べると、フロント側でファイル名をエンコードして、デー
Seth Michael Larson pointed out that the Python gzip module can be used as a CLI tool like this: This is a neat Python feature: modules with a if __name__ == "__main__": block that are available on Python's standard import path can be executed from the terminal using python -m name_of_module. Seth pointed out this is useful if you are on Windows and don't have the gzip utility installed. This made
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Writing a C compiler in 500 lines of Python
Sudachi同義語辞書をElasticsearchで使う（暫定方法）
OpenCV.jsをJavaScript/Node.jsで使ってみた | DevelopersIO
ドラッグ&ドロップでファイルアップロードする | バシャログ。
ファイルをドラッグ&ドロップでアップロード【ライブラリ不使用Javascript】 - blog | kuwk.jp
形態素解析の結果を利用してTF法により特徴抽出をする - Qiita
画像をドラッグ＆ドロップで登録してプレビュー表示 - Qiita
僕だけのオープンワールド というゲーム。 - Qiita
S3に動画がアップロードされたら自動でHLS出力する仕組みを作る | DevelopersIO
AWS ALB のアクセスログをJSON形式に整形する - Qiita
CLI tools hidden in the Python standard library