BrythonBrython
「aws lambdaでpythonを実行するときのチューニング案を試してみた！」というタイトルで登壇しました。 | DevelopersIO
こちらのコールドスタート関連については弊社岩田の資料が大変わかりやすいのでオススメです。 Serverless Meetup Osaka #5 で「VPC Lambda×RDSのデメリットについて正しく理解しよう！!」というテーマで発表してきました #serverlessosaka ｜ DevelopersIO では次のコードを見てください。 import time class sleep_class(): def __init__(self): time.sleep(2.0) self.init_time = time.time() def lambda_handler(event, context): s = sleep_class() print(s.init_time) 初期化に2秒ほどかかるsleepクラスがあります。これをLambdaで複数回実行すると次のような結果になります。
だから僕はpandasを辞めた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita
データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型
ShellでSeleniumを作る ~Shellnium~ - Qiita
はじめに この記事はQiita夏祭り2020のイベントの1つ、パソナテックさんが開催している「〇〇（言語）のみを使って、今△△（アプリ）を作るとしたら」のテーマで投稿しています。 いやぁ良いお題ですよね。エンジニア心揺さぶられるし、景品も豪華だし、何よりちょっとワクワクしたので参加させていただきました。 今回は「ShellでSeleniumを作る ~Shellnium~」というお題でやっていきます。下記はShellniumで遊んでいるGIFです。 ブラウザの自動操作の模様をiTermの背景として鑑賞することができます。意味不明さがすごいですね。(透明度をいじってるとかではありません) いろんな言語でSeleniumは扱える Seleniumは皆さん御存知の通り、ブラウザの自動操作をするツールですね。 SeleniumはWebDriverを介してブラウザの自動操作を行っていくもので、php,
AWS Lambda からサービスアカウントで Google APIs を叩くまでにやったこと | DevelopersIO
コンサルティング部の西野です。 AWS Lambda からサービスアカウントを使用して Google APIs を叩く機会がありましたので、その手順を紹介します。 やりたいこと G Suite ドメイン内のユーザーによって Google Drive 上に保存されたファイルの名称を AWS Lambda 経由で取得することをゴールとします。 構成図 server-to-server (Lambda to Google API) で API をコールするためサービスアカウントを用いる Using OAuth 2.0 for Server to Server Applications AWS リージョンはアジアパシフィック（東京）/ ap-northeast-1 を使用 API コール用のサービスアカウントキーを SSM Parameter Store に SecureString として保存す
【Python】pandas DataFrameの値を更新 - ITips
pandasのDataFrameの値を更新する方法がいくつかあるので、後で見返す為にも更新方法をまとめておく。 以下のlocやwhereの他に一括更新の方法がある。 DataFrameの値を更新する方法 pandasのDataFrameの値を更新する方法がいくつかあるが、大きく以下の３つの方法に分けられる。 値を一括代入 条件に合致するカラムを更新 別のDataFrameで上書き 各方法についてDataFrameを用いながら説明する。 import pandas as pd data_list1 = [ [1,2,3], [2,3,4], [3,4,5] ] col_list1 = ["c1","c2","c3"] df1 = pd.DataFrame(data=data_list1, columns=col_list1) print(df1) # c1 c2 c3 # 0 1 2 3 #
Python を Go に書き換えるとどれくらい速くなる？ 7つの言語で Dijkstra の実行速度を比較 - Qiita
Python を Go に書き換えるとどれくらい速くなる？ 7つの言語で Dijkstra の実行速度を比較KotlinRustベンチマークJuliaDijkstra これは何 最短経路探索のアルゴリズムを使っていくつかの言語の性能がどれくらい違うかを調べてみました。 Python は手軽に実装できるけど遅い、Go は 早いけど C++ よりは遅い? 本当? のような疑問を一定解消したかったというのが動機です。 前提条件など 対象とする言語 本命 Go, Rust, C++ 興味本位 Julia Python より段違いに早ければもう少し掘ってみたい 興味本位 Kotlin 意外とトップ集団に肉薄するのではないか 参考 Python JavaScript 性能差のイメージとしては Rust == C++ > Go >> Kotlin >>> JavaScript > Python == J
Pythonによる財務分析① バフェットコードをつかって完全レクチャー！ (全8回) | DeFi Labo
Python初心者企業の財務分析をしたいけど、なにをしたらいいのかわからないよ。。。 この記事は10分程で読むことができます！ この記事では、Python初心者でもできるように、財務諸表分析をレクチャーしていきます！ 本記事は、全8回に渡って掲載される「pythonによる財務分析‐バフェットコードを用いて完全レクチャー！」シリーズの第1回になります！ このシリーズを読むとわかることPython初心者でも、数百数千の企業の財務データを分析出来るようになる！ 最終的に重回帰分析といった機械学習的手法もマスターできる！ 重回帰分析をマスターすれば、株式投資のリターン予測を行う事が出来るようになり、プログラミングだけでなく投資のスキルも磨けます！ また、ファイナンス系以外の幅広い分野の研究機関でも、この分析手法を利用した論文も多々ある為、教養としても覚えて損はないです！ 是非、全8回を読みPyth
keras-yolo3 で独自データセットに対して学習させる方法 - ほぼPython
宣伝 人工知能が顔面成分を分析してくれるサイトを作りました。ぜひ使ってみてください！ ちなみにTensorflow.jsで作成しているのですべての処理がユーザーのブラウザで行われます。つまり、画像をアップしてもそれがサーバーに送られることはなく、セキュリティ的にも安心です。 ai-animal.web.app 何番煎じなんだって感じもしますが、まとめておきます。 「keras-yolo3で学習済みモデルを使って一般的な物体検出はできた」という方が対象です。 ちなみにkeras-yolo3とは物体検出を行う深層学習モデルYOLOv3をkerasで実装した有名なgitHubリポジトリのことです。 github.com さて、独自データセットで学習させるためには大きく分けて3つのことをする必要があります。（執筆時点） ・データのアノテーション ・train.pyによる学習 ・独自データによる学習
[PyConJP2019]Pythonで切り開く新しい農業
[DL輪読会]Grandmaster level in StarCraft II using multi-agent reinforcement lear...
![[PyConJP2019]Pythonで切り開く新しい農業](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d84bf00a638a617da5aac80e8d4f3038a2fd93b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fpyconjp2019-190915165002-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Pythonのスクリプトからウェブアプリを簡単に作れるStreamlitをさわってみた | DevelopersIO
どうも、DA 事業本部の大澤です。 The fastest way to build custom ML toolsと謳っているStreamlit をさわってみました。HTMLやJS、CSSをいじることなく、Pythonのスクリプトからウェブアプリが作れて便利さに感動しました! streamlit/streamlit: Streamlit — The fastest way to build custom ML tools 今回はStreamlitに含まれるサンプルアプリを動かした後に、Pandasのデータフレームを使った簡単なウェブアプリを作ってみたので、その内容を紹介します。 やってみる インストール Streamlit は pip でインストールすることで使えます。 pip install streamlit サンプルを動かす デフォルトでサンプルアプリケーションが用意されているので
【入門】Pythonによる人工衛星データ解析（Google Colab環境） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 〜衛星データとは〜 人工衛星データとは、人工衛星を利用した**“リモートセンシング”**によって取得されたデータを指します。 これまで人工衛星データは専門ツールや大容量データ処理基盤が必要なため、利用できる組織は大学機関や一部の専門機関が限られていましたが、昨今のオープンソース・ライブラリの普及やデータ処理基盤のクラウド利用により、一般組織でも気軽に人工衛星データを扱える外部環境が整ってきました。 衛星データを利用することで、これまで取得することができなかった様々な場所・時間・対象の状態をビッグデータで解析することが期待できま
タスクランナーをmakeからcargo-makeへ移行
[tasks.BUILD] description = "Build hoge" script = [''' #!/usr/bin/env bash echo "build ${@}..." '''] [tasks.TEST] description = "Test hoge" script = [''' #!/usr/bin/env python3 print("test ...") '''] dependencies = ["BUILD"] $ makers TEST -- --option-a --option-b [cargo-make] INFO - makers 0.20.0 [cargo-make] INFO - Using Build File: Makefile.toml [cargo-make] INFO - Task: TEST [cargo-make] INFO -
日本語の文章をいい感じに文区切りするライブラリを作った - Qiita
はじめに 昨今、自然言語処理技術の発展はめざましく、様々な分野で応用が進められています。 そんな私も自然言語処理技術やAIを活用した業務をこなすことが多いのですが、その中でとりわけめんどくさい（しかし重要な）作業は、様々な前処理に関するものです。 大抵のタスクで実施することになる主な前処理としては、以下のようなものがあります。 クリーニング HTMLタグや記号等、テキスト中のノイズを除去 正規化(normalization) 全角・半角や大文字・小文字等の統一 文区切り(sentence segmentation) 文と文の区切りを検出し分割 単語分割(tokenization) 文を単語の列に分割 ストップワードの除去 解きたいタスクに不要な単語を除去 私は主にPythonを利用しているのですが、これらの中で日本語の文区切りについては適当なライブラリが無く、毎回似たようなコードを書く羽目
Type hints cheat sheet (Python 3) — Mypy 0.910 documentation
Type hints cheat sheet¶ This document is a quick cheat sheet showing how to use type annotations for various common types in Python. Variables¶ Technically many of the type annotations shown below are redundant, since mypy can usually infer the type of a variable from its value. See Type inference and type annotations for more details. # This is how you declare the type of a variable age: int = 1
RにはないPythonの文法・テクニック (演算子/for文/条件分岐 編) - 世界銀行で働くデータサイエンティストのブログ
学生時代からデータ解析にはRをメインで使ってきました。Pythonについてはデータ構造やクラス/インスタンスなど最低限知っておくべきPythonの知識は学んだものの，細かい文法・テクニックなどについて詳しくなく，困ったときにはRのノリ + ググった付け焼き刃で乗り越えてきました。最近仕事でPythonを使う機会が段々多くなり体系的に学ぶ必要があると感じ，『Python 実践入門』と『Python言語によるプログラミングイントロダクション』*1など読み進めています。 Python実践入門 ── 言語の力を引き出し、開発効率を高める (WEB+DB PRESS plusシリーズ) 作者:陶山 嶺発売日: 2020/01/24メディア: 単行本（ソフトカバー） Python言語によるプログラミングイントロダクション：世界標準MIT教科書 作者:John V. Guttag発売日: 2016/05
AWSやGCPといったクラウドサービスのセキュリティ項目を無料で監査できるオープンソースソフト「Scout Suite」レビュー
AWSやGCP、Azureといったクラウドサービスには数多くの設定があり、セキュリティ上の問題に設定画面から気づくのは難しい場合もあります。無料のオープンソースソフト「Scout Suite」では、各クラウドのAPI機能を利用して、クラウド上に構築した環境の設定に対し、セキュリティの問題がないかの監査を行うことが可能です。 GitHub - nccgroup/ScoutSuite: Multi-Cloud Security Auditing Tool https://github.com/nccgroup/ScoutSuite Scout Suiteが記事作成時点で正式に対応しているサービスは、AWS、GCP、Azureの3サービス。Alibaba CloudとOracle Cloud Infrastructureには実験的に対応しています。今回はGCP上のプロジェクトに対し、Scout
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonを33文字でセグフォらせる - Qiita
爆速python-fire - Qiita
GitHub - streamlit/streamlit: Streamlit — A faster way to build and share data apps.
