初心者のためのPythonにおけるlogging入門 - MyEnigma
The Python 3 Standard Library by Example: Pyth 3 Stan Libr Exam _2 (Developer's Library) (English Edition) 目次 目次 はじめに loggingモジュールの基本的な使い方 コマンドラインからログのレベル変更 モジュール毎のロガー設定とロギングレベルの変更 loggingのhandler loggingで使えるhandler loggingのfilter 設定ファイルによるロガーの設定 参考資料 MyEnigma Supporters はじめに 自分以外の人に使用されるソフトウェアを開発している場合、 自分の手元では発生しない問題や、 たまにしか発生しない問題に悩まされることが多いと思います。 そんな場合は、手元で再現することができないので、 ソフトウェアにロガーを埋め込み、 その問題が
poetryを利用した動的なバージョン管理とGitHub ActionsによるPyPIへのrelease - Stimulator
はじめに この記事を読んで出来る事 poetryによる外部モジュールバージョン管理 poetry-dynamic-versioningによる動的なバージョン付与 GitHub Actionsを利用したPython周りの基本的なCI/CD設定 GitHubのReleaseタグ付与をTriggerとしたPyPIへのアップロード 今後私がPythonで何かライブラリ作ろうと思ったらこれを実施するぞというメモです はじめに poetryによるモジュールバージョン管理 PyPIへのアップロード GitHab Actionsを用いたCI/CD その他GitHubでやること 参考 poetryによるモジュールバージョン管理 バージョンをGitHubのタグで管理したい事の方が多いはず。 setup.pyを利用する場合は、一般的にsetuptools_scmを使うが、poetryはsetup.pyのようにb
ChromebookでJupyter Notebookを動かす―Anaconda
Amazonで池内 孝啓, 片柳 薫子, 岩尾 エマ はるか, @drillerのPythonユーザのためのJupyter[実践]入門。アマゾンならポイント還元本が多数。池内 孝啓, 片柳 薫子, 岩尾 エマ はるか… なおこの記事は、自身のChromebookでLinux(ベータ)が動作していることを前提とします。 インストールまずはAnaconda をインストールします。Pythonに加えて、いろいろなライブラリ（統計処理に使ったり、グラフを書いたりするのに使います）や、Jupyter Notebookなども一緒にインストールしてくれます。 Anaconda インストーラ ダウンロード 注意点としては、Linux版であること、あと特別な理由がない限りはPython3（2019/05/14時点ではPython 3.7）の方をダウンロードすることですかね。 ダウンロードすると、やたらでっか
あなたのサーバーは大丈夫？安全なHTTPS設定の確認方法・検証ツール - Qiita
はじめに 本記事では日々変わっていく安全なHTTPS(SSL/TLS)の設定に関する確認手段を紹介します。常にセキュリティ系のニュースをウォッチするのが理想なのですが、完全に追いつくのは至難の業ですよね。 脆弱性とは Wikipedia セキュリティホールより セキュリティホール は、脆弱性についての俗表現である。 脆弱性は、コンピュータソフトウェアの欠陥（バグ、不具合、あるいはシステム上の盲点）の一つで、本来操作できないはずの操作（権限のないユーザが権限を超えた操作を実行するなど）ができてしまったり、見えるべきでない情報が第三者に見えてしまうような不具合をいう。ハードウェアおよびそれを含めたシステム全般の欠陥を指すこともある。 製品XXXのバグにより第三者に悪用されてしまう！といったものから、先日のインテルCPUに対するMeltdown, Spectreといった、仕様に対する脆弱性まで様
Backdoor Attack in Python
Hacking is to identify weaknesses in computer systems or networks to exploit its vulnerabilities and gaining access. Hacking means using computers to commit fraudulent acts such as fraud, privacy invasion, stealing corporate-personal data, etc. Cybercrimes cost many companies millions of dollars every year. Businesses need to protect themselves against such attacks. On the other hand, Python is a
Pythonのフレームワーク「FastAPI」をEC2で実装する | DevelopersIO
こんにちは、沖縄在住の下地です。コロナの影響でリモートワークになり早一ヶ月経ちました。家で業務をするというのは違和感はあるのですが通勤しなくて良いというのはとても魅力的だなと思い始めてます。 本日はPythonのフレームワークであるFastAPIについて興味がありEC2で実装したのでまとめたいと思います。 全体像 EC2でFastAPIを実装し、Amazon RDS(RDS)と接続し、CRUDのAPIを作成します。EC2とRDSは起動している状態からスタートします。 開発環境 環境としては以下の仕様で行います。 python: 3.7.6 sqlalchemy: 1.3.15 OS: Amazon Linux 2 AMI (HVM), SSD Volume Type MySQL Community Edition: 5.7.22 EC2のセキュリティグループ設定 EC2でFastAPIを実
python3標準ライブラリのみで自分のIPアドレスをみたいなら、"8.8.8.8"に繋いで返り値を見る手がある - Bye Bye Moore
まさにその発想はなかった……という感じなのですが ベトナムや中国でネットを使ったことがある人にはお馴染みの"8.8.8.8"に接続し、 そこで返ってきたソケット名をもって自分のIPをしる方法があります。 import socket s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.connect(("8.8.8.8", 80)) s.getsockname() # >>> ('192.168.100.101', 52964) s.getsockname()[0] # >>> '192.168.100.101'文字列で返ってくるので、標準ライブラリipaddressとの連動も可能 import ipaddress paddress.ip_address(s.getsockname()[0]) IPv4Address('192.168
Go vs Rust : 特徴量DBに適するのはどっち！？ (2020-04-14 実験追記) - ABEJA Tech Blog
ABEJA で Research Engineer をやっている中川です．普段は論文読んだり，機械学習モデルを実装したり，インフラを構築したりしています．今回のブログでは，Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語選定について紹介します． ※ たくさんの方々からのコメントありがとうございます．いただいた観点をベースに「2020-04-14 追記」以下に実験を追加しました． モチベーション リピート分析では，任意の特徴量をクエリに最も類似した特徴量を数100msec以内に検索する必要があり，一般的なデータベースでは実現することが難しいという課題がありました．そこで，われわれは python で独自のインメモリデータベースを実装し運用してきました．このデータベースがサービスの成長に合わせて限界を迎えつつあるので，アルゴリズム
Python が Cloud Functionsで使えるようになったので試してみました - astamuse Lab
こんにちは、アスタミューゼでデザイナーをしている@YojiShirakiです。最近、細かい自動化したい処理が増えてきて困っておりまして。そんな折に Cloud Functions で Python が使えるようになったと聞いたので早速触ってみようかと。 そこそこちゃんと書いたので、読む時間が無い方はブックマークすることをおススメします。 目次 Cloud Functions とは 今回の練習アプリ 前提 JSON キー の発行と管理 権限の追加 Search Console へのアカウント追加 KMS を利用して JSON 鍵 を暗号化する JSON 鍵 を暗号化するための暗号鍵を作成 暗号鍵を用いて JSON 鍵 を暗号化 バイナリファイルを文字に変換する Cloud Functions のコード 構成 main.py BigQuery のテーブルスキーマ function のデプロイ
PythonからDataprocを操作してシームレスに並列処理を実現する - astamuse Lab
初めまして。2019年6月にAstamuseにjoinした rinoguchi です。 ついに昨日、日本でも緊急事態宣言が出ましたね。小学校の休校も１ヶ月程度延長されましたし、会社もリモートワークにほぼ移行してますし、ここできっちりウイルスの拡散を防ぎたいところです。 ちなみに、妻がドイツに単身赴任中なのですが、ドイツでは感染者は多くて外出自粛モードになっているものの、現地の人たちはせっかくだからと日曜大工したり、庭を改造したりとそれなりに楽しんでいるみたいです。私たちも制限された環境の中ですが、せっかくなので楽しみたいですね！ 屋根瓦. なんとなく並列処理を連想しませんか？ はじめに それはそうと、私は当社で、特許データなどの名寄せ（同一人物に対してユニークなIDをふる作業）を担当しております。 特許の名寄せには、人物名・組織名・出願日・共同出願人など様々な特徴を利用するのですが、中国人
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのXじゃ言えない話
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
Pythonの列挙型 (enum) - け日記
これまで定数クラスを作ってやり過ごすことが多かったのですが、enumが比較的使いやすかったので、 enum enumはPython 3.4から標準ライブラリに追加されたモジュールで、列挙型をサポートするものです。 docs.python.org 実装 最初にenumをインポートしておきます。Python 3.7.4を使っています。 import enum BTreeなどの木構造のノードを考えてみます。各ノードは根ノード (ROOT) 、中間ノード (INTERNAL) 、葉ノード (LEAF) の3種類のいずれかに分類されるものとします。 それをTreeNodeTypeという列挙型で表現すると、以下のようになります。Enumクラスを継承することで実装します。 列挙子 (ROOTなどの識別子) はnameとvalueとプロパティを持ってます 列挙子同士は比較可能ですが、列挙子と同じEnumオ
Pythonにおける型ヒント入門 - MyEnigma
Advanced Python Development: Using Powerful Language Features in Real-World Applications 目次 目次 はじめに Pythonの型ヒント 型アノテーションの書き方 静的型チェッカー mypy インストール方法 ターミナル上での使い方 mypy.iniの作り方 PyCharm PyCharmでの型入力 PyCharmでの型チェック CI上でチェックする 参考資料 MyEnigma Supporters はじめに Pythonは動的言語で、 型を指定する必要は無いのですが、 それが原因で、意図しない入力が関数が入力されたりして、 バグの温床になりがちです。 そこで、Python3.5あたりから、 型ヒント(型アノテーション)という機能が追加されました。 docs.python.org これにより、変数や、関数
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
Pythonの正規表現モジュールreの使い方（match, search, subなど） | note.nkmk.me
Pythonで正規表現の処理を行うには標準ライブラリのreモジュールを使う。正規表現パターンによる文字列の抽出や置換、分割などができる。 re --- 正規表現操作 — Python 3.11.3 ドキュメント 正規表現 HOWTO — Python 3.11.3 ドキュメント ここではまずreモジュールの関数やメソッドについて説明し、そのあとで、reモジュールで使える正規表現のメタ文字（特殊文字）・特殊シーケンスについて説明する。基本的には標準的な正規表現のシンタックスだが、フラグの設定（特にre.ASCII）は要注意。 正規表現パターンをコンパイル: compile() reモジュールで正規表現の処理を実行する方法は2つある。 関数で実行 1つ目は関数。re.match(), re.sub()のように正規表現パターンを用いた抽出や置換などの処理を行う関数が用意されている。 関数の詳細に
分かりやすいpythonの正規表現の例 - Qiita
import re # rを付けることを推奨。 # バックスラッシュをそのままで分かりやすいため。 content = r'hellow python, 123, end.' pattern = 'hel' result = re.match(pattern, content) if result: #none以外の場合 print(result) # output:<_sre.SRE_Match object; span=(0, 3), match='hel'> print(result.span()) # output:(0, 3) print(result.group()) # output:hel
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - serverworks-annex/git2wiki at develop
Microservice in Python using FastAPI
Pythonでの正規表現の使い方 - Qiita
