仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編 | フューチャー技術ブログ
BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py
PythonでApache beam 入門
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
Chepy：CyberChef の機能を備えた Python ライブラリ/CLI - setodaNote
Chepy は CyberChef の機能を Python や CLI で利用できるようにしたツールです。 CyberChef と同様に変換処理をつなげていくことができたり CLI ではオートコンプリート機能が備わっていたりと便利そうな感じでした。 なお、CyberChef のすべての機能が実装されているわけではないようです（例えば magic はないとのこと）。 GitHub - securisec/chepy: Chepy is a python lib/cli equivalent of the awesome CyberChef tool. https://github.com/securisec/chepy Chepy インストール方法 Python で利用する場合 CLI で利用する場合 使い方のサンプル 更新履歴 インストール方法 Chepy — Chepy do
MyJVN APIを利用した脆弱性情報収集 | DevelopersIO
はじめに 藤本です。 のんのんびよりは二周目でも癒やされます。 概要 みなさん、ソフトウェアの脆弱性対応をどのように取り組んでいますか？ ソフトウェアの多くには潜在的なバグが内在していて、そのバグ、脆弱性を利用されることでシステムが停止したり、情報を漏洩したり、最悪、システムが乗っ取られると言った様々なリスクを抱えています。これらのバグ、脆弱性の情報は様々な組織が運営する脆弱性情報データベースにより公開されることで私達は情報を知ることができます。ただ、脆弱性情報は多くのソフトウェアで小さいものから大きいものまであり、過去3ヶ月で1,790件（NVD検索結果）が報告されています。このように日々報告される情報から必要な情報を探すのは大変な労力を要します。 脆弱性データベース 有名な脆弱性データベースは以下のようなものがあります。 CVE（Common Vulnerabilities and E
はてなブックマーク3万件にみる技術トレンド2020年まとめ - Qiita
tl;dr 2020年1年間のはてなブックマークの人気エントリー3万件をもとに技術トレンドを分析。 その結論とPythonでグラフ化した手順を書き記します。 ※ご指摘がありましたが、技術トレンドというよりitニューストレンドと言った方が正しいかもしれません。踏まえてお読みください。 前置き 手元に2020年の1年間ではてなブックマークの技術カテゴリーにおいて人気エントリーに一度でも乗ったことのある記事のタイトルデータが3万件ほどあったため、形態素解析を行い単語の出現頻度順に並べてみました。欠損の割合としては多くても1割程度、つまり少なくとも9割程度のデータは揃っているはずなので精度はかなり高いと思います。 （※はてなブックマークはNewsPicksみたくインターネット上の記事をブックマーク・コメントでき、より多くブックマークされた記事が人気エントリーとしてピックアップされるサービスです。w
2021年版Pythonの型ヒントの書き方 (for Python 3.9) | フューチャー技術ブログ
Pythonに型ヒントが入ってからしばらく経ちます。型ヒントの立ち位置も、なんでもできるアノテーションとして導入されましたが、型ヒント以外の用途はあまり育たず、型ヒントが中心になり、PEPや仕様もそれに合わせて変化したり、より書きやすいように機能が追加されてきました。 本エントリーでは、Python 3.9時点での最新情報を元に、現在サポート中のPythonバージョン（3.6以上）との互換性の情報も織り交ぜながら、最新の型ヒントの書き方を紹介します。 本エントリーの執筆には、Pythonの型の有識者の@moriyoshi、@aodag、@tk0miya にアドバイスをもらいました。ありがとうございます。 環境構築Visual Studio CodeVisual Studio Codeの場合は、事前にどのインタプリタを利用するかを設定しておきます。その環境にインストールします。venvを使う
Python コードの高速化のアプローチ - Qiita
はじめに こんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。 2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。 グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。 機械学習技術を利用したシステムには様々なものがあると思いますが、 現状のグロービスにおいては、ユーザのリクエストに対して機械学習を行い、 すぐに結果を返す必要があるようなシステムは扱っておらず、 ある程度の時間をかけて学習、推定した結果を非同期にアプリケーションに連携するシステムのみを扱っています。 ゆえに、今のところは機械学習技術を利用したロジックを書くときに、速さを意識することはあまりありません。 一方で、空いている時間に競技プログラミングをやっていることもあり、 高速なコードについて考えたり、書いたりすることは個人的には好
Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版）
import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extract ## title header = soup.find("head") title = header.find("title").text ## description descriptio
javascriptが有効なサイトでsoupを取得 - Qiita
# -*- coding:utf-8 -*- from bs4 import BeautifulSoup def get_soup_uulib2(url): import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'Mozilla/5.0')] page = opener.open(url) soup = BeautifulSoup(page,"lxml") return soup def get_soup_urequests(url): import requests s = requests.Session() r = s.get(url) soup = BeautifulSoup(r.text,"lxml") print soup def get_soup_uselenium
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ethicalhackingplayground/SubNuke: Subdomain Takeover tool with web UI
GitHub - dmitriiweb/extract-emails: Extract emails and links to linkedin accounts from URLs
GitHub - kevincobain2000/email_extractor: Yes it works! God Speed. Email Extractor by Full Url Crawl. Extract emails and web urls from a website with full crawl or option limit, depth of urls to crawl using terminal.
PoetryスクリプトでFastAPIアプリを起動する - Qiita
GitHub - pycabook/pycabook: Source of the book "Clean Architectures in Python"
GitHub - abhinavporwal/ClickJacking-Bug-Testing: Clickjacking is a malicious technique of tricking a user into clicking on something different from what the user perceives, thus potentially revealing confidential information or allowing others to take con
GitHub - tresni/pyHurricaneDNS: Python interface to manage Hurricane Electric DNS records ( http://dns.he.net )
GitHub - fffonion/GeoIPASNum-Generator: Generate MaxMind format GeoIPASNum.dat from bgp.he.net
GitHub - gopenshaw/asn-scraper: Scrape ASN info from http://bgp.he.net
GitHub - perrymacneill/asn-scraper: scrapes ASN info from http://bgp.he.net/report/world
GitHub - JanKari/BGP.HE.NET-RECON: Collects domain names and IP addresses for specified targets by querying https://bgp.he.net/
