ゼロから始めるPaperspace Gradient【Google Colab代替サービス】 - Qiita
Information 2024/10/7： ストレージとして Amazon S3 をマウントする方法を 10 章に追記しました。 これにより、コストの安い S3 をストレージとして使用できるため、 Paperspace のストレージ容量が少ない問題を解決できます（ S3 の料金体系については 9 章を参照）。 特定の torch や cuda のバージョンのコンテナで notebook を起動するする方法を 3 章に追記しました。 「torch==2.4.0 でないとライブラリが動かせない！」といった場合にお試し下さい。 はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggle
GitHub - eth0izzle/bucket-stream: Find interesting Amazon S3 Buckets by watching certificate transparency logs.
Find interesting Amazon S3 Buckets by watching certificate transparency logs. This tool simply listens to various certificate transparency logs (via certstream) and attempts to find public S3 buckets from permutations of the certificates domain name. Be responsible. I mainly created this tool to highlight the risks associated with public S3 buckets and to put a different spin on the usual dictiona
PythonでMySQLのスロークエリログを集計 | 外道父の匠
久々に溜まったブログネタ放出をしようかなと、その前に下書きから掘り起こしてきた、いまさらなスロークエリ関連で準備運動です。 RDSのスロークエリ情報は当然、集計を自動化していつでも見れるようにしてあるのですが、ちょいと必要があったので、今回はあえて単発ログを集計する形に切り出したものを用意してみました。 スロークエリログの必要性 最近はNewRelicとかで、アプリケーションの処理を分別して処理時間などを集計するので、それで課題となるクエリを確認したりもします。 非常に便利な仕組みですが、アプリケーション外のジョブなどが実行したクエリは集計されないことや、負荷試験で課題を炙り出すときだとテスト環境にエージェントやライブラリを仕込む必要がある、といったデメリットとまでは言わないまでも面倒さがあります。 その点、スロークエリはサーバー側で記録するものなので、0.1秒とかでONにしておけば、対象
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
Scrapyでクロールし、S3へアップロードしたhtmlファイルを本文抽出して、Elasticsearchのインデックスへ保存したい。 | teratail
###環境: Mac OS 10.13.6, Python 3.8.5, Scrapy 2.2.1, botocore/2.0.0dev38, scrapy-s3pipeline 0.3.0, readability-lxml 0.8.1 前提・実現したいこと クローリングフレームワークのScrapyを使用してAWS S3のバケットにアップロードしたクロール結果htmlファイルを Pythonプログラムから参照し、htmlから本文抽出して検索エンジンのElasticsearchにインデックスする正しい方法を教えていただきたいです。 今回は以下の書籍の内容を組み合わせて、実験を行なっています。 「Python クローリング&スクレイピング データ収集・解析のための実践開発ガイド」 https://scraping-book.com/ 【クロール & S3へアップロード】 はてなブックマークの
内閣府が提供する祝日・休日 csv データをよしなに JSON フォーマットに変換して Amazon S3 に保存する Python スクリプトを書いてみたのと, そこで得たイイ感じでテストを書く, テストを回す為の知見を幾つか - ようへいの日々精進XP
tl;dr 作ったもの 知見 requests.get() を mock で置き換える S3 への put_object を moto で置き換える invoke コマンド Travis CI を使って, 複数の Python バージョンでテスト出来るようにする 以上 tl;dr inokara.hateblo.jp 前回の記事の続きというか, 前回, 突貫で作った Python スクリプトを自分なりに作り直してみました. スクリプトを作り直すにあたって, テストを書いたり, その上で Python 3 系の複数のバージョンでテストを Travis CI で回すようにしてみたり, モックを使ったり, 色々と経験出来たので覚書として残しておきたいと思います. 尚, あくまでも「自分なりに」なので, 誤り等あればご指摘頂けると幸いです. 作ったもの github.com 使い方とかは READ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - 0xSearches/sandcastle: 🏰 A Python script for AWS S3 bucket enumeration.
Python scirpt for counting slow query log and sort it.
GitHub - sa7mon/S3Scanner: Scan for misconfigured S3 buckets across S3-compatible APIs!
Fun with Amazon S3— Leaks and bucket takeover attack
GitHub - commoncrawl/cc-pyspark: Process Common Crawl data with Python and Spark
Creating a Project Sonar FDNS API with AWS - Security Risk Advisors