DigitalOceanの便利ツール作りました - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに DigitalOceanの管理ツール(dioc)を作成したので、ご紹介します。(利用については自己責任でお願いします。) 操作は、Ubuntu上で、DockerとPython3.5を用います。Windowsの方は、Ubuntuを入れてDockerを使う方法を参考に、VirtualBox、Ubuntu14、Docker1をインストールしてください。 Dockerが使えれば、Dockerイメージdioc-python-3.5を用いてすぐに始められます。 用語 DigitalOcean： AWSのEC2のようなクラウドサービス。 D
pandasのDataFrameで列を追加して、1行ずつ値を代入していく方法 | ITを使っていこう
サンプルコード まずはサンプルコードになります。 下記が入力ファイル。 $ cat in.txt 20170101,38 20160202,28 20180303,10 下記がサンプルコードになります。 $ cat sample.py #!/usr/bin/env python3 # coding: UTF-8 import pandas as pd data = pd.read_csv('in.txt', names=('Date', 'Value'), index_col='Date', parse_dates=True) print("dataの中身を出力") print (data) print("") print ("Addの列を追加") data = data.assign(Add = 0) print (data) print("") print("Addの列に1を代入")
【Python】asyncioの代替ライブラリtrioを調べてみた - 歩いたら休め
この記事はPython その2 Advent Calendar 2018の遅れてきた15日目の記事です。 最近、クローリング用のプログラムのasyncioを使った並行処理のプログラミングをしており、「asyncioのベストプラクティス」という趣旨の記事を書こうと思っていたのですが、自分自身感覚を掴めておらず、「あれ？これってasyncioのAPI自体も微妙なのでは？」「そもそもasyncioのドキュメントのドキュメントを読んでも、どの機能をどう組み合わせて使えばいいか分からない」と思ってしまっていて記事を書きかねていました。 ただ、知人から「trioというライブラリのAPI設計が素晴らしい」と薦めて頂いたのと、あまりにも待たせてしまうのも申し訳ないのでひとまず「調べてみた」レベルでアウトプットを出します。 私はまだ並列/並行/非同期処理に詳しいわけではないので、大きな思い違いをしている可能
人間のためのHTML Parseライブラリ『Requests-HTML』で楽しくデータクローリング - フリーランチ食べたい
Pythonを使ったデータクローリング・スクレイピングは、エンジニア・非エンジニアを問わず非常に人気や需要のある分野です。しかし、いざデータクローリングしようとすると、複数ライブラリのAPIや、ライブラリそれぞれの関連性に混乱してしまうことがよくあります。 昨年公開された「Requests-HTML」はそういった問題を解決する「オールインワンでデータクローリングが行える」ライブラリです。ユーザーは「Requests-HTML」のAPIのみを学習するだけで、サイトへのリクエスト、HTMLのパース、要素の取得を行うことができます。またHeadless Chromeを使うこともできます。 このブログでは「Requests-HTML」が生まれた背景と使い方、そして興味深いポイントについて書きます。 なぜ「Requests-HTML」が必要だったか データクローリング・スクレイピングの人気の高まり
Static Analysis at Scale: An Instagram Story
Instagram Server is entirely Python powered. Well, mostly. There’s also some Cython, and our dependencies include a fair amount of C++ code exposed to Python as C extensions. Our server app is a monolith, one big codebase of several million lines and a few thousand Django endpoints [1], all loaded up and served together. A few services have been split out of the monolith, but we don’t have any pla
Types for Python HTTP APIs: An Instagram Story
And we’re back! As we mentioned in the first part of our blog post series, Instagram Server is a Python monolith with several million lines of code and a few thousand Django endpoints. This post is about how we use types to document and enforce a contract for our Python HTTP APIs. In the next few weeks, we’ll share details on more tools and techniques we’ve developed to manage our codebase’s quali
01_602_Djangoで実践ドメイン駆動設計による実装(大島和輝)
01_602_Djangoで実践ドメイン駆動設計による実装(大島和輝)
Python の __new__ ってなに？ | 民主主義に乾杯
# 2. __new__ は、いつ使うの？ 答え: immutable を初期化したい（本稿で解説） singleton を実装したい（Python でシングルトンを書く） (opens new window) 引数をもとにクラスを切り替えたいとき（メタクラスで紹介） この記事では immutable なオブジェクトを初期化する際に __new__ の使い方について説明させていただきます。 immutable については以下の記事で説明させていただきました。 Python の immutable と mutable の違い 実際に immutable なクラスを定義したいときは namedtuple (opens new window) 関数を使います。 このページでは tuple を継承した immutable なクラスで __new__ の簡単な使い方をご紹介します。 namedtup
Python3でEnumをいい感じに使う - Qiita
# !/usr/bin/env python3 # -*- coding:utf-8 -*- from enum import Enum import sys __author__ = "oomori" __version__ = "1.0.0" class Step(Enum): init = 0 step1 = 1 step2 = 2 finish = 3 def __iter__(self): return self.value def __next__(self): next_idx = self.value +1 if next_idx < len(Step.__members__): # step2 = 2, step = 1と逆順で定義されている場合でも # value順になるように制御できるようにするため steplist = [ name for name, step i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python爬虫：Scrapy的get请求和post请求_scrapy get请求相关参数-CSDN博客
GitHub - blue1616/twitter-dump: Get tweets and save file in JSON format without Twitter API
GitHub - gitPoc32/OSINT: Programs, scripts, etc for OSINT
GitHub - antitree/osint_poc: Various OSINT based scripts that demonstrate basic functions of analytics, filtering, and visualizing
GitHub - blue1616/ioc-collector: Collect malware ioc from twitter
GitHub - blue1616/CodeScraper
GitHub - JosephLai241/URS: Universal Reddit Scraper - A comprehensive Reddit scraping/archival command-line tool.
GitHub - Te-k/pysecuritytrails: Python3 wrapper for the Security Trails API
Client Challenge
GitHub - zeropwn/spyse.py: Python API wrapper and command-line client for the tools hosted on spyse.com.
GitHub - D09r/recon.py: Recon, a collection of an IP and Network Tools that can be used to quickly get information about IP Addresses, Web Pages and DNS records.
