はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Seleniumとは Selenium は Web ブラウザの操作を自動化するためのフレームワークです。 2004 年に ThoughtWorks 社によって Web アプリケーションの UI テストを自動化する目的で開発されました。 https://selenium.dev/history/ 元々は Web アプリケーションの UI テストや JavaScript のテストの目的で開発されましたが、テスト以外にもタスクの自動化や Web サイトのクローリングなど様々な用途で利用されています。 この記事では Python で Selenium を介して Chrome を操作するための環境構築と基本的な使い方について説明します。 TL;DR 公式の Docker イメージ (https://github.com/SeleniumHQ/docker-selenium) を使うと環境構築が超簡単

Beautiful Soup とは HTML や XML から狙ったデータを抽出するためのライブラリです。 公式ドキュメントの冒頭の説明を見るとこれは HTML や XML のパーサーそのものではなく、パーサーをラップして扱いやすくするライブラリのようです。 Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifying the parse tree. It commonly saves programmers hours or days of work. この記事では Beautiful Soup

避けられないアプリケーションのエラー監視 アプリケーションを運用する上でエラー監視は避けて通れませんよね。 とはいえ、エラー監視のツールやサービスは今やたくさんあるので、どれを使ったらいいか迷うところでもあります。 僕はお仕事で Sentry を使っているのですが、これまでエラー監視ができてなかった処理に Sentry での監視を追加したらめちゃくちゃ簡単すぎて感動を覚えたのでご紹介します。 この記事では python での設置についてだけ書きますが、 Sentry が対応している言語であれば基本的に同じようなやり方で設定できるようになっていると思います。 Sentry の設定方法 1. sentry-sdk のインストール sentry-sdk を pip でインストールします。

SpriteKit とは Apple が提供している2Dのゲームを作るためのフレームワークです アニメーションや物理シミュレーションを使ったゲームが簡単に実装できます この他にも本格的なゲーム開発では以下のようなフレームワークが使われるようです Cocos2d-x Unity Unreal Engine SpriteKit は学習コストが低くとりあえずシンプルなゲームを作るには十分な機能を備えています TL;DR 画面に遷移した時は didMove 、タップした時は touchDown が呼び出される .sks ファイルは .storyboard みたいなもの 表示要素は ノード と呼ばれる 物理演算は SKPhysicsBody 、アニメーションなどの動きは SKAction がいい感じに処理してくれる SpriteKit を利用したゲームの作り方 Xcode のプロジェクトを作る Xc

Scrapy とは Scrapy とは Python でクローラーを実装するためのフレームワークです Python でクローラーというと BeautifulSoup や lxml などの HTML パーサーがよく使われていますが、 Scrapy はこれらのライブラリと違うレイヤーのもので、クローラーのアプリケーション全体を実装するためのフレームワークです 公式ドキュメントでも、BeautifulSoup と Scrapy を比較するのは、jinja2 と Django を比較しているようなものだと言ってます In other words, comparing BeautifulSoup (or lxml) to Scrapy is like comparing jinja2 to Django. TL;DR Scrapy はクローラーを実装・運用するために欲しい機能がいろいろ用意されている

Terraform とは インフラストラクチャ定義ツール に分類されるツールで、クラウド上のリソースを定義ファイルの状態になるように生成・操作してくれます インフラの構成を宣言的に定義できるところが特徴で、構築手順を書くのと違って構成定義のみに集中することができます ※宣言的に定義できる とは「t2.micro インスタンスを1つ」と書くだけで、作成手順を意識しなくてもその通りに出来上がるということです 単純にスクリプト化するだけだと、手続き的に構築手順を書く必要があります Vagrant を開発している HashiCorp社 が開発しているツールなので使用感は Vagrant と同じような感じです TL;DR .tf ファイルに定義内容を記述し、$ terraform apply を実行するだけで定義内容の通りに自動でインフラを構築してくれます インストール 以下に従って OS 毎のビル

Grafana とは Grafana は Grafana Labs が公開しているログ・データ可視化のためのツールです 可視化ツールとしては kibana とほぼ同じようなものです Grafana も kibana も、DB に保存されたログに対してリアルタイムにクエリを投げてデータを表示することができ、 表示する期間の長さや時間帯を変えたり、パーツ毎に特定のノードだけのデータを表示したりインタラクティブに可視化を操作することができます Grafana は複数のデータベースに対応しており現時点では以下に対応しています Graphite Prometheus Elasticsearch InfluxDB OpenTSDB MySQL AWS Cloudwatch kibana は elasticsearch のみ対応しています UI の機能は kibana の方が高機能な気がしますが、Gra

Prometheus とは SoundCloud が中心になって開発しているプル型のリソース監視ソフトウェアです アーキテクチャを見ると複雑そうに見えますが、Prometheus はセットアップがめちゃくちゃ簡単です 全体を理解する Prometheus でできること 監視の機能としてはあんまり目新しいものはないですが、監視対象が動的に変更されるようなスケーラブルな環境のリソース監視を意識した設計になっています 監視対象のサーバーから情報を取得 & 保管 保管済みデータに対して集計クエリを発行できる しきい値を超えた場合のアラート (メール、Slack、がんばればTwilioで電話) 柔軟なアラート設定 (同じエラーはまとめて通知とかの設定ができる) 登場人物 Prometheus で監視の仕組みを入れるためには、以下の2つだけ知っていればとりあえず使えます 名称 説明

Packer とは サーバーイメージを作成するためのツールです AWSであればAMI、Azureであれば arm を作成します Vagrant を開発している HashiCorp社 が開発しているツールなので使用感は Vagrant と同じような感じです 構築済みのサーバーイメージをAMIとして作成しておき、これをベースとしてインスタンスを立ち上げるのはよくあるパターンだと思います ※ "ゴールデンイメージ" というインフラパターンらしいです ただ、このAMIがどうやって作られたか？がわからなくなりがちなのですが、Packerを使うことでAMI構築手順を全てコード化することができます TL;DR json ファイルに定義内容を記述し、$ packer build hoge.json を実行するだけで定義内容の通りに自動でサーバーイメージを作成してくれます インストール 以下に従って OS