はてなブックマーク

自分で作っているプロダクトで、一部他のサイトからスクレイピングをする必要があったものの、JSで動的に生成されている要素だったため、スクレイピングができませんでした。 そのため調べてヘッドレスブラウザを使うことにしたのですが、いろいろあってスクレイピングする必要がなくなり、調べた時間を無駄にしたくないと思いまとめました。。 ヘッドレスブラウザとは 調べてみるとGUIのないブラウザと説明をよく見ます。 ヘッドレス Chrome ことはじめによると下記のような説明がありました。 ヘッドレスブラウザは、GUI を持つ必要のない自動テスト環境やサーバー環境にとてもよいツールです。例としては、実際のウェブページに対してなにかテストを実行する、そのページの PDF を生成する、またはただ、そのページがどう表示されるかを検証するなどが挙げられるでしょうか。 GUIはないけどブラウザが行ってくれている処理を

とりあえずyum installでパッケージをインストールできるんでしょぐらいな認識で使ってたのですが、 教えてもらう機会があったので、追加で調べたりもしてまとめました。 yumとは Yellowdog Updater Modifiedの略で、RedHat系ディストリビューション（CentOSやFedoraなど）で利用されるパッケージ管理ツールのことです。 apt-getとかaptはDebian系ディストリビューション（Ubuntuなど）で利用されています。 パッケージ/リポジトリとは yum / rpm / パッケージ / リポジトリ とは Linux/Unix における パッケージ とは、ある機能を持ったプログラムの集合です。 レポジトリ とは、パッケージが保存されている場所です。 サーバシステムにおけるレポジトリとは、公開されているネットワーク上のどこかにおかれていることを指す場合が

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? PWAについて興味を持ちつつ、実際いろんな見解を目にしたり、事例がよくわからなかったりしたので、調べてまとめました。 (追記) 一部更新を行いましたが、もともと2018年の4月に書いた内容です。 そのため新しい情報が反映されていないこともあります。 PWAとは Progressive Web Appsの略で、Googleのはじめてのプログレッシブ ウェブアプリによると下記の説明がされています。 ウェブとアプリの両方の利点を兼ね備えたアプリです。ブラウザのタブで表示してすぐに利用することができ、インストールの必要はありません。使い続けてユ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

タイトルの通りなのですが、terraformを使ってec2インスタンスを1つ、最低限の設定のみをして立ち上げるということを行います。 terraformやawsを全く触ったことがない人向けの内容となっています。 #Terraform Terraformは、インフラを安全かつ効率的に構築、変更、バージョン管理するためのツールです。Terraformは既存のサービスプロバイダーとカスタムの社内ソリューションを管理できます。 awsの他にもGoogle CloudやHerokuなど様々なプロバイダーに対応しています。 今回はterraformを使い、最低限のec2インスタンスの設定をコードで書き、terraformのコマンドで実際に立ちげてみたいと思います。 ##Infrastructure as Code インフラの構成を管理したり、プロビジョニングを自動化するためにコードで書きましょうという

パーティショニングとは 論理的に1つの大きなテーブルを、物理的に小さなパーティションに分けることです。 分割には「テーブル間の分割」と「ノード間の分割」があるそうですが、今回テーブル間の分割について勉強をしたかったので、こちらについてまとめます。 テーブル間の分割 アプリケーション側からは一つに見えるテーブルから、トリガを使用して各子テーブル(パーティション)へデータを格納します。 メリット ・分割されていることにより検索対象が絞り込まれ、処理効率が上がる ・パーティションをまとめて削除できる(drop table) ・キャッシュを有効活用できる デメリット ・親テーブルへのインサートをトリガを使用して子テーブルへ振り分けるため、インサートの性能が悪くなる 分割方法 分割の方法には「水平分割」と「垂直分割」の2つがあります。 水平分割 テーブルの各行をそれぞれのパーティションへ分散させる方

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?