概要 robots.txtを取得しクロール拒否されていないかをチェックするプログラムをPHPで作成したいと思います。 今回は、robots.txtを取得する処理を作成します。 次回は、クロール拒否されていないかチェックする処理を作成します。 前提 robots.txtとは 検索エンジンのクローラーなどに、アクセスしていいURLを伝えるファイルです。 クローラーを作成する場合は、robots.txtに準ずる必要があります。 robots.txtの場所 基本的にURLドメインの/直下に置くことになっているので、Qiitaのrobots.txtは、https://qiita.com/robots.txtにあります。 中身の説明は次回とさせていただきます。 コーディング 処理内容 プログラムは汎用的に作ろうと思うので、robots.txtを直接指定しなくても、どんなURLでもrobots.txtの