クローラーエンジンの作成
クローラーの仕様 作成するクローラーは次の様な事ができるとします。 サイトのURLと深さ(何回層までリンクをたどるか)とフィルタ(正規表現)を指定する 1.で指定したURLのサイトの 1)タイトル, 2)URL,次のメタ情報 3)og:title, 4)og:image, 5)og:descriptionを取得 サイトに含まれるリンクで、1.で指定したフィルタにマッチするURLをさらにクロールする 1.で指定した深さが0になったら、サイト内のリンクをクロールするのを停止する 関連ライブラリの組み込み サイトクローリングの為に、以下の2つのモジュールを使える様にします。 httpoison(HTTPクライアント) floki(HTMLパーサー) モジュールを使える様にするには、これらのモジュールをmix.exsのdepsに追加して、 defp deps do [ {:phoenix, "~>
スケルトンアプリの起動
phoenixアプリの作成 以下のmixコマンドでスケルトンアプリを作成します $ mix phoenix.new tokyoex_handson_demo --database mysql --databaseオプションでアプリが使用するデータベースを指定できます。 デフォルトではPostgreSQLなのですが、今回はMySQLを使用するのでmysqlを指定してください。 MySQLの設定 データベースの設定は、config/dev.exs、config/test.exs、config/prod.secret.exsの中で それぞれの環境(dev,test,prod)毎の設定を行います。 デフォルトの状態だと以下の様な設定になっていますので、接続先の情報に書き換えてください。DBに接続ができないとアプリ起動時にエラーになりますので、この時点で telnet localhost 3306
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ohr486/serverless_elixir_demo
サーバーへのデプロイ
リソースの作成
GitHub - ohr486/asset_sync: asset_sync
