クローラー/スクレイピング Advent Calendar 2014 今日は水曜日なのに、金のお話。 田中貴金属工業という会社があります。この会社のWebサイトにある、「本日の貴金属情報」では、毎日の金相場情報(地金情報)が公開されています。 この情報は毎日更新されるので、前日の金相場情報を見ることはできません。そこで今日のAdvent Calendarでは、この金相場情報をスクレイピングする方法を紹介してみようと思います。 シェルスクリプトでスクレイピング クローラー/スクレイピング Advent Calendar 2014の記事を見てみると、RubyでNokogiriやMechanizeを使ってみたり、Pythonでurllibやrequestsを使ってみたり、はてはKimonoを使ってみたりしています。 筆者はPython書けな...今日はちょっと趣向を変えて、シェルスクリプトで泥臭
![シェルスクリプトを使って「これから毎日金相場をスクレイピングしようぜ?」という話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/537819c3e1097017209b69f6d98868562d6dabdd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgyJUI3JUUzJTgyJUE3JUUzJTgzJUFCJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFBJUUzJTgzJTk3JUUzJTgzJTg4JUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgwJThDJUUzJTgxJTkzJUUzJTgyJThDJUUzJTgxJThCJUUzJTgyJTg5JUU2JUFGJThFJUU2JTk3JUE1JUU5JTg3JTkxJUU3JTlCJUI4JUU1JUEwJUI0JUUzJTgyJTkyJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JUUzJTgxJTlDJUVGJUJDJTlGJUUzJTgwJThEJUUzJTgxJUE4JUUzJTgxJTg0JUUzJTgxJTg2JUU4JUE5JUIxJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkNtaWRkbGUmcz0wNjA1Mjg0NmZmZjZiYjFhZGU0YzYxMjAyNTVjZmY0ZQ%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwZnVyYW5kb25fcGlnJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03NGFlMTM3MWM4YmU1NmU2ZmNkNTA4NDM5Mjc5MTI5ZQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc5467a3776d5c16746fea1b0c2bab46c)