2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目

Modern Development Environment Delivered. Koding lets your organization create and share fully automated dev environments on any infrastructure for modern distributed applications, micro-services and containers. Available on GitHub KODING SOLUTION Dev Environments as Code, Powerful Collaboration and Analytics Koding provides an interface for developers and team managers to streamline dev workflows

2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな

ニコニコ自作ゲームフェスは、アナログからスマートフォンゲームまで、 幅広くゲームの投稿を受け付けるゲームコンテストです。 「ゲームを作るひと」「遊ぶひと」「二次創作をするひと」をつなぎ、 個人で作ったゲームがもっと多くのひとにプレイされるようになるこ...

2014年8月22日 Webサイト制作, スマートフォン スマートフォンが普及してきて、Webサイトを作る時、スマートフォンサイトも一緒に制作している方も多くなってきていると思います。私もスマホサイトを制作する機会が増え、だんだんEvernoteに保存していたスマートフォンサイトを作る時の小技がたまってきたので、iPhoneで使える小技を中心にまとめて記事にしてみます。いくつかサンプルも作っているので、スマートフォンからあわせてご覧下さい！ ↑私が10年以上利用している会計ソフト！ スマートフォンサイト用小技集　目次 いくつかサンプルも作ったのでスマートフォンから、もしくはブラウザーからユーザーエージェントをiPhoneなどに切り替えてご覧ください！ 横幅をデバイスの幅にあわせる 文字サイズの自動調整をオフ リストのクリック（タップ）範囲を広げる 画面の幅にあわせてCSSを変える リンクテ

ドットインストール代表のライフハックブログ

結構参考になったので備忘録がてら ご紹介。Webサイトの制作スピードを より向上させるために、汎用的なUI を集めて、マークアップも綺麗な状態 で済むように設計されたスターター キット、というかフレームワークです。 制作スピードを向上させる目的で作られたHTML5フレームワークです。レイアウトだけでなく、汎用的なUIも備わっていて、class名1つ付けるだけでタブやスライドショーを実装出来るようになっています。 そういった仕様にする事で、シンプルで綺麗で可読性の高いソースを保てるように設計されていたりと、結構参考になるスターターキットですよ。フレームワークは自作してるので良い部分を組み込んでみようかなと思いました。 タブやドロップダウン、スライドショーなどを備えているだけでなく、class名1つで実装出来るようになっているので、綺麗なソースを保持する事が出来るようになっています。 いろいろ

Dropboxをバックアップだけに使っているという方、もったいないです！ イベントの告知ページや自己紹介ページなど規模が小さいウェブページを公開したいとき、DropboxのPublicフォルダが便利ですよ。レンタルサーバーなどを使わずに無料で出来るというのも嬉しい♪ 自分の情報をまとめた簡単なウェブページ http://bit.ly/spring_mao を公開したので、その手順をまとめてみます！ 今日のレシピをざっとまとめると以下の通り！ 公開したいページのHTMLファイルを作成する DropboxのPublicフォルダに入れて公開URLを取得する bitlyで短縮URLに変換＆カスタマイズして覚えやすくする 公開したいページのHTMLファイルを作成する テキストエディタでHTMLファイルを作ります。.htmlという拡張子で保存すればOK！下記のページを参考にしてみてください。 参考：W

jQuery Mobileってなに？ jQuery Mobileは、javascriptのフレームワークです。スマートフォン向けの直観的で使いやすいUIを瞬時に作成できます。 JavaScriptをWebデザイナーでも扱える身近な存在に変えた「jQuery」。そのjQueryと同じ開発元からリリースされていることもあって、スマートフォン向けフレームワークとして注目のjQuery Mobile、文法はjQueryとまったく同じですのでためしにサンプルを作ってみました。 jQuery Mobileは、解像度の違いなど、デバイスの特性の違いも吸収してくれるというのが最大の強みになっていて、ほとんど全ての機種に対応しています。そのため制作者は悩み所だったデバイスの違いを気にすることなく、スマートフォンサイトを作成できてしまいます！iOSやAndroidなどのWebKitベースのスマートフォンだけで

ボジョレー・ヌーボー解禁日、今日は買って帰るけどワインはあまり飲めないishidaです。 Web制作に関連するジェネレーターサイトはいろいろありますが、個人的によく使っているサイトをご紹介します。特にコーダーさん向け。 http://webtools.dounokouno.com/ サイト名からあまり想像できないですが、地味に便利なジェネレーターが６個あります。 ダミーテキストジェネレータ システムなどで文字数制限する際のサンプルやデザインやワイヤーフレームなどに使えます。文章のパターンも、坊ちゃん・徒然草・英語など７種類から選択できます。 パスワードジェネレータ 4〜20桁のパスワードをランダムに生成。一度に20個まとめて作れます。 Basic認証コードジェネレータ 名前の通り。.htaccessと.htpasswdが作成できます。 HTMLエンティティ化 HTML内に掲載するメールアド

WordPressでサイトを作る際に毎回入れるプラグインを人に教える機会があったのでブログでもご紹介します。 新しくブログを作る時や仕事でカスタマイズする際に参考にしてもらえれば幸いです。 全てのサイトで必ず導入するプラグイン このサイトでも使っていますし、クライアントのサイトを作る際にも毎回導入しています。 セキュリティ関係やSEO対策プラグインが主なものですよ。 All in One SEO Pack サイト全体、個別記事、ページ毎にタイトル、description、キーワードの設定などが出来るようになります。 SEOに必要な最低限の機能はカバーされていますので、マストなプラグインですね。 Akismet スパム対策のプラグイン。 オンラインサーバでコメントの内容をチェックするスパム対策サービスです。 標準でインストールされているので、管理画面から有効化してAPIキーを入力するだけでO

スマートフォンサイトを本格的に作るようになってきたので、いろいろ基本的なことから調べてみました。 自分はコーディングがメインなので、HTML/CSS/JSが主になっています。 制作する前に仕様の確認 スマートフォンの仕様が載っています。一通り目を通すと、製作してる時に「これができない！」などの問題が回避できるかもしれません。 ASCII.jp：サイト制作の前に知りたいiPhone/Androidの仕様｜実践！iPhone＆Androidサイト制作ガイド ASCII.jp：サイト制作の前に知りたいiPhone/Androidの仕様｜実践！iPhone＆Androidサイト制作ガイド スマートフォンサイトの制作 – 基礎編 – – ぺーぺーエンジニアのおぼえがき スマートフォンサイトの制作 – 基礎編 – – ぺーぺーエンジニアのおぼえがき iPhone iPad向けサイトを制作するためのいろ

ものすごく大雑把に言うと今まで画像編集ソフトでやっていた、角を丸くするとか背景をグラデーションにするなどという作業をCSSでやってしまおうというお話。もちろんCSSでできないことは多くあるので万能というわけではないが、できることに限って言えば数行のCSSコードでスクリーンショットのような効果を柔軟に適用することができる。 Demo: Design icon with CSS ul li a { display: block; width: 32px; height: 32px; background-image: url("icons-w.png"); background-repeat: no-repeat; text-indent: -10000px; } 各アイコンになるa要素へのスタイルは以上のような単純なものがベースになる。icons-w.pngがアイコンの前景をつなげたスプライ

みなさん、こんにちは お元気ですか？僕は元気です。 さて 最近よく、「いいね！」ボタンや「ミクシィチェック」ボタンによって、ウェブページを紹介し合う文化が少しずつ定着してきたなーと思います。 そんな中で、今後重要になってくるんじゃないかと思われる OGP （Open Graph Protocol）と言われる仕様があります。今日はそのことについて書いてみたいと思います。 OGP? おーじーぴー？？とはなんでしょうか。 OGP とは 簡単に言うと「このウェブページは何のことを書いているか」という情報を、プログラムから読める形で HTML に付加する記述方法のことです。 まあ、普通のウェブページは人間が読めばだいたい何のことが書いてあるか分かりますよね。 ですが、プログラムは人間ほど頭が良くないので、そのウェブページ内の文章だけではそのページが何のことについて書かれているページなのか正確に識別す

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。