これは，クローラー／Webスクレイピング Advent Calendar 2016の1日目の記事です． JavaScriptを利用したページをスクレイピングするためには，スクリプトを実行し，ページを適切にレンダリングする必要があります． 本記事では，そのようなケースに便利なPythonライブラリscrapy-splashを紹介します． 前置き ScrapyやSplashを既にご存知の方は読み飛ばして下さい． Scrapyとは？ Scrapyとは，Python製のクローリング・スクレイピングフレームワークです．フレームワークというだけあって，Scrapyにはクローリング・スクレイピングに便利なオプションがあらかじめ用意されています． Scrapyに用意されている便利なオプション例 サイトクローリング間隔を設定 robots.txtを解釈したクローリングを自動的に実行可能 Scrapyを利用す

(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) (2016/12/11、いただきましたフィードバックをもとに翻訳を修正いたしました。) H.264は、動画圧縮コーデックの標準規格です。ネット上の動画、Blu-ray、スマホ、セキュリティカメラ、ドローンなどなど、今やあらゆるところでH.264が使われています。 H.264は注目すべき技術のひとつです。たったひとつの目標、つまりフルモーションビデオの送信に要するネットワーク帯域を削減することを目指した30年以上の努力の結晶なのです。 技術的な面でも、H.264はとても興味深い規格です。この記事では、その一部について概要レベルでの知識を得られることでしょう。あまり複雑だと感じさせないようにするつもりです。今回おはなしする概念の多くは動画圧縮全般にあてはまるものであり、H.264に限ったものではありません

［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016 AWSは大容量のデータを顧客のデータセンターからAWSのクラウドへ物理ストレージを利用して効率よく転送するために「Amazon Snowball」を2015年に発表しました。 今回のAWS re:Invent 2016では、このAmazon Snowballの進化形として「AWS Snowball Edge」が発表されました。 Snowball Edgeは100TBの頑丈なストレージにコンピュート機能などを内蔵したことで、処理中のサーバに接続し、ストレージとして直接データを受け取るといったことが可能になります。 しかし「企業が保存しているデータがエクサバイトだったらどうだろう？」と、AWS CEOのAndy Jassy氏。「エクサバ