Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
ブラウザで仮想通貨を採掘するサービス "Coinhive" について
ここ最近で急に有名になった、”Coinhive” というサービスがあります。一言でいうと、ブラウザのJavaScriptを利用して仮想通貨 Monero を採掘するためのサービスで、Webサイトに導入することによって来訪者から直接収益をあげたりすることを目的にしています。 有名になったのには理由があって、ユーザーの許可を得ずに勝手に採掘をするサイトが問題になったためです。Pirate Bayの事例などが有名ですね。 個人的にCoinhiveのようなサービスは適切に使われる限り仮想通貨のキラーサービスになりうると期待しています。ここでCoinhiveがどのようなサービスなのか、技術とビジネス両方から注目してみようと思います。 2018-06-12追記: Coinhive をユーザーの許諾なしに利用していたサイトの管理者の方が神奈川県警に家宅捜索を受けたそうです。詳細は経緯の説明サイトを御覧く
JSCapture·こんなことまで！JavaScriptでスクリーンショット&キャストの保存 MOONGIFT
HTML5ではgetUserMediaを使ってWebカムにアクセスできるのは良く知られています。しかしデータの入力元は他にも考えられます。その一つがディスプレイです。画面に表示されている内容は確かに出力データになるでしょう。 そんな画面の内容をキャプチャできる機能が最新のGoogle Chrome（35以上）から登場しています。その実験とも使い方を紹介するのがJSCaptureです。 JSCaptureの使い方 まず最初にGoogle Chromeの設定を有効にする必要があります。 設定を有効にしたら再起動しましょう。 まずはキャプチャです。JSCaptureのサイトで実際に試すことができます。キャプチャをクリックするとダイアログが出ます。 画面共有の確認が出ますので、はいを押します。 見事キャプチャされました。Downloadを押して画像として保存できます。 次にレコーディングです。結構
JavaScriptで誰でも簡単に作って稼げる「Officeアドイン」とは？
※2015/08/08 更新：「Office用アプリ」（App for Office）は「Officeアドイン」（Office Add-ins）に名称変更されました。これに合わせて、本文の記述を一部修正しました。 ※2016/01/15 更新：Office 2016におけるOfficeアドインの機能強化に合わせて、本文の記述を一部修正しました。 最新のOffice 2013で使用可能なOfficeアドイン（＝Office Add-ins、OfficeのWebアドイン。以前は、Office用アプリ、または、Apps for Officeと呼ばれていた）は、JavaScriptで記述できる。従来、「アドイン」と言えば、ネイティブコードや.NETなどで構築したが、新しいアドイン（Webアドイン）では、JavaScriptに慣れ親しんでいる開発者であれば、誰でも既存のスキルを生かしてOffice上
perspective.js (alpha version) demo (static) - HTML5.JP
[English] perspective.js は、Canvas で矩形イメージを任意の四角形に変形することができる JavaScript ライブラリーです。遠近法を使ったイメージを描きたい場合に使います。元となる矩形イメージとして HTMLImageElement オブジェクト (<img> のオブジェクト)だけでなくHTMLCanvasElement オブジェクト (<canvas> のオブジェクト)も扱うことができます。 perspective.js は変形処理の速度より変形後の画質を優先しています。そのため、アニメーションには適しているとはいえません。しかし、できる限り、パフォーマンスを改善してきました。小さなイメージであれば、うまくいくでしょう。 これはまだ作っている途中のものです。今でもこのライブラリーの改善を続けています。完成したら、HTML5.JP で、このライブラリーを
Node.js cloud products and services | Nodejitsu Inc.
Node.js clouds. Simple. Scalable. Enterprise-ready. Limited betaPlatform as a ServiceThe simplest, most reliable and intelligent Node.js hosting platform you can get. Try Nodejitsu for free InternalsPricingGetting Started Enterprise Products & ServicesWe license software that enables public and private Node.js clouds. Our products offer unlimited flexibility to build efficient, smart and scalable
CommonJSの話
コンテナを止めるな! PacemakerによるコンテナHAクラスタリングとKubernetesとの違いとはksk_ha
C++で作るWebアプリケーション
14 views Boost.勉強会 #12で発表した「C++で作るWebアプリケーション」 ... More… Boost.勉強会 #12で発表した「C++で作るWebアプリケーション」 C++をJavaScriptにコンパイルするコンパイラ Emscriptenを使ってC++でブラウザ上で動くアプリケーションを開発する方法を解説します C++で作るWebアプリケーション Presentation Transcript そんなC++の進出を拒んできた領域C++はとてつもなく汎用的な言語である2013年6月22日土曜日 WEB2013年6月22日土曜日 サーバ クライアントこっちは割とどんな言語でも書ける問題はこっち2013年6月22日土曜日 JavaScriptWEBブラウザで動く物を作るために長らく使われてきた言語近代的な多くのブラウザが共通して対応している唯一の言語2013年6月22
書籍情報の取得に使えそうなISBNライブラリ·isbnjs MOONGIFT
isbnjsはISBN10/13に対応したJavaScriptライブラリです。 Amazonや紀伊国屋、ヨドバシカメラなど多数のECショップで取り扱われている書籍。その共通コードになるのがISBNです。そんなISBNをJavaScriptで扱うのに適したライブラリがisbnjsです。 デモです。ISBNであるかどうか、10桁と13桁の判定や相互変換ができます。 洋書のISBNを入れるとEnglishと出ており、言語の判定もされています。 こちらも別なデモ。ハイフンも補完されます。 ISBNには10桁と13桁がありますが、その相互変換まで行えるのがユニークです。JavaScriptを使って書籍を検索したり、情報を引き出す際に使えそうです。 isbnjsはJavaScript製のオープンソース・ソフトウェア（MIT License）です。 MOONGIFTはこう見る Amazonでは取り扱い商
flash変換ツールまとめ（swiffy,CreateJS,ExGame,reel） | ECサイト｜システム開発会社｜スターフィールド
iOSでFlashを搭載しない変わりに代替する技術として、HTML5とJavaScriptによるアニメーション表現が発達してまいりましたが、マルチデバイス対応及びフィーチャーフォン（ガラケー）向けの資産を再利用したいという理由でflashを変換するツールも同時に複数立ち上がっています。 それぞれ案件でこなしながら、flash変換ツールに関して代表的なツール4つのメリット・デメリットをまとめてみました。 非エンジニアの筆者がまとめております点、ご容赦下さい。技術情報については末尾に参考記事を掲載しております。 swiffy（提供：GOOGLE） flaファイル変換系 https://www.google.com/doubleclick/studio/swiffy/ メリット 再現率が高い デメリット 出力したソースが複雑（minifyされている）であるため改修は困難。 画像がSVG形式である
こてさきAjax:WebRTCをお手軽に。Peer.js試してみた - livedoor Blog（ブログ）
WebRTCへの最近の僕 今年最初のブログ記事ポスト。いやーもう4月も半ば。桜も散っちゃいました。ほんと、更新頻度の低いブログです・・・今日は、WebRTC関連の話題。 DataChannel(映像、音声以外の任意のデータを送受信できる機能)が実装されたり、Firefox nightlyでも実装が始まったり、Chrome for Android(beta)でも実装が始まったりと、最近ホットなニュースが目白押しのWebRTC（Web Real Time Communication）。僕も、ちょいちょいプロトタイプ実装を試しています。 例えば、3/22のWeb先端味見部の時に、当日講師の吉川さんに取り上げていただいたチャット実装(github)とか（その後、吉川さん、大津谷さんのcontributeのおかげで、ビデオチャット機能実装とかバグ改修とか進められています） なお、上のコードは、サンプ
JavaScriptを使わずにやるimg要素のロールオーバーサンプル
本題の前に、CSS Sprite をグローバルナビゲーションで使うのは何かが違うと思うのはボクだけかしら？（テキストをtext-indentで飛ばして、ロールオーバーさせるタイプの事を指してます） 昔作ったサンプルでそんなようなのがありました。 横並びメニューのロールオーバーをJavaScriptを使わずCSSで実現 CSS Spriteを有効に活用する場面は、あくまでも背景画像として配置されているものを一枚画像にして管理する点にあると思ってて、例えば以下のような場合。 ページタイトルの背景画像がページ毎に変わる場合に全ページのページタイトル用画像を一枚でまとめる。 アイコン＋テキストという組み合わせの場合に、アイコンを背景として使う。 その他、本来背景として使う予定だった画像を一枚にまとめる。 とかが、ぱっと浮かびました。 んで、グローバルナビゲーションに限っては、img要素で配置する事
JSで画像に落書きする - TakiTakeの日記
画像が一つ飛ばしになるの修正 canvas要素で遊ぼうってことで、画像に落書きできるスクリプト書いてみました。 使い方 windowのロードイベント後に以下のコード読み込んで下さい。 firebug入っているなら、コンソールに貼り付けて、実行でおｋ。 pixiv辺りが画像多くて狙い目。 ペイントの鉛筆と同じ要領で絵が描けます。 右クリックから画像の保存も可能。 firefox3で動作確認してます。 Canvas = function(img) { if(!img) return; var canvas = document.createElement('canvas'); var context = canvas.getContext('2d'); var flag = false; canvas.width = img.width; canvas.height = img.height;
createObjectURLがすごい件 - プログラムモグモグ
最近またLocal Player (Chrome Player)を実装しなおしています. 一応説明しておくと, Local Playerは, 完全にローカルで動作する音楽プレイヤーです. シンプルさを求め(実装がめんどくさいだけ), 操作しやすく(これは大事), 良い感じのプレイヤーです. 半年前に, ソースコードがスパゲッティになって, 開発を中断していましたが, 最近また書きなおし始めたのです. 音楽プレイヤーをブラウザー上で実装するのには, 音楽ファイルをJavaScriptで読み込まなければなりません. そこでHTML5ですよ！！！ <audio src="url/to/musicfile.mp3" type="audio/mp3" /> みたいな感じで, 音楽を再生できます. 詳細は他のページに譲ります. さて, 音楽ファイルを再生するには, ローカルファイルからurlをaudi
PHP: データ URI スキームを使って画像データを JSON に埋め込む
POST リクエストを通じて投稿された画像データをサーバーに保存せずに JSON 形式で返すのにデータ URI スキームを使うことができる。JSON の可視性が落ちる、画像のデータサイズが大きくなる、ブラウザが扱えるファイルのサイズの制限など、実際の運用サーバーに使う用途はかぎられるが、チュートリアルにおいて、コピー＆ペーストで試すのに便利だ。 まずはサーバーに設置しているファイルを使ってみよう。画像の MIME タイプを調べるのには PHP 5.3 で導入された finfo_file 関数を使う。ほかのやりかたに関しては「画像の MIME タイプを判定する」を参照。 $file = 'test.png'; $fileType = finfo_file(finfo_open(FILEINFO_MIME), $file); $content = base64_encode(file_get_
クライアントサイドJavaScriptでのビューの作り方4つ - id:anatooのブログ
追記: 指摘により、UIオブジェクト型を追加した(thx @kanreisa)。 クライアントサイドJavaScriptでのビューの作り方を大別すると、3つ4つある。 DOM操作型 テンプレートエンジン型 UIオブジェクト型 データバインディング型 ここでいうビューの作り方とは、有り体にいうとJavaScriptからどうやってDOM要素を生成したりするかどうか。イベントリスナーの登録とかも含む。 DOM操作型 昔ながらのやり方。jQueryとか使って直接DOM操作してビューを作る。 // 例えば、<div class='hoge'>fugafuga</div> みたいなDOMを表示する var myView = $("<div class='hoge'/>"); myView.text('fugafuga'); // body以下に挿入 $(body).append(myView); 長所
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jaysalvat/jquery.facedetection: A jQuery plugin to detect faces on images, videos and canvases.
GitHub - transcranial/keras-js: Run Keras models in the browser, with GPU support using WebGL
IBM Developer
GitHub - blueimp/JavaScript-Canvas-to-Blob: JavaScript Canvas to Blob is a function to convert canvas elements into Blob objects.
