PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
PhantomJS を CentOSにインストールする3つの方法 | Crane & to.
ヘッドレスブラウザ（Headless Browser）PhantomJS 2.1 を CentOS 6.8 にインストールしたときの備忘となります。 ※この記事はWEBエンジニア向けとなります。この備忘は2017年1月時点でのものとなるため、ソフトウェアのアップデートにより変更される場合があります。自己責任・自己解決でお願いします。 ヘッドレスブラウザとは？ ヘッドレスブラウザ（Headless Browser）とはグラフィカルユーザインタフェース（GUI）を持たないブラウザの総称です。Chrome / Safari / Microsoft Edge / Internet Explorer といった通常のブラウザは人間が目で見て操作しますが、ヘッドレスブラウザは PHP / Python / Ruby / JavaScript / Java といったようなコンピュータ言語により操作します。
404
File Not Found アクセスしようとしたページは 見つかりませんでした。 以下のような原因が考えられます。 記事が削除された URLが間違っている
scikit-learn で No module named '_bz2' というエラーがでる問題 - Qiita
Traceback (most recent call last): File "test.py", line 6, in <module> from sklearn.feature_extraction.text import TfidfVectorizer File "/home/vagrant/.pyenv/versions/3.4.3/lib/python3.4/site-packages/sklearn/__init__.py", line 57, in <module> from .base import clone File "/home/vagrant/.pyenv/versions/3.4.3/lib/python3.4/site-packages/sklearn/base.py", line 12, in <module> from .utils.fixes impor
画像の一部分を切り抜く | ImageMagick コマンドリファレンス
convert [in] -crop [width]x[height]+[x]+[y] [in] … 入力するファイル名（パス） [width] … 切り取る画像の横幅（単位：ピクセル） [height] … 切り取る画像の高さ（単位：ピクセル） [x] … 切り取る横（X座標）の開始位置（単位：ピクセル） [y] … 切り取る高さ（Y座標）の開始位置（単位：ピクセル） [out] … 出力するファイル名（パス） 画像の一部を、指定のサイズで指定した位置から切り取る事ができます。 座標やサイズが元画像よりもはみ出た場合はその領域は切り捨てられます。実際に動かしてみると分かりやすいです。 例?※オプションを変更して実際の変切り取りが確認できます。 convert img19.jpg -crop x++ img19-s.jpg 上記のコマンドを実行した場合は次のようになります。
「それはセキュリティ対策じゃない」、固定観念を捨ててもらおう
サイバー攻撃が猛威を振るっている昨今では、対サイバー攻撃にアンテナを高く張っている経営層も多いだろう。しかし、セキュリティ対策は単純にハッキングやウイルスに注意していればよいというものではない。 落とし穴になりがちなのが例えば資産管理だ。自社にどういった端末がどれだけあって守るべき対象は何か─という基礎的な部分が分からない状態では守れるものも守れない。今回は、「セキュリティ対策」と言われてもあまりピンとこないものかもしれないが、とても重要な考え方について解説する。 「資産管理がセキュリティ対策？それは君だけの見解では」 最初に紹介する経営層とセキュリティ担当者の会話は、経営層が典型的なサイバーセキュリティ対策に気をとられるばかりに基礎をおざなりにしてしまっているケースだ。 経営層：先月の情報漏洩事故は痛恨の極みだった。もう2度と繰り返してはならない。今年はセキュリティ関連の予算を増やして、
動画を観て英会話をマスターできるAndroidアプリ3選
英語はテキストを見ているだけではなかなかマスターできません。実際にネイティブの話している英語を見聞きすることが上達へのコツです。そこで今回は動画を使って英語が勉強できるアプリをピックアップしました。スマホにインストールしておいて、ちょっとした空き時間に視聴して英語力アップを目指しましょう！！ ※アイコン横のアプリ名をクリックでPlayストアに移動します。 動画で英語力を鍛えるアプリ 「字幕動画で英語 TOEICリスニング 英会話：ボイスチューブ」 字幕動画で英語 TOEICリスニング 英会話：ボイスチューブ 作者：VoiceTube 価格：無料 ネイティブスピーカーによる5万本以上のYouTubeにアップされた動画を使って英語学習ができるアプリです。動画はTOEICのレベル別で探せるほか、「TED Talks」や「BBC」などチャンネル別にも対応しています。 字幕をみていてわからない単語が
画像のサイズ変更(切り抜き・塗足し etc.)
convert <変換前の画像名> -background (color) [ -gravity (position) ] -extent (width) x (height) <変換後の画像名> 例）convert before.jpg -background none -gravity center -extent 160×130 after.png ▼実行結果 画像自体をリサイズすることなく、画像全体のサイズを変更するには-extentを使用します。 上記例では、150x100pixelの元画像の四方に余白を足し、160x130pixelの画像に変形しています。 -backgroundで、余白部分のカラーを指定することができます。noneを指定することで透明となり、pngなどの透過を保持できる画像形式で書き出すことで、上記のような画像となります。 -grav
サーバから画面のキャプチャを撮る（CentOS編） - Qiita
ある案件の技術調査でサーバからブラウザの画面キャプチャを取る必要があったので調査開始。 ubuntuなら結構サクサク行けそうな気がする。が、「ubuntu-desktop」とかインストールしてるのが気に食わない！ CentOSの「Desktop」とか入れたらそれとなく行きそうだけど最終目標がAWSなのでそれはなし。 とりあえず上記URLを参考に色々試してみることに。 インストール #とりあえずxvfbとcutycaptのインストール #yumのパッケージ名が違う・・・ [vagrant@localhost ~]$ sudo yum install xorg-x11-server-Xvfb epelにあったけどCが両方大文字・・・ [vagrant@localhost ~]$ sudo yum install http://dl.fedoraproject.org/pub/epel/6/x8
サーバサイドでWebページのキャプチャ画像を作成する | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
AWS 開発の松尾です。 とある事情よりサーバサイドで任意のWebページのキャプチャ画像を保存したいという要件が湧いてきたので、比較的楽に実現できる方法について考えてみました。 CutyCapt CutyCaptはAppleのSafariやGoogleのChromブラウザーなどのレンダリングエンジンのベースとなっているWebkitというライブラリを利用してWebページを画像やその他のフォーマットに変換してくれる非常に便利なツールです。 わたしが開発環境として利用しているUbuntu 14.04であれば下記のように簡単に導入できます。 $ sudo apt-get install cutycapt 使い方も簡単。 $ cutycapt --url=http://www.superdelivery.com/ --out=top.png オプションの「--url」でキャプチャしたいページのURL
![サーバサイドでWebページのキャプチャ画像を作成する | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e2469f0bf676c89110e41d196881bc1e31e149/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Fe592c515-s.png)
PhantomJS入門 スクリーンキャプチャを撮るまで - Murayama blog.
PhantomJSとは PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG. http://phantomjs.org/ PhantomJSはJavaScript APIで動くヘッドレスWebKitです。 PhantomJSはDOMハンドリング、CSSセレクタ、Canvas、SVGなどネイティブにサポートしており、高速に動作します。 ものすごく簡単にいうと、ターミナルで動く画面をもたないブラウザですね。 主な利用シーンは以下のとおりです。 Webテスト ページオートメーション スクリーンキャプチャ ネ
Webページのキャプチャを定期的に自動で保存する方法 - 約束の地
※2019/09/19 追記 現在ならば、Puppeteer (https://github.com/GoogleChrome/puppeteer) 一択です。 Webページを定期的にキャプチャしたい 特定のWebページのスクリーンショット（キャプチャ）をコマンドラインで定期的に保存する方法を模索していました。やり方自体が思いつかなかったので、素直に先人に従おうとWebを検索していろいろ試してみました。 その結果、CutyCaptを使う方法が現在では最善ではないかと思いました。以下、経緯や方法を書いていきます。 PhantomJS/CasperJSを試してみる PhantomJSのWebサイトは次の通りです。 PhantomJS - Scriptable Headless Browser 使い方は例えば以下のWebページなど、たくさん出てきます。 検索で一番多くヒットするのはこの方法です。
IIJmioを含む「格安スマホ」(MVNO)でのJアラート(ミサイル発射情報)の受信について
※docomo, au, SoftBank, Y!mobileブランドのスマートフォンの中で、以下のリストに載っている機種のみ受信可能です。docomoブランドの機種はIIJmioモバイルサービス タイプDなどのdocomo回線MVNOで、auブランドの機種はIIJmioモバイルサービス タイプAなどのau回線MVNOでの利用を想定しています。(SoftBankブランド、Y!mobileブランドについても同様) docomoブランドの対応機種一覧 auブランドの対応機種一覧 SoftBankブランドの対応機種一覧 Y!mobileブランドの対応機種一覧 格安スマホ(MVNO)をご利用でも、上記「受信可能」と書かれた機種をお使いであれば、ミサイルの発射情報を受信することができます。 「受信可能」以外のスマートフォンをお使いの方は、これらの速報を受信するためのアプリを使うことを、消防庁が推奨し
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
【Review Apps】GitLab CI を使って、自動デプロイ・自動レビュー環境作成を実現する | バシャログ。
こんにちは、tanakaです。ゴールデンウィーク中は、ダラダラと過ごさないためにコワーキングスペースの勉強会とかに参加してました。 参加した日以外はダラダラと過ごしていました…。 今日はGitLab CI で Review Apps を使って、gitリモートリポジトリへの反映と同時に自動デプロイしたり、ブランチからレビュー環境を構築する方法を紹介します。 面倒な作業は自動化して、プログラミングなどの作業に集中できるようにしたいですね。 前提 静的ブログジェネレータ Hexo を使ってコンテンツを生成します 生成したコンテンツを rsync で公開サイトやレビュー環境にコピーします master ブランチへの更新は自動的に公開サイトにアップされます。ブランチの更新はレビュー環境にアップされます。(ブランチごとにレビュー環境が作成されます) ブランチが master にマージされたり、削除され
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
【 patch 】コマンド――テキストファイルに差分を適用する（応用編）
patchコマンドとは？ 「patch」はテキストファイルに差分を適用するコマンドです。古いファイルと差分ファイルを基に、新しいファイルを作成します。差分ファイルは「diff」コマンド（第102回～105回）を使って作成します。 差分ファイルを“パッチファイル”、差分を適用することを“パッチを当てる”というように表現することがあります。
脱LinuxのGoogle新OS｢Fuchsia｣UIが初公開。4画面分割も余裕です
脱LinuxのGoogle新OS｢Fuchsia｣UIが初公開。4画面分割も余裕です2017.05.10 18:0619,100 satomi もう1画面1アプリとは言わせない！ モバイルのAndroidとPCのChrome OSを合体する後継と呼び声の高いGoogle新OS｢Fuchsia（フューシャ）｣のUIが初公開されました（例の｢Andromeda｣と中身は同じ）。 上の画像はArs Technicaが入手したもので、すべての画像はこちらでみることができます。また以下は、HotFixItの開発者 Kyle Bradshawさんが公開した映像です。 Androidは7が出るまで｢1画面にアプリ1個しか起動できない｣問題がありましたけど、すっかり解決しちゃってますよ！ ホーム画面は縦スクロールの一覧で、起動中のアプリやタスクがすべて｢STORY｣っていうカードになって表示されています。
[iOS] Firebase Storage上のファイルの削除とエラーハンドリングについて | DevelopersIO
はじめに こんにちは。モバイルアプリサービス部の平屋です。 前回の記事「[iOS] Firebase Storage上のファイルをダウンロードする」に引き続き、Firebase Storageの使用方法を紹介します。 本記事では、iOSアプリでFirebase Storage上のファイルを削除する方法とエラーハンドリングを行う方法を紹介します。 iOSアプリでFirebase Storageを使用開始するための作業については、前々回の記事で解説していますので、あわせてご覧ください。 検証環境 macOS Sierra Version 10.12.4 Xcode Version 8.3.2 目次 ファイルを削除する エラーをハンドリングする ファイルを削除する さっそく実装を紹介していきます。 ファイルのアップロード/ダウンロードを実行する場合と同様に、まずは対象ファイルへの参照を持つFIR
![[iOS] Firebase Storage上のファイルの削除とエラーハンドリングについて | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4fe361c4338978c45cc4be7d3babffd0138d4d7e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F05%2Ffirebase-eyecatch.png)
実装ノート
#この文書について 筆者がtiny-cnnを実装するにあたってまとめた、ニューラルネット＋tiny-cnnの解説資料です。基本的なフィードフォワード型のニューラルネットに関する解説を行いつつ、数式に対応するコードの箇所が分かるように書きました。数式と実装のギャップがあれば、適宜補足を行っています。 ざっと読むとニューラルネットの基礎、およびtiny-cnnの実装を理解するうえで役立つかもしれません。特に筆者のような、動くコードとセットでないと理解が深まらないタイプの方に役立てば幸いです。内容に間違いがあれば、ぜひ指摘をお願いします:beers::sushi: ###表記について ニューラルネットワークの基本用語で、かつ実装中に登場する言葉については__太字__で強調します。 🍄 tiny-cnnの実装に関する注釈はキノコのアイコンで記述します。キノコに深い意味はありません:cat: :
Androidで最新のJavaを使えない問題に向き合ってみた - Speee DEVELOPER BLOG
Speee技術顧問の id:gfx です。 もうかなり時間が立ってしまいましたが、2月に行われたSpeeeKaigi #2 で基調講演をやらせてもらいました。 SpeeeKaigi #2の様子はこちらです。 tech.speee.jp 社内でこういうイベントがあるのはとてもいいですね。今回は自由テーマだったので、各人の興味分野が知れて大変楽しい一日でした。 私も普段の仕事とはあまり関係ない自由研究として、Retropilerというツールを開発して発表しました。当日のプレゼンテーションはQiitaにあります。 Retropiler: AndroidでJava8の機能を使うもう一つの方法 Retropiler: https://github.com/retropiler/retropiler この資料はwhatにフォーカスしているので、それを補間すべくwhyとhowをこのエントリで書きます。
ReactとTypeScriptでシングルページアプリケーション - Qiita
以前に作成していた「Node.jsによるSNSアカウント認証と二段階認証」（以下WST）をReactでリプレースしました。どうして？元々は独自のフレームワークで実装していましたが、あるプロジェクトでReactを使う機会があり、とても気に入ったからです。React化そのものは数日で完了。しかしそこで終わりではありませんでした。ついでだからSPAにしよう、いまどき必要ないかもだけど初期表示で一瞬画面が表示されないのも気になるからサーバーサイドレンダリング（SSR）もやっておくか、という具合にとうとう３カ月以上の時間を費やすことになってしまいました。 「ソースコード」 web service template 4.4.1 「デモ」 https://www.printf.jp:8443/ 「機能一覧」 メールアドレスとパスワードでのログイン SNSアカウント（Twitter、Facebook、Go
http.Response を返すような関数は作らないのが賢明 - 誰かの役に立てばいいブログ
Go 1.7 から本体に入った context パッケージは便利、というより今や必須の道具です。以下のように書くことで、一定時間で処理をキャンセルできたりします。 func slowOperationWithTimeout(ctx context.Context) (Result, error) { ctx, cancel := context.WithTimeout(ctx, 100*time.Millisecond) defer cancel() // releases resources if slowOperation completes before timeout elapses return slowOperation(ctx) } defer cancel() とありますが、このようにしないとリソースリークするので context 使うときはこう書くのがパターンです。 さて
コードが編集できるスクリーンキャスト『Scrimba』 | 100SHIKI
これ、なんかすごいな。 Scrimbaはプログラミングに関するスクリーンキャストを配信している。 Flexboxの使い方だとか、Reactを理解するだとか、魅力的なレッスンが揃っている。 ただユニークなのはスクリーンキャスト中のコードを直接編集できる点だ。 ここのコードを変えてみたらどうなるだろう？という疑問に答えてくれていい感じですね…。
楽しさ、おもしろさを真面目に考え、生活者目線でつくられた家計簿アプリ | 起業・会社設立ならドリームゲート
家計簿が続かない理由は何か？ ユーザーの本音を見抜くサービス設計 展開している事業の内容・特徴 ITの側面から金融系サービスを見直すFintech。日本でも2000年代の終わりごろから気運が高まり、多数のサービスが生まれている。なかでも、成長著しいのが、ベンチャー企業や有志のチームがつくる、日常生活に即したサービスだ。 MoneySmart株式会社が提供するPFM（家計簿）アプリもその一つ。“お金のコンテキスト”にこだわった設計で、これなら続けられると評価が高い人気アプリだ。一般的な家計簿サービスの1カ月後の継続率は23%とされているのに対し、「MoneySmart」の継続率は35%と高い。 「家計簿やお小遣い帳が続かないのは、結局、自分のなかで意味を見出せていないからだと思うんです。家計簿というと、お金を数えることに目がいきがちですが、そもそも個人が知りたいのは、『誰のために使ったか』『
Safariより使える！ iPhone最適ブラウザー - 日経トレンディネット
iPhoneのブラウザーとしては、標準の「Safari」を使っている人がほとんどだろう。しかし、iPhone向けSafariは使い勝手が今ひとつと僕は思っている。日常的に使っているとやたらにタブが増えてしまい、閉じるには画面右下の「タブ」アイコンをタップし、タブの一覧から削除したいタブを一つずつ消していかなければならない。かなり手間と感じるのだ。 タブの切り替えも同様だ。iPhoneのSafariでは、開いているページが画面いっぱいに表示されるため、タブの切り替えには、削除同様、画面右下の「タブ」アイコンをタップし、表示したいタブを選ぶという段取りが必要になる。おなじみのパソコンのブラウザーなら、画面の上部に並んだタブをクリックするだけでページを閉じたり切り替えたりできる。 実は、そんなパソコンライクな使い方をiPhoneでも実現したブラウザー「Smooz」がある。SmoozがSafari
【追記あり】Re: inside 売れないサービスの開発現場から
http://anond.hatelabo.jp/20170509183828 を書いた増田です。 こんなにたくさん反応があると思っていませんでした。 開発に対してモチベーションが保てずに、愚痴まとめてスッキリしようとか、そういう気持ちで殴り書いたものだったので。 本当にありがとうございます。 「俺、こんなんドン・キホーテと一緒やん」みたいな気持ちでやってたことが、少し報われました。 自分発信のものに反応もらえるってこんなに嬉しいんですね。（何しろ二年くらいそういうのないもので。） はてブ、ツイッターでの反応は全部読んでます。ありがとうございます。（二年なかったので許してください。気持ち悪がらないでください。） どうせお前のスキル不足だろ！！！バカが！！！働け！！！死ね！！！みたいなの予想してたので、9割くらいの人に同調されてるのに少しびっくりしています。 と同時に、そんなんやっぱりどっか
手を動かすことの怖さとその意味｜加藤貞顕
最近、ディープラーニングの話ばっかり書いているが、今日はコルクの佐渡島さんと連載している #コンテンツ会議 の更新日。ということで、ディープラーニングの周辺で思ったことを書きます。 ディープラーニングを勉強すると数式がたくさん出てくる。ぼくのように数学がそれほど得意ではない人間には、これが最初はまったくわからない。教科書を読もうとしても、目が紙の上をすべっていって、ぜんぜん頭に入ってこない。 でも、しぶしぶ手を動かして、ノートに数式や図を書いてみる。そうすると、不思議なことに、だんだんわかってくる。たくさん書けば、書いた分だけ、理解が進む。 よく、えらいひとが「手を動かしなさい」というけど、あれは本当だ。 「手で書く」という行為は、時間がかかるし、両手もふさがる。だから、その問題に向き合わざるを得なくなる。一文字ずつ手で書きながら、その問題について、順番に、ゆっくりと考えることになる。手で
多分だけど父がユーチューバーっぽい
すげーつまらなくて泣いた。 まじかよと思ったけど、隠れてやってそうな人多いから そんな珍しいことはないだろうけど。 泣いた。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2017年5月9日(火)相性を数値化！？ 人材紹介にＡＩを活用｜おはBiz NHKニュース おはよう日本
PC-8001やFM-7、MZ-80C……懐かしのパソコンがミニサイズで現代に甦る！ ハル研究所が発表した「PasocomMini」の詳細と狙い
[みんなのケータイ]ドコモの「カケホーダイ」を「シンプルプラン」に変更予定![[みんなのケータイ]ドコモの「カケホーダイ」を「シンプルプラン」に変更予定](https://cdn-ak-scissors.b.st-hatena.com/image/square/2690813aadf9494a927e8100358b7976f5dc98cc/height=288;version=1;width=512/http%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1058%2F836%2F01.jpg)