一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい

こんにちは、石川と申します。普段はデイリーポータルＺというサイトで編集をやっております。 拙宅には、「おもちゃが無限に出てくる機械」があります。 機械から出てきたおもちゃの数々です（おもちゃ以外の物もあるけど）。もちろんこれはごく一部です。なんたって無限なので。 ちょっと想像してみてほしいんですけど、例えばあなたの趣味がカメラだったとするじゃないですか。一眼レフのカメラとかレンズとかが無限に出てくる機械があったらどうします？ 端的に言って最高じゃないですか。もちろん、そんな機械はないです。でも、あなたに子供がいた場合、子供にそれを体験させてあげることは可能です。なぜなら「おもちゃが無限に出てくる機械」があるから。 で、その「おもちゃが無限に出てくる機械」の本体が、こちらです。 机の上にある青いやつ。3Dプリンタといいます。普通のプリンタは紙に写真や文字を印刷しますが、3Dプリンタは簡単に言

なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ

関連【書評・感想】Webマーケティング、ブログ運営の初心者にオススメの本 上の記事に、Webマーケティングやブログ運営に関する本の書評を随時追加していたのだけれど、あまりにも分量が多くなってきたので、Webマーケティング部分だけを分割して新たに記事をおこすことにした。 後半部分は以前の流用だけれど、前半部分は最近読んだ良書の紹介になっている。（ブログ運営に関する書籍は上の記事を参考に。） ドリルを売るには穴を売れ ドリルを売るには穴を売れ 著者：佐藤 義典 【書評】 あまりにも有名すぎる本。個人経営の店主から企業のマーケティング担当まで、Webに限らずマーケティングに関わる人は一度は読んでおくべき！というレベルの入門書である。世間の評判通り読んで損はしない一冊だった。 パッと見タイトルが意味不明でとっつきにくそうな印象とは裏腹に中身はとても読みやすい。お堅い理論展開は一切なく、カジュアルな

＃はじめに 最近、ニュースや記事でよく目にする“ ディープラーニング（Deep Learning） ” 。 ビジネスや社会にどのように影響を与え、活用されていくのかに興味ある方が多方面に増えてきている一方で、Deep Learningについて知りたいけれども、実際よくわからない…と感じている方も多く見受けられます。 実際にMM総研の「人工知能技術のビジネス活用概況」の調査結果によると、人工知能のビジネスへの導入率は、日本は他２カ国に比べかなり遅れをとっていることが読み取れます。 引用：https://www.m2ri.jp/news/detail.html?id=238 今回は、その基本的な疑問や実際どうビジネス活用できそうなのか皆さまが想像できるようになるよう、Deep Learningとは一体どういう技術なのか、俗にいう「人工知能(AI)」や「機械学習(ML)」との違いなど基本的な情報

どうも、まさとらん（@0310lan）です！ 今回は、誰でも超簡単にSVG画像をアニメーション化できる無料のWebサービスをご紹介します！ このサービスは、JavaScriptでSVG画像を制御できる「vivus.js」をベースにしており、誰でもプログラミング不要で簡単に「手描き風」のアニメーションを作れるのが特徴です。 【 Vivus Instant 】 そして本記事の後半では「vivus.js」を使った基本的なプログラミングについても解説しているので、ご興味ある方はぜひ参考にしてみてください！ ■「Vivus Instant」とは？ それでは、実際に「Vivus Instant」を使いながら、どのようなサービスなのかを見ていきましょう！ まずは、サンプルとして次のようなSVG画像を用意しました。 SVGは、ベクター形式で描かれたXML構造を持つデータですが、このままでは当然ながら静止画

無限スクロールの課題とは！スクロールが長いサイトのデザイン手法 スクロールが長いWebサイトのデザイン手法をまとめています。無限スクロールを採用するページは増えていますが、良い点もあれば当然課題もあります。ユーザーにとって使いやすいサイトをデザインするためにぜひ意識しておきましょう。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　 調査手法：インターネット調査 本稿は、Smashing magazineのブログ記事を許可を得て日本語翻訳し掲載した記事になります。 本記事

はじめに 驚き最小の原則（法則）という言葉があります。 Wikipediaの記事を引用すると http://ja.wikipedia.org/wiki/%E9%A9%9A%E3%81%8D%E6%9C%80%E5%B0%8F%E3%81%AE%E5%8E%9F%E5%89%87 ユーザインタフェースやプログラミング言語の設計および人間工学において、インタフェースの2つの要素が互いに矛盾あるいは不明瞭だったときに、その動作としては人間のユーザやプログラマが最も自然に思える（驚きが少ない）ものを選択すべきだとする考え方である。 要するに、使うときに「おやっ？」という驚きが少ないほうが良いプログラムであるといえます1。 この記事では敢えて驚きの多いプログラムの書き方を紹介します。驚きの多いプログラムを読むとどんな気分になるか、実際に体験してみてください。もちろん、本当は驚きが少ないプログラムを書

この数年、たいへんなスピードでフロントエンド開発技術が発展しておりますね。 私はバックエンド開発が続いていたことを言い訳に、直近の小規模な Web ツール開発をjQueryで頑張ってしまったため、次は同じ轍を踏まない ために Vue.js を勉強してみました。 jQuery で頑張ってはいけない理由 jQuery（ジェイクエリー）は、ウェブブラウザ用のJavaScriptコードをより容易に記述できるようにするために設計された軽量なJavaScriptライブラリ https://ja.wikipedia.org/wiki/JQuery jQueryはフロントエンドの開発に大きく貢献してきた素晴らしいライブラリで、「Web サイトにちょっとしたギミックを足す」用途には使いやすいツールです。 しかしながら、jQuery での開発で、少しでも規模が大きくなってくると途端に苦しくなってきます。 それ

以前、ネーティブに通じる発音をするためには、アクセントの位置に気を付けることが重要とお話ししました。その時にも書きましたが、必ずしも完璧にネーティブのような発音になる必要はないけれども、最低限通じる発音であることが大切だと筆者は思っています（ただ、誤解のないように言っておきたいのは、ネーティブのような発音になりたい人が、それを目指して学習したり練習したりすることはすばらしいことですので、それを否定しているわけではありません）。 文で話しているときは、多少音が間違っていても、ネーティブはだいたい文脈で判別してくれますので通じることが多いのですが、単語単体を発音するときや短文で話すときには、より正確な発音が要求されてしまいますので、注意が必要です。文脈などの周辺情報が乏しいと、ネーティブも推測することができないのです。 そんなときでも通じる発音ができるように、今回はいくつか簡単な発音法を紹介し

こんにちは。アプリエンジニアの五味です。 2017年4月にリクルートホールディングスの新卒Web採用枠で入社した新卒社員のうち、21名がリクルートテクノロジーズに配属となりました。（いらっしゃい！） リクルートテクノロジーズでは「ブートキャンプ」と呼ばれる新卒社員向けの技術研修を3か月間実施しています。 もともと高い能力を持つ彼・彼女らですが、「これからのリクルートをリードしていく存在」になって欲しいという期待を込め、プロとしての重要な立ち上がり期を支援しています。 今年からは社外講師の既存プログラムに加え、より実践的な内容を求める経験者をターゲットに、総勢12名の現場エンジニアが担当する特別講座を開催しました。 各分野のスペシャリストがこれまで現場で培ってきた「本当に必要な生きた知識・技術」のインプットは、彼・彼女らの成長を加速させ、これからのエンジニア人生の礎になってくれるものと僕らは

Chrome DevToolsを使いこなそう！ Web開発に必須なブラウザ開発ツールによるデバッグの基本 開発者ツール（DevTools）とは、ブラウザに搭載されているデバッグツールです。多岐にわたる技術の集合体であるWebページやWebアプリケーション、いわゆるフロントエンドの開発において、なくてはならないツールです。 皆さん、どうもこんにちは。今回で3度目のエンジニアHubの登場となる大竹智也です。春の季節もそろそろ終わりを迎え、新生活を迎えた人たちも新たな環境に慣れてくる時期だと思いますが、元気にお過しでしょうか。 前回までエディタの話ばかりしてきましたが、今回はエディタから離れてWebブラウザ（以下、ブラウザ）の話をしたいと思います。ただ、ブラウザの話といっても、エンジニアHubは開発者向けの媒体なので、ブラウザに搭載されている開発者ツール（Developer Tools）のお話を

お金を増やすために知っておきたいこと 野村総研さんの有名な資料に金融資産別のピラミッド図があります。金融資産というのは平たく言うと、お金のことですね。 お金の増やし方を知り、金融資産を増大させる これによると、5億円以上が超富裕層、1億円以上が富裕層とされています。資産額ベースの話ですので、四角四面にあてはめることは実態にそぐわないでしょうが、それでも目安にはなります。 圧倒的な数がマス層です。世間一般でいうところのサラリーマン家庭はほとんどこのマス層に入ってきます。一般的にサラリーマンというのは雇われる立場であり、みずからの労働力が最大の資本になります。 管理職になったり、一流企業に勤めたり、サラリーマンとして成功している人でも、自らの給与だけで超富裕層に入るのはほとんど不可能と言ってよいでしょう。いや、ほとんどのサラリーマンにとっては1億円以上の富裕層も難しいはずです。 なぜなら私たち

困ってるなう どうも副会長です GoogleのコンテンツをスクレイピングするようなWebアプリを作りたい 過去にとあるコンテンツでやったことがあるんだけど、その時はIP制限食らった IP制限ってこれのことですね Webクローリング＆スクレイピングの最前線 公開用 from Lumin Hacker www.slideshare.net (「Google スクレイピング ip制限」とかでググってもあんまり情報無いですね あんまみんな困って無いのかな…?) 今解決策を考えてたんだけど、あんまりいい方法が浮かばない AWSで都度インスタンス立てて都度破棄する スクレイピングがリアルタイムではなく、定期的に行う && 計算コストが大体わかる ならばこれでいいと思う 今回はユーザーアクションに応じてリアルタイムにスクレイピングを走らせたいのでぼつ クライアント側でスクレイピングする んーまあこれかな

はじめに 先日の関西Ruby会議2017でもアナウンスしたとおり、現在「プロを目指す人のためのRuby入門」というRubyの入門本を執筆しています。 上のスライドにも書いてあるとおり、発売予定は2017年11月なのでもう少し先です。 書籍タイトルや発売日は現時点の予定であり、多少変わる可能性もありますが、とりあえずこんな予定で企画が進んでいます。 発売元の出版社は技術評論社さんです。 このエントリでは、「プロを目指す人のためのRuby入門」の概要や執筆状況についてお知らせします。 どんな本なの？ ひとことで言えば「Rubyの言語仕様やRubyの使い方を教える入門本」です・・・となるのですが、それだけだと巷にあふれる入門本とあまり変わらないですよね。 ですので、本書の特徴やセールスポイントをもう少し詳しく説明しましょう。 入門本なのでRubyの言語仕様やRubyの使い方を教えるのは当然なので

トレンドの変化やCSSの進化によって、最近は大量のツールや便利なリソースが公開されるようになりました。 この記事では、2017年これまでにリリースされた便利CSSツールやリソースをカテゴリごとにまとめてご紹介します。 制作時間の節約にもなるCSSライブラリとツールは、より手軽に利用できるだけでなく、Flexbox や CSS Grid といったまだ完全に理解していないCSSプロパティを習得するのにも最適といえるでしょう。 【2016年版】ウェブ制作を快適にする、知っておきたい無料オンラインツール50選 デザイナーが確認しておきたい、デザインリソース完全ガイド 2016年度 コンテンツ目次 1. CSS Flexbox ツール＆ライブラリ 2. CSS Grid ツール＆ライブラリ 3. CSSコンポーネント 4. CSS アニメーションツール＆ライブラリ 5. CSSリファレンス、ガイド＆

検索ボックスは入力フィールドと送信ボタンの組み合わせです。検索ボックスにデザインは必要ないと考える人もいるかもしれません。たしかに、たった２つの単純な要素でしかありません。しかし、コンテンツが多いサイトでは、検索ボックスは往々にしてもっとも頻繁に使用される要素なのです。 複雑なサイトに遭遇したとき、ユーザーは労力を使わずに素早く最終目的地まで辿り着けるように、すぐに検索ボックスを探します。ですから、検索ボックスのデザインやユーザビリティは重要なのです。 この記事では、ユーザーが目的地に辿り着くための時間を節約するために、検索ボックスをどのように改善できるかを見ていきます。

Mousedown/⌘ FF/Rewind Right/left Stretch Up/down Amplitude -/+ Zoom P Pause/play 1 Red on/off 2 Blue on/off 3 Yellow on/off 4 Purple on/off

Webページやスマホアプリを読み込む際に、ローディングのアニメーションを表示するのをよく見かけます。しかし、最近ではFacebookやSlackなどでインターフェイスプレビューとして、表示される予定のコンテンツをプレースフォルダーで先に表示しています。 表示される予定のコンテンツとして利用できる画像や見出しやテキストなどをプレースフォルダーで表示できる軽量のスタイルシートを紹介します。 そのまま使用してもよし、カスタマイズもCSSベースで簡単にできます。

Cloud Soruce Repositriesは、Google Cloud Platform上でホストされるGitリポジトリ。プライベートなGitレポジトリをいくつでも持つことができます。 ソースエディタ機能も備わっており、レポジトリの内容のディレクトリ表示、ファイルのコンテンツ表示、2つのソースファイルを開いて差分を表示することなどが可能。