PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
検索ワードを入れる順番で結果がこんなにも変わる！？常識だと思っている検索方法も実は技術の１つ
だいず：紫グラ @daizu1977 異文化体験をした。いきなり入ってきた初老男性『○○って会社を教えてくれ（同業）』同業だけど知らないっすよｗ「いやー、知らないですねー、googleで調べると良いデスヨ」『調べても出ないんだよ』見ると検索ワードがめちゃくちゃ。ネット経験浅いと検索すらロクに出来ないのだなぁ・・ 2016-10-01 10:12:55 だいず：紫グラ @daizu1977 ネットで検索する時は文章で聞くのではなく「当たりそうな単語を スペースで区切っていくつか入力し 候補の中から自分で探す」この基本が出来ていない団塊が多い。当たり前だと思っている検索方法も、ある意味技術なのだなぁとちょっと実感した。知らない人は知らないのだ。 2016-10-01 10:14:47
次世代Webカンファレンスお疲れ様でした。 - らこらこブログ
お疲れ様でした。 セッションの内容に関しては動画がありますし、実況ツイートに関してはTogetterさんがしっかりまとめてくれてるのでどうぞ。 togetter.com front_archというテーマで登壇しましたが実況ツイートでも多く見られるように次世代成分が足りてなかったなというのは80分終わった瞬間に自分でも思いました。ので、ブログでちょっとだけ持論を補足しておきます。 標準仕様で繋がるWeb 私が次世代のWebに期待しているのは、異なるライブラリやフレームワークが標準仕様を通してコミュニケーションするのが当たり前になる世界です。 C88で頒布されたTechBoosterの「ジャバスクリプトゥーン」の第1章を書かせてもらいましたが、そのコラムでPolymerとその他のライブラリがWebIDLでコミュニケーションし、独自のHTML要素のAPI定義を他のライブラリから参照できるようにな
SORACOMの凄さは第三者が「SIM」を自由に発行・運用できることーーIoT向けモバイル通信PF、ソラコムが提供開始 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
久しぶりに話を聞いて鳥肌が立った、そんなプロダクトが今日、お目見えする。 IoT向けのモバイルデータ通信プラットフォームを提供するソラコムは9月30日、同社プラットフォーム上で提供されるSORACOM AirとSORACOM Beamのサービス開始を発表した。同社はMVNO（仮想移動体通信事業者）としてNTTドコモと契約（L2卸契約）し、同キャリアの基地局を利用したモバイル通信サービスを提供する。 SORACOM Airは従来のMVNO事業者が多額の投資で運用を開始してきたコアネットワーク（パケット交換、回線管理、帯域制御）とサポートシステム（顧客管理や課金）を独自に開発、Amazon Web Services （以下、AWS）のクラウド上に実装したのが特徴。 これによって、大幅な初期コストの軽減によるサービスインの実現と、このプラットフォーム自体を第三者に解放することで、各事業者による
5分でわかる正しい Web サイト常時 SSL 化のための基礎知識
Web サイトを常時 SSL 化する場合に、最低限知っておかなければならない知識や、注意点、実際の設定方法まで、ひと通りまとめてみました。メリットやデメリット、証明書の種別からリダイレクト設定などについても解説しています。 HTTPS をランキングシグナルに使用しますと Google が公式に発表したあたりから、Web サイトの SSL 対応、特に Google が推奨している Web サイトをすべて HTTPS で配信する、所謂 「常時 SSL 化」 についての話を聞いたり、実際にお客様から相談されたりするケースが増えてきました。 そこで、いい機会だしその辺に関する情報をまとめておこうかな～ と思って書いてみた、恒例の （？） 5分でわかるシリーズ。書き終わって見たところ絶対に 5分じゃ無理っていう文章量になっててどうしようかなぁとも思ったんですが、気にせず公開してみます。 常時 SSL
政府に国民監視用スパイウェアを販売していた会社に反撃のハッキング、400GBの内部情報がネット上に流出
by eleni boulasiki イタリアのセキュリティ企業「Hacking Team」がハッキング攻撃を受け、400GBに上る内部資料がネット上に流出、Hacking Teamの公式Twitterアカウントは12時間にわたって乗っ取りを受け、ハッキングによって盗み出された情報のサンプル公開場所と化しました。Hacking Teamは政府や法執行機関向けにハッキング＆監視ツールを販売していて、国境なき記者団の「インターネットの敵」リストに挙げられてきた企業で、内部資料からはAdobeも把握していなかったFlashのゼロデイ脆弱性を知っていたことが明らかになっています。 Hacking Team hacked, attackers claim 400GB in dumped data | CSO Online http://www.csoonline.com/article/294396
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
グーグル、MSの入力処理技術「Pointer Events」を「Chrome」に実装へ
10年前、Microsoftはウェブにおいて嘲笑の的となっていた。同社のブラウザ「Internet Explorer」は古くさくてセキュリティの面で劣り、動作も遅く、Microsoftのブラウザ部門はウェブの可能性を進化させようともしなかった。 それを思えば、何とも隔世の感がある。 Microsoftは米国時間3月25日、ウェブの世界で1勝を記録した。Microsoftが開発して利用を推進していた「Pointer Events」というウェブ標準について、実装しないとしていた2014年の決定をGoogleが覆したのだ。 Googleの「Chrome」担当チームのRick Byers氏は、同ブラウザの問題追跡サイトへのコメントで次のように述べた。「皆さん、フィードバックをありがとう。われわれはこれらの声をしっかり受け止め、ChromeにPointer Eventsを組み込めそうな計画に取り組ん
初心者でもほぼ無料でHTML5/CSS3を勉強できるコンテンツ9選 - paiza times
Photo by slavik_V こんにちは。谷口がお送りします。 Webの仕事を目指している人やプログラミング初心者、さらにはブログをやっている人など、HTMLとCSSを習得したい人は多いと思います。特に最初は「Webサイトを作ってみたいけどどうしたらいいんだろう……」「自分のブログを豪華にしてみたいんだけど、HTMLっていまいちよく分からない……」など、さまざまな悩みがあるのではないでしょうか。 HTMLとは、Webページを作成する時に使用されるマークアップ言語の一つです。 マークアップ言語とは、プログラミング言語と違い「タグ」を使って、「ここからここまでが見出しです」「ここからここまでが一つの段落です」等といった印をつける言語です。基本的にプログラミング言語のような「入力値を取得し計算処理をする」「条件を満たすまで処理を繰り返す」といった処理や計算はできません。 CSSは、Webペ
AWS(Amazon Web Services)技術資料メモ(2015年3月版) - hiroshixの日記
2015-03-16 AWS(Amazon Web Services)技術資料メモ(2015年3月版) 2015年3月版に更新。 技術資料はココにあるんだけど、散らかってるのでまとめてみた。全体的に資料の日付をチェックした方がいいかも。資料公開からアップデートがある場合も。あとどの資料も最初に概要入っててごめんなさい。 概要的なやつ スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 from Hiroshi Takayama →つまづきやすいポイントや不安点など WebサービスStartUP向け AWSスケーラブルな構成例 WebサービスStartUP向け AWSスケーラブルな構成例 from Amazon Web Services Japan →構成例・代表的なサービスの一言紹介・課金関連・サポ
簡単にWordPress高速化！モバイルフレンドリーのための7つの対策
どうもJUNICHIです。 個人的にはのんびりするのが好きなんですが、WEB業界では「スピード」は命です。 先日、2015年4月21日からGoogleがウェブサイトがモバイルフレンドリーかどうかを、SEOの評価の項目の一つとして使用するとの発表がありました。 ■ウェブマスター向け公式ブログ 「検索結果をもっとモバイル フレンドリーに」■ ⇒http://googlewebmastercentral-ja.blogspot.jp/2015/02/finding-more-mobile-friendly-search.html いよいよ、スマホ対応でないと評価が下がるという時代になったんですね。 そこで、いっそう重要になってくるのが、サイトの表示速度です。サイトの表示スピードを上げれば、ユーザーの満足度UPにつながります。 今回は、WordPressでサイトやブログを運営しているあなたに、表示
仕事のアポ取りで重宝してるサービスを紹介！調整の手間が省けるので、有料コンサル後にブログで酷評事件はもう起きないはず | らふらく^^ ~ブログで飯を食う~
詳しくはわかりませんが、有料でコンサルをした方が、相談依頼主をブログで酷評したという恐ろしい事象が起きた模様です。 参照：The Startupの梅木雄平さんにコンサルを依頼した結果ｗｗｗｗ | 谷町九丁目のキッドスターダスト 今後、有名な方にコンサルを依頼するかもしれない僕としては、それを何としても避けたい所。ということで、なぜコンサルタントの方がお金をもらったにもかかわらず、酷評したのかを考察し、対策を考えてみました。 もっとスマートにアポ取りしておけば良かったのかタイトルの件は、アポ取りに原因があったのではないでしょうか。 僕もそうなのですが、依頼メールが来て、日時を決めるまでの過程って結構しんどいんですよね。以下のやり取りをしなければなりませんから。 1 「コンサルしてもらえませんか？」のメールに「OKです」と返信 2 相手から「いつがいいですか？」とメールが来る 3 相手の都合も
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
モバイル時代を生き抜くためのWebパフォーマンスモデル「RAIL」 ～Response，Animation，Idle，Loadから来る「速さの目安」を知って改善しよう！～：連載｜gihyo.jp … 技術評論社
Pocketに保存した記事を指定した時間にメールしてくれる『Pocket Rocket』 | 100SHIKI
http://japan.internet.com/busnews/20050309/3.html
カシオ、親を介護するスタッフと遠方に住む家族がコミュニケーションできるクローズドSNSツール 
【セキュリティのキホン】第1回：ID／パスワードが狙われる?! 「アカウント管理」のキホン 
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News
Microsoft、タッチ操作でアプリが開発できる“TouchDevelop”をオープンソース化
