勉強会で話した、Scikit-learnの入門資料です。speakerdecでも共有しましたが、slideshare一本化のためこちらにも上げます
![Webクローリング&スクレイピングの最前線 公開用](https://cdn-ak-scissors.b.st-hatena.com/image/square/d4730a3b3cee874ec8c58d55b1dfae1fd66a962c/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fweb-130621233911-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
総務省は、本日、グーグル株式会社が日本国内において無線LANを経由した通信を受信し、その一部を記録した行為が電気通信事業法(昭和59年法律第86号。以下「法」といいます。)第4条に規定する「通信の秘密」の侵害につながるおそれがあったものと認められることから、同社に対し、文書により指導するとともに、再発防止策・状況等について報告を求めました。 (1) 平成22年5月14日、米国グーグル社がストリートビューカー(※)によって道路周辺映像を撮影する際に無線LANを経由した通信の一部を誤って収集していた旨を発表したことを受け、当省は、グーグル株式会社に対して、法第4条(秘密の保護)の規定に照らし、事実関係について報告を求めました。 (2) 同社からの報告により、同社は米国グーグル社の方針に基づき、「グーグルマップ」のサービスを向上させる目的で、無線受信装置をストリートビューカーに搭載し、平成19年
グーグルもやられっ放しじゃなかったようですね。 中国から半端ない規模のサイバー攻撃を受け、人権活動家のGmailアカウントに侵入された事態を重く見たグーグルが、「もう中国政府の検閲には協力しない。続けろと言うなら中国撤退だ」と発表した件で、グーグルが実は侵入された直後ハッカーのサーバーをハックし返していたことが、ニューヨーク・タイムズの調べで分かりました。 それによると先月、中国から何者かがGmailアカウントに侵入する気配を本社勤務のエンジニアたちが察知し始めた段階で、グーグルは直ちに「極秘の反撃」を開始したのだそうです。 ソースと思しき台湾のコンピュータへのアクセスを確保し、マシンの中を覗いてみると、グーグル以外にもアドビ、ノースロップ・グルマン、ジュニパー・ネットワークスなど少なくとも33社が同じ攻撃を受けた形跡が見つかりました(ポストはダウ・ケミカル含め34社と人権団体、シンクタン
Google、GmailやGoogle+のセキュリティを強化 「forward secrecy」を採用 米Googleは11月22日(現地時間)、SSL接続で提供している各種サービスで「forward secrecy」機能をデフォルトで有効にしたと発表した。Google検索、Gmail、Google Docs、Google+に適用される。 forward secrecy(PFSとも呼ばれる)は公開鍵暗号技術の一種で、暗号化されたコミュニケーションを長期にわたって解読されないようにするためのもの。過去のコンテンツに接続するためには長期の公開鍵とプライベート鍵のセットが必要なため、攻撃者はいずれかの鍵を解読してもコンテンツのデコードができない。通信ピア双方に実装されている必要があり、処理負荷も掛かるため、HTTPS接続を提供するWebサイトの多くはこの機能をサポートしていないという。 Goog
米Googleのラリー・ペイジCEOは6月7日(現地時間)、同社のCLO(最高法務責任者)のデビッド・ドラモンド氏との連名で、米連邦政府による極秘プログラム「PRISM」についての公式声明を発表した。タイトルは「What the ...?(何てこった)」となっている。 これは、米Washington Postが6日、米国家安全保障局(NSA)と米連邦捜査局(FBI)が、PRISMと名付けられた極秘プログラムを通じて「米国の9社の主要インターネット企業のセントラルサーバに直接アクセス」し、音声、動画、写真、電子メール、文書、接続履歴を含む膨大な量のデータを収集していると報じたことを受けたものだ。 同社は報道後すぐに広報担当者による声明を出したが、あらためてCEOの名前で公式ブログで説明した。この中でペイジCEOは、国民を守るために国家政府が行動を起こすことは必要ではあるが、現在の法的手続きに
Androidアプリケーションから個人情報が流出し、攻撃者に傍受されたり改ざんされたりする恐れがあるという。ドイツの研究者が発表した。 米GoogleがAndroid搭載端末で提供しているカレンダーアプリケーションや連絡先アプリケーションの情報が暗号化されないまま転送され、他人に情報を傍受されたり、改ざんされたりする恐れがあることが明らかになったと、ドイツの研究者が発表した。Androidを搭載したスマートフォンの99.7%がこの脆弱性の影響を受けるとしている。 ドイツのウルム大学の研究者が公開した情報によると、この脆弱性はGoogle CalendarやGoogle Contactsなど「ClientLogin」という認証プロトコルを使っているアプリケーションで、暗号化されないHTTPを介して認証用トークン(authToken)がやり取りされている問題に起因する。これは公衆無線LANを介
昨日「Google Playで詐欺アプリ急増、新たな手口も言及 - シマンテック」という報道があった。これは今に始まった話ではなく、「オープン」であることを売りにする Android OS ならではの根本的な問題であり、Google が自ら Apple のような厳しい制限をアプリケーションに課すことを期待すること自体が間違いだと私は思う。 これに関して一義的の責任を持つのは、Google ではなく、セキュリティ・ホールだらけなことが自明である Android OS を搭載した端末を一般消費者に向けて平然と販売しているメーカーであり、通信事業者である。 この問題に関しては、「消費者に注意をうながす」「ウィイルス対策ソフトを導入する」「審査済みのアプリだけを提供するアプリストアを別個にもうける」などの生易しい解決策では全く不十分だ。 根本的な解決策としては、 Google に対し、Androi
Googleが2月10日に公開した、ひとことメッセージなどを投稿してユーザー同士で交流できるサービス「Google Buzz」で、本名や現在地の位置情報といった個人情報が意図せず公開されてしまうとネットで騒ぎになっている。 Google Buzzは、Twitterのようにひとことメッセージを投稿したり、フォローしている友人のメッセージをリアルタイムで閲覧してコメントを付けたりできるサービスで、Gmailのメニューから利用できる(Googleも“なう”、GmailにTwitter風機能「Google Buzz」)。 表示される投稿者名は「Googleプロフィール」の氏名で、デフォルトだとGmailの送信者名と同じ。投稿内容は全ユーザーに公開される「一般公開」がデフォルトになっている。Gmail送信者名に本名を設定し、デフォルトのまま利用すると、自分の行動などを本名で公開することになる。 iP
グーグルは、何といってもデータ企業だ。グーグルはかつて、公平な競争の場で、一般に公開されているデータを競合相手よりも巧みに利用することを武器として戦った。そうすることで、空前の大成功を収めたんだ。 Web 2.0の時代に入ると、ハードディスク、プロセッサ、通信帯域、果ては労働力まで、比較的安価に入手できるようになった。そのおかげで、検索分野への参入障壁は急激に低くなった。競合相手がグーグルに追い付き始め(MSN画像検索とか)、新規参入者も現れる(Cuill)に至って、グーグルは、何らかの優位性を探し求めている。 インターネット上のコンテンツについては、誰もがほぼ対等にアクセスできるようになったから、先行している企業はあの手この手で個人データを入手しようとしている。検索エンジンにとっていちばん費用効率がいいのは、すでに自社のサービスを利用しているユーザーからデータを集めることだ。グーグルは、
日本の通信キャリアも耳が痛い? スマートフォンをいわゆる「2年縛り」で売っておきながら、そうした端末をアップデートせず、セキュリティホールを放置しているのは問題であるとして、米自由人権協会(ACLU)は、米連邦取引委員会(FTC)に消費者の救済を求めました。 米国では多くのユーザーが、2年契約でスマートフォンを購入しています。特にAndroid OSが市場シェアの75%を占めていることを、ACLUは問題視しています。 Android OSはGoogleが提供しています。セキュリティの修正も、OSの更新が必要です。しかしAndroidは、WindowsのようにOS提供者が常にセキュリティ更新を行うような仕組みがないため、メーカーや取り扱い通信事業者がアップデートを行わない場合、消費者はセキュリティ上の危険に晒されることになります。 常にセキュリティの修正は消費者に提供されるべきだ、というのが
訪問したウェブサイトのコンテンツ分析Googleアカウント個人ユーザーに関する情報を集めるためのリソースとして使われる登録情報登録した日付ユーザー名パスワード予備のメールアドレス住所(国)顔写真利用情報友人グーグルサービスの利用状況ログイン回数Googleツールバー訪問したすべてのウェブサイト固有のアプリケーション番号404エラーとなったページを全部グーグルに送信ツールバー同期機能グーグルのアカウントに自動入力情報を保存ウェブフォームの構造をグーグルに送信セーフブラウジングセキュリティに関する警告への応答を保存自動入力フォームデータを保存スペルチェックはグーグルサーバーにデータを送信ウェブの履歴グーグルの検索結果ページから閲覧した全ウェブサイト日付時刻検索クエリクリックした広告利用したサービスGoogle翻訳グーグルのサーバーに送ったテキストすべてGoogle Finance株式のポートフ
ニューヨーク(CNNMoney) 「グーグル検索で見つからないものは誰にも見つけられないと思われがちだが、それは真実ではない」――。インターネットの「闇グーグル」とも呼べる検索エンジン「Shodan」を開発したジョン・マザリー氏はそう話す。 ウェブサイトを巡回して情報を収集するグーグルに対し、Shodanはサーバー、ウェブカメラ、プリンター、ルーターなど、インターネットに接続された機器5億台あまりを巡回して情報を収集する。 ごく単純な検索でも、Shodanに表示される結果には息をのむ。インターネットに接続された無数の信号機、防犯カメラ、ホームオートメーション機器などが簡単に見つかるほか、親水公園やガソリンスタンド、ホテルのワインクーラー、火葬場などの制御システムも検索できる。サイバーセキュリティーの専門家は、原子力発電所や粒子加速器の制御システムまで探し当てたという。 何よりも恐ろしいこと
デジタル系ブログメディア「Digital Inspiration」では、Google/Gmailアカウントをハッキングされてしまった筆者が、実体験を元に学んだセキュリティ術を紹介しています。 正確にはどうやってパスワードが破られたのか不明ながら、ハッキングに気づいた筆者はすぐにTwitter上で他のユーザのヘルプを求めたそうです。彼らの情報に従い、そのアカウントの所有者であることを認証してもらうためGoogle復旧要請フォームに必要項目を入力し、オンライン提出した後、Googleと何度かやりとりした末、3時間かけてようやくアカウントの復旧にこぎつけたのだとか。 この苦い経験から学んだポイントとして、以下の10点を挙げています。 その1: Google/Gmailアカウントにログインし、電話と連携させておく。こうすれば、第三者が自分のGoogleパスワードを回復させようとしている都度SMSテ
携帯電話販売店でスマートフォン購入時に、Googleアカウントとパスワードを書く紙を配られた――こんな報告がネットで相次いでいる。NTTドコモ、KDDI(au)、ソフトバンクモバイルの一部ショップで行われているようで、「情報管理は大丈夫なのか」「パスワードがもれないか不安」といった声も上がっている。 3社に対し3月22日に問い合わせたところ、NTTドコモは3月11日から各販売店で、スマートフォン新規購入者などに対して、GoogleアカウントのIDなどを記入する用紙「Googleアカウント初期設定シート」の配布を始めたとの回答だった。「応対時間の短縮と、スマートフォン初心者への対応のため」(ドコモ広報部)で、記入された情報は販売店では保存せず、必ず持ち帰ってもらうなど、細心の注意を払って運用しているという。 KDDIは「スマートフォンが不慣れな顧客のサポートとして、販売店が独自に行っているの
3月5日、「毎日jp」「マイナビニュース」「ORICON STYLE」など大手WebサイトなどにGoogle検索やChromeブラウザ、Firefoxからアクセスすると「不正なソフトウェアが存在する可能性があります」などと警告され、一時ブロックされる事態が起きた。5日午後6時現在、ORICON STYLEなどへのアクセスは回復している。 編集部注 5日午後4時半時点でオリコンへの規制は解除されている。 5日午後6時15分時点でアクセスが一部回復していることを追記し、記事内容を一部差し替えました。 Googleは不正プログラムについてユーザーに警告するセキュリティ対策機能「Safe Browsing」を提供しており、Google検索結果やChrome、Firefoxなどが利用している。サイトなどに問題が発生した可能性がある場合、Safe Browsing機能に基づき自動的にブロックされる仕組
Googleは私たちが検索した履歴を事細かく保存しています。Googleのアカウントを持っている方は、それらの履歴を閲覧することができ、いつどんなキーワードで検索したかを遡られるので、便利です。 しかし、中にはこの履歴保存が嫌な方もいらっしゃるでしょう。そういう方は、ウェブ履歴を無効にして今までの履歴を削除すると良いですよ。 詳細は以下より。 まず、Googleウェブ履歴へアクセスしましょう。Googleアカウントでログインします。 ずらりと履歴が並びますが、その最上部に「Remove all web history」というボタンがあります。そちらをクリックしましょう。 「あなたのウェブ履歴を全部削除しますよ?」といった警告が表示されるので「OK」を押せば完了です。これで、いままで保存されていたウェブ履歴がなくなります。 自分の情報を外部に渡したくないという方は、こういうところもチェックし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く