Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
明細を見ない人はクレジットカードを利用してはいけません - 最終防衛ライン3
楽天カードに身に覚えのない１００万円の借金を背負わされた件について - 鼻が赤くなりにくいティッシュです リボ払いは金利が高すぎるのと、クレジットカード会社が巧妙にリボ払いへと誘導しようとする点は批判されるべきだと思いますが、明細を見ないで借金が100万円になるまで気がつかない人はクレジットカードを使ったらいけないと思います。と、先日スキミングにあった輩が申しております。 明細を見ない人がクレジットカードを利用すべきでない理由は大きく２つあります。一つは信用情報の構築のため。もう一つは不正利用を防ぐためです。 信用情報の構築 クレジットの分類 | クレジットの基礎知識 | 消費者のみなさまへ | 一般社団法人日本クレジット協会 クレジットカードは利用者に支払い能力がある「信用」があって利用できます。クレジットとは信用という意味です。その信用を元にクレジットカード会社が代金を建て替えることで
言葉を感覚的にとらえて思考停止していませんか？ - 夜の庭から
2013-12-31 言葉をイメージや感覚だけでとらえていませんか？ 疑問の整理 考えごと 夜の庭からコンバンワ。苦手と嫌いはちがう！とブコメやtwitterに何度も書いていたら、ショッカーに先に書かれてしまったミィア猫(ΦωΦ)です。サムネイル画像もうちのデフォルト画像と同じだし……。 増田虎達さんの件もそうですが、時々、日本語が通じないと思うことがあります。もちろん場合によっては、自分の伝え方にも問題があるケースもあるのですが。認知不協和や飛躍した脳内補完は手に負えないなぁと思います(´-ω-｀) 今日は日常で感じている違和感の話を。（※このエントリーは下書きで眠らせていたので、話題が少し古いです。） 意見や指摘は叩きではないし、苦手は嫌いではない 自分と異なる意見や指摘＝叩きではない 先日、twitterでこんな会話がありました。「はてなブックマーク - 2013年ジャンプ打ち切り漫
Facebookの衰退はザッカーバーグの理想が10代の現実に負けること - 高橋暁子のソーシャルメディア教室
Facebookは衰退したと言われています。 10代からFacebook離れを起こしており、次第により簡単でリアルタイムなメッセンジャーアプリ（snapchatなど）に移行しつつあります。 Facebookは長期蓄積型であり、「今」が大切な10代にはきつい仕組みです。 また、実名制で一人一アカウントのため、友達・恋人・両親・教師・上司・同僚などすべての人間関係と同じフィールドで付き合うことを強いられることも、10代がFacebookを避ける理由となりました。 「コミュニケーションを素早く簡単にその場だけで」 「親や教師に見られないところで友達とコミュニケーションしたい」 という思いから、ティーンはInstagramに移り、またsnapchatにきました。 2種類のアイデンティティーを持つこと、それどころか関係性において顔を使い分けるのはどんな人でも日常的に行っていることです。なのになぜ、F
「あだち去（ざり）」を数えてみた : 熱中ブログ！
12月30 「あだち去（ざり）」を数えてみた カテゴリ:ぼくが熱中した！ 今回はいつもとちょっと、いやかなり毛色の違う記事をお届けしよう。無駄に力作となりました。 ■命名：「あだち去」 おそらく、ぼくの年代の人間はあだち充のマンガをどこかで必ず読んでいるはずだ。たとえば「タッチ」の連載は1981年〜1986年で、テレビアニメの放送は1985〜1987年が最初。ちょうど中学生のぼくもよく見ていた。 3歳離れた妹はあだち充作品が好きで、おそらくほとんどの単行本を持っているのではないかと思う。ぼくがちゃんとあだち充作品を読んだのは、大学生ぐらいの頃妹に借りた時だ。 で、先日とあるきっかけがあって、あだち充作品をあらためて読み返してみてふと気がついた。あだち充の作品には登場人物が去り際にこういうポーズとることが多い。 （あだち充『スローステップ』単行本第5巻112ページ） この姿のことだ。後ろ姿で
センター試験英語満点扱い ＴＯＥＩＣ７８０点や英検準１級以上で特例 （産経新聞） - Yahoo!ニュース
平成３０年度以降に予定されている大学入試改革について、ＴＯＥＩＣや英検などの英語資格試験を大学入試センター試験に活用する特例措置を、予定より前倒しして導入する方向で文部科学省が検討していることが３０日、同省関係者への取材で分かった。高校在学中にＴＯＥＩＣなどで高得点をとれば、センター試験の英語の得点を満点とする方針であることも判明。年明け後の中央教育審議会で議論される見通しだ。 ■大学入試改革、前倒し 資格試験活用 文科省検討 関係者によると、特例措置の導入は、一発入試型のセンター試験ではなく、何度でもチャレンジできる資格試験を活用することで、生徒の日常的な学習意欲を高める狙いがある。 具体的には、英語教育で国内外から評価の高い国際教養大学（秋田市）が実施している取り組みを参考に、例えば高校在学中にＴＯＥＦＬ（ｉＢＴ）７１点以上、同（ＰＢＴ）５３０点以上、ＴＯＥＩＣ７８０点以上、英検
出版物売り上げ減 約３０年前の水準に NHKニュース
ことしの国内の出版物の売り上げは、去年よりおよそ５５０億円減り、２９年ぶりに１兆７０００億円を下回り、ピーク時の５分の３程度にまで縮小する見通しとなりました。 出版業界の調査や研究を行っている東京の出版科学研究所のまとめによりますと、ことし国内で出版された書籍と雑誌の売り上げは推定で、合わせて１兆６８５０億円程度と去年よりおよそ５５０億円減る見込みです。 これは、昭和５９年以来、２９年ぶりに１兆７０００億円を下回り、売り上げが最も多かった平成８年の５分の３程度にまで減ることになります。 このうち書籍の売り上げは、村上春樹さんの新作や人気テレビドラマの原作の小説など、文芸書で大ヒット作が続いたものの、全体では去年よりおよそ１２０億円減り、８０００億円を割り込むと見られています。 また、雑誌の売り上げは４３０億円減って８９５０億円前後になるとみられ、３０年前の水準にまで落ち込む見通しです。 出
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
