Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
Wordpressで1秒切り！目を疑う高速表示の設定はこれだ！1時間で5万PVでも大丈夫 | iPhone 研究室
先日、Yahoo! ニュースからリンクして頂いたのを切っ掛けに、大量アクセスがありました。いつもは後で気がつくんですけど、たまたま Google Analytics のリアルタイム画面を開いたらその直前にアクセスが爆発していました。通称「Yahoo!爆弾」ってヤツですね。 【追記】現在はコアウェブバイタル対応を完璧にするため、もっとモダンな設定にしています。 iPhone 研究室は WordPress で運営していますが、全く動じないでこの大量アクセスをこなしてくれました。 11時半頃にリンクがあったみたいなんですけど、世の中がお昼休みに入った12時頃から更にアクセスが倍増しました。 だいたい、11時半から12時までの30分で2万ページビュー（PV）、12時から13時までの1時間だけで5万PV位の大量アクセスになりました。 新型iPhoneに関する噂という記事からのリンクだったので、興味を
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
短期間でプログラミングを習得してWebサービスをつくるための知識と方法まとめ | らふらく ^^
最近、スマホの普及と共に、プログラミングを学習したい人が増えてきているようです。 私の周りでも、プログラミングに興味があり、webサービスをつくってみたいという人が大勢います。 ということで、プログラミングをやった事がない人（または初級者）のために、 プログラミングで何を学べばいいか、 どうやって勉強したらいいかというノウハウを紹介したいと思います。 何を学ぶべきか プログラミングにはいろんな言語があるため、どの言語をやればいいかわからないという声を耳にします。 そこで、初級者でも学びやすい言語を厳選し紹介したいと思います。 1. 何はともあれ「HTML」 こちらは、Webサービスをつくる上で書かせない言語で、 今見ているページ（見た目の部分）はすべてHTMLで書かれています。 HTMLを学ぶ上では以下のサイトが参考になります。 HTMLの基本 HTML入門 ドットインスト
穴埋め問題を解くような形式でPHPを学べる勉強サイト・(un)classroom
プログラミングを学べる、みたいなサイト が凄く増えている印象ですが、また似たよ うなサイトを見かけましたのでご紹介です。 実践しながら学べるサイト・(un)classroom。 実践といっても、穴埋め問題っぽい感じで、 手を動かして学べるようになってるだけで すが。 こういうサイト、日本でも増えていく気もします。需要が高い事は明白ですし、このように前例が出来ればインスパイアされるものですのでいずれ増えてくるんじゃないでしょうかね・・ まだ出来たばかりでPHPの基礎とFacebookアプリの作り方しか教室が無いんですが、今後に期待という事で・・ 最初の授業です。「PHPは<?phpで始まって?>で終わらせます」とあります。基礎のキですね。で、右側のsubmitで実行してみましょう、といった流れで進んでいきます。 で、2ページ目でレッチチャレンジ、という感じで穴埋めし、先ほどと同じようにsub
こんなに充実！Webで学べるIT系学習講座20選まとめ
Webにある「学び舎」使っていますか？ 無料で学べるオンラインコンテンツが数多く観られるようになってきました。従来は語学や、ビジネス系のものが目立っていましたが、最近では、質の高いIT系のオンライン学習のための教材がそろってきました。オンラインでの学習の利点はいくつか考えられます。 安価もしくは無料で質の高い教材に出会える 自分の時間をうまく使って教材や講座を観られる →モバイルデバイスに入れて持ち歩くこともできる 気に入った講座はサブスクライブ（登録）することで継続的に受講できる 海外の講座であれば、英語の勉強（ヒアリング）にもなる →海外出張や英語イベント参加の前に、英語脳に切り替えるのに便利 物理や数学、ITやプログラミングに直接関係無い事柄でも学べる 一方で、一緒に学ぶ同級生の存在が感じられにくい、サボる理由がいくらでもあり、モチベーションが続きにくいといった難点もあります。 また
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
5分で分かる PHP を知らない人が PHP の便利さを学べる記事を書いたよ
ドットインストール - 3分動画でマスターする初心者向けプログラミング学習サイト
八角研究所 : 誰でも簡単にできる Twitter ボット作成入門