簡単なクローラ作るならPythonだよ！
http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404 最近、Webクローラクライアントを作るお仕事が増えた。WebクローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。 クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つのIPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。 結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりと
完全ノーマークのテキストエディタが想像以上に良かった『KWrite』[原石No.170] - リニューアル式
KWrite ― Text Editor 1.3 カテゴリ: 仕事効率化 価格: ￥85→無料 販売: Umanify Kwriteというアプリが気になった。 無料値下げ中だったので試してみたところ、これがまたとんでもない原石アプリだった。 書き終えたテキストはタイムスタンプ付きでフォルダに自動保存。フォントの種類・色・サイズも自由に変更 右上の＋ボタンをタップするとメニューを表示。真ん中上の「A個」とあるのは翻訳ボタン。英文テキストをGoogle翻訳で和訳できる 「Share」ボタンはご覧のとおり。Dropboxへのポストもできる。「others」からEvernoteやTwitter、Tumblrとも連携できる。 「More」ボタンの「Web View」を使うと、HTMLやMarkdownのプレビューも。 こんなにかっこいいエディタなのに完全ノーマークだった。気づけてよかった。 KW
![完全ノーマークのテキストエディタが想像以上に良かった『KWrite』[原石No.170] - リニューアル式](https://cdn-ak-scissors.b.st-hatena.com/image/square/09a54c0982a348ab42069afc03120c42eb2c3d2e/height=288;version=1;width=512/http%3A%2F%2Fa1.mzstatic.com%2Fus%2Fr1000%2F085%2FPurple%2Fv4%2F37%2F33%2F6a%2F37336ae6-7e43-d185-7c4a-9a4c680152d2%2Fmzl.vedynzcl.jpg)
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
CSS3やHTML5などのコードを書く様子を再現し、徐々に 出来上がっていく様を見ながら学べる チュートリアルサイト・TheCodePlayer - かちびと.net
一つの形として面白かったのでシェア。 実際にコードを書いていきながら徐々に 出来上がっていくさまを見ながら学べる チュートリアルサイト。動画のチュート リアルより見やすく頭に入りやすい気も しないでもないです。 こういう形で学べるのは面白いですねー。はじめてみるタイプのチュートリアルサイトです。よく、書いたコードがインタラクティブに反映されるサービスがありますが、そのチュートリアル版という感じ。 ブログ形式でチュートリアルを公開しています。 説明するより見た方が早いですね。以下のようなチュートリアルです。Play Walkthroughをクリックするとコードを打っているのが分かります。右はビューエリア。 Make a simple cloud in CSS3 こういう発想は全然なかったですけど、Youtube等の動画で見るより分かりやすい気はします。動画は音声も使ええるのが魅力でしょうけど
JSON on HTTPやWeb APIを各言語でどうやって実装するのか
HTTPでアクセスして、JSONを返すようなWebサーバを書きたいとする。 どんな言語を選ぶか。どんなミドルウェアを選ぶか。どんなライブラリを選ぶか。 たとえば、TIOBE Softwareが公表している「Programming Community Index(PCI)」という指標がある。人気のあるプログラミング言語の数値化。これを見ていて思ったのは、「多すぎだよね、プログラミング言語」ということ。これらのうち、どの言語を勉強し、どの言語をプロジェクトに採用すべきなのか。 その感触を得るために、 「同じ仕様のREST serviceを複数言語で実装したらいいんじゃね？」 と思った。いくつかの言語で実装を起こしてみている。 前提条件 大規模な開発を想定する。ユーザの規模が大規模。トランザクション数が大規模。そして、開発者が大規模。 実用的かつモダンな開発を想定する。プロジェクト毎のバージョン
こんなに充実！Webで学べるIT系学習講座20選まとめ
Webにある「学び舎」使っていますか？ 無料で学べるオンラインコンテンツが数多く観られるようになってきました。従来は語学や、ビジネス系のものが目立っていましたが、最近では、質の高いIT系のオンライン学習のための教材がそろってきました。オンラインでの学習の利点はいくつか考えられます。 安価もしくは無料で質の高い教材に出会える 自分の時間をうまく使って教材や講座を観られる →モバイルデバイスに入れて持ち歩くこともできる 気に入った講座はサブスクライブ（登録）することで継続的に受講できる 海外の講座であれば、英語の勉強（ヒアリング）にもなる →海外出張や英語イベント参加の前に、英語脳に切り替えるのに便利 物理や数学、ITやプログラミングに直接関係無い事柄でも学べる 一方で、一緒に学ぶ同級生の存在が感じられにくい、サボる理由がいくらでもあり、モチベーションが続きにくいといった難点もあります。 また
英語の前置詞23個の使い方を完璧に身につける音声トレーニング
Tweet Pocket 英語には、in や out などの前置詞が非常に沢山ありますよね。私は、この前置詞が非常に苦手で、中学や高校のテストの時に、いつも間違えていたことを覚えています。 動詞を使う時でも例えば、take out やtake off など後ろに、どんな前置詞が付くかによって意味が全然違ってしまい、いつまでたっても自信が持てませんでした。 あなたにもそんな経験はありませんでしたか？または、今まさに前置詞に悩まされていませんか？今日は、そのために英語の前置詞完全攻略トレーニングを用意しました。今日で、英語の前置詞の悩みを全て解決してしまいましょう！ 1.前置詞トレーニング方法それでは、早速トレーニングの説明をしますね。今日は、下記の23個の前置詞を完璧に覚えるための音声を用意しています。 out / up / for / on / down / about / of / in
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nerdi : Webデザイナー必須のリソースをひとつにまとめたショーケース
レスポンシブWebデザインで作られた凄いWebサイト
電子音楽スレ 前編 : はれぞう