クラウド型Webクローリング（スクレイピング）サービス | CINC Marketing Blog
『Webクローリング』はご存知でしょうか？ 別の呼び名では、『スクレイピング』とも呼ばれます。 Webクローリングとは、Web上にある情報をクローラー（別名Spider：蜘蛛）というロボットを使ってデータを収集する事を指します。 Googleなどの検索エンジンはもちろんの事、辞書コンテンツを作成＆公開するWeb辞書サイトから、大学などの研究機関、情報収集を専門とするアウトソーシング企業まで様々な企業や団体が独自のクローラーを開発し、データ収集を行っています。 このクローリング技術を使う事で、今まで手動で取得していた情報を高速かつ大量に取得する事が出来、より多くのデータから調査や分析を行う事が出来ます。 クローリングの技術とテキストマイニングの技術を合わせる事で、マーケティングに於いては顧客の要望や感想を分析し、より顧客の欲求を理解したり、コンテンツマーケティングの記事案の立案にも利用できま
Lessの便利な使い方
最近 Stop using tail -f (mostly) や 「tail -f」を使うのは情弱、情強は「less +F」を使う などless押しな記事が幾つか上がっているんだけど、タイトルが煽り気味なのか若干反感を呼んでいるようなのでless派が職場で肩身の狭い思いをしないようにもう少し便利な使い方を紹介したい。 tail -fの様なScroll forward less +Fで起動またはless起動中にF 元記事にもあるtail -fと同様の振る舞い。正直この機能と検索だけでいいのであればtailで十分。lessの便利なところは様々な機能との組み合わせにあって、これから紹介する機能は基本的にこのモードと組み合わせが可能だ。あと、less開いてFのほうがタイプが面倒くさくないのでおすすめ。 1行で表示する (改行しない) less -Sで起動またはless起動中に-Sr(-Sでモード切
これが無料！？SEO・マーケティング分析ツールの「Nibbler」がスゴい
先日、Nibbler（ニブラー）という、SEOとWEBマーケティング分析サービスを見つけました。 これを使ってみたら、無料ながら、かなり詳細にサイト分析（改善点の可視化）が行える素晴らしいツールだったので紹介です。 Nibblerとは Nibbler – Test any website Nibblerとは、フリーのウェブサイトテストツールです。 アドレスを入力するだけで、アクセシビリティ、SEO、ソーシャルメディアテクノロジーなどの観点から、ウェブサイトをクロールして、レポートを出してくれます。 加えて、適切な改善提案を示してくれるので、提案に従ってサイトを修正すれば、かなり良いサイトに仕上がるのではないかと思います。 Nibblerを英和辞典で調べてみると、「少しずつかじる（小動物）」、「打抜き切断工具」などという意味があります。サイトを細かく分析するツールという意味もあるのだと思いま
スクリプトをDaemonizeする。god ツール．しかもプロセス監視・再起動付き - それマグで！
twitter ボットとか、ファイル同期ボットとか、メール転送ボットとかイロイロボット作るよね？ボッと作らないで、プログラムを使う意味がないというか，ボットがあるからこそプログラムに価値があるわけです． rubyのプロセス管理ツールGod がそこそこイカス プロセス監視・再起動するのが面倒なので，ツールを探してるとGODを見つけた Gravatarの開発者が作って使ってるらしい． 多機能なので基本的なところから god インストール gem install god god を使ってプロセス管理 test.god God.pid_file_directory = "/tmp/god_pids/" #god が書き込みできるディレクトリ God.watch do |w| w.name = "myscript" w.start = "/home/takuya/test/myscript.rb"
非デザイナーエンジニアが一人でWebサービスを作るときに便利なツール32選 - Qiita
非デザイナーエンジニア(Rubyist)の私が、一人でこんなWebアプリを作ってみました。 まだβ版ですが、Pocketやfeedlyの未読コンテンツの中から、 重要度が高いものだけをリマインドしてくれるサービス「Reminderr」です。 Reminderr：http://www.reminderr.me/ 要するに、私自身のPocketとかRSSがカオスになっているので、 その中で重要なものだけ教えてほしかったので、 自分で作っちゃえ！って思って作りました。 そのときに使った便利ツールたちをまとめておいたら便利そうだったので、 今回使ったもの＋αを全てまとめてみました。 紹介するツールたちを駆使すれば、 非デザイナー＆デザインセンス0の私が、 1週間程度でこれくらいのアプリをリリースできるので、 他のエンジニアにも便利なツールがいっぱいあると思います。 Bootstrap系 Boots
cURL - How To Use （マニュアルページ日本語訳）
This page is a Japanese translation of the manual page of the command line tool 'curl'. (more about this page) curl.1 man ページ 名前 curl - transfer a URL curl - URL 転送 書式 curl [options] [URL...] 説明 curl is a tool to transfer data from or to a server, using one of the supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE). The command is designed to work without use
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
あなたのJavaコードをスッキリさせる、地味に便利な新API 10選（前編） - Taste of Tech Topics
こんにちは！ アキバです。 ．．．T3ブログは初登場かもしれません。ハジメマシテ。 以後お見知りおきを。 いよいよ、2014年3月、Java8が正式公開されますね。 なんと言っても、Java8の注目機能はラムダ式ですので、ラムダ式や型推論に関する記事は多いです。 世の中で「Java8」と検索すると、皆さんいろいろと記事を書かれているので、おおよその事はこれで分かっちゃうような気がします。 が、 実は地味に便利なAPIが追加されていたりすることを最近知りました。 これはあまり触れられていないぞ、と。 というわけで、このエントリでは、あまり日本語で情報の無い、しかし地味に便利なAPIに実際に触れてみます。 大事なところなので２回強調して書いてみました。 今回は、前編として４つ紹介します。 ※APIの紹介と言いつつ、コードにはラムダ式を使ったコードが普通に出てるので、ご了承ください。 (むしろ、
一日18時間VimでRailsを開発している僕が選ぶVim Tips 10選 - Qiita
寝ている時間以外はVimとRailsを触っている僕が選ぶVim Tips10選を紹介します。 Vimを使い始めて3ヶ月ぐらいの人にオススメです。 ※ あんまりRailsは関係ありません。 diw （ノーマルモード） カーソル上の単語を消す こいつがなくてはVimを使う意味が無いというほどよく使うコマンド。 ノーマルモードで hoge という文字列上の、どこかにカーソルがある状態でdiwとタイプするとhogeという単語が消えます。 この何を単語とするのか、その判定が非常に秀逸で、直感にマッチしていて便利です。 たとえば、|をカーソル位置だとして、 ho|ge bar -> bar ho|ge.bar -> .bar "ho|ge" -> "" <di|v> -> <> このように、うまい感じに特殊記号等を避けて、単語を削除してくれます。 ciwとタイプすることで、hogeを削除後、挿入モード
Boxen使ってて許されるのは2013年だけだった - Qiita
Boxen使わなくても許されるのは2012年までだよね を書いたのも今は昔、1年間の運用の末にこの度Boxenを卒業しました。なぜBoxenをやめたのか、やめて今はどうしているのか、といった話を書きます。 Boxenのつらいところ ここで述べるBoxenの問題点の大部分は筆者のBoxenおよびPuppetに対する理解の低さが根底にあります。間違った使い方をしている可能性は十分にあり、適切に使っていればこのような問題は発生しないのかも知れません。しかしながら、深い理解がなければまともに使えないというのもどうかと思いますのでつらつらと並び立てたいと思います。 挙動を把握するのが難しい BoxenはPuppetの上で動作します。Puppetを便利に使うためのフレームワークみたいな位置づけだと思っています。 Rubyに詳しくなくても、RailsのDSLを組み合わせるととりあえず動くものを作れるよう
これぞ「ショートカットアプリ」だ。マウスの左クリックが何倍も便利になる『PopClip』 | ライフハッカー・ジャパン
疲れやすい、呼吸の浅さを改善。ストレッチポールは毎日使いたいほど気持ちがいい!【今日のライフハックツール】
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『1Password for iOS』が“Touch ID”に対応したので神アプリを超えた : tidestar
Loading...