モダンなRによるテキスト解析 - Qiita
概要 すぐに使えるKNBCコーパスを対象に、モダンなRの書き方でテキスト解析したときのメモです。TF-IDFや共起頻度（ネットワーク作成）、LDAやGloVeまでをパッケージで実行しました。 - 解析済みブログコーパス 定義・設定 最初に処理で利用するライブラリの読み込みや定数・関数の定義。 library(pacman) library(widyr) # 読み込むパッケージ SET_LOAD_PACKAGE <- c("tidyverse", "Rcpp", "chunked", "tidytext", "visNetwork", "textmineR", "Matrix", "topicmodels", "LDAvis", "text2vec") # コーパスファイルの設定 SET_CORPUS_FILE <- list( DOWNLOAD_URL = "http://nlp.ist.
Analyzing Go code with BigQuery
Recently my colleague Felipe Hoffa told me about a new public dataset in BigQuery: ALL THE PUBLIC GITHUB CODE! Counting Go filesAs a gopher, my first reaction was to check how many Go files are in that dataset. My SQL is not amazing, but I’m able to do that! SELECT COUNT(*) FROM [bigquery-public-data:github_repos.files] WHERE RIGHT(path, 3) = ‘.go’Running that query I see that there are more than
Patching up Web applications
In tests on 50 popular Web applications written using Ruby on Rails, a new debugging system found 23 previously undiagnosed security flaws, and it took no more than 64 seconds to analyze any given program. By exploiting some peculiarities of the popular Web programming framework Ruby on Rails, MIT researchers have developed a system that can quickly comb through tens of thousands of lines of appli
Pythonのline_profilerを使って、関数の実行時間を計測してみた | DevelopersIO
サーモン大好き横山です。 Pythonのコードを書いていて、どの処理で遅延しているか調べるとき、どうしていますか？ 今回は関数の行ごとに実行速度を計測出来る line_profiler を紹介します。 準備 今回はMac上でやっていきます。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.10.4 BuildVersion: 14E46 $ python -V Python 2.7.9 環境はPython2.7でvirtualenvの準備をします。 $ mkdir -p /tmp/line_profiler $ cd !:2 cd /tmp/line_profiler $ virtualenv -p /usr/bin/python2.7 venv27 Running virtualenv with interpreter /usr/bi
Welcome to the wonderful world of Web Performance
Welcome to the wonderful world of Web PerformanceUnlock the full potential of your website with sitespeed.io - the ultimate tool for monitoring and enhancing web performance. Say goodbye to the complexity and high costs of measuring performance. With our easy-to-use Open Source tools, you’ll have complete control over your metrics and own your own data. Welcome to the world of exceptional web perf
Rubyのコードを解析する…? - Qiita
はいこんにちはこんにちは。プログラミング初心者のZonu.EXEです。 今日はRuby Advent Calendar 2012の20日めです…? ちょっと前まで自宅警備員で、一個月ほど前からアルバイトでるびーおんれーるずを書くお仕事に就いたのですが、Ruby基礎力が低すぎて困ることが多々あります。 そんなわけで、Rubyをきちんと学ぶために基礎の基礎から調べてみましょか、みたいなテンションで書いてました。 ほんとは字句解析だけでがっつりと書きたかったんですけれど、ねたを集める時間がなかったので枝葉末節がひどいです。 タイトルと内容が合ってない気もするけど気にするな! 全然毛色が違ってるねたが混ざってても気にするな! オムニバス! はじめに プログラミング言語で書かれたソースコードを読んで何らかの処理を行ふソフトウェアを「処理系」と呼びます。よくわかんないですけど、何らかの処理をしてくれる
Logstash：データの一元化、変換、保管 | Elastic
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
GATE.ac.uk - index.html
If you need to solve a problem with text analysis or language processing, you're in the right place! GATE is an open source software toolkit capable of solving almost any text processing problem It has a mature and extensive community of developers, users, educators, students and scientists It is used by corporations, SMEs, research labs and Universities worldwide It has a world-class team of lang
全文検索エンジンLuceneで自作のAnalyzer/Tokenizerを使用する - nodchipの日記
端的に言うと、AnalyzerとTokenizerを継承したクラスをそれぞれ作れば良い。 今回作成したTokenizerは以前よりQMACloneで使用している、辞書に含まれている単語を抜き出すというTokenizerである。アルゴリズムはVitabiアルゴリズムを少しだけ変えただけなので省略。ソースコード例はこちら↓ package tv.dyndns.kishibe.server.relevance; import java.io.IOException; import java.io.Reader; import java.text.Normalizer; import java.text.Normalizer.Form; import java.util.ArrayList; import java.util.List; import org.apache.commons.io.I
http://nubyonrails.com/articles/2007/01/03/a-hodel-3000-compliant-logger-for-the-rest-of-us
For full functionality of this site it is necessary to enable JavaScript. Here are the instructions how to enable JavaScript in your web browser.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopを用いた大規模ログ解析
Robust log process
http://220.8.111.219.st.bbexcite.jp/wiki/doku.php?id=blog:moomoo:solr%E3%81%AE%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E8%A7%A3%E6%9E%90_analyzer%E3%81%AE%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%9E%E3%82%A4%E3%82%BA
Writing a Solr Analysis Filter Plugin – Mats Lindh
RubyForge: Rails Log Analyzer: Project Info