データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog
FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMackerelでは最近FAQをリニューアルしたからなのでした。 MackerelのFAQではZendesk Guideを利用していますが、Zendesk Guideは便利なAPIが用意されているので、それと既存のデータ基盤を組み合わせて改善していく形です。 FAQサイト内の検索語を列挙する まず、FAQサイト内でどういった単語が検索されているのかを列挙します。Google Tag Manager経由でFirebase Analyticsにデータを飛ばすと閲覧状況が分かりますが、そのログをBi
はてな社内の勉強会で構造学習について発表しました - yasuhisa's blog
先週末、はてな社内の勉強会で構造学習、特に実装が簡単な構造化パーセプトロンについて発表しました。発表資料と説明用にサンプルで書いたPerlの品詞タグ付けのコードへのリンクを張っておきます。 今日からできる構造学習(主に構造化パーセプトロンについて) from syou6162 structured_perceptron/structured_perceptron.pl at master · syou6162/structured_perceptron 「えっ、Perlかよ」という人がいるといけないので、Clojureで構造化パーセプトロンを使った係り受け解析のサンプルコードへのリンクも張っておきます(2種類あります)。PerlもClojureもあれば8割くらいの人はカバーできそうなので、安心ですね。 syou6162/simple_shift_reduce_parsing syou616
mapとunordered_mapの違いについてまとめておく - yasuhisa's blog
NLPだとstd::mapとtr1::unordered_mapなら後者を使うことになることが多いと思うけど、あれこれ混乱してきたのでメモる。NLPerなら押さえておくべき常識のはず。。。 それぞれの特徴 データ構造 std::map tr1::unordered_map 実装 赤黒木 ハッシュテーブル find log n Average case: O(1), Worset case: O(n) insert log n Average case: O(1), Worset case: O(n) delete log n Average case: O(1), Worset case: O(n) メリット キーでソート済みなことが保障されているので、ある範囲でiterationさせたいとき、deleteするなどの操作を効率的に行うことができる バケット数を最初にきちんと設定しておけば大
猫はうろうろ - yasuhisa's blog
にゃーにゃー、ではなくてw。情報学類(今名前変わったんだっけか)のほうで出ている自然言語処理の講義ほうで、形態素解析をするための「wikipedia:ビタビアルゴリズム(Viterbi algorithm)」というのを勉強しました(GWの前くらいに)。なんか全然分かっていなかったので、書いてみることにしました。アルゴリズムの種類としては動的計画法(Dynamic Programming)に入るので、アルゴリズムデザインのほうの勉強にもなるし(という合理化)。 「猫はうろうろ」という文字列は「猫、はう、ろう、ろ」や「猫、は、うろうろ」など様々な形で形態素解析することができます。これをある基準で分解したいのですが、ここでは一番単純そうな単語数最小法と呼ばれる方法でやります。 このやり方で「猫はうろうろ」と「家におくりました」を形態素解析すると結果は次のようになります。 /tmp% ruby v
Tsukuba.R#4の感想とコミュニティ活動のありかたについて - yasuhisa's blog
大分遅くなってしまいましたが、Tsukuba.R#4の感想etcについて上げていきたいと思います。 発表に関して Tsukuba.R史上最大に参加者数*1だったということもあり、発表も多種多様な感じでした。 「Rをなんとな理論で使ってみた」というような発表もあったり Perlと比較して、Rはこういうところが足りないんじゃないか、というような指摘のLTがあったり Brainf*ckがついに登場したり 10/30が発表ということで非常に活発な感じでした。発表者の皆さんありがとうございました!! 自分の発表 発表資料はここに上げてあります。"高速化"という結構マニアックな内容を話すということでR初心者の人を置いていってしまうかも、という懸念があったので ところどころにRの基本データ型の説明も入れてみた data.frame、matrix、listなど あの説明では恐らく不十分だと思うので、もっと
Tsukuba.R#4での発表資料 - yasuhisa's blog
上げておきます。 Rを高速化するための10の方法 id:syou6162 自己紹介 吉田康久 id:syou6162 syouでおk Tsukuba大学の4年生 最近の出来事 卒研おわた ノンパラメトリック回帰 自分でRのパッケージを作ってみた 初めて!! 漢ならコードで語れ、ということで自分のパッケージを作った - Seeking for my unique color. Google summer of code Rのプロジェクトがあるので応募しようと思っている ここから本題 Rを高速化するための10の方法 注意 割とアドバンスな内容を話すかも だけど、R初心者の人にも役に立つような話も折り混ぜていくので聞いてやってくだしあ＞＜ きっかけ 卒論が理論&シミュレーション Macbookをがんがん回す まともに回すと3日かかる＞＜ 3つのステップ Rレベルでの高速化 Cレベルを使った高速化
CでRの拡張したら速すぎて(40〜50倍)吹いたwww - yasuhisa's blog
昨日Gibbs Sampler Algorithmをやってみたわけだが、Rの中でfor文を書いていて必要となるサンプル数が多くなると非常につらくなってくることは目に見えている。しかも、MCMCでは初期値依存となる期間のサンプルを捨てないといけない。そういうわけでじゃんじゃんサンプルを作っても大丈夫なような速度が必要。 Rで速度を上げようと思ったらapplyファミリーを使うとかベクトル単位での処理をするetcが常套手段*1。が、今回は本質的にfor文が必要なケースである。 で、困るわけだがRにはC、C++、fortranを使って拡張する機能がある。詳しくはこの辺に載っている。そういうわけでCのポインタもアドレスも理解していないid:syou6162がRが好きすぎたためにCを書いてみたという感じの内容。 #include <R.h> #include <Rinternals.h> SEXP r
Tsukuba.Rの概要について - yasuhisa's blog
前に書いたTsukuba.Rについてもうちょい詳細に書きたいと思います。 どんなことやるの?みんながRについて知りたい、話したいというようなことを集まって発表なり、勉強会なり、相談会なりやれる場にしたいと思っています。現在、僕が思いついているようなこととして Rの歴史 Rを使う意義、メリット Rの基礎事項 インストール プリミティブなデータ型について データハンドリング 関数の書き方 グラフィックス関係特集 Rの開発環境 Rのマニアックな使い方 第一回くらいは自重しようと思います> でも、考えられるものとして applyファミリー大特集*1 Rの高速化 やるおで学ぶ*2、俺俺ライブラリの作り方 などがとりあえずあります。筑波で僕以外にRのことを発表してくれそうな人が、今のところあんまりいない気がするので Rで分析まで持っていくためのRuby or Perlで行なうテキストマンジング勉強会
Rの基本データ構造、よく使う関数紹介 - yasuhisa's blog
Agenda データ構造 たくさんある＞＜ ベクトル Rの格言 いろんなベクトルの作り方 規則的データの生成 同じデータを繰り返す ベクトルへのアクセスの方法 アクセス方法にもいろいろある まだまだあるよ、アクセス方法 行列 埋めていく順番 すでにあるベクトルを束ねる cbind rbind 行列へのアクセス方法 行列の基本演算 積がやっかい 積を求めたいときは「%*%」を使うべし 逆行列を求める ちなみに 行列式 固有値 配列 リスト 例 ちなみに unlistのtips リストへのアクセス リストは結構難しい＞＜ 例 リストの要素には名前を付けることができる Rでlistがどのように使われているか データフレーム 例 データフレームを作る データフレームに列を追加と削除 データフレームに行を追加 因子型 irisのデータでやってみる irisデータ 層別にSepal.Lengthの長さ
Tsukuba.R#3でのid:syou6162の発表資料 - yasuhisa's blog
主成分分析編といいつつ、シミュレーションの発表とかやってきました。多変量解析期待してた人はごめんなさい＞＜。知ってる人は知ってたかもしれませんが、遺伝的アルゴリズムの発表のほうはRejectセキュリティ&プログラミングキャンプの時に僕が作ったやつです。一緒にやっていた@shinsuke_さんもいたからそっちの紹介もすればよかったかなと思いつつ、てんぱってて忘れてましたw。 タカハトゲームは自分で勉強した時から2年もたっていたので、金曜日に団長に教えてもらってました。ありがとう。 Rで学ぶ多変量解析【主成分分析編】 id:syou6162 自己紹介 id:syou6162 syouでおk Tsukuba大学の4年生 統計やっている研究室に所属 今まででやってきたこと アクセス数の時系列予測モデル TwitterでRemove判別モデル ニコニコに上がっているとかいないとか 最近はまじめなこと
Tsukuba.R#3に行ってきたよー - yasuhisa's blog
最高の週末となりました!!主催のid:wakuteka、開場を提供していただいた@bonohuさん、参加してくださった皆さん、本当にありがとうございました!! Tsukuba.R#3 - Tsukuba.R - Seesaa Wiki（ウィキ） 色々考えたことなど 色々書きたいことは後のリスト形式のほうで書くとして。id:wakutekaがこんな風に書いていた。 継続していく、輪を広げていくことは大事だけど、中身のあるものにする意識を忘れないようにしないと... ここからゲノムと計算機すか 僕もこういうことを考え始めたりしていました。そうそう、僕が目指しているTsukuba.Rの理想形(?)はRuby札幌にあるのですが、そのRuby札幌の島田さんもそんなことを書いてらっしゃいました。30枚目以降のスライドかな。今回は新しく参加される方が多い*1ということで、(前回までの参加者、ハチロク世代
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
