はてな社内で行なっている機械学習勉強会について紹介します - Hatena Developer Blog
このエントリは、はてなエンジニアアドベントカレンダー2016の21日目の記事です。昨日は id:hakobe932さんによる次に何を勉強するかを決めるための作戦でした。 こんにちは、アプリケーションエンジニアのid:syou6162です。このエントリでは、今年の9月から社内で行なっている機械学習勉強会についての概要と、この数ヶ月でやってきた内容について紹介したいと思います。 最新の論文読み会、だけでいいのか? 他社から学ぶ 機械学習の学習データをどうやって効率的に作るか サービスへの事例や技術選定の基準をキーワードにまとめていく ときには最近の機械学習技術の話題にもキャッチアップ まとめ 最新の論文読み会、だけでいいのか? 私は今年の3月まで自然言語処理/機械学習の企業研究者として働いていて、転職して4月からはてなでエンジニアとして働いています。「転職してからあまり論文読めていないなぁー」
はてな社内の勉強会で構造学習について発表しました - yasuhisa's blog
先週末、はてな社内の勉強会で構造学習、特に実装が簡単な構造化パーセプトロンについて発表しました。発表資料と説明用にサンプルで書いたPerlの品詞タグ付けのコードへのリンクを張っておきます。 今日からできる構造学習(主に構造化パーセプトロンについて) from syou6162 structured_perceptron/structured_perceptron.pl at master · syou6162/structured_perceptron 「えっ、Perlかよ」という人がいるといけないので、Clojureで構造化パーセプトロンを使った係り受け解析のサンプルコードへのリンクも張っておきます(2種類あります)。PerlもClojureもあれば8割くらいの人はカバーできそうなので、安心ですね。 syou6162/simple_shift_reduce_parsing syou616
はてなインターン全日程終了しました - yasuhisa's blog
8/2に京都に到着、8/3からインターンが開始されたはてなインターンですが無事全日程終了しました。後半に進めるのが決まったのが二週間前だとか信じられません。 というわけで興奮覚めないままの感覚で書いていこうと思います*1。 インターン後半戦 インターンの前半戦は毎日出される課題を倒していくという感じの日々でしたが、後半は実際にプロダクトの作成、改善、追加などを行ないました。チームも前半とは違って再配置となり、僕はid:mi_kattun、id:mroriiと一緒にid:onishiさん、id:antipopさん、id:ninjinkunさんの運用チームでやらせてもらいました。 このチームにて コメントスパム コメント日記 の撲滅を目指してスパムフィルタの作成をしました。以前は結構簡単なルールでフィルタリングしていたのですが、最近とにかく(本当に!本当に本当に!!本当に本当に本当に!!!)ス
統計ソフトRについての質問です。 因子分析→クラスター分析→クロス集計の流れをやりたいと考えています。…
統計ソフトRについての質問です。 因子分析→クラスター分析→クロス集計の流れをやりたいと考えています。 例えば、2000人に質問したアンケートで、ある一つの質問項目に解答項目が20個あったとし、その質問項目を7つの軸に集約したいとします。回答者2000人に対し因子得点を振り、クラスター分析をします。5つのクラスターが、かりにできたとして、回答者にクラスタのフラグを振ります（例えばクラスタ1に属するならば1を振る）。そのフラグと回答者の属性（性別、年齢、職業など）でクロス分析をして、クラスタに属する人の特徴を調べたい…ということをやりたいと考えています。 解答は -すぐに試せるデータ（Rのswissデータやirisデータなどの部類）かデータへのリンクが明記してある -解答となるソースが書いてある、もしくは解答となりうるソースが書いてあるところへのリンクが書いてある の条件でお願いします。
Rで因子分析→クラスター分析→クロス分析の流れをやってみる - yasuhisa's blog
せっかくこの前インターンでこういうことやってるんだよ(ってのの一部)を書いたので、今日はそれをどうやるかについて書いてみようかと思う。といっても自分ではよく分からなかったところもあったので、人力で質問してたりするわけですが。 ツールはいろいろあるわけですが、今回は「インターンが終わって会社のツールが使えなくなったとしても解析ができるように」ということを考えてRを使ってやることにしました。人力にもあるように例もR付属のやつでやってみます。ということでほとんど手間と費用をかけずに行けるはずです。というわけで人力にも載っているサンプルをそのままのせてみる。 # 使用するデータのロード data(state) # 使用データはstate.x77。50データ8変数。 state.x77 # 因子分析。因子数は指定しなければならないので、適当な数を入れてみて最適な数を決める。 factanal(sta
はてダラのローカルタグ検索をRubyに移植した - yasuhisa's blog
Haskell版だとその日の関係ないエントリも上がってきてしまうので、どうにかするやつをRubyで書いた。-dオプションでエントリの内容詳細も出力するようにした。 require 'optparse' require 'kconv' class String def is_int? return /^#{self.to_i}(\.0+)?$/ =~ self ? true : false end end def search(search,file_path,detail) file = File.open(file_path,"r") lines = [] while line = file.gets lines.push line end file.close title_flag = FALSE #titleのところにlineがあればTRUE、それ以外はFALSE lines.eac
NAIST受験記録 - yasuhisa's blog
NAISTの入試が終わったっぽいので、入試当日に取ってたlogをうpします。ここを詳細にしたような感じ。 この辺で決断してから3、4ヶ月ってところですか。そう考えると割と早かったんだな。 前日はゲストハウスせんたんに宿泊。3000円で泊まれて相当快適な環境でした。正直移動で疲れたので、9時くらいに寝る。緊張からか胃が痛くなって、途中で起きるとかしたけど、朝は普通に起きた。こんんだけ緊張したのは卒研発表の時以来だなあ。 受験の日は3日間くらいあって、自分が受けたのは最初の日でした。朝一。。。 普通の面接 数学 NAISTの試験は筆記試験ではなくて、面接とホワイトボードで説明するというちょっと変わった感じもの。英語はTOEICで出してたので、数学のみで受験。正則行列による対角化と2曲線が与えられて、交点を求めて囲まれた面積を求めてちょという典型的っぽいような問題。正直簡単でした。8分で2問説明
Rによる最適化、パラメータ推定入門 - yasuhisa's blog
パラメータの推定、でもその前に optimize関数について 補足 パラメータの推定 ベルヌーイ分布 定式化(尤度関数) 尤度関数の実装 尤度関数の最適化(パラメータ推定) 正規分布におけるパラメータ推定 まとめ パラメータの推定、でもその前に統計におけるパラメータの推定というのは大体最適化問題に帰着します。「なんとか関数を(最大|最小)にするようなパラーメータほにゃららを求めたい」とまあこんな感じで。というわけで、パラメータ推定は置いておいて、Rで最大化問題、最小化問題をどう解くかというところを最初にやってみようと思います。最適化問題は離散最適と連続のほうの最適に分けられますが、ここでは連続についての最適化問題について考えることにします。 optimize関数について Rにおける最適化をするための関数はoptim関数、optimize関数があります(他にもnlsなどありますが、とりあえず
都会と田舎の間で - yasuhisa's blog
謎なタイトル。id:Hashがいつものように炎上している何か書いていたし、やっちろ.Rの懇親会で話したこととかとちょっと関係あったので書いてみる。 id:syou6162の住んでたところ遍歴(予定を含む)&どれくらい外に出ていたかなどを書き出してみると 熊本県八代市というところに18年間特に外に出るわけでもなく過ごす 茨城県つくば市の学園都市という感じのところに住んで今年で5年目になる まあ普通に暮していける感じのところ 最初の2年半くらいはつくばの中で引き込もって過ごす。東京に出るわけでもなく ここ一年半くらいは積極的に東京に行っている感じ 3月までは勉強会で月に一、二回程度 4月からは東京のところでバイトを始めたので、週一で東京に行くような感じ 来年からは奈良の生駒に行く予定 原付がないと生活が厳しそうな田舎(ry 駅まで出ると乗り換えなしで大阪に出ていけるような感じではある 以下、都
JTPAのSVCで感じたこと、考えたこと。そしてこれから - yasuhisa's blog
夜10時から開始して朝まで話していたmimithon#4会場から、SVC報告会に向かいました*1。集まった人数としては30人くらい。中心はSVCに参加したメンバーなんだけど、来年参加したいという人や第一回のツアー参加者だったよという人などなど色々な方がおられました。id:yaottiは京都からかけつけるし、アクティブ!! 事前活動(?)として、id:wakutekaとid:Hashを引っ張ってきてみたり、畑田さん(id:Spiny-anteater)さんと先週の金曜の時点でお会いさせてもらって色々と話をさせてもらったりしていました。 僕自身としてはid:blanc_et_noirに先週最大級の爆撃を受けていたので、またも爆撃を受けるのではないかと心配しながら行ってましたw。結論としては、それほど爆撃は受けず(?)、ようやく自分の中でのSVCが終わった*2かなというような感触が残りました。
統合データベース講習会: AJACS本郷4 - yasuhisa's blog
AJACS9 - MotDB 「はじめに：統合データベースプロジェクトとは？」 DBが整っていないと、知のめぐりのよりライフサイエンス研究ができない 全国でやっている(6回の講習会と2回の勉強会) DB内の記述(アノテーション)は正しい? 問題点 DBが散在している、利用法がよく分からない 大型プロウジェクトの成果公開が不十分 データベース構築、維持、アノテーションを行なえる人材が不足している 完結しないプロセスである 「データベースを使いこなすための前準備」 ぐぐれ National Center for Biotechnology Information Allie: Abbreviation / Long Form Search in Life Sciences Top 略語 使われ始めたときとか、どんな単語と使われるようになったか分かる そんな色々あるのかー 「生命科学横断検索の利
爆弾を投下された - yasuhisa's blog
id:blanc_et_noirこと黒猫さんとご飯を食べながらお話させてもらった。SVCで俺が感じたことを話したりもしたんだけど、黒猫さんが就活やる中で考えてたこととかが半端なく勉強になる。というか俺何も考えてないな。。。 色々話したけど、 「トップダウンに考える」 「なんでなんでなんでなんでなんで」 はとても参考になった。 トップダウンに考える 「自分は何をなしとげたいのか」というところを頂点として、そこからそれをやるためには何をすべきなのかをツリーみたいな感じで辿っていく。言われてみると当たり前のような感じがするけど、自分の傾向として「ほげほげな知識や手法が面白そう」みたいなところから入ることが非常に多い。ボトムアップ的な感じでやるからどうしたいみたいなのが見えてこないのかなあと思った。 なんでなんでなんでなんでなんで で、「自分は何をなしとげたいのか」が見えてないのが悪いかというと必
バイオと自然言語処理&機械学習 - yasuhisa's blog
同じ遺伝子でも見つかった経緯とか、分野によって違う名前がついていたりする そういうものに対して同じ遺伝子かどうかを判断するようなものが必要だったりする バイオ自然言語処理における最も基礎的なタスクの1つに、固有表現抽出(Named Entity Extraction)がある 一般に1つの固有表現は複数の単語から構成されるため、そのままでは、SVMなどの分類学習手法を適用できない ここ数年は、急激な分子生物学分野の発展とともに研究分野の細分化が進み、分野ごとに辺らな専門用語が出現するが、それらの専門用語が分野間で非共有になる傾向がある。 自然言語処理の研究では、すでに1990年代より、機械学習を用いた手法が、さまざまなタスクにおいて多く用いられている。機械学習を用いる際の利点には、対象となるデータの特徴が変化しても、すぐに対応できる保守性の良さや、専門知識を持った人が細かなチューニングを行な
Seeking for my unique color.的何か - yasuhisa's blog
周りの人とかには結構話していたんですが、大学院をたぶん(というかほぼ確実に)変えます。筑波大学のシステム情報工学研究科社会システム工学専攻というところを7月に受験して受かってたんですが、そこから変更します。 研究室の先生と喧嘩したとかではなく、僕の興味と少し合わないなということでの変更です。「こんな時期じゃなくって、もっと早く決断しろよ。2月の院試とかもあるんだし」というのがごもっともな意見ではあるんですが、「卒研を終了してみた段階で分かったこと」であるので、仕方ないかなと思っています。やってみなくちゃ分からないこともある、ということだ。 なんで変わるのか? 上に書いたように人間関係がうんぬん、とかということではありません。今指導していただいている先生はすごい尊敬できる先生で、この研究室に入った時の目標の一つに「この先生のよいところを一つでも多く吸収していく」というのがあったくらいで、そう
個別「id:syou6162 大先生のうさみみ＠Tsukuba.R#3」の写真、画像 - limitusus's fotolife
ユーザー登録ログインヘルプ next> <prev id:syou6162 大先生のうさみみ＠Tsukuba.R#3 20081109 P905i 4.80mm f/2.80 表示-非営利-改変禁止 Trackback - http://f.hatena.ne.jp/limitusus/20081109005838 [R][Tsukuba.R]Tsukuba.R#3に行ってきたよー Limitの日記 - Tsukuba.R#3に行ってきたよ written by mmk_chocolate - Tsukuba.R#3行ってきた 規約違反を通報する はてなフォトライフ / はじめての方へ / はてなブログ
Tsukuba.R#4の感想とコミュニティ活動のありかたについて - yasuhisa's blog
大分遅くなってしまいましたが、Tsukuba.R#4の感想etcについて上げていきたいと思います。 発表に関して Tsukuba.R史上最大に参加者数*1だったということもあり、発表も多種多様な感じでした。 「Rをなんとな理論で使ってみた」というような発表もあったり Perlと比較して、Rはこういうところが足りないんじゃないか、というような指摘のLTがあったり Brainf*ckがついに登場したり 10/30が発表ということで非常に活発な感じでした。発表者の皆さんありがとうございました!! 自分の発表 発表資料はここに上げてあります。"高速化"という結構マニアックな内容を話すということでR初心者の人を置いていってしまうかも、という懸念があったので ところどころにRの基本データ型の説明も入れてみた data.frame、matrix、listなど あの説明では恐らく不十分だと思うので、もっと
最近の出来事など - yasuhisa's blog
日記風を目指したいところ。 id:Hashと会うなど 先月の今頃も会ったんだけど、くねくねしてきた。id:Hashの就活の現状を聞いたり、自分の思っている付近を聞いてもらったり。あと、卒研でやったことを(学科意外の人では)初めて聞いてもらった。思ったよりは分かってもらえた気がするんだけど(こっちの感触としては)、今年のg:generation1986:keyword:第二回卒研発表会はなかなか厳しそうな感じがする。。。 SVC事前MTG第二回 http://ja-jp.facebook.com/topic.php?uid=39043068717&topic=7452 第一回はこれ。 SVC事前ミーティングに参加した - Seeking for my unique color. 1/5くらいの人が初参加で、という感じだったかな。と言っても名前をまだまだ覚えきれていなかったし、速攻間違ってしま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://syou6162.sakura.ne.jp/
はてなをなめていた - Seeking for my unique color.
早朝、無人の端末室からお送りします。 - Seeking for my unique color.