2016年 秋葉原ラボ研究発表のご紹介 | CyberAgent Developers Blog
こんにちは。秋葉原ラボの高野（@mtknnktm）と申します。 今回は秋葉原ラボ 2016年研究発表についてご紹介いたします。 本記事はCyberAgent Developers Advent Calendar 2016 – Adventarの14日目です。13日目はk_enokiさんの「Slackに突然の死っぽいアレを投稿するスペシャルなコマンドをSlash CommandとLambdaを使って作った話」でした。 秋葉原ラボでは分散システム・検索・機械学習・データマイニングなどを扱う研究開発組織です。サイバー エージェントが運営する「Ameba」を始めとした多数のサービスデータを利活用するために大規模データ処理を基盤Patriotを構築・開発・運用し、検索・機械学習・データマイニングの技術を活用して利便性向上、サービスの健全化、サービスの改善をしています。 同時に秋葉原ラボでは、それらを
第56回 データマイニング+WEB ＠東京( #TokyoWebmining 56th )ー 機械学習サービス活用 祭り ーを開催しました - hamadakoichi blog
2016/9/3 "第56回 データマイニング+WEB ＠東京( #TokyoWebmining 56th ) ー 機械学習サービス活用 祭り ー" を開催しました。 第56回 データマイニング+WEB ＠東京( #TokyoWebmining 56th ) ー 機械学習サービス活用 祭り ーEventbrite Google グループ 会場提供して下さった SmartNews さん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者セキココ：第56回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1
時系列データにt 検定を行う - 驚異のアニヲタ社会復帰の予備
読んだ Nature (2016) doi:10.1038/nature18294 PD1/PDL1 系の薬剤は高いので、それが良く効く患者集団を選びたいというのが最近のトレンドｫ!!! 3' 側のUTR がないことで、PD-L1 の発現があがり、それによって免疫機構から逃れるPD1/PD-L1 axis がクッソすごいことになっているが、ニボルマブのようなPD1/PD-L1 を阻害するような薬剤で腫瘍増大が抑えられるという話。 Figure 4b で、正常マウス(Mock) にPBS(タダの水みたいなもの)と、自然免疫応答を促進して抗腫瘍効果を持つ(らしい)Poly(I:C)を投与した場合の、腫瘍体積の時間変化の実験と sgPd-l1 (single guide Pd-l1, 3'UTR に干渉してaberrant, つまりこの部分の遺伝子領域が機能しない状態を模倣している)マウスにPB
読書記録『手を動かしながら学ぶ ビジネスに活かすデータマイニング』☆☆☆ - 唯物是真 @Scaled_Wurm
データマイニング系の手法の入門書 どちらかというと初心者向けの本？ 著者は下記のブログで有名な方で、この本の内容もブログの内容をまとめて加筆したもの tjo.hatenablog.com いろいろな手法をあまり数式を使わずに図などを使って説明して、実際にRのライブラリを使って試していく感じ 著者のブログ記事を読んだら本のイメージが掴みやすいかも 手法の説明自体はあっさりした感じなので、手法名と概要を知りたい人向け 新しい専門用語が次々と出てきて、あまり説明は無かったりするかも(？) いきなり最初の方で統計的仮説検定が出てきて「いきなりとっつきにくいなー」と思うのは自分があまり統計に慣れてないからなのだろうか どういう手法をどういう時に使う、みたいなのがリアルな設定で書かれているのはよい 手を動かしながら学ぶ ビジネスに活かすデータマイニング 作者: 尾崎隆出版社/メーカー: 技術評論社発売
Twitterがリリースした時系列異常値検出のためのRパッケージ{AnomalyDetection}を試してみる - 渋谷駅前で働くデータサイエンティストのブログ
もう松の内も明けてしまいましたが、遅ればせながら皆さん明けましておめでとうございます。今年もよろしくお願いいたします。 で、年明け早々にTwitterエンジニアブログに面白いネタが上がっていたのでした。 その名も{AnomalyDetection}というRパッケージ。バルス砲に備えてTwitterが鉄壁の防御を敷いていることは多くの人がご存知だと思いますが（笑）、そういうバルス砲のような異常なアクセスの跳ね上がりだったり、逆にサーバダウンなどでアクセスの異常な落ち込みが出た時にいち早く検出するというのが目的の分析フレームワークのようです。 ということで、話題が新鮮なうちにちょっと試してみようと思います。 どういう仕組みで動いているのか 理論的背景としては、そもそもgeneralized ESD (extremely Studentized deviate) testという外れ値検出の手法が
クラスタリング (クラスター分析) - Toshihiro Kamishima
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．
KDD'14 に論文採択 - (iwi)の日記
18:34 | 論文が国際学会 KDD’14 に採択されました．KDD (ACM SIGKDD Conference on Knowledge Discovery and Data Mining) は ACM によって開催されるデータマイニングの最も有名な学会の 1 つです*1．今回の論文は "Network Structural Analysis via Core-Tree-Decomposition" というタイトルで，NII の前原さん・河原林先生との共著です． 内容タイトルの通り，Core-Tree-Decomposition を用いてネットワークを解析するという論文です．対象とするグラフはソーシャルネットワークやウェブグラフ等の現実世界のグラフです．今まで得られなかった面白い知見が Core-Tree-Decomposition により見出せることを示しました． グラフの Cor
NIPS2013読み会を開催しました - Preferred Networks Research & Development
もう花粉飛んでるらしいですね。比戸です。 昨年開いたICML2013読み会に続き、NIPS2013の論文を紹介する会を開きました。平日夜にも関わらず60名以上の申し込み、50名以上の参加があり、改めて機械学習への興味の高さを裏付けるものとなりました。会場提供にご協力頂いた東大の武田朗子先生、中川裕志先生、および発表者の皆さんありがとうございました。 ここで特筆したいのが、@mooopanさんが選んだ”Playing Atari with Deep Reinforcement Learning“です。 話題のDeep Neural Networkと強化学習を組み合わせて、テレビゲームで人間にも勝ったという、この日唯一のワークショップ論文紹介だったのですが、なんと著者の所属するDeepMind TechnologiesがGoogleに500億円以上で買収されたというニュースが3日前飛び込んでき
第29回 データマイニング+WEB＠東京( #TokyoWebmining 29th)－大規模解析・サービス活用 祭り－ を開催しました - hamadakoichi blog
2013/9/21 "第29回 データマイニング+WEB＠東京−大規模解析・サービス活用 祭り−"を開催しました。 第29回 データマイニング+WEB＠東京 ( #TokyoWebmining 29th)大規模解析・サービス活用 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 29th 参加者セキココ：第29回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以
話題のデータサイエンティストになるには、これを読め！- #DScasual まとめ【CodeIQ提供】 #ビッグデータ｜U-NOTE【ユーノート】- ビジネスマンのためのノウハウまとめを無料で
2013年9月6日（金）、『データサイエンティスト養成読本』出版記念イベント「Data Scientist Casual Talk 」が株式会社ブレインパッド セミナールームにて開催された。 今、話題沸騰中のデータサイエンティストがテーマということもあり、定員の60名を超える75名の参加者が駆けつけ、各社から紹介されたデータ分析・活用事例を学ぶことができる非常に濃い内容のイベントとなっていた。 今回はデータサイエンティストについて有識者が語った全5セッションをまとめたので、参加できなかった方やデータ分析に興味をお持ちの方は是非ご覧頂きたい。また今回の記事は、株式会社リクルートキャリアが運営する、ITエンジニアのための実務スキル評価サービス「CodeIQ」の提供で公開されている。ぜひ、一度アクセスしてみてはいかがだろうか。 まずセッション1では、株式会社ブレインパッドの佐藤氏より「なぜ今、デ
ビジネスデータからの知識発見・活用ソリューション -- リンク集
統計分析、多変量解析、データマイニング、その応用例を調べるにあたって参考となるページを紹介します。基礎知識の補完にご活用ください。
進撃の巨人を読んだことない人がデータだけでキャラを推測してみる - あんちべ！
はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、 そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。 そこで、データから進撃の巨人にどんなキャラが登場するか推測してみましょう。 扱うデータとして、pixivのタグ情報を利用します。 商品レビューコメントなどとは違い、ファンの創作活動がダイレクトに反映されるサービスなので、 そこに付与されるタグ情報は、ファンの熱（過ぎる）いメッセージが込められているに違いありません。 今回、以下のような縛りを入れています。 1．勿論原作は見ない 2．pixivのタグ情報は参照するけど、
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
第28回 データマイニング+WEB＠東京( #TokyoWebmining 28th) −データマイニング・機械学習とビジネス展開 祭り− を開催しました - hamadakoichi blog
2013/7/27 "第28回 データマイニング+WEB＠東京−データマイニング・機械学習とビジネス展開 祭り−"を開催しました。 第28回 データマイニング+WEB＠東京 ( #TokyoWebmining 28th)−データマイニング・機械学習とビジネス展開 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 28th 参加者セキココ：第28回 データマイニング+WEB ＠東京 セキココ (作成してくれた @komiya_atsushi さ
統計屋はどこまで給料をもらうべきか - Willyの脳内日記
アカデミアでもビジネスでも統計解析のニーズは高くて、 データを分析して欲しいというような依頼は結構くる。 しかし、分析の対価としてどこまで給料をもらうべきなのか、 というのはなかなか難しい問題だ。 完全にビジネスとして外注して、博士レベルの統計屋に 分析をさせると、単価は１時間で１００ドル前後のようだ。 以前に、コンサルティング会社が時給７５ドルでそういった求人を 出していたから、マージンなどを考えれば大体そんなものなのだろう。 継続的に分析案件が発生するのであれば、 常勤で統計屋を雇えばもっと安く済む。 私も、大学院生の時は、医学部でデータの分析をして、 生活費や給料、健康保険料を払ってもらっていた。 一番厄介なのは、依頼者が案件をあくまで「共同研究」だと考えている場合である。 もちろん雑誌や学会等に投稿することになれば、 分析者として共著者に名前を入れてもらうことになるが、 それが統計
異常検知（変化点検出）をPythonで書いてみた | Kitchen Garden Blog
データマイニングについて勉強する機会があり、Python言語の練習がてら「変化点検出」と呼ばれる手法について、近似的ではありますが、試作してみました。 変化点検出とは 変化点検出とは、入力データの時系列的な振る舞いの変わり目（変化点）を検出する方法です（山西健司著『データマイニングによる異常検知』）。 データマイニングによる異常検知 山西 健司 Rank / Rating: 302282 / - ASIN: 4320018826 Price: ￥ 3,990 A unifying framework for detecting outliers and change points from time series (Google Scholar) DoS攻撃や新種のワームの発生による、急激な値の変わり目（トラフィック量の急増等）を検知するのに有効とされる手法です。 id:yokkun
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第55回 データマイニング+WEB ＠東京( #TokyoWebmining 55th ) ー IoT x AI 祭り ー
「マーケターのためのデータマイニング講座」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords
久保拓弥のページ - 岩波データサイエンス
sage/入門機械学習による異常検出勉強ノート3章 - PukiWiki