Pandas Pivot Table Explained - Practical Business Python
Taking care of business, one python script at a time Introduction Most people likely have experience with pivot tables in Excel. Pandas provides a similar function called (appropriately enough) pivot_table . While it is exceedingly useful, I frequently find myself struggling to remember how to use the syntax to format the output for my needs. This article will focus on explaining the pandas pivot_
Recommending music on Spotify with deep learning
This summer, I’m interning at Spotify in New York City, where I’m working on content-based music recommendation using convolutional neural networks. In this post, I’ll explain my approach and show some preliminary results. Overview This is going to be a long post, so here’s an overview of the different sections. If you want to skip ahead, just click the section title to go there. Collaborative fil
KH Coder: 計量テキスト分析・テキストマイニングのためのソフトウェア
研究ノート「計量テキスト分析ツールKH Coderによる分析結果の再現性」公開 医療用語の辞書をご用意（無料） 産学連携プロダクト「KH Coderオフィシャルパッケージ」発売中 KH Coderとは KH Coderとは、計量テキスト分析またはテキストマイニングのための自由ソフトウェアです。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介（スクリーンショット） スクリーンショット集 ［旧ページ：言葉・文書・可視化・他］ KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.02) 使い方を知るためのチ
Overview
BeakerX is a collection of kernels and extensions to the Jupyter interactive computing environment. It provides JVM support, Spark cluster support, polyglot programming, interactive plots, tables, forms, publishing, and more. BeakerX supports: Groovy, Scala, Clojure, Kotlin, Java, and SQL, including many magics; Widgets for time-series plotting, tables, forms, and more (there are Python and JavaSc
時系列分析Ｉ ――ARMAモデルと時系列分析
連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR
JIN'S PAGE - R
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
Probabilistic Data Structures for Web Analytics and Data Mining
Statistical analysis and mining of huge multi-terabyte data sets is a common task nowadays, especially in the areas like web analytics and Internet advertising. Analysis of such large data sets often requires powerful distributed data stores like Hadoop and heavy data processing with techniques like MapReduce. This approach often leads to heavyweight high-latency analytical processes and poor appl
協調フィルタリングについてまとめてみた。 - Analyze IT.
A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン
RでDeep Learningの一種をやってみる - データサイエンティスト上がりのDX参謀・起業家
このブログのTips052で、RでDeep Learningをやっているのを紹介してもらったので、自分も試してみました。 「Deep Learningすげぇ！！」という話は良く聞くのですが、亜種がいっぱいあるみたいで、まだあまり調査しきれてません。また時間があれば調査してまとめられると良いのですが。 以下、RでDA(Denoising Autoencoders)を実行するプログラムです。 sigmoid <- function(x){ return (1 / (1 + exp(-x))) } dA <- setRefClass( Class="dA", fields=list(input="matrix", n_visible="numeric", n_hidden="numeric", W="matrix", W.prime="matrix", hbias="vector", vbias
Startup Lab. • あなたのデータも取られてる？【BlueKai】に学ぶ日米の差
昨年12月、ゴールドマンサックスが最有力IPO候補と考えるスタートアップ一覧が発表されました。（英文）http://techcrunch.com/2011/12/03/a-list-of-startups-goldman-sachs-thinks-will-most-likely-ipo/ 日本でもかなり有名なQuoraやKlout、Square等もこのリストに入っています。その中で、一際目立っているのが、データ界の雄BlueKaiです。 設立：2007年 創業者：Omar Tawakol 資金：3400万ドル(サードラウンド) 出資：Redpoint Ventures, Battery Ventures, Granite Global Ventures Webサイト：http://www.bluekai.com/ ｜1．BlueKaiとは？ 数字で見るBlueKai： ・3億人のアクティ
テラバイトのデータ | 構造化知識研究センター
テラバイトデータや構造化知識研究に関する過去の記事です。 1990年6月 コンピューターの中央処理装置4台を並列的につなぎ、人間のように推理したり連想したりするコンピューターの模擬実験に、九州大学の研究グループが成功した。1991年度にも20台に増結する計画で、最終的には1万台をつなぎ、人間の思考そっくりの柔軟性に富んだコンピューターシステムを目指す。キャリアウーマン並みの有能秘書や、建物の形状を判断できる掃除ロボットの開発にもつながると期待されており「人工知能」開発競争に一石を投じそうだ。 九州大学で実験に成功 模擬実験を行ったのは、九大総合理工学研究科の雨宮真人教授（情報システム専攻）のグループ。雨宮教授らは、記憶した知識で推論や連想を行う人間の思考回路網に着目。「食物－果物－黄色－酸っぱい－レモン」など属性や因果関係でつながる情報を与えて連想ネットワークを構成。このネットワーク網をコ
第1回 機械学習を実践する前の基礎知識 | gihyo.jp
みなさん、次のようなことができたらいいと思ったことはありませんか？ 「顧客ごとに、適したタイミングと内容で、DMを送信できたら……」 「CGM系サイトへの誹謗中傷なんかのスパム投稿を自動識別できたら……」 「サーバの負荷が高まるタイミングを事前に予測できたら……」 一見するとこれらは実現していることがまったく異なりますが、じつはある共通点があります。それは「データを分析し、その結果を活用している」という点です。 Data is Kingの考えから得られるメリット かつてAmazonに在籍していたRonny Kohaviは「Data is King at Amazon」と言い、データの重要性を説きました。事実、Amazonはユーザの購買履歴から商品のレコメンデーションを行い、ユーザのサイト内の遷移履歴やクリック率からサイト構造の改善を行うなど、データを徹底的に活用していることで知られています
大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない
「ゲームとTwitterとFacebookしかしないなんてもったいない」、Gunosy開発チーム根掘り葉掘りインタビュー
独自アルゴリズムで自分に合ったニュースを自動的に集めてくれる「Gunosy」は東大出身のエンジニア集団を中心に作られており、2011年10月25日のリリース以降、破竹の勢いでユーザー数を伸ばし続け、2012年秋に法人化、そして2013年4月にはついに登録ユーザーが13万人に到達しています。一体どのようなチームがどういった環境で開発・運営をしているのかというコアの部分を明らかにするため、Gunosyチームの働いているオフィスに突撃してみました。 Gunosy（グノシー） http://gunosy.com/ ◆いざオフィスへ 日比谷線神谷町駅近くにあるこのビルの中にGunosyは新しいオフィスを構えています。 セキュリティチェックを通過して上のフロアへ移動 オフィスの入り口へ到着 ここで間違いありません、ちゃんと表札に「Gunosy」の文字。 Gunosy開発チームの面々 窓際に置いてある日
フォローしておきたい！分析能力高いイケてるデータサイエンティスト系男子をまとめてみた - Analyze IT.
追記 4月26日：まだ数名、記事の協力を依頼している方もいらっしゃいますが、ちょっと見切り発車的に記事を書いています。今後もう少しメンバーを追加する予定ですが、「俺イケてるけど、入ってねーよ」という方、自薦他薦問わないので、募集中です。ブログのコメント欄にご連絡ください。 4月27日追記：9.上村 崇さん、10.hamadakoichiさんを追加しました。 5月7日追記：11.中川 斉さん、12.秋葉 大輔さん、13.sfchaosさんを追加しました。 5月8日追記：14.松本 建さんを追加しました。 5月14日追記:15.浅野 弘輔さんを追加しました。 数ヶ月前に「フォローしておきたい！情報感度高いWeb系男子」「フォローしておきたい！情報感度高いイケてるWebおじさん・オッサンをまとめてみた」というエントリーが爆発的に流行ってました。 とはいえ今、流行している職種といえば、高度な統計的
究極のデータサイエンティストVS至高のデータサイエンティスト - Analyze IT.
ネットで面白いコピペを発見したので貼り付けておきますね。 山岡「こちらが我々の考える究極のデータサイエンティストです。」 京極「なんやて、経済学部出身やないか！ITに統計学、業務、この中で先の二つの技術的素養が必要なデータサイエンティストには理系出身者が定石やで山岡はん。」 山岡「確かに、数学のスキルが要求されるデータサイエンティストには普通の文系出身者は厳しい。しかし、彼の学部時代の専攻は計量経済学。実務では高度なアルゴリズムやビックデータの解析基盤の構築のスキルなんか本当は必要ない、経済学の手法が求められているんだ。」 京極「なんやてっ！」 山岡「ビッグデータといっても、小売りの場合大きくて１千万件程度、普通のRDBMSで処理可能だし、非構造化データなんて必要ない。アルゴリズムもSPSSやRなんかのツールに入力して結果を解釈できれば十分なんだ。一方で、政府の統計を駆使して地域の需要を推
［ケーススタディ1］AKB総選挙の順位予測
前回で話題に挙げた、2012年6月6日に日本武道館で行われた「第4回AKB48選抜総選挙」。アイドルグループのレギュラー枠などをファン投票から選ぶイベントである。今回は、予測技術に対しての一般の期待と実情とのギャップを、回帰モデル型の予測例としてこの選挙予測を取り上げつつ説明していこう。 ファンのみならず、社会現象としても注目されたこのイベントで、デジタルマーケティングコンサルティング会社のルグランがネットのデータを駆使してレギュラーメンバー上位16人中、15人を的中させ注目を集めた（なお、このプロジェクトでは筆者が所属しているホットリンクもソーシャルデータを提供しており、本記事の執筆に当たり、ルグランの泉浩人代表取締役にもお話を伺っている）。 ＜関連記事＞ ビッグデータ予測が16人中15人的中――AKB48選抜総選挙 この内容を見てみよう。 予測対象 ・AKB48の各メンバーの得票数 予
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
IBM 官公庁のクラウド・コンピューティング活用の最適解はどこに？ - Japan
futureofbusinessblog.com