B'zの歌詞をPythonと機械学習で分析してみた 〜イントロ編〜 - 下町データサイエンティストの日常
1. 自己紹介 はじめましてpira-ninoです。 2018年4月に某社にデータサイエンティストとして新卒入社したピチピチの新米社員です。 学生時代は様々な企業のデータを機械学習を使って色々な提案をしてました。(単にパッケージを使うだけでなく、モデルの改良もしてました。) まぁそんな訳で、機械学習は最低限広く浅く知ってます。 最近は強化学習を勉強したりkaggleに取り組んだりしてます。Santenderコンペのleakは流石に頭を抱えましたね。。。 2. B'zの歌詞を分析してみた経緯 さて、本題のB'zの歌詞分析について「背景」と「分析概要」について書かせて頂きます。 背景は無駄に長文になったので、読み飛ばしても大丈夫です。 2.1 背景 新卒研修あるあるだと思うのですが、様々なバックグラウンドを持った新卒がいるが故に、ある程度余裕を持ってしまう人も出てしまいます。で、それが私であっ
Pythonで最初に知っておきたかったことのまとめ【初心者向け】
Pythonで最初に知っておきたかったこと 最近、PC(Mac/Linux)やRaspberry PiでPythonを使ってプログラムを組むことが多くなってきました。長く使っていると、多少はPythonのことが分かってきて、色々便利な機能なども知ることができます。その中でも「これ、もっと早くに知りたかった…」というものが結構あったりするので、一度そういったものをまとめて紹介しようと思います。 Pythonをこれから始める初心者の方の参考になればよいなと思います。環境はMac/Linux(Raspberry Pi)を想定していますが、それ以外の環境の方でも参考になるかとは思います。 環境セットアップ 最初は環境構築です。PC（Mac/Linux）だと、仮想環境を使うのを個人的にはオススメします。以下記事参照下さい。 「俺はとにかくPythonで機械学習をやりたいんだー！」という人は、下記の記
Windowsでpythonにwordcloudをインストール : 私的メモ
wordcloudで遊んでみようと思ったんですが、anacondaのデフォルトインストールでは利用でき無いようなので、インストールしてみました。 Windows10/Python3.6環境でwordcloudを使えるようにしてみます。 本家はhttps://github.com/amueller/word_cloud Anaconda Navigatorからパッケージを検索してみましたが、パッケージとして引っかかってこないようです。 Anaconda Promptからコマンドで検索してみます。 基本モジュールとデータセットを読み込みます。 (C:\Anaconda3) c:\Anaconda3>conda search wordcloud Fetching package metadata ............. こちらでも検索には引っかからないようです。 本家のREADME.mdでは
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
Pythonでデータ分析：ランダムフォレスト - データサイエンティスト(仮)
導入 前回、非線形的な効果を表現することの一例として、決定木回帰を紹介しました。 tekenuko.hatenablog.com 決定木は、ざっくりとしたデータの特徴を捉えるのに優れています*1。しかしながら、条件がデータに依存しがちなため、過学習しやすいという欠点もあったのでした。 この欠点を緩和するための方法として、アンサンブル学習という方法があります。これは、データをサンプリングしてモデルを構築、それらを組み合わせて新たなモデルを構築する方法です。ランダムフォレストは、ざっくりいうと多数の決定木を作成し、それらを平均化する手法です。個々のモデルではデータの変化の影響が大きくても、まるっと平均化したものは影響が少なくなるため、一つの決定木でモデルを作るのに比べて過学習が緩和されやすくなります*2。 ランダムフォレストをより深く理解するためには、ある程度しっかりした機械学習の本を読んだり
Google SpreadSheetにコマンドラインからCSVをアペンドする | DevelopersIO
はじめに Google SpreadSheetはWebベースの表計算ツールとしてとても便利ですね。単なる表計算ツールとしてだけではなく、データを共有したり、グラフを作成するなどにも使えます。もっと便利にしてみようと、コマンドラインからCSVファイルをアペンド(追記)していくためのスクリプトを作ってみたので紹介します。 使用環境 今回使用した動作環境は以下のとおりです。 OS: macOS 10.12 Python: 2.7 Google Sheets API v4 ライブラリは、Python向けのgoogle-api-python-clientを使用します。google-api-python-clientは、pipでインストールしておきます。 $ pip install google-api-python-client OAuthを使用する GoogleのAPIを使用するためには、アプリケ
Selenium使ってみた(Python) - コンピュータサイエンス系勉強ノート
最近スクレイピングを始めたのですが，javascriptが使われている場合はブラウザ経由でないと操作ができないことを知ったのでseleniumを試してみることにしました．Pythonからのseleniumインストールは非常に簡単で， pip install selenium で一発でいけます．まずはseleniumからChromeを起動してみます． #encoding:utf-8 from selenium import webdriver browser = webdriver.Chrome(executable_path='Chromedriverのパス') browser.get('http://seleniumhq.org/') Chromeを起動するためにはChromeDriverとよばれるChromeを操作するためのドライバーが必要となります．ドライバーがない場合以下のサイトか
超簡単！Pythonを使って中学・高校レベルの数学問題を解いてみた - paiza times
秋山です。 PythonはNumpyとかSympyとか、数値計算が得意なライブラリが充実しています。もちろん中学・高校の数学で習うレベルの計算もすぐにできちゃいます。 というわけで今回はPythonでプログラミングをして、中学・高校で習う数学の問題を解いてみました。 Pythonが使えるようになれば、中学・高校レベルの数学では困らずに済む。かもしれない。 ■中学2年生レベル ◆連立方程式 ◇問題 x + y = 3 x + 3y = 13 のとき、xとyを求めよ。 Numpyを使って、連立方程式を行列計算で解いてみました。 ■中学3年生レベル ◆2次方程式 ◇問題 x^2 - 10x + 24 = 0 のとき、xを求めよ。 昔の授業では (x - 4)(x - 6) = 0 x = 4 , 6 このような解法を習ったと思います。 この問題は、NumpyのPolynomialを使って式を作り
Python Jupyter notebookでpandasを使いCSVを読み込みグラフを描画してpdfなどで保存する方法
ここから特定の行（列）だけを抜き出してグラフにします。それで簡単な説明はあとでするとして、忘れないようにコードを書いておくことにします。 %matplotlib inline import numpy as np import matplotlib.pyplot as plt import pandas as pd import os df = pd.read_csv("/Users/yourname/Desktop/book.csv", encoding="UTF-8") plt.figure(figsize=(8, 6.5)) plt.rcParams["font.size"] = 22 plt.rcParams["xtick.labelsize"] = 12 plt.rcParams["ytick.labelsize"] = 15 plt.rcParams["legend.fonts
Python 機械学習プログラミング データ分析ライブラリー解説編
「ITエンジニアのための機械学習理論入門」で提供しているサンプルコードに含まれるデータ分析ライブラリ（NumPy/pandasなど）を解説した資料です。 下記の書籍のサンプルコードが理解できるようになることが目標です。 - ITエンジニアのための機械学習理論入門(技術評論社) - http://www.amazon.co.jp/dp/4774176982/ 2015/10/25 ver1.0 公開 2015/10/26 ver1.1 微修正 2016/05/25 ver1.4 subplotの順番を修正 2016/11/15 ver2.0 改訂版公開 2016/11/16 ver2.1 改行幅修正 2017/01/10 ver2.2 微修正 2017/01/12 ver2.3 微修正Read less
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Pythonの学習を始めた初心者が、知っておきたいテクニック4つ - paiza times
Photo by francois schnell 秋山です。 Pythonって多少プログラミング経験がある人であれば、文法的にはそこまで難しい言語ではないと思うのですが、初心者の人がPythonでゼロから何か作ろうとしたり、細かい修正をしなきゃならなくなったりしたときに、知っていると得するかもしれないTips的なことを紹介したいと思います。 「既にPython使いまくってる」という人にとってはおなじみの内容ばかりかもしれませんが、「最近Python使い始めた」という人は意外とまだ知らない、そして知っておくとお得なことがある（かもしれない）話です。 ■クラスなどの扱いに関して ※他の言語の仕様を全て認識しているわけではないので、Python以外の言語でも似た仕様のものはあるかもしれません。 ◆classを定義する際のインスタンス変数、クラス変数のprivate的な動きについて 大多数の言語
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともな
Jupyter notebookでHighcharts - Qiita
Highchartsとは Javascriptで動作する可視化ライブラリです。 下記のような機能/特徴があります。 ピュアJavaScript プラグイン不要、2つのJSファイルだけで動作 多彩なチャートタイプ 折れ線グラフ スプライン曲線 面グラフ エリアスプライン 横棒グラフ 縦棒グラフ 散布図 OHLC ローソク足 エリアレンジ エリアスプラインレンジ レンジセレクタ 時系列データを素早く表示 時間範囲の選択 1か月、1年、日付指定 時間範囲のチャートをズーム ツールチップ・ラベル データ系列やポイントに関する情報をツールチップ・テキストで表示 マウスをグラフの上に動かすと、ツールチップが表示 エクスポートと印刷 ボタンをクリックして指定のフォーマットでエクスポート PNG、JPG、PDF、SVG ウェブ・ページから直接チャートを印刷 非常に高機能ですが、商用は有償となります。 なぜ
【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門 - Gunosyデータ分析ブログ
こんにちは、データ分析部でバイトをしている子田（id:woody_kawagoe）です。 ニュースパスのログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあります。 この組み合わせは非常に相性が良く、研究でも役立つと思います。 そこで今回のブログではデータ分析に役立つtipsや学んだことをまとめます。 Jupyter Pandas matplotlab データ分析の基本的な流れ 参考資料 Jupyter jupyter.org ブラウザ上で利用できる開発環境です。 対話型で、作成したスクリプトと出力結果の対応関係が非常に見やすいです。 スクリプトでprint文をかかなくても最終行に変数おけば表示してくれます。 またgithub上にJupyterで作成できるipynbファイルを置くと他の
Jupyter Notebookの小ネタ (display, tqdm, SSHポート転送) - くじらにっき++
この記事は jupyter notebook Advent Calendar 2016 の12月13日の記事です。 qiita.com Jupyter Notebookを使う上で，この機能を知らない人を見つけたら教えてあげたくなるような小ネタをいくつか紹介します。 IPython.display.display Jupyter Notebook上でpandasのDataFrameを表示すると，HTMLのtable要素として見やすく表示してくれます。活用している方も多いかと思います。 df[df['f'] == 'C'] と df[df['f'] == 'T'] を表示したいのですが，Jupyter Notebookで表示されるのはそれぞれのセルで最後に評価されたものだけです。そのため，表示したいDataFrameごとにセルを分ける必要があります。 gist.github.com しかしなが
[自然言語] Wordnet × Pythonで類義語を抽出する - YoheiM .NET
こんにちは、@yoheiMuneです。 最近はブログがご無沙汰になってしまっていたのでそろそろ書き出そうと思う今日この頃。本日は最近激勉強中の機械学習や自然言語処理からブログを書きます。Wordnetと呼ばれる自然言語の分類体系を用いて、指定した単語の類義語を取得する方法を書きたいと思います。 目次 Wordnetとは Wordnet（日本語版）はシソーラス（言葉を同義語や意味上の類似関係、包含関係などによって分類した辞書）で単語間の関係を保持しています。この関係性を利用することで、ある単語の類義語を得ることができます。 シソーラスのイメージ 引用：http://astamuse.com/ja/published/JP/No/2010129025 このシソーラスを持つWordnetを、今回はPythonから利用して、類義語を出してみたいと思います。 Wordnetのセットアップ Wordn
![[自然言語] Wordnet × Pythonで類義語を抽出する - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/3c7fdc112aedfd164e07cbf7712b65270b703b32/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F386.jpg)
覚えるだけでPythonのコードが少し綺麗になる頻出イディオム - タオルケット体操
まえがき 今年の春から今まで、2年ぶりにPythonを沢山書いているわけなんですが、JavaScriptのクソに頭をやられて久しぶり書くだけあって基本的なところから色々と頭から抜け落ちていたわけです。 そんで何か思い出すたびに会社のwikiを使ってメモっていたのですが、せっかくなので少々訂正をしてブログにも書きます。 また、弊社はPython2を使っているので、2が前提の記述になっているところがいくつかあります。なるべくフォローしていますが、参考にする場合は自分が使っているバージョンを確認することをおすすめします。 また、今から新しくPythonでプロジェクトを始めようと思っている人は3系を使いましょう。 知ってる人は当然知ってる、でも結構長いことPythonを書いてても知らなかったりするような小技を載っけました。 なお、メタプログラミングとかの黒魔術っぽい記事のまとめはこちら: hach
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
stockdog.work
SQLでやるこの操作ってpandas.DataFrameではどうやるの！ - Qiita
