Pythonを使って回帰分析を行う。使用するライブラリはStatsmodelsである。 In [78]: %matplotlib inline まず対象となるデータを読み込む。これはR処理系に付属しているattitudeというデータを write.csv(attitude, "attitude.csv", quote=FALSE, row.names=FALSE) でCSVにしたものである。 In [79]: attitude = pd.read_csv('attitude.csv') attitude.columns Out[79]: Index([u'rating', u'complaints', u'privileges', u'learning', u'raises', u'critical', u'advance'], dtype='object') この記事を書くにあたって参考
まず、そもそもマーケティングファネルとはなんなのでしょうか? マーケティングファネルとは、消費者が購入に至るまでの道筋を図にしたものです。 ファネルとは漏斗を意味し、マーケティングファネルで最も古典的なパーチェスファネルが漏斗のような形をしているためにこのように名付けられました。 マーケティングファネルの中にも、いくつかの種類がありますので、パーチェスファネルを含めて紹介していきます。 パーチェスファネルとは、消費者が商品を購入するまでの行動を「認知」「興味・関心」「比較・検討」「購入」の4つに分類して図式化したものです。 消費者の購買決定プロセスを説明する「AIDMAモデル」の図式化と同義と言ってもいいでしょう。 AIDMAモデルとは、 A(Attention):商品やサービスの存在を認知する I(Interest):興味を持つ D(Desire):欲しいと思う M(Memory):記憶
まずディープラーニングがどのように発展していったのかお話しします。 第一次ニューラルネットワークブーム ある時、脳の神経細胞を仕組みを再現した人工ニューロンを作ります。 人工ニューロンとは上図のようなものを指します。 この複数の信号から1つの信号を出力するアルゴリズムをパーセプトロンと呼びます。 この人工ニューロンを2つ重ねるとが学習できるらしくブームが起こります。下図。 ですが世の中の多くを占めている非線形の問題が解けなく、ブームが終わります。 第二次ニューラルネットワークブーム 実は3層以上重ねるとどうやら非線形問題が解けることは知られていましたが、誰も実装まで手が付けられませんでした。 ところがある時、BackPropagationという方法が発見され、3層以上を重ねられました。 何層も重ねたものをニューラルネットワークと呼びます。 (アルゴリズムを多層パーセプトロンといいます。)
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
こんにちは、関学M1の太田です。ここ半年ぐらい交通×AIを追っかけていたのでまとめておきます。読者層は交通関連の研究したいと思っている人向けです。 本記事は、交通×AIの研究をするにあたって概要を掴むのに僕自身もお世話になった勉強教材をまとめました。 内容としては、以下の通りで紹介していきます。正直長くなりすぎたのでどっかで分割するかもです。 - 1. 交通×AIの概観を掴むスライド - 2. サーベイ論文 - 3. 研究動向 様々な交通機関における需要予測 - 4. 研究動向 タクシーの配車と再配置アルゴリズム - 5. 書籍 春から交通関連の研究したい人は、1. 2. 5.を読むといいかもしれません。 交通✖️AIまとめスライド 交通業界へのAI応用事例を網羅的に紹介 サーベイ論文の紹介 [1906.04928] Deep Learning for Spatio-Temporal Da
データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。 データ可視化とは?その重要性や手法、よくある課題と解決策を解説 データ分析における視覚化(ビジュアライゼーション)系のおすすめの本17選1 S
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
(Image by Pixabay) この記事は、昨年の同様のスキル要件記事のアップデートです。 正直言って昨年バージョンとの差分は殆どないのですが、一応この1年間の業界の進歩を踏まえて僅かながらアップデートしてありますので、ベースとなっているスキル要件についてさらっと概観した上で、差分となるアップデート部分について簡単にコメントしておこうかと思います。 なお、いつもながらの断り書きですが。言うまでもなく、この記事の内容はあくまでも僕の個人的な意見にして、なおかつ僕自身がこれまでの経験と見聞に基づいて「これまで自分が属してきた組織やチームにおけるデータサイエンティストや機械学習エンジニアはこうだったor今後はこうあって欲しい」という最大公約数的な経験談や願望を書き並べたものに過ぎません。よって何かの組織や団体の意見を代表するものではありませんし、況してやauthorizeされた意見として見
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…!、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
Google Colaboratoryをもっと便利に使いたい ブラウザさえあれば、環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory(以下Google Colab)」。Windows PC等で手元に適切なPython環境が無い場合や、手元の環境を崩したくないとき、GPUを活用したいときなど幅広く活用しています(詳細は以下記事参照下さい)。 そんな中、よく使うコマンドやTIPS、使いたいときに探すのに時間がかかるのが多いため、一度まとめてみることにしました。 以下に本記事で紹介するコマンドをまとめたGoogle Colabのノートブックのリンクを貼っておくので、こちらも好きにコピーして使用してもらってOKです。 Google Colab Tips集 スペック確認 OS確認 !cat /etc/issue 容量確認 !cat /etc/issu
google colaboratoryは、github、gistなどと連動させることができ、colaboratory上で作成したファイルを気軽にこれらの外部のサイトで保存し、公開することができる。 まずは、colaboratoryの画面のファイルメニューから「GitHubにコピーを保存」を選択する。 初めての場合は、githubの認証があるが、認証が完了すると以下のような画面が表示されるので、保存先のレポジトリを選択する。 今回は、hhachiyaに作ったcolaboratoryレポジトリに保存してみたところ、以下のような拡張子が「ipynb」のjupyter notebookのファイルが保存された。 github.com 保存と言っても、githubなので、ちゃんとcommitされているので、以下のように更新履歴を管理できる。 さらに、githubに保存したファイルは、colaborat
機械学習エンジニア界隈で話題沸騰となっているGoogle Colaboratory(グーグル・コラボレイトリー)。本記事では概要とGoogle Colabの知っておくべき基本的な使い方をまとめました! すでに機械学習をやっている方や、これから機械学習を学んでみたいと考えている方で、下記のような事を感じたことはありませんか? 「訓練やデータ処理をやるのにローカルPCだと処理に時間がかかりすぎる」 「機械学習用にクラウド環境を立てたけど…思ったより費用が高い」 「機械学習は色々とライブラリが多くて環境構築がしんどい」 もし一つでも当てはまるものがあれば、Google Colabがそんな悩みを解決してくれます!機械学習の開発環境の新基準となる可能性も高いGoogle Colab、概要や基本的な使い方をみていきましょう。 Google Colaboratoryとは? Google Colab(略式
はじめに 機械学習/ディープラーニング勉強としてやってきたこと -実践編-で Google Colab 最近使い始めましたが、これはすごいです!GPUだけでなくTPUまで使えます、そして無償です(ただし、TPUを使いこなすのはハードルが高そう)。既に役立つブログが書かれているので、それを検索して頂ければすぐに使い始められると思います。後日、それらのまとめ記事を書く予定です と書きましたので、Google Colabの使い方をまとめてみます。と言っても、【秒速で無料GPUを使う】深層学習実践Tips on Colaboratoryという素晴らしいブログが既にあるので、これを補足する形とします。 90分ルールと12時間ルール まず、最も重要なのがGoogle Colabには時間制限があるということです。2. シャットダウンまでの残時間は(90分ルールと12時間ルール)を読み理解しましょう。制限
日経 xTECH内に人工知能(AI)専門チャネル「ビジネスAI」を2019年10月に立ち上げたのを機に、知識共有サイト「Qiita」上でAI/機械学習の記事を同年12月に募集したところ、49本もの記事が集まった。投稿いただいた皆さん、ありがとうございました。 今回、ビジネスAIの編集担当として私が設定した「お題」は以下の3つ。各テーマについて日経 xTECHがQiitaアドベントカレンダーのスポンサーとなり、2019年12月1日~25日まで1日1本ずつ記事を募集した。 AI道場「Kaggle」への道 機械学習をどう学んだか 機械学習ツールを掘り下げる この結果、機械学習を独習するお薦めの書籍やサービス、Kaggleなどの機械学習コンペに入門する方法など、AIや機械学習に興味があるエンジニアにとって大いに参考になる記事が集まった。投稿者の属性についても「ゴリゴリの文系」や「おじさんSE」「中
こんにちは、Acroquest Technologyの横山です。 少し前の話になりますが、4月下旬に技術書典4がありましたね。そこで@llminatoll さんの「マンガでわかるDocker」が販売されていました。今はダウンロード販売されています。例えなどもわかりやすくおすすめですので、紹介させてもらいました。興味のある方はぜひ読んでみると良いと思います。 はじめに 第四回では、Dockerfileについて説明し、自分でDockerイメージを作成する方法を説明しました。また、これまでの説明では一つのコンテナを動かして説明してきましたが、一つのコンテナでは一つの機能(アプリケーション)を動かす構成にする場合が多いため、コンテナ間の連携が必要になります。 そこで第五回は、複数のコンテナを起動させたときのコンテナ間通信について説明します。 コンテナ間通信をする方法は、以下の二つがあります。 ①D
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く