【機械学習基礎】fit()で学習、predict()で予測【scikit-learn】
最も基礎的な機械学習の例はXOR演算。 機械学習を使うまでもない、if文で十分に回答は得られる。 しかし、複雑過ぎるモデルをいきなり学んでもイメージが掴みずらいので、 XOR演算のようなものを利用する。 アヤメの品種分類よりも基礎的な内容だが、 XORは考えなしに解ける問題ではない。 Pythonで機械学習をするのにメジャーな「scikit-learn」を使用する。 scikit-learn(サイキットラーン)は機械学習の最重要ライブラリ scikit-learnは「サイキットラーン」と読む。 scikit-learnはAnacondaをインストールすればついてくる。 Anacondaをインストールしていない人はこちら→MacにAnacondaをインストールする scikit-learnは無料で誰でも使うことができる。オープンソースプロジェクトなので、いつもどこかの天才たちが開発・改良して
pandasのcut, qcut関数でビニング処理（ビン分割） | note.nkmk.me
ビニング処理（ビン分割）とは、連続値を任意の境界値で区切りカテゴリ分けして離散値に変換する処理のこと。機械学習の前処理などで行われる。 例えば、年齢のデータを10代、20代の層（水準）ごとに分けるといった処理などがある。 pandasでビニング処理（ビン分割）を行うにはpandas.cut()またはpandas.qcut()を使う。 pandas.cut — pandas 0.22.0 documentation pandas.qcut — pandas 0.22.0 documentation それぞれ、 等間隔または任意の境界値でビン分割: cut() 要素数が等しくなるようにビン分割: qcut() という違いがある。 ここでは、pandas.cut()およびpandas.qcut()の使い方として、以下の内容を説明する。 等間隔または任意の境界値でビニング処理: cut() 最大値
matplotlib inline の謎解明！ |「書けと言われたので書いています」から卒業 - YutaKaのPython教室
Jupyter Notebookでmatplotlibを使用する場合には、インポートする前に %matplotlib inline と記述しますよね？では… なぜinlineと入力しているのでしょうか？ 入力し忘れても動くことがあるのはなぜでしょうか？ %matplotlib notebookというコマンドもあるのをご存じでしょうか？ この記事では、matplotlib inlineの謎について解説していきたいと思います！ Jupyte Notebookのmatplotlibの読み込み｜%matplotlib inline %matplotlib inlineを指定したときの挙動 グラフがアウトプット行に出力される plt.show()を省略してもグラフが出力される plt.show()でアウトプット行に２つのグラフ表示 %matplotlib inlineの意味はバックエンドの指定 バッ
Python3.6+Scrapyでスクレイピングしてみた - もなかアイスの試食品
はじめに 機械学習について勉強するため、機械学習を使った何かを作ろうと思っている今日このごろ いくつかサンプルが載っているような本を買っても、サンプルを動かすのはモチベーションが上がらない やはりモチベーションが上がるものは、自分がやりたいを作るべきだなぁ 自分が機械学習を利用してやりたいことはなんだろうなーと考えた 自分が興味あるものを学習して、コンテンツ（または元のサイトのURL）を配信するものを作ってみたい もうすでに、公開されているサービスを利用しているけど気にしない（作ることにきっと意味がある） そんなことで、コンテンツの内容を取得するため、Pythonでスクレイピングをやってみることにした。 昔にスクレイピングをやったことがあるけど、サーバに負荷を掛けないように配慮されたライブラリを探してみた。（昔使っていたのは、beautifulsoup4というライブラリ） Scrapyとい
プログラミング言語Rとは？統計分析に強い？ ｜ 創薬エンジニア養成塾
「プログラミング言語にR（アール）っていうのがあるらしいけど、どんなプログラミング言語なんだろ？」 「他にも色々プログラミング言語があるけど、R言語はどう違うんだろ？」 「R言語は、製薬企業の研究者や薬学部生が勉強して意味のあるプログラミング言語なんだろうか？」 そんな疑問を持つ人も多いかもしれませんね。 この記事はそんな皆さんへ向けて書いています。 僕がプログラミング言語「R」と初めて出会ったのは、大学の情報科学の授業でした。 その当時は、R言語を学ぶ意義も全く理解できず、途中で授業にもついていけなくなってしまって、結局単位も落としてしまいました。 そんな僕ですが、製薬企業に就職して、R言語を理解する必要性を痛感し、今となってはRを習得して仕事にも生かせるようになりました。 この記事では、そんな僕の経験をもとに、Rというプログラミング言語の特徴や、勉強方法のコツを解説します。 この記事に
「Python」と「Google Colaboratory」で株価データ分析に挑戦
「Python」と「Google Colaboratory」で株価データ分析に挑戦：「Python」×「株価データ」で学ぶデータ分析のいろは（1） 日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。第1回はPythonを実行する環境とデータの前準備について。 はじめに 連載第1回は「Google Colaboratory」でサンプルプログラムを実行するための環境を用意する方法や利用するPythonのライブラリを説明します。「Google Chrome」と「Googleアカウント」を用意して読み進めてください。 なお、連載の趣旨がデータ分析であるため、Pythonの言語仕様や文法の詳細を割愛する場合があることをご了承ください。 Google Colaboratoryの準備 Google Colaboratoryとは、Googleが提供するブラウザ上でPy
VS Codeを使ってPythonコードをデバッグするための基礎知識
連載目次 前回は、mymath.pyファイルにフィボナッチ数を求める関数を3つ定義しました。今回は、Visual Studio Code（以下、VS Code）を使って、それらのコードを実行したり、デバッグしたりする手順を見ていきましょう。 コードの説明 まずは前回記述したコードを以下に示しておきます。これはmymath.pyファイルに記述しました。 def fib(n): if n == 0: return 0 if n == 1: return 1 return fib(n - 2) + fib(n - 1) def fib_l(n): a = 0 b = 1 if n == 0: return a elif n == 1: return b for _ in range(n - 1): a, b = b, a + b return b def fib_m(n, memo=None):
Pythonの実力を証明できる資格3種とその勉強方法について解説！
Pythonの実力を証明できる資格3種昨今様々なPythonに関する資格がリリースされています。特にエンジニアの中で取得を目指す人が増えている3つの資格として、「Python3エンジニア認定基礎試験」「Python3エンジニア認定データ分析試験」「Python Certifications」があります。それぞれどのような資格なのでしょうか。 Pythonとは、AIなどのシステム開発や機械学習の分野で活用されているプログラミング言語です。人気の理由は、主にシンプルで非常にわかりやすい点や内容が読みやすいことが挙げられます。 また、比較的習得しやすい言語なため、IT初心者でも学びやすく、近年では小学校の授業でも取り入れられるなど、初めて学ぶプログラミング言語として人気があります。 就職や転職の際にもPython知識の有無は1つの採用基準となることがあるため、勉強する価値は十分にあります。
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
Pythonプログラミング入門 — Pythonプログラミング入門 documentation
Pythonプログラミング入門¶ ▲で始まる項目は授業では扱いません。興味にしたがって学習してください。 ノートブック全体に▲が付いているものもありますので注意してください。
【Python】pandas DataFrameの値を更新 - ITips
pandasのDataFrameの値を更新する方法がいくつかあるので、後で見返す為にも更新方法をまとめておく。 以下のlocやwhereの他に一括更新の方法がある。 DataFrameの値を更新する方法 pandasのDataFrameの値を更新する方法がいくつかあるが、大きく以下の３つの方法に分けられる。 値を一括代入 条件に合致するカラムを更新 別のDataFrameで上書き 各方法についてDataFrameを用いながら説明する。 import pandas as pd data_list1 = [ [1,2,3], [2,3,4], [3,4,5] ] col_list1 = ["c1","c2","c3"] df1 = pd.DataFrame(data=data_list1, columns=col_list1) print(df1) # c1 c2 c3 # 0 1 2 3 #
2万4000超の開発者に聞いた、Pythonでよく使うフレームワークは？
Python Software Foundationは5月5日(米国時間)、「Python Software Foundation News: Python Developers Survey 2019 Results」において、2万4000名以上のPython開発者が参加した調査の結果を伝えた。 同調査は、Pythonがどのような用途で使われており、昨年と比較してどのように推移したのかなどがまとめられている。加えて、Python開発者が分野ごとによく使っているフレームワーク、ライブラリ、ツールなどについてもまとまっており、参考になる。 掲載されている主なフレームワークやライブラリ、ツールは次のとおり。
Twisted
Downloads Get Started with Pip $virtualenvtry-twisted $ . try-twisted/bin/activate $ pip install twisted[tls] $ twist --help Download Direct from PyPI https://pypi.org/project/Twisted/ Optional Dependencies Install Extras Community See the code for Twisted (and more) on GitHub Read our blog Join the discussion list Come chat with us on IRC Report a 🔒security issue Ask on Stack Overflow Fo
インストールガイド — Scrapy 1.2.2 ドキュメント
専用のvirtualenv にScrapyをインストールして、システムパッケージとの衝突を避けることを強くお勧めします 詳細およびプラットフォームの詳細については, 以下を参照してください. 知りたいこと¶ crapyは純粋なPythonで書かれており、いくつかの主要なPythonパッケージ（他のものの中でも）に依存しています: lxml, 効率的なXMLとHTMLパーサー. parsel, lxmlの上に書かれたHTML / XMLデータ抽出ライブラリ. w3lib, URLやWebページのエンコーディングを扱うための多目的ヘルパー. twisted, 非同期ネットワーキングフレームワーク. cryptography と pyOpenSSL, さまざまなネットワークレベルのセキュリティニーズに対処する. Scrapyがテストされる最小バージョンは: Twisted 14.0 lxml 3
Pythonの環境管理ツール良し悪し - Zopfcode
EDIT: 2018/06/19 pipenvについて追記 本記事は社内向けに書いた文章を修正したものである。 世の中にある代表的な「Python環境管理ツール」に virtualenv, pyenv, venv, pipenv の4つがある。これらをGoogleで検索すると使い方が書かれたページばかりが出てきて、それらの違いや使い分けを解説する記事は少ない。 本当は必要ではないのに「pyenvは便利」のような謳い文句で何となく使わせる記事や、古い情報を元に書いた「一見新しそうに見える記事」も多く見られる。 この記事では、中立・実用重視な視点から各ツールを解説し、筆者が考えうるベター（ベストは人それぞれ）な組み合わせについて書く。 なおAnacondaは初学者が使うにはおすすめできない。Anacondaについての筆者の解釈は末尾にあるためそちらも参照されたい。 本記事公開後いくつか近い話題
Pythonの仮想環境構築(2017年版) pyenvとpyenv-virtualenvとvirtualenvとvirtualenvwrapperとpyvenvとvenv - Qiita
追記 2017/01/29 突っ込み記事を書いていただきました。ありがとうございます。 Pythonの仮想環境構築 2017.01版 コメント欄で@shibukawaさんも述べられていますが、virtualenvとvenvはほぼ同じなので、実質はpyenv or virtualenv(venv)の２択だけど、virtualenvが既にデファクトスタンダードとして地位を確立しているとのこと。 記事内ではpyenv推しをしていますが、virtualenvを使うことにします。僕はライトPythonユーザなので周辺環境はできるだけデファクトに乗っかって楽をしたいので。 はじめに Pythonの環境構築について調べていると、タイトルに挙げたツール名を見かけることがあると思います。要は環境の隔離ツールなのですが、こういったツールは移り替わりが激しく、初級者にとっては何が何やらわかりません。僕自身そこま
第１回 環の定義 - Pythonで学ぶ「プログラミング可換環論」
はじめに どうも初めまして、グレブナー基底大好きbot (Twitter:@groebner_basis) です。 最近、プログラマ向けの数学のセミナーや勉強会*1が開催されるなど、コンピュータを専門にする人が純粋数学に興味を持つ機会が増えてきました。 そこで、この記事では、計算科学とも関わりの深い「可換環論」について、プログラミングの側面から解説していきたいと思います。 可換環論とは 可換環論は、代数学に含まれる分野で、140年以上の歴史があります。名前の通り、「可換環」と呼ばれる数学的対象を研究する分野です。この可換環については、後々詳しく説明したいと思います。 かつての数学者は、計算といえば紙に書く「手計算」が主な手法でした。しかし、近年では、コンピュータの発達に伴い、可換環論の色々な計算が数式処理システム(Computer Algebra System) で実現できるようになりまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
【Python自動化】読み込んだデータをword/PDFにして保存する方法 | キャリアの実験室
「IronPython 3」が登場 ～Python 3をターゲットにした初めてのIronPython／バージョンは「3.4.0-alpha1」
