はてなブックマーク

VS Code(Visual Studio Code)とは、Microsoftが開発しているソースコードエディタです。効率的にプログラミングできるよう、様々な機能を提供しています。Python用の拡張機能も用意されており、Pythonのコーディングを行うのに非常に有用です。 この記事では、VS CodeでPythonの開発環境を構築する方法を解説していきます。 Anacondaのインストール(Windows/Mac編) Anaconda（アナコンダ）とは、データサイエンスに特化したプラットフォームで、データサイエンスに適したライブラリや便利な機能を有しています。 Anacondaの中には、PythonやRなどのデータサイエンスに良く利用される言語のライブラリも含まれています。スクレイピングでデータ取得後にデータを活用していく際にも、非常に便利になります。 Anacondaは無料で利用するこ

Python3におけるScrapyの使い方について初心者向けに解説した記事です。 最初にScrapyとはどのようなものかを説明し、その後に、Scrapyのインストール方法と基本的な使い方を、サンプルコード付きのチュートリアル形式で、具体的な例を用いて解説していきます。 Scrapyについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。 >> 「PythonでWebスクレイピング・クローリングを極めよう！(Scrapy、Selenium編)」(Udemyへのリンク) Scrapyとは、できること Scrapy（読み方：スクレイピー）とは、Pythonのスクレイピング・クローリング専用のフレームワークです。主にWebページからのデータ取得に用いられます。 今までのWebスクレイピング

Requestsとはrequestsとは、HTTP通信用のPythonのライブラリです。主にWEBスクレイピングでHTMLやXMLファイルからデータを取得するのに使われます。 インターネット上に公開されているWEBサイトでは広くHTMLやXMLが使われており、これらの情報の取得に大変便利なライブラリです。 スクレイピングは、大まかに３つのステップに分けることができます。 １つ目はWEBサイトのHTMLなどのデータ取得です。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。 そこで２つ目のデータの抽出が欠かせません。ここでは、複雑な構造のHTMLデータを解析し、必要な情報だけを抽出します。 そして最後に抽出した情報をデータベースやファイルなどに保存します。 このWEBスクレイピングの３ステップの中で、reque

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 Pythonでは、newspaper3kというライブラリを利用して、非常に簡単にテキストデータをWEBサイトから自動的に取得することができます。 ニュースサイトやブログから、 自動的にデータを取得し保存したい。キーワードを取得して、トレンドを把握したい。自然言語処理を用いてサマリーだけを取得したい。という場合に利用すると便利です。 これを応用して、次のようなこともできます。 ニュースサイトのトップページに表示されている複数の記事を順に巡回し、ニュース記事やサマリー、キーワードをダウンロードし、後からまとめて読む。ブログ村やはてなブログなどのブログサイトや、個人ブログのトップページに表示されている複数の記事を順に巡回し、ブログ記事

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 WEBサイトに公開されている情報は、テキスト情報や画像、動画など様々な情報がありますが、その中の１つとしてテーブルに格納されている情報があります。 Pythonのデータ分析用ライブラリPandasではread_htmlという関数を利用して、WEBサイト上のテーブルに格納されているデータを非常に簡単に取得することができます。 また取得したデータはPandasのDataFrame（データフレーム）と呼ばれるデータ構造を利用してすぐに分析やグラフ化、データ保存することもできます。（DataFrameの詳しい説明は、こちら「Pandas DataFrameの基本」を参照ください。） これらPandasを用いたWEBスクレイピング方法は、

Python3におけるWEBスクレイピングのやり方について初心者向けに解説した記事です。 Requests、Beautiful Soup、Selenium、Pandas、newspaper3kなどの基本的なライブラリの使い方を、サンプルコード付きのチュートリアル形式で、具体的な例を用いて解説していきます。 またこれらのライブラリについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用いただければと思います。クリックすると自動的に適用されます。期間限定になりますのでお早めに。 >> 「Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）(Udemyへのリンク) WEBスクレイピングとは、スクレイピングのやり方WEBスクレイピングとは、WEBサイトからデータを自動的に取得し、必要な情報の抽出・加工などを行うこ

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 スクレイピングで取得したいデータのニーズは様々ですが、その中でも、株価の履歴情報を取得し、分析に利用したいというニーズは高く、スクレイピングを勉強するきっかけとなっている人も多いようです。 ただ、株価の情報はWEBサイトで公開されていますが、スクレイピングを禁止しているサイトも多く、またスクレイピングを禁止していなくても、継続的に株価を提供しているサイトはとても少ないです。 今回は、その中でもStooq.comというサイトから、Pythonのデータ分析用ライブラリPandasのread_html()を利用し、日本の個別株の情報を取得したいと思います。 米国株の取得方法は「Pandasによるテーブルのスクレイピングと保存」を参照く

Markdown(マークダウン)記法とはMarkdown（マークダウン）は、文書を記述するための言語のひとつです。記述方法は直観的で覚えやすく、記述した文章はHTMLに変換でき、見栄えのする文章や資料を作成するのに大変便利な言語です。 はてなブログやQiita、githubなどの有名なサイトでもMarkdownがサポートされており、Markdownで記述した文章を共有することができます。 またWordPressでもプラグインをインストールすることでMarkdownで書いた内容を投稿できるようになります。 さらにブラウザ上で動作するプログラムの対話型実行環境の１つであるJupyter Notebook（ジュピター・ノートブック）でもMarkdownがサポートされており、次のようなコードや実行結果も含めた技術的なドキュメントの作成や共有に役立てることもできます。 Jupyter Noteboo

この記事では、newspaper3kというライブラリを使ってPython初心者でも簡単にできるスクレイピングの方法を確認していきます。ここでは、ニュースサイトのトップページに表示されている複数の記事を順に巡回し、記事を取得する方法を紹介いたします。 newspaper3kのインストール方法や基本的な使い方については、以下の記事をご覧ください。リンク先の記事では、newspaper3kの基本的な使い方を理解する為、ニュースサイトから１つの記事をピックアップし、その記事の全文やサマリー、キーワードを取得しています。

データを分析する上では、通常は１つのDataFrameだけではなく、複数のDataFrameを組み合わせて、データを確認・分析していく必要があります。その際に必要となるのが、結合の処理です。 DataFrameの結合方法を、データベースにおけるSQLでのテーブルの結合方法に例えると、結合には行単位の連結であるUNION(ユニオン)と、列単位の連結であるJOIN(ジョイン)の２種類があり、それぞれ次のようなものになります。 行単位の連結(UNION)：同じ列をもつDataFrameを縦(行を増やす)方向に連結する。列単位の連結(JOIN)：結合するキーとなる列を元に、DataFrameを横(列を増やす)方向に連結する。 この記事では、DataFrameの結合方法の１つである列単位の結合(JOIN)について学んでいきましょう。Pandasではmerge()を利用して、DataFrameに対して

03. BeautifulSoup 図解！Python BeautifulSoupの使い方を徹底解説！(select、find、find_all、インストール、スクレイピングなど) Beautiful Soup(ビューティフル・スープ)とは、HTMLやXMLファイルからデータを取得し、解析するPythonのWEBスクレイピング用のライブラリです。インターネット上に公開されているWEBサイトでは広くHTMLやXMLが使われており、これらの情報の取得や解析に、大変便利なライブラリです。 Pythonでは、Beautiful Soupを利用して、簡単にWEBサイトからデータを自動的に取得することができます。 Beautiful Soupは、 情報収集の為にニュースサイトやブログから、自動的にデータを取得し保存したい。製品の価格情報を取得して、トレンドを把握し価格設定に利用したい。WEBサイトから

Jupyter Lab（ジュピター・ラボ）とはJupyter Lab（ジュピター・ラボ）とはJupyter Notebook（ジュピター・ノートブック）の進化版で、次世代のブラウザ上で動作するプログラムの対話型実行環境です。データ分析には欠かせないツールの１つです。 ノートブックと呼ばれるファイルにpythonなどのプログラムを記述し、実行結果を逐次確認しながら、データ分析を進めることができます。 Jupyter Lab上では、様々なライブラリを使うことができ、TensorFlow（テンソルフロー）などの機械学習やディープラーニング用のライブラリも動作させることができます。 またJupyter Labでは、入力したプログラムの実行結果が、プログラムの直後に表示されるので、結果が分かりやすく、すぐに確認することができます。 このような3Dのグラフも表示することができ、複雑なデータ分析の結果も

Jupyter Notebook（ジュピター・ノートブック）とはJupyter Notebook（ジュピター・ノートブック）とは、ブラウザ上で動作するプログラムの対話型実行環境です。データ分析には欠かせないツールの１つです。 ノートブックと呼ばれるファイルにpythonなどのプログラムを記述し、実行結果を逐次確認しながら、データ分析を進めることができます。 Jupyter Notebook上では、様々なライブラリを使うことができ、TensorFlow（テンソルフロー）などの機械学習やディープラーニング用のライブラリも動作させることができます。 またJupyter Notebookでは、入力したプログラムの実行結果が、プログラムの直後に表示されるので、結果が分かりやすく、すぐに確認することができます。 このような3Dのグラフも表示することができ、複雑なデータ分析の結果もビジュアルで表現し、確

スクレイピングにおけるXPathの使い方を初心者向けに解説した記事です。 XPathとは、基本的な書き方、id・classなど様々な属性やテキストの取得方法、contains関数の使い方など要点を全て解説しています。 XPathとは XPathとは、XML形式の文書から特定の部分を指定して取得するための簡易言語です。HTMLにも使うことができます。 XPathはスクレイピングにおいて、HTMLの中から特定の情報を指定し取得するのに利用されます。 HTMLは次のようにタグと言う記号で構成されており、開始タグ、終了タグで囲まれたものを要素といいます。 上記の要素はtitleタグに囲まれていますので、titile要素と言います。 またHTMLは、１つのタグが別のタグで囲われ、というように入れ子の状態で記述されます。これらは階層構造とみなすことができます。 例えば次のHTMLについては、 このよう

Seleniumとは Seleniumとは、ブラウザを自動的に操作するライブラリです。主にWEBアプリケーションのテストやWEBスクレイピングに利用されます。 主にWEBスクレイピングでは、JavaScriptが使われているサイトからのデータの取得や、サイトへのログインなどに使われています。 ここではまずスクレイピングの流れを確認し、その中でSeleniumがどのように使われるかを説明します。 スクレイピングの流れ スクレイピングは、大まかに３つのステップに分けることができます。 １つ目はWEBサイトのHTMLなどのデータ取得です。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。 そこで２つ目のデータの抽出が欠かせません。ここでは、複雑な構造のHTMLデータを解析し、必要な情報だけを抽出します。データの抽出

Pythonにおけるモジュール、パッケージ、ライブラリとはモジュールとは、Pythonのファイル（.py）の事です。 Pythonである程度の長いプログラムを書く場合などは、Jupitor Notebookやコマンドラインではなく.pyファイルに実行したい内容を保存します。 そしてその保存された.pyファイルは、他のPythonのプログラムからimportで呼び出して使うことも出来ます。これをモジュールと呼びます。通常、このモジュールの中には、いくつかのクラスや関数が含まれています。 そのモジュールをいくつか集めてまとめたものがパッケージと呼ばれています。 ライブラリとは、いくつかのパッケージをまとめて一つのライブラリとしてインストールできるようにしたものです。また関数、モジュール、パッケージ自体を総称してライブラリと言うこともあります。 ライブラリには、Pythonに付属していてすぐに使

Pythonの基本的なトピックについて、チュートリアル形式で初心者向けに解説した記事です。プログラミング未経験者や初心者でもわかりやすいよう、丁寧に解説しています。 Pythonでデータ分析・AI・機械学習を学ぶ上で欠かせない基礎となる重要な事項を取り上げています。 Python入門のメリット近年、企業が円滑にビジネスを進める上で取り扱うデータ量は急増し、本格的なビッグデータ時代の到来がさけばれています。 それに伴い、これらビックデータを分析しビジネスに活用するデータサイエンティストの需要も高まっており、各企業では、データサイエンティストの育成に力を入れたり、高額な給与で採用したりと、人材不足に対応する動きが盛んになってきています。 データサイエンティストに欠かせないスキルの１つが、データ分析、ディープラーニング、機械学習などに必要となるプログラミングのスキルです。 その中でも、Pytho

Pandas（パンダス）とは、データを効率的に扱うために開発されたPythonのライブラリの1つで、データの取り込みや加工・集計、分析処理に利用します。 Pandasには２つの主要なデータ構造があり、Series（シリーズ）が1次元のデータ、DataFrame（データフレーム）が2次元のデータに対応します。 実務で利用するデータは２つの軸で表される2次元のデータが多いので、DataFrameを利用する機会は非常に多く、DataFrameを理解することは、データを効率的に扱う上でとても重要になります。 この記事では、まずはDataFrameの基本的な使い方を確認した上で、最後にDataFrameを用いたデータ分析の事例を確認していきましょう。 Pandasについて、もし動画教材で体系的に学ばれたい方は、以下の割引クーポンをご利用ください。クリックすると自動的に適用されます。期間限定になります

引数には、year、month、day、hour、minute、secondを指定します。hour、minute、secondは省略することもできます。 まずは日付型のデータを作成します。年、月、日をそれぞれ変数year_1、month_1、day_1に格納します。そしてその変数をdatetimeに渡し、日付型に変換します。 date_1の内容を確認すると、datetime.datetime(2018, 1, 23, 0, 0)と表示され、日付型のデータが格納されていることがわかります。 In [1]: import pandas as pd ...: from datetime import datetime ...: year_1 = 2018 ...: month_1 = 1 ...: day_1 = 23 ...: hour_1 = 17 ...: minute_1 = 58 ..

Pandas（パンダス）とは、データを効率的に扱うために開発されたPythonのライブラリの1つで、Numpyを使いやすく拡張したライブラリになります。 このライブラリも、データ分析、機械学習、ディープラーニングには必要不可欠なものになります。 NumPyがベクトルや行列などの数値計算に特化している一方で、Pandasは数値だけではなく、文字列などの様々なデータ型を扱うことができます。 NumPyとの使い分けとしては、機械学習やディープラーニングなどの大量の数値データを高速に扱う処理はNumpyを利用し、データの取り込みや加工、集計処理、数値以外のデータの処理などはPandasで実施します。 Pandasでは、次のような処理をすることができます。 CSVやExcelファイルなどの様々な形式のファイルからのデータ取り込み、書き込みインデックスの設定とインデックスを指定してのデータ検索Exce