Pythonの『Selenium』というサードパーティ製のモジュールを用いれば、Google ChromeやFirefoxなどのブラウザで行っている操作を自動化することができます。 ある特定のWebページからデータを収集したりやファイルをダウンロードしたり…。

はじめに この記事は、AI AcademyのPython文法速習編とPython プログラミング入門編の内容をベースに一部修正を加えたものです。 この記事を読み進めることで、Pythonの基本文法の基礎を学ぶことが出来ます。 Pythonを学び終わった方は、無料（一部のコンテンツのみ有料だが基礎コンテンツはほぼ全て無料）でAI・機械学習が学べるAI Academyも活用ください。 オンライン機械学習スクールはこちら なぜPythonなのか？ AI Academyでは人工知能（AI）分野を中心とした学習コンテンツを扱っており、その人工知能分野においてPythonは機械学習・ディープラーニングを容易に扱うことができるからです。 また、The 2018 Top Programming Languagesの記事でも、プログラマーの年収は1位でした。 The 2018 Top Programming

はじめに 皆さんPythonでプログラミングしてますか？ Pythonの基本的な文法はある程度理解したけど、もう一歩詳しくなりたい、という方のために、中級的なテクニックや書き方について解説します。 この記事をマスターすれば、あなたも明日からPython中級者になれるかも？ では、始めましょう。 変数の代入について Pythonでは、複数の変数の定義を1行で行うことが可能です。 普通に代入した場合：

はじめに pythonに用意されている「組み込み関数」について、簡単な説明と使い方を記載します。 リファレンスとしてお使いいただければ幸いです。 本記事において組み込み関数とは公式ドキュメントに記載されている69個の関数と型を指します。 なお、各タイトルに番号が付いていますが、公式のものではありません。 検証環境 macOS Mojave 10.14.6 python 3.7.2 >>> import sys >>> sys.version '3.7.2 (default, Jan 13 2019, 12:50:01) \n[Clang 10.0.0 (clang-1000.11.45.5)]'

Visual Studio Code を入れます。 azure.microsoft.com Visual Studio のリモート開発の拡張機能を入れます。 marketplace.visualstudio.com そして docker を入れます。 www.docker.com Windows の人は入れたら設定からドライブ共有をオンにしておきましょう。 Python 3 の環境が欲しい 適当なフォルダーを Visual Studio Code で開きます。 F1 や Ctrl + Shift + P あたりでコマンドパレットを出して Remote Add あたりで検索すると Remote Containers: Add Development Container Configuration Files... という項目が出てきます。 どんな開発環境が欲しいのかリストが出てくるので Py

仕事ではよくPythonを書いています。 よく使うのでそれなりに知っている気になっていたのですが、 コードをレビューしてもらったり本を読んだりしているうちに”もっと早く知っておきたかった・・・”というネタが溜まってきたので、その中から厳選した５つの小ネタをまとめてみました。 ＊この記事で使用しているPythonのバージョンはPython 3.7.3です。 この変数、一体何桁？ 例えばこんな変数があったとします。 num1 = 100000000 num2 = 10000 num3 = 3023204903 こんな変数がたくさんあったらどうしましょう。 桁を数えるだけで目が疲れそうです。 ぱっと見でだいたい何桁あるかわかるといいですよね。 Pythonでは数値型に_を挟んでも、そのまま数値として計算することができます。 >>> num1 = 100_000_000 >>> num2 = 10

0. はじめに sublime使いだった僕が（使い込んではいなかったけど）社内のPython開発環境を統一するためにVS Codeの色々を調べたので，そのまとめです． 以下ができるような開発環境の構築を目的としています． 複数人がローカルで開発する時に，環境を揃えたい． ローカルからリモートサーバーにアクセスして開発したい． プロジェクトごとに依存関係を整理したい． コーディングスタイルや型などのチェックを入れたい． Pythonの環境周りはPipenvで管理し，ローカルでdockerを立ち上げてその中で開発するためのテンプレです． 1. install Setting up Visual Studio Code 2. Extension 2.1. 必須 以下は必須． python Remote Development Remote SSH git lens 2.2. オプショナル その他

Pythonを今まで適当に書いてきましたが、プログラムをしっかりと作りたいと考え、いろいろ勉強・調査しました。そこで学んだことをこの記事に書きます。 参考情報 Google Python Style Guide: 全部読み切れていませんが、いいこと書いてあります。 エキスパートPythonプログラミング改訂2版: 初中級というより中級者向け。読み飛ばしている部分も多いですが、懐に置いておいて必要時に読みたい本。一皮むけたい人にはとてもおすすめ。 コーディング規約 PythonにはPEP8というコーディング規約があります。せっかくあるので従うべきでしょう。PyCharmのようなIDEを使うと警告を出してくれるので効率よくPEP8に準拠したプログラムを書くことが出来ます。 私感で重要と考えるものだけ簡潔に抜粋しておきます。 コードのレイアウト 1レベルインデントするごとに、スペースを4つ使う

リストの中に特定の要素があるか探す処理 とある競技プログラミングで、「大量の要素群の中に特定の要素が入っているかチェックする」といった処理を実装する必要がありました。 私は何も考えずに List 型で実装しました。 概ね同じ事をしているのが以下のコードになります。 import time from random import randint a = list() for _ in range(100000): a.append(randint(1, 10000000)) # 1 ~ 10000000 の間の数値をランダムに 100000 個リストに append for _ in range(10): # 今回は実験のため、10回実行 result = 0 start_time = time.time() for _ in range(100000): num = randint(1, 1

機械学習, データサイエンスを志向してPythonを勉強したり,この辺のエントリーで本を読み漁ったりすると*1, もしかして, 私の仕事ってプログラミングで楽になるのでは！？ と気がつく(もしくはそういう記事・本を読んで触発される)瞬間があるかと思います, この本とかあの本とか. このエントリーではそんな素晴らしい学び*2に対して,一つの回答を示してみたいと思います. TL;DR（ここは読んでほしい） プログラミングで解決できる「退屈なこと」とは「回数が多く, 属人性が少ない」作業のことである. 属人性がある仕事はプログラミングをする前に因数分解しよう or 「仕事ごっこ」だったらやめる努力をしよう. Pythonで「退屈なこと」をやるなら,「退屈なことはPythonにやらせよう」もいいですが,「できる仕事がはかどるPython自動処理 全部入り。」が個人的にはおすすめです. 言いたいこと

Pythonはコードが書きやすい？ご冗談でしょう ・とにかくコロンを忘れまくる ・Pythonでは、関数が返す値には明示的に「return」を付ける必要がある ・リストに対してmapやfilterといった関数を適用した結果が、リストではなくイテレーターのオブジェクトになっている こんなのを槍玉にあげてるの？ご冗談でしょう。 今こそあの記事を復活させなきゃいけない気がしたので、自分の昔のブログからサルベージ1しました。またせっかくなので、新しく加筆しました。Python の本当の落とし穴、ご査収ください。 自作の test.py を import しようとしてもできない 多くの初心者がハマることですが、自分で test.py というファイルを作って実行しようとしても、うまくいかないことがあります。 bash$ vi test.py # test.py というファイルを作った bash$ ca

これまで作っていた麻雀ゲームをステートレスになるように 改良できたので早速Web上にアップしたいな〜と思っていろいろやりました。 一応公開まで出来たのでURLも置いときます。 良ければ触ってみてください！！ https://lonlymahjong.herokuapp.com/ ↓こんな感じのを作りました〜。 アプリケーションプラットフォーム（サーバー）はHerokuを利用しました。 AWSなら現職でも使う機会があっていいかなーとも思ったんですが、 お金かかるから辞めました。（そのくらい払えよって話ですが…） せっかくなのでALL０円でやります！ 使用技術 一旦開発にあたり使用した技術を整理します。 ◇開発言語 Python3 ◇サーバーサイドフレームワーク Flask ◇フロントエンドフレームワーク なし ◇開発OS mac ◇IDE pycharm ◇ソース管理 GitHub ◇アプリ

モチベーション プルリクもらったときに，ざっと構造を理解しつつ，循環参照していないかをチェックするため，クラス図を自動作成したい。 方法 Pyreverseを使うと以下のような図が出力できる（上クラス図，下パッケージ図）。 本記事の検証環境 Windows10 python3.7.3 git-bash 環境構築手順 pythonとpipが使えることは前提とする。 Pylintをインストールする。Pyreverseが一緒にインストールされる。 出力形式(dot, svg, png等)にかかわらず，Graphvizが必要なので，ここからインストーラを落としてインストールする。 Graphvizのbinフォルダ(筆者環境だと「C:\Program Files (x86)\Graphviz2.38\bin」)のPATHを通す。 出力可能な形式をdot -Txxxで確認する。ここでエラーが起きると，

昨今、機械学習の流行とともに、Webサイトからデータを収集するスクレイピングの技術が必要とされています。 しかし、スクレイピングといっても、「どのフレームワークで開発すべきか」や「スクレイピングの注意事項」といった部分がわかりにくく、困っている人もいるでしょう。 そこで今回は、初心者の方に向けたPythonを使用したスクレイピングの方法と応用方法について紹介していきます。 AIやデータサイエンスを学びたくてPythonを学び始めたけど 「独学ではやっぱり限界がある」 と不安を感じた方にオススメしたいのが、Aidemy Premium Plan。 AIに関する幅広い種類の講座や徹底したコーチング指導が特徴です！ 実務を見据えてPythonをがっつり学習していきたい方は、まずは無料の「オンライン相談」に参加してみてください。 また、Aidemy Premium Planのメリットやデメリットな

データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac

10 Python Tips and Tricks For Writing Better Codeの内容を軽く日本語でまとめました。 英語のヒアリング未熟なので、もしかしたら間違っている所があるかもしれません。 1) Ternary Conditionals：条件式 ternary operatorsとも呼ぶらしい。

個人用メモです。 !! ======================== !! この記事、当時は謎のモチベがわいてめっちゃ網羅しようと大量にメモした内容なのですが、今読むとほぼ技術的な内容ではないし、一部のニーズ満たすだけで本質無いかなと思っています。あとメチャクチャ昔の記事なので情報古いので今はもう新しい情報を調べた方が絶対いいです。 !! ======================== !! 今回Pythonの参考書とか勉強サイトとか 参考本(10個) 動画学習サイト(10個) テキスト学習サイト(10個) Qiitaアカウント(25個) その他、無料で転がっている有益な資料(16個) を網羅してみました (非常に長いので、閲覧時は「クリックして閲覧する」ボタンを押して各コンテンツを表示してください。) 参考本 初心者向 <--- ---> 専門性高

!! ======================== !! ※この記事は2019年の記事です。この記事で紹介している内容は2019年当時の内容である事を理解した上で、実際に設定する際は最新の情報を確認しながら行ってください。 !! ======================== !! SeleniumはE2Eテストの自動化などで大きな力を出してくれます。 今回の記事では、下記の内容をまとめてみます。 色々なユースケース 抜け漏れ対策のwait.until()関数 => 実務ではとても重要 IDやClassが無くても、AltやPlaceholderなどから力技で抽出する技 パスワード系 無限スクロール系 必要なツールをまずは揃える Python3.7 ChromeDriver https://sites.google.com/a/chromium.org/chromedriver/dow

Abstract Google スプレッドシートをpython用ライブラリgspreadを通して読み書きします．流れはよくまとまった記事に書かれている感じです． 下準備 全体的に先人の記事の劣化コピーです． APIの有効化 まずGoogle Developers Consoleで適当にプロジェクトを作成します（今回はtestとします）．ダッシュボードからAPIとサービスの有効化をクリックしてGoogle Sheets APIを有効にしましょう． OAuth用クライアントIDの作成 「認証情報」→「新しいクライアントIDを作成」→「サービスアカウント」を選択して「クライアントIDを作成」しましょう．サービスアカウントが初めての場合は新しいサービスアカウントでサービスアカウント名を入力しましょう(役割はよくわからなかったのですが役割なしで作成できたので今回は役割なしでいきます)．jsonファイ