はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ

【第1位】キカガク（公式：https://www.kikagaku.ai/） あのマイクロソフトが導入するほどの高品質なPythonスクール。AI・機械学習・Python特化型。給付金で最大70%OFF。 【第2位】Aidemy（公式：https://aidemy.net/） 日本の大企業のDXで利用されている、高品質なPythonスクール。こちらも給付金最大70%OFF。 【第3位】TechAcademy（公式：https://techacademy.jp/） 知名度抜群の総合型プログラミングスクール。Webアプリ開発からPythonプログラミングまで網羅。

「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。 そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識 機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。 統計学はご存知でしょうか？　機械学習はデータを扱うという点で統計学と深い関係があります。平均値や標準偏差などは聞いたことがあると思います。統計学はそれらの情報をこねくり回すことによって、限られたデータから本当の全体像を推定します。例えば、選挙の結果を開示前に知りたいときに、投票者全員に聞ければ良いですが、そうもいきません。そこで、統計学は様々な方法を使

2020/5/24追記 昔書いた拙いコードが今も読まれているようなのでこちらに簡単にまとめなおしましたので合わせて参考にしてください。 https://alumi-labo.com/article/study/ゼロから始めるBitcoinの自動取引① 初めに こんにちは。プログラミング初心者です。 仮想通貨の取引をFXで以前やっていたんですけど大負けしてしまって懲りて撤退してました。 が、しかし人間というのは喉元過ぎれば熱さ忘れる動物なわけで、今度は自動取引でやってみよう、と思い実装することにしました。 その動機としては ①以前も１日あたり5000~10000くらい儲けられていたが、１月の大暴落時に損切りできず焼け死んだ。ならばエントリーのルールを変えずに損切りを機械的に行えればちゃんと儲けられのではないか？と思ったから ②自動取引であるので(損得に関わらず)少なくとも自分の時間は取られな

概要 LINEから画像が送信されるとMessagingAPIを使ってwebhookで画像を受け取る MicrosoftのFaceAPIで画像に写っている顔の年齢や感情を分析し、その結果を返信する 実際に作ったもの 下のボタン、もしくは@qpy2732eでID検索すると友達に追加できます 画像を送るとこんな感じで分析結果を返してくれます 事前に準備すること LINEのbotを用意する webhookを受け取るアプリを作る Herokuにデプロイする LINEとアプリを連携する Computer Vision API のAPIキーを取得する 上記については前に書いた記事 [python] LINEの文字起こし君を作ってみた と同じですので割愛します Face API を使って画像の分析結果を取得する Face API を使うことで画像から顔を検出し、その分析結果を取得することができます Fac

from flask import Flask app = Flask(__name__) @app.route('/') def hello(): name = "Hello World" return name @app.route('/good') def good(): name = "Good" return name ## おまじない if __name__ == "__main__": app.run(debug=True)

このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2.  データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (

とりあえずすぐ動く！Dockerを使い、Python3, Flask, MySQL開発環境を構築する！MySQLFlaskDockerPython3 はじめに 「優しいIT」という理念の基、ITコンサルタントをしている亀井亮介と申します！ 主な仕事は要求分析・要件定義の上流工程から、開発のマネジメントまでしていますが、プライベートでウェブシステム開発をしています！ 目的 細かい説明は抜きにして、Git cloneし、"docker-compose up -d"するだけで、Python3, Flask, MySQL開発環境を構築します！ Dockerをインストールしていることが、前提となります！ 「とりあえず動くところが見たい！」というせっかちな（私のような）方は、「1. 動作するまでの手順」を見てくださいね！ 2章以降は、各項目の説明をしています！ Githubにファイルを上げているので、

仕様 ターミナルからcurlコマンドでjsonデータを送ると, 文字列が成型されて, 同じくjson形式でデータが返ってくる. 環境 Mac OS X 10.12 Docker for Mac 17.03 多分Linuxでも同様にできます. 1. Flask起動スクリプトの用意 Pythonの軽量WebフレームワークであるFlaskをつかって作成します. @app.route()で指定されたディレクトリにアクセスすると, defで定義したメソッドが起動し, returnで結果を返す, という流れです. from flask import Flask, jsonify, request import json app = Flask(__name__) @app.route("/", methods=['GET']) def hello(): return "Hello World!" @a

この方法が一番手軽なのですが、Selenium等のスクレイピングなどモジュール意外にも環境用の設定ファイルの引き継ぎが必要な場合にはLambdaはあまり向いていなく、手持ちのサーバーの隅っこに必要なときだけ呼び出せるAPIを実装しておいたら楽なのではないかと思っています。 Docker。それは、ローカルとリモートの環境の違いをなくす救世主 ローカルとリモートで環境構築を毎回し直すのは非常に面倒です。 そこで現れた救世主がDockerです。 Dockerというのは、Mac/Windows/Unix問わずで動作し、そのDockerと呼ばれる概念の上で、LinuxのOSを動作させます。 そのため、MacでもLinuxの環境で操作したり、WindowsでもLinuxの環境で操作しておくことで、サーバーに実装する際にそのまま持っていくことができます。 引用元：Get Started, Part 1:

WEBのシステム開発はPHPを使用していますが、データ解析等のため Python3 の研究を始めました。Python3 は日本語の情報がとても少ないので、エンジニアや学生の皆さんに役立ちそうなことをブログ記事として共有できればと思います。 この記事では Python3 で MySQL に接続する方法、エラー処理（例外処理）、サンプルによるCRUD（※）、PHPer向け注意点についてまとめました。なおサンプルは Django 等、特定フレームワークの ORM ではなく、SQLの直接実行例です。 SQLite3 は Python3でSQLite3を使う – 基本操作からエラー処理までサンプルコード付を参照ください。 ※ CRUD とは Create（生成）、Read（読み取り）、Update（更新）、Delete（削除）の略です。MySQL の場合Read に相当するのは主に Select 文

はじめに なぜPythonを選ぶか かなり独断と偏見が入っていますが、 シンプルな言語セット 某言語のように、呪文のように短く書けることが命ではない。 それでいて、書くコード量は少なく、すっきりしている。 某言語のように、記号を多用しない。 コードを書いている間Shiftキーを押しっぱなしにならない。 学習コストが低い。 言語セットとしての文法は、わりと平易で、直感で理解できる。 難しい書き方は、後から覚えればよい。 文法書を読むのは、後からでいいでしょう。まずこの講座をやってみましょう。 Djangoフレームワークや、各種Pythonパッケージのソースを読んでも、 言語仕様を駆使した難しい書き回しは少ない。 メンテナーでなくても意外と読める。 なぜDjangoを選ぶか Pythonで作られたフルスタック・フレームワークであるということ。 必要なものはすべて揃っている。 テンプレートはあれ

本記事はU-TOKYO AP Advent Calendar 2017の17日目です. はじめに 年の瀬が近づき何かと出費がかさむ季節になりましたね. 財布の中も真冬です. 実は2ヶ月ほど前から年越しに備えて仮想通貨で資産運用をしています. 他の資産運用と比べたときの仮想通貨取引のメリットは「少額でも大きな利益を得るチャンスがあること」と「24時間365日取引ができること」でしょうか. ということで, その時に自動取引についていろいろと試行錯誤をしたので, 勉強したことをまとめて記事にしたいと思います. 具体的には, PythonでbitFlyerのAPIを叩いてチャートを描画し, 決められたアルゴリズムに従って自動でビットコインの売買をする, という一連の流れを紹介します. ごく簡単な紹介にとどめるので, その先は各々で試して自分なりのやり方を考えてほしいです. *僕は仮想通貨に関しても

そうだ、Deep learningをやろう。そんなあなたへ送る解説記事です。 そう言いながらも私自身勉強しながら書いているので誤記や勘違いなどがあるかもしれません。もし見つけたらご連絡ください。 Deep learningとは こちらのスライドがとてもよくまとまっています。 Deep learning つまるところ、Deep learningの特徴は「特徴の抽出までやってくれる」という点に尽きると思います。 例えば相撲取りを判定するモデルを構築するとしたら、普通は「腰回りサイズ」「マゲの有無」「和装か否か」といった特徴を定義して、それを元にモデルを構築することになります。ちょうど関数の引数を決めるようなイメージです。 ところが、Deep learningではこの特徴抽出もモデルにやらせてしまいます。というか、そのために多層、つまりDeepになっています。 具体的には頭のあたりの特徴、腰のあ

新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ