画像分割のやり方 以下のプログラムを実行してください。 なお、フォルダ名や画像ファイル名はみなさんの環境に合わせ変更してください。 # 画像分割 sepa.py import os import cv2 import numpy as np # 画像読み込み image = cv2.imread('./test_photo/001.jpg') # 画像サイズを調べる(高さ:h 、幅:w) h, w = image.shape[:2] n = 3 # 画像分割数 y0 = int(h/n) x0 = int(w/n) # 分割した画像を内包表記でリスト化 c = [image[x0*x:x0*(x+1), y0*y:y0*(y+1)] for x in range(n) for y in range(n)] # c のリストから1つづつ取り出して # ファイル番号(0.jpg、1.jpg、・
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する. 主要な問題に対してはアプリを作ってデモをする. 以下,デモビデオ: 注意 基本的には,コードも公開するが, github自体はプライベート そのうち本にするかもしれない(予約はしているが, 保証はない). プロジェクトに参加したい人は,以下の技量が必要(github, nbdev, poetry, gurobi); ペー
初心者向けTellus学習コース 本教材は2020年度に提供した教材のため、Tellusの画面やAPIが現在の仕様と異なっている部分がありますのでご注意ください。 2018年度にリリースした衛星データをクラウド上で分析できる日本発の衛星データプラットフォーム「Tellus」は、2019年度にTellusをより多くの方にご活用いただけるようeラーニング講座を応募者への抽選登録制で提供してまいりましたが、2020年3月から、プログラミングと機械学習の基礎が学習できる「Tellus Trainer」と「初心者向け Tellus 学習コース」の2つのeラーニング講座を公開制限なしで提供することとなりました。 本教材「Tellus初心者向け学習コース」では、Python初心者向け教材となる基礎編と、Pythonで学ぶ実践的な衛星データ解析となる地理空間情報解析編(応用編)に分かれます。 基礎編では、
※ https://qiita.com/best_not_best/items/669aaa9e1b8de647d29d にこの記事の修正版を投稿しました! 皆さんこんにちは。@best_not_bestです。 現在のお仕事は、求人サイトの案件レコメンド機能の実装や、Google AnalyticsやAdobe Analyticsを使って、そのサイトの分析をしています。(あとは動物画像を社内SlackにひたすらPostしています。) 前回のAdvent Calendarでは、Deep Learningを使った画像類似度判定を行いました。精度は良かったのですが、やはり学習データを収集することがネックとなります・・・。今回は、単純に2枚の画像を比較して画像の類似度を求めてみたいと思います。 やること 以下のおいぬ様の画像の類似度を比較します。画像はGoogle先生から拾ってきています。 精度を
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ??」 ってなること、ありませんか?僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ~以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Quick Start: The easiest way to colorize images using open source DeOldify (for free!) is here: DeOldify Image Colorization on DeepAI Desktop: Want to run open source DeOldify for photos and videos on the desktop? Stable Diffusion Web UI Plugin- Photos and video, cross-platform (NEW!). https://github.com/SpenserCai/sd-webui-deoldify ColorfulSoft Windows GUI- No GPU required! Photos/Windows only. h
こんにちは、芝田 将 ( @c_bata_ ) です。 この資料はPyCon JP 2016で行った 「基礎から学ぶWebアプリケーションフレームワークの作り方」 の書き起こし資料です。 誤字等があれば、Issue or PRをお待ちしております。 はじめに¶ この資料では200行に満たないシンプルなWebフレームワークの作り方をボトムアップで解説します。 テンプレートエンジンとしてJinja2を使ったりもしますが、基本的にはPythonの標準ライブラリのみを使っています。 FlaskやDjango等を使ったWeb開発の経験があり、基本的なHTTPの知識があれば読み進められるんじゃないかなと思うのでぜひチャレンジしてみてください。 本資料を読み終えた方はBottleやDjango、筆者の公開している Kobin というフレームワークのコードを 読んでみたり、自分でWSGIフレームワークを実
本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可視化までを解説します。第2回では、Pythonによる探索的データ解析を解説します。まず対話的環境による探索的データ解析について確認し、Jupyter Notebookを使ったデータ解析の実行・可視化までの手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 探索的データ解析の流れを確認 まず対話型環境に
今回は、PythonからSQLを用いて、SQLiteデータベースを操作する方法を紹介する。SQLiteは、インストール不要で使える軽量でシンプルなデータベースだ。全てのデータがファイル一つにまとまるので、有益なデータがSQLiteの形式で配布されることもある。ちょっとした用途に便利なので、使い方を覚えておくと便利だ。今回は、SQLiteの英単語データベースを利用して、使い方を覚えよう。 Pythonで英和辞書データベースから「orange」を取り出したところ SQLiteとは? 一般的にデータベースを使おうとすると、専用のデータベースアプリをインストールする必要がある。しかし、SQLiteは軽量なので、特別なインストール作業は必要がない。しかも、Pythonには標準でSQLiteのライブラリが入っている。軽量というのは、それだけで大きなメリットだが、SQLiteは高性能でもある。そのため、
Pythonを使ってみよう~Webスクレイピングに挑戦し初歩を学ぶ~ 話題のPythonを使って学んでみましょう! 今回はWebスクレイピングにトライし、その初歩を学びます。 Pythonの最初のバージョン(0.9)は、1991年に登場しました。C#の登場が2000年なので、Pythonの歴史は意外に古い印象です。本稿を執筆している2018年3月時点でのPythonのバージョンは3で、バージョン2とは、かなり仕様が異なります。本稿では、Python3を使用します。 さて、Pythonの特長は、簡潔な言語仕様と、学習のしやすさです。筆者は、これまでC++など、多くのコンピュータ言語を使用してきました。C++などに比べて、Pythonは同じことをするにも、少ないコード量で済み、また学習する時間も節約できます。何らかのコンピュータ言語をすでに使える人であれば、1日勉強すれば、ある程度、Pytho
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう! ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人(@studies)と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる!笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~ 実装 from selenium import webdri
単変量の時系列はkerasでもよく見るのですが、株価や売上などを予測する時などには複数の要因が関わってきますので、今回は複数の時系列データを使って予測してみました。 ソースの紹介 コード 「MACHINE LEARNING MASTERY」で紹介されているコードを基本に、多変量対応にしました。 Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras jupyterで見れるコードの全貌はこちら https://github.com/tizuo/keras/blob/master/LSTM%20with%20multi%20variables.ipynb データ サンプルデータは以下から拝借しました。一番左のice_salesを予測します。 アイスクリームの売れ方 ice_sales yea
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「~してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05: 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く