with Image.open("karen.jpg") as img: img = img.resize((img.width//2, img.height//2), Image.BICUBIC) # 1/2にリサイズ（メモリ対策） original = np.asarray(img, np.float32) / 255.0 # [0, 1]のNumpy配列に 後で使うのでNumpy配列としても保持しておきましょう。 2. エッジ検出 最終的にはこの画像を0,1に変換したいのです（二値化）。これは画像の内容にもよりますが、アニメ画像の場合は軸を求める際に、塗りつぶされた領域よりも輪郭線を見てほしいので、エッジ検出を行ってみました。特徴量を抽出しているイメージです。エッジ検出の前には一度グレースケール化をします。エッジ検出はPILの場合はImageFilter.FIND_EDGESでできま

-2. 解説放送 こちらの記事の解説放送です。 https://www.youtube.com/watch?v=-DbQqP7iZSE -1. 私は誰？ 秋田で 群知能(おそらくメイン) 競技プログラミング(趣味) DeepLearning(来年からやりそう) を主に研究している学生のガナリヤです。 環境構築・プログラミング言語の理解を苦手としています。 随時更新していきます！ 0. はじめに 群知能という最適化分野は、海外だとメジャーですが、日本ではかなり影が薄い分野です（工学系の方が多いので数理最適化などが多いのかもしれません）。 このままだと寂しいので(もっと流行って欲しい)、今回は、群知能のメジャーなフレームワークACOについてまとめようと思います。 僕はまだまだ群知能に関しても、Pythonに関してもプログラミングに関しても技術が未熟です。 ぜひ、わからない点や、ソースコードに変

📗 この記事の目的 Pythonの代数演算ライブラリSymPyと 数値計算用のライブラリであるSciPyやNumPyとの組み合わせが強力であることを示す例として、二重振り子を数値計算で解くということを試みます。 ↓二重振り子 引用元 実は、その単純な見た目からは想像できないほど、二重振り子の極座標での運動方程式は 非常に複雑です。 難しいことで有名な力学の教科書である ランダウ・リフシッツ 力学 でも出てくるぐらい有名な練習問題の一つです。 今回は、Pythonを使ってマシンパワーで、サクッと極座標の運動方程式の導出をしてしまおうというわけです。 注意点 今回の記事は、ゴツイ数式が大量に出てきます。 苦手な方は、最後のGIFアニメーションだけをご覧ください。 あと、解析力学の知識（特にラグランジアン）を前提としています。 ただ、知らない方も、今回の記事は、SymPyでの代数演算とSciP

今回は、Python の有名な可視化ライブラリである matplotlib のラッパーとして動作する seaborn を試してみる。 seaborn を使うと、よく必要になる割に matplotlib をそのまま使うと面倒なグラフが簡単に描ける。 毎回、使うときに検索することになるので備忘録を兼ねて。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildVersion: 18E226 $ python -V Python 3.7.3 もくじ もくじ 下準備 Relational plots scatter plot (散布図) line plot (折れ線グラフ) Categorical plots strip plot (ストリップチャート) swarm plot (スウォームチャート) box

A Gentle Introduction to Text Summarization in Machine Learning Text summarization is a common problem in the fields of machine learning and natural language processing (NLP). In this article, we'll explore how to create a simple extractive text summarization algorithm. Have you ever summarized a lengthy document into a short paragraph? How long did you take? Manually generating a summary can be t

データ分析のプロセスにおけるEDA、データ前処理、特徴エンジニアリング、特徴量重要度抽出に関するまとめPythonデータ分析データサイエンスKaggle前処理 はじめに データ分析のプロセスとして、CRISP-DM(CRoss Industry Standard Process for Data Mining)というものがあります。 ビジネスの理解 データの理解 データの準備 モデリング 評価 デプロイ 機械学習を扱うとなると、モデリングに注目しがちですが実際の作業量としては、それよりも前のステップである、ビジネスの理解、データの理解、データの準備のステップが大半を占めます。これらの作業のうち、「データの理解」は、データの中身を可視化や集計の結果から何らかの仮説を生み出していく作業（EDA (Exploratory Data Analysis) ）、「データの準備」は、生データを加工して不

News¶ 2019/12/06: 講義資料Ver 1.1を公開（2019年度版） 2018/12/17: 講義資料Ver 1.0を公開（2018年度版） 本講義資料について¶ 本ページは 日本メディカルAI学会公認資格：メディカルAI専門コースのオンライン講義資料（以下本資料） です． 本講料を読むことで，医療で人工知能技術を使う際に最低限必要な知識や実践方法を学ぶことができます．本資料は全てGoogle Colaboratoryというサービスを用いて執筆されており，各章はJupyter notebook (iPython notebook)の形式（.ipynb）で以下のリポジトリにて配布されています（notebooksディレクトリ以下に全ての.ipynbファイルが入っています）： japan-medical-ai/medical-ai-course-materials 想定受講者¶ 受

Editor’s note: This tutorial illustrates how to get started forecasting time series with LSTM models. Stock market data is a great choice for this because it’s quite regular and widely available to everyone. Please don’t take this as financial advice or use it to make any trades of your own. In this tutorial, we’ll build a Python deep learning model that will predict the future behavior of stock p

Python標準実装より速い！？Oracleが作ったGraalPythonをJython・CPythonとベンチマークしてみた！！Pythonoracleベンチマークgraalvmgraalpython GraalVM・GraalPythonとは GraalVMは2018年4月27日にOracleから公開された仮想マシンです． GraalVM is a universal virtual machine for running applications written in JavaScript, Python, Ruby, R, JVM-based languages like Java, Scala, Clojure, Kotlin, and LLVM-based languages such as C and C++. GraalVMはJavaScript,Python,Ruby,R

TL;DR 主成分分析で標準化（標準偏差で割る）するのが必ずしもいいとは限らない それどころか標準偏差で割ることの悪影響もある 標準化すべきかどうかは、どこで主成分分析を使うか（可視化として使うのか、パイプラインとして使うのか）によっても異なるからそこをちゃんと考えましょう 主成分分析にも標準偏差で割る例と割らない例がある 「主成分分析をする際には標準化（正規化）をしましょう」と言われることはよくありますが、実はよく探すと割っている例と割っていない例があります。どちらで説明しているかは学者の間でも意見が分かれているようです。主成分分析を実行する前の変数変換を、 ケース1：平均だけ引く　$X-\mu$ ケース2：平均で引いて標準偏差で割る　$\frac{X-\mu}{\sigma}$ とする2通りです。大学が出している資料を見てみましょう。ケース1はオタゴ大学が出しているPDF 12ページ目

各点に次数の条件を付けることで、タイルを回転してできるという条件をうまくグラフ理論の言葉に置き換えできたかのように思えます。 しかし、点の次数が2と対応するタイルは2種類あり、次数の条件だけではタイルを区別できる条件とはなっていません。 L字タイルとI字タイル 点の次数が2と対応する2種類のタイルを、L字タイル、I字タイルと名付けて呼ぶことにします。 L字タイルとI字タイルの上にある点には次数2という条件に加え、もう少し条件を付けましょう。 I字タイルの上にある点の周りの辺は、下図のどちらかになっています。 同様にL字タイルの上にある点の周りの辺は、下図のどれかになっています。 条件は上のもので正しいのですが、Graphillionでは「どれか」といったOR条件を付けるよりもAND条件を付ける方が簡単な都合上、L字タイル、I字タイルのお互いの条件を否定した条件を付けると良いです。 I字タイ

Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Learn Text Classification With Python and Keras Imagine you could know the mood of the people on the Internet. Maybe you are not interested in its entirety, but only if people are today happy on your favorite social media platform. After this

「db analytics showcase Sapporo 2018」で玉川竜司さんのParquetの話を聞いてきました #dbts2018 #dbasSPR はじめに 2018年6月23日、札幌で開催されている「db analytics showcase Sapporo 2018」の玉川竜司さんのセッション「Parquet あるいは - まだCSVで消耗しているの？ -」へ参加してきましたのでそのレポートとなります。 玉川さんのセッションは、単なるParquetの技術解説で終わらず、Apache ArrowによってHadoopエコシステムとPythonエコシステムの連携や、分散処理ではなくむしろ分散せずにローカルでうまくやるというパラダイムシフトを予感させる内容です。 スピーカー あの玉川竜司さんです。「あの」って、、、そうです、下記の技術翻訳書をはじめ、他にも多数発刊している方です。

前処理大全 ［データ分析のためのSQL/R/Python実践テクニック］ 著者 本橋智光　著，株式会社ホクソエム　監修 発売日 2018年4月13日 更新日 2019年5月29日

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介されたNGT（Neighborhood Graph and Tree）という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実践的な内容を紹介します。word2vecを扱うライブラリとしてgensimを使用します。word2vecやgensimの詳しい説明は省略しますが、分からなくてもpythonの文法を知っていれば理解できると思います。今回使用した環境はMacBo

今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +

Pythonは、習得が容易で、より大きく複雑なアプリケーションの開発にすぐに適用していけることから、コンピューティング環境に広く普及し、勢いを強めています。ただ、あまりに明瞭で親しみやすい言語なので、ソフトウェアエンジニアやシステムアドミニストレータが警戒を解いてしまい、セキュリティに重大な影響を及ぼすコーディングミスを誘発する可能性はあるかもしれません。主に、初めてPythonを使う人を対象とするこの記事では、この言語のセキュリティ関連のクセに触れます。ベテラン開発者にとってもその特異性を意識するきっかけになればと思います。 入力関数 Python 2に多数存在するビルトイン関数の中で、 input はセキュリティの面で完全に難点です。この関数をひとたび呼び出すと、標準入力から読み込んだものが即座にPythonコードとして評価されます。 $ python2 >>> input() dir