TensorFlow Liteを使った組み込みディープラーニング開発[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
アルゴリズムの基本をJava、C#、Pythonで学ぼう - データを集計し、言語ごとの違いを知る - エンジニアHub｜Webエンジニアのキャリアを考える！
今回は、以下のように指定しました。表示オプションはデフォルトのままです。 地点を選ぶ：東京 項目を選ぶ（データの種類）：時別値 項目を選ぶ（項目）：気温 期間を選ぶ：2019/1/1～2019/12/6 データの項目は「日時」「気温」「品質情報」「均質番号」の4種類。品質情報、均質番号は、観測値が正常かどうかに関する情報です。各項目の詳細については、同サイトの「ダウンロードファイル(CSVファイル)の形式」ページを参照してください。 ファイルの先頭5行には、次の画像のような項目が入っています。このまま使うとやや面倒なので、あらかじめ先頭5行分は削除し、全てデータ行のみのCSVファイルに加工しておきます。 CSVファイルの仕様にはバリエーションがあり、その全てに対応するとコードが複雑になりますので、今回は気象庁のCSVデータに基づき、次の仕様を前提とします。 文字種は、ANK（1バイト文字）
アスキーアートを自動生成する - Pythonでいろいろやってみる
画像をテキストで置き換えるいわゆるアスキーアートを自動生成します。変換したい画像と使用する文字列を与えると、画像の濃いところは画数の多い字で薄いところは画数の少ない字で置き換えることで濃淡を表現します。ただし画数情報はわからないので、文字列の字を一文字ずつ画像に変換して濃さ(輝度)を測定して画数の代わりに使用しています。 環境 windows10 home Anaconda 3/ jupyter notebook 5.6.0 Python 3.7.0 Pillow 5.2.0 準備 画像ファイルはフリー写真素材ぱくたそからダウンロードさせていただき、jupyter notebookファイル(***.ipynb)と同じディレクトリに保存しました(使用した画像サイズは800x1195)。 model.jpg 置き換える文字列は小学校1年生で習う漢字を用いました。また空白の描画のため全角スペース
意外と奥が深い、HDFの世界（Python・h5py入門） - Qiita
ChainerやKeras、PandasやDask、Vaex関係などでちらほら見かけるHDF5（.h5とか.hdf5とかの拡張子のやつです）。 知識が無く以前は単なるバイナリフォーマットなのかと思っていましたが、しっかり勉強したら色々機能があって面白かったので、復習も兼ねてまとめておきます。 そもそもHDF5って？ Hierarchical Data Formatの略（5はバージョン）で、名前の通り階層化された形でデータを保存することができるファイル形式です。 ある種フォルダやファイルシステムに感覚が近く、1つのファイル内に整理しつつ様々な複数ファイルを保存できます。 HDF5のここが凄い とりあえず機能に色々触れだすと長くなるので、先にHDF5の、個人的に良さそうに感じた点を書いておきます。 読み書きがCSVなどより大分速い いくつか記事を見ていた感じ、パフォーマンスはpickleよりも
最も低コストでプロダクトを公開したい - Qiita
はじめまして。 普段はWebサービスの開発とかしてます。 はじめに 彡(ﾟ)(ﾟ)「サービスを作って公開してみたいなあ〜」 彡(ﾟ)(ﾟ)「けど、レンタルサーバー借りるの手間だし...」 彡(ﾟ)(ﾟ)「サーバー代払いたくないなあ...」 こんな気持ちになったことありませんか？ きっとあるはずです。 そんなときはHeroku 無料プランを使いましょう。 本記事では、作ったアプリケーションをHerokuの無料プランで公開する方法について書きます。 ▷ Heroku公式サイトはこちら 無料プランって何が出来るのん？ 大体のことは出来ます。 サーバーにアプリケーションをデプロイして運用するくらいなら問題なく使えます。 Herokuの無料プランで気にすべき制約は以下の二つです。 無料 Dyno 時間(稼働時間)が 550 時間／月 30分アクセスが無いとアプリがスリープしてしまう 無料 Dyno
機械学習で画像の高画質化を試みる（備忘録）- Python3 - Qiita
OpenCVはpix2pixの実行とは直接関係しないのですが、後述の学習データの作成で使用します。今の所最新バージョンで問題なさそうですが、もし実行できないのであれば同じようにバージョンを指定してインストールを行ってください。 3.学習データの作成 pix2pixには予め学習用データセットが用意されていますが、今回の目的は画像の高画質化なので、それに適した学習データを自作することにします。 前述したとおり、pix2pixは以下のような２枚の対になった画像を繋げて１枚にしたものを学習データとして用います。（256px × 256pxを２枚繋げた512px × 256pxの画像） この画像を作成するためには 1. 大きな画像を256px × 256pxに切り分ける 2. 切り分けたそれぞれの画像にぼかしを入れる 3. 切り分けた画像とぼかしを入れた画像を結合する の３つの処理を行う必要がありま
機械学習のための前処理 (scikit-learn Preprocessing) - Qiita
機械学習の前処理とは AIは生のデータから学習すると思っていたけれども、実施はデータの前処理が必要になるケースが多々あるようです。 Should I standardize the input variables (column vectors)? 上のサイトによると、機械学習への寄与が入力の大きさに影響するようなので、使用する機械学習のアルゴリズムごとに、入力を適切にスケーリング (標準化) することが必要らしいです。 (理解が間違っていなければ、、、) Scikit learnによる前処理 PythonのライブラリのScikit learnでは、この前処理を一括で行う関数が用意されています。下記のサイトにも、具体例が載っていますが、具体例で使用されている3x3行列では、いまいちイメージが沸かなかったので、どのような前処理が行われているのか、試してみました。 処理の対象とする行列の作成
[TensorFlowで株価予想] 9 - 年利6.79% - Qiita
TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% はじめに これまで学習データやパラメーターなどを調整してきてなんとか黒字になる状態にもってきました。そして前回、日経平均２２５の銘柄の中から優れた成績を残せる３０銘柄を抽出しました。株価予想シリーズの最後として、この銘柄を使用した売買シミュレーションを行います
![[TensorFlowで株価予想] 9 - 年利6.79% - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/50ff6a0ee045a5dc428ac02a68b5d2ced040b2da/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYzMzcwNCUyRmVjN2NhM2ZlMDkxYWQ0NjAxZWJlYzZhNWJiMWYzOTMwZDNkNWIwNzMlMkZsYXJnZS5wbmclM0YxNjM3MDg3NzY0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWQyYWI1MmRlMjNjNTZmYzM3MGUzMTA2Nzg1ODgyNTdi%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D405056e52d61f8ead8149adbc09a89a1%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCVGVuc29yRmxvdyVFMyU4MSVBNyVFNiVBMCVBQSVFNCVCRSVBMSVFNCVCQSU4OCVFNiU4MyVCMyU1RCUyMDklMjAtJTIwJUU1JUI5JUI0JUU1JTg4JUE5Ni43OSUyNSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTc4MzFlNGY2OGVhNjI0ZDFmOTg1ZjcxM2Y3NGZiMzIz%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBha2lyYWFrJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MjZjYzg1ZmM1Y2JiNjUzOTU5MjkyNDJjZDAxMmZjNjc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D723cda396a5f8da73a19b37b4d289435)
Cloud Run × Flaskでお手軽にマイクロサービスを実現する - Qiita
はじめに 個人開発でアプリ作成中なんですが、バックエンドをrailsで作っていました。 そんなある日。。。 こんな記事を見ました。 Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題 Firebaseならバックエンドエンジニアを必要としない開発ができる ( ﾟдﾟ) ... マジカ これに感化されてCloud Functionでバックエンドを作ってました。 が ある理由でそれは辞めました。 なぜ、Cloud Functionを採用しなかったか 今回マイクロサービスをアーキテクチャとして採用し、さらに各機能を自分が作るのは嫌なので、BaaSをサービスと定義して自分はBFFだけ作ってやろうという腹でした。 それだったら、BaaS単位で共通のライブラリファイル作ったほうが、他のプロジェクトを立ち上げる時に楽だよね？となり、クラウドファンクションにそう
大規模日本語ビジネスニュースコーパスを学習したALBERT（MeCab+Sentencepiece利用）モデルの紹介 - Qiita
#はじめに 以前、日本語のBERT事前学習済モデルやXLNet事前学習済モデル等の紹介記事を投稿しましたストックマークの森長です。 モデル公開の記事を多くの皆様に読んでいただき、ありがとうございます。 今回は、ALBERTの日本語事前学習済モデルを公開します。 さて、様々な事前学習済モデルが多数提案されている中、なぜALBERT日本語モデルを公開するかといいますと、ALBERTが、A Lite BERTと記載されるように、ただSOTAを突き詰めたものではなく、精度を維持・向上させつつもBERTを軽量化しているモデルのためです。 事前学習済モデルのサイズを大きくすると性能が向上する傾向にありますが、学習時間が長くなったりメモリにのらなくなったり、作成の上での制約が(費用面の制約も)増えてきます。そのため、比較的短時間でモデルを作成でき、モデルサイズが小さいALBERTは、とても使いやすいです
Use a Flask Blueprint to Architect Your Applications – Real Python
Flask is a very popular web application framework that leaves almost all design and architecture decisions up to the developer. In this tutorial, you’ll learn how a Flask Blueprint, or Blueprint for short, can help you structure your Flask application by grouping its functionality into reusable components. In this tutorial, you’ll learn: What Flask Blueprints are and how they work How to create an
Announcing google-cloud-bigquery Version 1.17.0: Query Results to DataFrame 31x Faster with Apache Arrow
Announcing google-cloud-bigquery Version 1.17.0: Query Results to DataFrame 31x Faster with Apache Arrow Tim Swast on July 29, 2019; updated September 25, 2019 Upgrade to the latest google-cloud-bigquery and google-cloud-bigquery-storage packages to download query results to a DataFrame 4.5 times faster compared to the same method with version 1.16.0. If you aren't using the BigQuery Storage API y
Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選 | 宙畑
2019年も様々なデータサイエンス関連のコンペが実施され、論文が発表されました。その中でも面白かったものはどれか、5人のkagglerの方に直接お伺いしました。 2019年はTellusxSIGNATEで実施された衛星データコンペの解説(第1回・第2回)が、データサイエンティストの方に読んでいただいた宙畑のヒット記事としてランクイン。 では、データサイエンティストの方は他にどのようなコンペや論文に興味を持たれていたのか……と気になった宙畑編集部。 今回、以下5名のKagglerの方に協力いただき、2019年の振り返りとして面白かったコンペと論文、そしてその理由を教えていただきました。 あきやま様(@ak_iyama) jsato様(@synapse_r) Hiroki Yamamoto様(@tereka114) smly様(@smly) ※順不同 ※1名、非公表 Kaggleについては「世
folium（位置情報の可視化）の使い方メモ - Qiita
概要 地理情報をPythonで扱うのに便利なfoliumというパッケージについてまとめる。 foliumについて foliumは、LeafletというJavaScriptライブラリを上手いことPythonでラップしてくれているライブラリ。 Mapオブジェクトを作成 Mapオブジェクトに様々な形を追加 Mapオブジェクトをhtmlとして保存 という手順で、簡単にインタラクティブな地図を含んだHTMLファイルを作成することができる。JupyterLab上では、単純にMapオブジェクトを表示させるだけで画面内で地図が表示される。 このエントリは、JupyterLab上で書いている。当エントリ内のコードを順番にJupyterLabで実行すれば、同じ結果が得られる（はず）。 バージョン情報 import sys import folium print(f"""Python {sys.version}
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - pistatium/about_python_logging: 「すっきり分かる Python のログ」 の資料です
Python ETL Tools: Best 8 Options
Kyoto University Research Information Repository: プログラミング演習 Python 2019
A socketserver with threads vs uvloop
GitHub - dask/fastparquet: python implementation of the parquet columnar file format.
Scipy Lecture Notes — Scipy lecture notes