[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita
なんか新しいコンペのメールが来てたのでSIGNATEのコンペのデータで遊んでみた。 コンペの目的 Tellus Satellite Challengeは、衛星データの利活用事例の可視化、優秀な分析人材の発掘、衛星データ種やフォーマットの周知・啓蒙等、Tellusの利活用の促進を目的としたデータ分析コンテストです。 第1回目のテーマは「SARデータを用いた土砂崩れ検出」です。 近年、自然災害のリスクが高まる中、災害時の土砂崩れの迅速把握が人命救助の観点などから極めて重要であり、観測衛星からのモニタリングが緊急時対応で実施されております。取得されたデータから土砂崩れを判定する業務は、専門家の高度なスキルにより解析される一方で、その判定は容易ではないのが実際です。そこで今回のチャレンジでは衛星画像データから土砂崩れ領域をより高い精度で検出するアルゴリズムの開発を目指します。 とのこと。 ここに書
![[SIGNATE]画像で遊んでみる(土砂崩れを探せ) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d08b53492f99cd4ae7f5c88981f82e23808fe42d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCU0lHTkFURSU1RCVFNyU5NCVCQiVFNSU4MyU4RiVFMyU4MSVBNyVFOSU4MSU4QSVFMyU4MiU5MyVFMyU4MSVBNyVFMyU4MSVCRiVFMyU4MiU4QiUyOCVFNSU5QyU5RiVFNyVBMCU4MiVFNSVCNCVBOSVFMyU4MiU4QyVFMyU4MiU5MiVFNiU4RSVBMiVFMyU4MSU5QiUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWJlNjhjZTU0N2JlMDRiODcxZjRjYTRhOThhZTUxNjFh%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd43f96e0f08cfbd11d5fbdfb1c398f0e)
CoreML変換時の謎のInvalid dst shapeを倒す - Qiita
※ 最後のshapeは人によって違うと思います。 書いてあるとおりに読むと、「なんやかんや問題があって predict() が実行できません」と書いてありますが、これWarningなので実際mlmodelは生成されます。 ただ、CoreMLは学習用ではなく推論用と今の所認識しているので predict() が使えないmlmodelは何のために存在するのか理解できません。WarningではなくErrorにするべきでは。。。 何のエラーなのか 以前私の記事にも書いたことがありますが、coremltoolsで変換したmlmodelには同一のレイヤーを使い回すshared layerが存在すると結構不安定な挙動をします。（というか多分coremltoolsが色々対応できていない。） それの一環（？）で、以下のようなモデルを変換するとKerasやTensorflowでは完璧に動作するのにmlmode
GraphNetを使って足し算を学習する - Qiita
はじめに 前回はGraphNetを使って「とにかく５を出力する」ように学習しました。今回は、ノードやエッジの値を足し算する学習をしてみようと思います。 環境などは前回と同じです。 足し算を学習する 今回は、下の図のようなグラフを作って、全部のノードやエッジの値を足し合わせるように学習できるかやってみます。 コード import numpy as np import sonnet as snt import graph_nets as gn import tensorflow as tf import matplotlib.pyplot as plt from pprint import pprint %matplotlib inline tf.reset_default_graph() def create_data_dict(n0=0., n1=0., e0=0., e1=0.): da
dockerで機械学習(25) with anaconda(25)「Mastering TensorFlow 1.x」By Armando Fandango - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
駅.Locky用の時刻表作成を自動化するぞ 1 - Qiita
はじめに Pythonをそこそこ使えるようになりたい ただただ勉強するのも面白くないので、課題探し ちょうどその頃に近隣（京阪電車）のダイヤ改正 駅.Lockyの時刻表が古くなり、手作業で時刻表データ作成 時刻表サイト ⇒ Pythonアプリ ⇒ 時刻表データ が出来たら一石二鳥！ 調べてみた 駅.Lockyの時刻表データは、NextTrain形式の時刻表記述フォーマット えきから時刻表→NextTrainデータ(tbl形式)変換サイトでTBLファイルを作ってみた ファイルがどういうものか理解できた（ファイル名の形式等も） A:中之島行 B:淀屋橋行 a:区間急行() b:準急() c:急行() d:特急() e:ライナー f:通勤準急() g:通勤快急() h:快速急行() i:快速特急()洛楽 [MON][TUE][WED][THU][FRI] 京橋駅 京阪京阪本線 淀屋橋方面(下り)
サポートベクターマシーンのパラメータをいろいろといじってみる(画像データの分類問題) - Qiita
初めに 機械学習の教科書では(紙面の都合上やらなさそうな)様々なパラメータを変えた際にどのように変化するのかについて、SVCを用いてやってみました。 ちなみに使用したのは0~9までの数字が書かれたDigitsの画像データ。 Digitsのデータについてこちらで可視化等は行ってみています。 LinearSVC まずはsvm.LinearSVCで正則化定数Cのチューニングを行ってみたいと思います。カーネル法を試す前に線形のSVMから始めた方が良いらしいです。結果はロジスティクス回帰分析とだいたい同じような感じになります。 svm.LinearSVCはLinearに特化したアルゴリズムのため、svm.SVCよりも高速で動くとのこと(未検証) 交差検証は10分割で行い、正答率の平均値を今回はscoreとして、プロットしてみました。(本来はテストデータを訓練データを分けてから交差検証した方が、よいで
dockerで機械学習(22) with anaconda(22)「Deep Learning for Computer Vision」 By Rajalingappaa Shanmugamani - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
DeepMindのLibraryの graph_nets を使ってとにかく「５」と出力するGraphNetを作る
はじめに GraphNets というライブラリが DeepMind からリリースされています。 このライブラリは この論文 の実装として公開されたもので、 端的に言うと 「ノード、エッジ、Globalに任意の属性(≒任意のtensor)を持ったグラフを入力にし、 構造は同じだが属性が更新されたグラフ を出力する」 というネットワークブロックを提供するものです。 何が面白そうかというと、グラフという知識表現として非常に表現力の高いデータ構造を扱うことができるということです。 以前から、グラフ畳み込みニューラルネットワークというものが(やや)注目されていましたが、それの汎用的なデータフォーマットを定めて、扱いやすくしてくれたような位置づけだと思います。 とはいうものの、現状ほとんどドキュメントも無く、デモのソースコードを見ても中々使い方がわかりません。 試行錯誤の末、なんとか GraphNet
dockerで機械学習 with anaconda(8)「実践機械学習システム」Willi Richest, Luis Pedro Coelho 著
(base) root@9f32435de7a9:/BuildingMachineLearningSystemsWithPython/ch01# python analyze_webstats.py Traceback (most recent call last): File "analyze_webstats.py", line 10, in <module> import matplotlib.pyplot as plt File "/opt/conda/lib/python2.7/site-packages/matplotlib/pyplot.py", line 115, in <module> _backend_mod, new_figure_manager, draw_if_interactive, _show = pylab_setup() File "/opt/conda/
dockerで機械学習(18) with anaconda(18)「Deep Learning with Keras」 Antonio Gulli, Sujit Pal著 - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
TensorFlowを使って猫の種類の判別機を作る - Qiita
TensorFlowを使って猫の種類の判別機を作る TensorFlowを使って猫の種類の判別機を作ります。TensorFlowをインストールしている前提で話します。 pythonのバージョンはpython3です。 まずは、TensorFlowのフォルダをGithubから落としてきてください 画像を集める google_images_downloadをインストール pip install google_images_download 画像をダウンロードする googleimagesdownload -k 猫の種類で画像を集めに行きます。 アメショーかわいいですね。 学習 集めた猫の画像を学習させます。 その際、学習データのフォルダを英語に変更しておいてください。 そして、そのフォルダをgakusyu_data（作ってください）という名前のフォルダに入れて、落としたTensorFlowのフォ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株価をscikit-learnで機械学習してみる 回帰編 - Qiita
databricks cloud上でmatplotlibとかseabornのグラフを表示するスニペット - Qiita
RNN① 初心者でも絶対わかるRNN - Qiita
【強化学習】強化学習、dqnの理論とは？？ - Qiita
プログラマーが表現するテンソル - Qiita
ノイズの多い時系列データをスムージング（MAとSSA）して、予測モデルを構築（LSTM）する - Qiita
【はやわかり＋保存版】Google Colaboratoryチートシート - Qiita
ハロプロでGAN - Qiita
ssd_kerasを試してみる - Qiita
