はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

これは Ruby on Railsの環境構築をElastic Beanstalkで行うを参考にさせていただき手を動かしてみたときの私的メモです。 Herokuのように、サーバー管理を切り離してアプリの開発に集中し、手元からお手軽にデプロイできるPaaSがAWSにないかと探してみたところ、Elastic Beanstalkを見つけました。 アプリケーションのルートディレクトリから eb deploy でRailsアプリをデプロイできる点や、フロントのロードバランサやNginxを自動でセットアップしてくれる点、管理画面からインスタンスタイプやインスタンス数、アップデートロジックを簡単に変更できる点が気に入りました。 また、AWSですのでDBにRDSが使える点も良いと思います。たぶんAuroraも使えるでしょうし、そうすると大切なDBであればリージョンまたいで冗長化とかもできますね。 それと、本

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Keras（バックエンドはtensorflow）で、この度横綱に昇進した稀勢の里と、千年に一人の逸材の橋本環奈を見分けられるのかやってみた。で、その途中でアイドル同士を見分けることってできるんだろうかと思って広瀬すずも追加して三つ巴でやってみた。 Kerasによる、ものすごくシンプルな画像分類（りんごとオレンジ）では読み込んだ画像をフラットな１次元配列に変換してモデルの学習に使ったけど、今回はより本格的に畳み込み層(Convolution2D)を追加してやってみます。 Kerasのドキュメントを読むと、Convolution2Dに喰わせる前に、画像を読み込んだ配列の次元をいじる必要があるようです。例えば 縦:100 x 横:100 x RGB:3 の画像を読み込んだ場合、100x100x3の配列として読み込まれますが、これを 3x100x100の形に直してからConvolution2Dに与

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

背景 サーバーに対して位置情報を含む500万レコード以上のデータがFTP経由で送られてくる。送られてくるときは１つのファイルにある独自の方法で圧縮されているが、このままでは位置情報を元にした検査ができないため、受け取った時点で展開して位置情報をサポートしたデータベースに書き込むのが今回の課題。 なお、このファイルは５分毎に送られてくる。したがって書き込みに5分以上かかってはダメ。できたら アプリケーションでの展開 → データベースへの書き込み までを2分程度で終わらせて、その後は位置情報をもとに検索ができなければならない。という状況。 親切な方から、位置情報ならElasticsearchがいいんじゃないかと教えてくれた。で、試行錯誤してなんとか2分ちょっとで書き込めるようになったので、そこまでにやったことの覚え書き。 【2017/1/3 追記】参考資料 このメモをキータにあげた際に、Jun

このエントリーは以前書いた機械学習で積雪の有無を予測してみたの続編です。この時は積雪の有無(1か0か)だけを予測したのですが、もうちょっと頑張って積雪量の変化を予測してみました。 先に結果を記しとくと、こんな感じになりました。横軸が日数、縦軸が積雪量(cm)です。 結果その1（青が実際の積雪量、赤線が予測した積雪量） 結果その２（青が実際の積雪量、赤線が予測した積雪量） 「結果その１」と「結果その２」がそれぞれ何なのかは以下を読んでみてください。 やりたかったこと 以前、機械学習で積雪の有無を予測してみた で scikit-learn を使って積雪の有無を予測してみたのですが、ちょっと欲が出てきて、有無じゃなくてまとまった期間の実際の積雪量（cm）を予測してみたい、と思ってやってみました。 具体的には、気象庁から提供される 積雪量 風速 温度 などの気象データを取得して、そのうち最初の約7

やりたかったこと 機械学習初心者の僕が、機械学習の勉強のためにPythonの機械学習ライブラリ scikit-learn を使ってみたかった。 何を予測してみようかなーっと思ってしばらく考えたわけですが「特定の条件を与えられると、地面に雪が積もっているかどうかを予測する」とか面白いかなと思ってやり始めたわけです。 ちなみにPythonアプリを書くのは初めてです。 使いなれたRubyで何とかならんか、って思ったのですが、この分野ではやはりPythonが強いようで、変につまづいて苦労したくない怠け者なのでPythonで始めました。 学習用のデータを集める さて、まずは機械学習エンジンに学習させるために、実際の積雪データを用意します。 ここでは気象庁の気象データ・ダウンロードのサイトから、実際の観測データを落とします。 今回は、積雪の多い富山県の砺波市の気象データを学習データとして使用しました。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 AWS IoTで気になる機能としてShadowがあります。これはAWS IoTの基本機能であるMQTTブローカー自体には含まれない機能で、MQTTの上にAWSが独自に構築した機能です。 下はLearn how AWS IoT works with this interactive tutorialでのShadowの説明の図。実際のデバイス(赤いランプが繋がれている)とは別に、クラウド上にデバイスの状態を反映した情報が存在することが視覚的に表されています。 僕の理解では、そもそもMQTTはインターネット（有線、無線）のようなネットワーク越しにデバイス（センサーが繋がってたりする）とブローカーが通信し、そのブローカーを介して別のデバイス（同じくセンサーや制御機器が繋がってたりする）あるいはスマートデバイス・PCが、お互いの情報や制御コマンドを送受信することを想定して設計されていると思って

この文書について 先日ベータ版が公開されたAWS IoT（AWS上でサーバーインスタンスを自分で用意する事なくMQTTブローカー（+α）のサービスを利用できる）をRubyクライアント(ruby-mqtt)から試してみた個人的なメモです。 本家のクイックスタートを見つつ、AWS IoT Message BrokerのMQTTでpub/subをやってみたも参考にさせて頂きつつやってた覚書ですが、現時点（2015/10/14）でAWS IoTはベータ版であり、今後サービスの仕様が変わる可能性があるため、できるだけ本家のドキュメントを参照される事をおすすめします。 AWS IoTではクライアント側のSDKも提供されているようですが、今回はオープンソースで公開されているMQTTクライアントを使ってPub/Subを試してみます。 AWS IoTの概念についてはLearn how AWS IoT wor

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Asteriskはバージョン11からWebRTCでの音声通話に、バージョン12からビデオ通話にも対応しているらしいとどっかで読んだので試してみた。 特に外出先から事務所に電話するような場合を想定し、スマートフォン側はSIPクライアントアプリ、パソコン側はWebRTCに対応したWebアプリで通話できるか試してみたかった。 目的 スマートフォン等のSIPクライアントどうしで、インターネット越しに通話してみたい。 スマートフォン等のSIPクライアントと、パソコンのWEBブラウザでIP電話してみたい その時の通話品質を知りたい できたらビデオ通話もしてみたい 残念ながら今回はビデオ通話まではできなかった...orz だがしかしSIPクライアント - WebRTC経由ブラウザ間での音声通話はバッチリできましたʕ•̫͡•ʔ 9月28日追記： ビデオ通話もできました！ サーバー環境 インストール対象OS

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Riak2.0からData Typesという機能が追加されており、Riakに保存するデータの型を定義する事でよりアプリケーションよりの機能を提供してくれる。 公式ドキュメントはこちら 提供される型は counters sets maps があります。最初に前準備方法を確認し、各型の扱い方をみてみる。 Data Typesを使う準備 Data Typesを使う為にはbucket typeを作る必要がある。 で、そのbucket typeのdatatypeというパラメーターにcounter, map, setのいずれかをセットする。 以下は公式のドキュメントからまるっと取ってきたサンプル。 $ riak-admin bucket-type create maps '{"props":{"datatype":"map"}}' maps created $ riak-admin bucket-ty

と同じ事ってこと。 あとRiak2.0にアップグレードしてbucket typeを使い始めたら、それ以前のバージョンにダウングレードはできないとの事。 allow_multiのデフォルトがtrueに 2.0より前のRiakではallow_multiの初期値はfalseだったけど、2.0からtrueになったよって。 全てのbucket typeでデフォルトのallow_multiの設定値はtrueになる。 ではallow_multiがfalseのbucketを使いたい場合はどうすれば良いのか。 方法は２つ。 bucket typeのallow_multiをfalseに設定する。 bucket typeを使わない。 allow_multiを trueにした場合、Siblingsでのコンフリクトなんかの問題がでるけど、それらについてはConflict Resolutionにドキュメントがあるよっ

##mrubyにおける並列・平行処理 mrubyには、標準で提供されるプロセスやスレッドは無いようです。そもそもmrubyは組込み向けに開発されている訳で、OSの機能としてのプロセスやスレッドを利用する事を前提にしないのは当然っちゃ当然ですね。 ただしmrbgemsには幾つか有用なライブラリが提供されていて、それらを使わせて貰えばコルーチンや非同期I/Oが実現できます。 ##コルーチン(Fiber) mrubyにおいてもRuby1.9で導入されたFiberがmrbgemsとして提供されています。Fiber、僕はRubyでも直接使った事がないのであまり知らないのですが、mrubyでは有力な平行処理の選択肢の一つとなりますのでここらで勉強します... Fiberはスレッドとは違い、明示的に切り替えない限りコンテキストは切り替わりません。 つまり一度に走る処理は常に一つであり、コンテキスト切り替

##バイナリデータフォマットを実装する 組込み分野はセンサーとPCがやりとりするプロトコルはもちろん、PCとサーバーとの間でやりとりするデータもバイナリフォーマットである事が多いと思うのでドキュメント化されたフォーマットに従って数値からバイナリフォーマットされたデータを作ってみます。今回は内容的に普通のRubyとなんら変わらないですが、多分こういうこと(バイナリフォーマットとかの実装)をやるのは 組込み=mruby では多いだろうという勝手な想像で... ###MQTTプロトコル ざっくりとしたMQTTの概念については以下を参照。簡単に言うと、機器同士が通信する為のPubSubプロトコルです。3G回線など場合によっては繋がりにくいような回線を想定したプロトコル設計になっています。 HTTPからMQTTへ - IBMが提唱するモノとモノがつながる時代に最適化したプロトコル&アプライアンス #

分散キーバリューストアのriakをインストールしたときのメモです。 kuenishiさんの「ひとりでやるRiak Advent Calendar 2012 day1 - 入門」を参考にさせて頂きながらソースとUbuntu用パッケージの両方からインストールしてみました。 ここにはUbuntu用パッケージからのインストール記録を書いておきます。 インストール 各ディストリビューション向けのパッケージが公開されているので、それを使えばErlangのインストールなしで使用できます。 http://basho.co.jp/resources/downloads/ をブラウザで開いて、 今回の環境はUbuntuだったのでUbuntu用パッケージを落とします。 Riak -> 1.2 -> 1.2.1 -> ubuntu -> precise -> riak-1.2.1-1_amd64.deb をダウン

試しに動かして見たのでメモ riakのインストール riakのインストールは前回の記事で。 Ubuntuにriakインストールしたメモ fluentのインストール fluentはgemからインストールします。 $ sudo gem install fluentd fluentのriakプラグインをインストール