概要 大井競馬場に行く機会があったので、機械学習を使って競馬の結果を予測できるかをやってみました。 その結果、帝王賞で一位を当てることができたので、記事を書きます。 かなり適当な予測なので、遊びとして見てもらえたらと思います。 証拠 当たったという証拠に、記念でとった馬券画像。 機械学習で予測したものと、パドックを見て予測したものと、２つ買いました。 (びびって複勝、しかも300円) 問題の設定 大井競馬場で行われる帝王賞の１位のみを当てます。 競馬には、色々な馬券の買い方がありますが、今回は簡単でシンプルな問題設定としたかったので、1位のみを予測することにしました。 データの取得 教師あり学習を行うので、過去の競馬結果のデータが必要です。 こちらのサイトからデータをクローリングしました。 南関東4競馬場公式ウェブサイト レース情報のページから、レースに出る馬の過去情報があるページへのリン

なぜかミクシィ社でエンジニアだった人々がアドベントカレンダーを書くことになってしまったex-mixi Advent Calendar 2017、12月11日担当の @tnj です。 一般的に、会社を退職することになったら退職届というものを会社に提出することになります。その退職理由には「一身上の都合」と書くのが通例だと思いますが、私はちょっと変わった退職の経緯を持っているので、今回はそれについて共有してみたいと思います。思いのほか長くなってしまいましたが、社会人歴10年目のソフトウェアエンジニアのキャリアの変遷の一例としてお楽しみください。 TL;DR Android開発者としての自分の経験を基に新規事業を立ち上げることになり、エンジニアとして参画したつもりが気がつくと事業責任者になり、果ては事業を買い取って経営者になった 好きでやってる話だしまあなんだかんだ乗り越えていけるよねと思ってたら

関連記事 マイクロサービスを支えるインフラアーキテクチャ (AWS Dev Day 2019登壇資料) ECSデプロイツールを公開しました ECSにおけるログの取り扱いを別ページに移動させました 設計 基本方針 基盤を設計する上で次のキーワードを意識した。 Immutable infrastructure 一度構築したサーバは設定の変更を行わない Infrastructure as Code インフラの構成をコードで管理 (Terraformを採用) Serverless architecture 無駄にサーバを増やさない アプリケーションレイヤに関して言えば、Twelve Factor Appが参考になる。コンテナ技術とも親和性が高い。 ECSとBeanstalk Multi-container Dockerの違い 以前に記事を書いたので、詳しくは下記参照。 Dockerコンテナデプロイ

概要 昨年までAWSを使ってましたが、今年から会社都合でAzureを使うことになり、だいたい1年が経ちました。 最初は「どっちも同じクラウドでしょ」くらいの認識でしたが、使っているうちに色々と感想というか不満が溜まってきたのでここに吐き出します。 両社のサービスを比較してうんぬん・・・みたいな話ではなく、だいたいAzureの管理画面への不満（ただの感想）とかなのでご了承ください。 ポータルがもっさりしている Azureのポータルは全体的に動作がもっさりしている印象です。 AWSと異なり最初に弄るサービスを選択する形ではないので、その分一つの画面で操作できることが多く、画面遷移していくと迷子になってとりあえずTOP画面に戻ることも多いです。 一覧でリソースの状態が反映されるのも遅いので「あれ？全然VM起動しないな？」と思って更新すると起動してたりします。（これはAWSでもあったかも） なおポ

私は、プログラムを組むのが好きだ。 コードを書き、動かして、デバッグする。とてもワクワクする作業だ。 30数年前、ヒョンなことからプログラマーになり、アセンブラ、C、UNIX、さらには組み込みの手作りOSをアセンブラで作るなど、みっちり基礎を習得した。 しかし、９年勤めて、やめた。 やめた理由は２つある。 １つ目は、典型的なダメダメ男社会だからだ。 上司のご機嫌をとって、おしゃべり（説教や自慢話）に付き合い、ダラダラと遅くまで会社に居残る奴が出世していく。 私は、サッサと仕事を終わらせて帰った。と言っても連日、帰りは夜の８時９時だった。残業代などもちろん無く、休日出勤も当たり前だった。 特に、後輩の男は、仕事ができないとまでは言わないが、とても調子のいい奴で、上司に気に入られて、私より先に主任になったので、ほとほと嫌気がさした。 ２つ目は、出産。 当時は、女は結婚して子供を産むのが普通だっ

credstashはAWS Key Management Service (KMS)とDynamoDBを使った秘密パラメータの保管ツールです。KMSで暗号化キーの生成を行い、暗号化した値をDynamoDBに保持します。 gcredstashはcredstashをgoに移植したものです。 credstash/gcredstashには以下のようなメリットがあります。 シンプル: gcredstash put/getで値をセット/取得するだけなので簡単 安全: 値はAESで暗号化され、復号した値はHMACでチェックされる IAMとの連携: バックエンドはDynamoDBなので、IAMと連携できる サーバレス: Vaultのように専用のサーバを立てる必要がない この記事では主にgcredstashについて説明します。 インストール OS X brew install https://raw.git

おことわり 主観であり何らかのデータにもとづいてはいない この記事に書いてあることは信じずに自分で試そう EC2 t2 ファミリーは他ファミリーと比べて不安定 どのインスタンスもいつかは死ぬという点では共通なのですがそのなかでもt2は故障したり不具合が発生したりする確率が非常に高い気がする なので死んだり、死にかけ状態で動き続けたりしてほしくないインスタンスはあんまりリソースを使わなくても t2.micro とかじゃなくて m3.medium にしとくとすこし可用性があがる 追記: CPUクレジット理解していないだけではとか書かれていたんですがその辺は確認している。 t2の可用性が問題になったケースいくつかあるんだけど、自分の場合はネットワークがたまに断する問題が多くて、分散DBクラスタの死活監視で1secごとにpingするだけでCPUは常に1%以下みたいなものとかに使うとカジュアルに10

前提知識 Blockchain、Ethereum、Smart Contract 等の概念的理解（参考図書） 基本的なプログラミングスキル プライベートチェーンの立ち上げ 今回は、geth を使ってローカルマシン上に Ethereum のプライベートチェーン（自分だけがアクセス可能なブロックチェーン）を立ち上げます。 geth は Go言語で実装された Ethereumクライアントです。アカウントの作成からマイニングまで、Ethereum に関わる多くの機能を担います。

一時期はalpineに乗っかったMySQLを使おうとしましたがMariaDBだったので断念。 いくら互換だとはいえ、まだ自分には早い。 そんなわけでDocker MySQL公式イメージの5.5を利用してDBを構築。 公式イメージ https://hub.docker.com/_/mysql/ 初期データを投入した状態でgithubにpushしようとしたら、rejectされてしまいました。 調べてみるとGithubのファイルサイズ制限にひっかかった模様 Working with large files https://help.github.com/articles/working-with-large-files/ 1ファイルあたり100MBまでとのこと。 InnoDBのibdata1がサイズ制限を超過していたのでした。かなりデータを厳選したんだけどな〜。 初期データインポートに使用したd

モチベーション ResNetを使ってみたい 強い転移学習方法を教わったのでやってみたい 料理から何の材料でできているかわかれば、img2cal(画像からカロリーを当てるタスク)などに転用できるかもと思った food2stuffって？ stuffって材料って意味らしいです 画像からなんの構成品目でできており、なんの食材でできているかベクトル表現で出力します 2048次元の出力に対応しておりメジャーどころの食材はだいたい抑えています 将来的には自分が食べたものをinstagramなどで写真を取るだけで栄養素の管理とかできたらいいよね 学習用のデータ・セット集め Cookpadさんのサイトから95万件のレシピと投稿写真をあつめさせていただきました レシピは個人の自由な書き方が許さており、林檎という表現一つとってもリンゴ、りんご、林檎と3つぐらい激しく揺らぐのですが、ここで小細工を入れるということ

個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな

概要 Ruboty って何？どうやって動かすの？ Hubot と何が違うの？ という方に向けた記事です 目次 Ruboty って何？ Ruboty の基本構成 Ruboty 登場の経緯 Ruboty の特徴 コマンドライン環境の疎通確認手順 ステップアップのための資料紹介 Ruboty は Ruby 製のチャットボットフレームワークです。 要は Hubot の Ruby 版。 Ruboty のソースコードは GitHub で確認可能です。 ruboty github Hubot は Plugin を CoffeeScript で書く必要があります。 (最終的に JavaScript になれば良いので他の AltJS や生の JavaScript でも良い) Ruboty は Ruby で Plugin を書く必要があります。 機能的な違いはほとんどありません。 （ 大きな差は Ruboty

注:このTipsはRails初心者が書いたものです。ツッコミ歓迎です。 pumaとは http://puma.io/ で公開されているconcurrentなWebサーバー。thinやunicornはワーカー毎にプロセスを立ち上げるが、pumaはワーカー毎にスレッドを立ち上げる。production環境ではサイトのパフォーマンスを上げるため、複数のワーカーを立ち上げるが、thinやunicornはワーカー毎にプロセスが異なるため、排他処理ができない。しかし、pumaはスレッドで動作するため、Mutexでsynchronizeブロックを記述すれば、排他処理を行える。 RailsCast #365 Thread-Safetyで取り上げられていた。ここではpumaの設定等のメモをまとめる。 インストール pumaも他のgemと同様、Gemfileに

2016年12月5日より、Amazon　Dash Buttonで利用できるようになりました。これは、ボタンを押すだけでAmazonから一部の商品(天然水, ひげそりなど)が購入できるようになるという端末です。 今回はこのAmazon Dash Button(※ 以降ボタンと呼びます)を、押したらHTTPリクエストが飛ぶボタンとして利用し、おうちハックなどで利用できるようにしていきます。 とりあえずボタンを押したらSlackにWehbook飛ばすくらいまでやりました。 ボタンの仕組み ボタンは電源がオフされているので、以下のような順序で動きます。 電源ON 同時に設定されたWi-Fiネットワークに接続 IP重複検知のためにARPプローブ送信 IPが重複していたらIP再設定?(自信ない) Amazonへ購入処理の実行(HTTP???) 参考 : How I Hacked Amazon’s $5

これはDatadog Advent Calendar 2016 2日目の記事です。 Webサービスを運営している場合、実際のエンドユーザに対して、正常にサービスが提供出来ているかを知る手段として外形URL監視をそれぞれの方法でやっていると思います。 今回は、Datadogを使って外形URL監視を組んだ事例について紹介しようと思います。 目次 外形URL監視とは なぜDatadog こんな感じに出来る Datadogの設定 設定時のポイント まとめ 外形URL監視とは 定期的に、外部公開しているURLに対してリクエストを送り、レスポンスのステータスコードや応答時間をチェックし、異常時には、何らかの通知を送ることで、そのサービスの死活監視をすること。 なぜDatadog Saas系のモニタリングツールだとmackralやpingdomあたりは、Saas側の機能として外形URL監視サービスを持っ

みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。

はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の

本記事が切っ掛けとなってお声がけを頂き、本記事の増補リファイン版となる記事をSoftwareDesign 2018年1月号のシェルスクリプト特集第2章として執筆しました。リファイン版には、この記事で触れていない文法面での分かりにくさについての解説が含まれています。その文法面での分かりにくさの解説の一部に相当する記事もありますので、ぜひそちらも併せてご覧下さい。 Shell Script Advent Calendarをご覧の皆様、図々しくも5日目に続く2度目のエントリーのPiroです。 前回は自作のBashスクリプト製Twitterクライアントをネタに実装を解説しましたが、今日は他の言語で多少のプログラミング経験はあるんだけど、どうにもシェルスクリプトは苦手だ……という人のための、シェルスクリプトによるプログラミングの勘所を解説してみようと思います。多分、プログラミング入門レベルの人や上級