SIGNATE お弁当の売り上げをLightGBMで予測してみた - Qiita
とある会社のカフェフロアで販売されているお弁当の販売数を予測するSIGNATEのコンペ「お弁当の需要予測」で作成したモデルを解説したいと思います。 こちら練習問題になっていますが、元ネタは2015年に実際に行われていたこちらのコンペのようです。 このモデルのRMSEは6.69380で、本投稿時6位相当でした。 データ分析の基本的な流れは網羅できていると思いますので、参考になれば幸いです。 目次 以下の順に沿って解説していきます。 データの可視化 トレンド抽出 特徴量エンジニアリング 特徴選択 モデル作成 テストデータの前処理と予測 1. データの可視化 まず目的変数である販売数の変動を可視化します。 train = pd.read_csv('../train.csv') test = pd.read_csv('../test.csv') train['y'].plot 販売数をみて気になっ
Rails で JS を Webpacker 管理にしたら、 data-confirm が動かなくなった - Qiita
JS と CSS を Webpacker 管理にしたら、 link_to, method: :delete, data: { confirm: 'Are you sure?' } が動かなくなった。 - = stylesheet_link_tag 'application', media: 'all', 'data-turbolinks-track': 'reload' - = javascript_include_tag 'application', 'data-turbolinks-track': 'reload' + = javascript_pack_tag 'application' + = stylesheet_pack_tag 'application' 環境 Rails 5.1.4 原因 Ruby on Rails 5.1リリースノート | Rails ガイド 従来のRai
RSenseがすごい - Qiita
※追記 (2017/4/3) neocompleteとrsenseはもう古い! Neovim + deoplete + deoplete-rctを使いましょう。 ※追記 (2016/3/27) rsenseは開発が再開された模様 rsense/rsense ただneocomplete-rsense.vimはgithubから削除されたのでこのままでは使用できない。 時間ができたら調べる予定。 ※追記 (2015/9) 2010年頃から追記時点(2015/9)では開発が止まってる模様。 RSenseとvim neocompleteを連携させることによってpry並の補完が得られる。 (pry並は言い過ぎかもしれない) 補完だけでなく定義へのジャンプ機能なども備えている。 RSenseの詳細は公式サイトを参照 http://cx4a.org/software/rsense/index.ja.htm
AWS CodeBuild+Amazon ECRを試してみる - Qiita
概要 下記でやってみたことを、今度は AWS CodeBuildを使い、 Githubのソースコードを取得し、ビルドしたコンテナイメージを自動的に Amazon ECRにPushするところまでやってみたいと思います。 Kotlin+Spring Boot+WebFluxをDockerで動かしてみる Fargateで自作したコンテナイメージを動かしてみる Code Buildの設定 今回はコンソール画面上からやってみました。 プロジェクト プロジェクト名や説明を入力。 ビルドの対象 対象は、作成済みのGithubリポジトリを指定。 下記の画面は、Githubと連携後の画面で、Githubとの連携が必要です。 ビルド方法 環境は、CodeBuildで管理されているDockerのランタイム環境を利用。 buildspecは サンプル をそのまま引用してみました。 version: 0.2 pha
極小WebアプリをURLに埋め込んで超ポータブルなWebアプリを作りたい！ - Qiita
やりたいこと データを変形・加工するスクリプトをURL上にホストをして、 ポータブルで永続的でブラウザで完結するWebアプリを作れるようにします！ Rubyはデータ加工に最適！ Rubyは豊富なメソッドが標準で用意されていて、特にArray, Enumerator, Stringなどよくデータを加工したいときに使えるメソッドがとても豊富です。 メソッドチェーンでつなげていけるところが、人の思考にあっていて、どんどんデータを変えていけるところがRubyの良さだと思います。 そのためデフォルトの言語はRubyです。JavaScriptもオプションで選べるようになってます。 そこで、 データ加工に便利なRubyで書いた小さいWebアプリをURL上にホストします！ URLにすべてのコードを載せてしまえば究極的にポータブルなWebアプリになるのではないかという発想です。Itty.bittyにインスパ
ConstraintLayoutをもう少し深く知ってみる - Qiita
shibuya.apk #18で話すネタです。 https://shibuya-apk.connpass.com/event/64610/ きっかけ Google I/OのこれがConstraintLayoutでできているという噂を聞いて、これは！！と思ってConstraintLayuotを始めてみました。 この記事はConstraintLayoutを使って、ちょっとした画面は作ったことはある人向けです。 このアニメーションについて知りたい人は最後だけ読んで下さい。 それにより以下のようなアニメーションを簡単に作ることができました。 Google I/Oの動画とかで完璧に理解している人にはそんなに新しい知識はないかもです。。 サンプルアプリも用意しました。 https://github.com/takahirom/constraint-layout-samples 基礎的なところ 大きさの
Cloud Functions with Puppeteer + Google Apps Script でスクレイピングサーバーをサクッと作る - Qiita
const puppeteer = require('puppeteer'); let page; async function getBrowserPage() { // Launch headless Chrome. Turn off sandbox so Chrome can run under root. const browser = await puppeteer.launch({ args: ['--no-sandbox'] }); return browser.newPage(); } exports.getTrends = async (req, res) => { if (!page) { page = await getBrowserPage(); } await page.goto('https://qiita.com'); const result = await
大井競馬で帝王賞を機械学習で当てた話 - Qiita
概要 大井競馬場に行く機会があったので、機械学習を使って競馬の結果を予測できるかをやってみました。 その結果、帝王賞で一位を当てることができたので、記事を書きます。 かなり適当な予測なので、遊びとして見てもらえたらと思います。 証拠 当たったという証拠に、記念でとった馬券画像。 機械学習で予測したものと、パドックを見て予測したものと、２つ買いました。 (びびって複勝、しかも300円) 問題の設定 大井競馬場で行われる帝王賞の１位のみを当てます。 競馬には、色々な馬券の買い方がありますが、今回は簡単でシンプルな問題設定としたかったので、1位のみを予測することにしました。 データの取得 教師あり学習を行うので、過去の競馬結果のデータが必要です。 こちらのサイトからデータをクローリングしました。 南関東4競馬場公式ウェブサイト レース情報のページから、レースに出る馬の過去情報があるページへのリン
もう管理画面のフロントコードを書く必要はありません、そう Viron ならね。 - Qiita
管理画面のフロントエンドコードを書く時代は終わりました。 Vironがあれば、OpenApi(Swagger)でAPI定義を行い、実装するだけで管理画面が完成します。 そしてこれはOSSです。誰でも自由にお使いいただけます。 概要 Vironは、複数の管理画面を管理できるよう設計された、管理ツールマネージメントコンソールです。 APIサーバーとOAS2.0 jsonファイルを作成するだけで、管理画面が一つ完成します。 経緯 私の会社では、大小さまざまな自社サービスが開発・運用されています。 管理画面をサービス・サイト毎に作っていましたが、それには限界がありました。 エンジニアからしたら、管理画面用のデザインやAPIを作らなきゃいけない。工数がかかる。 運用・プロデューサーは、UI・UXが管理画面で違うため、操作を覚えるという学習コストが高い。 さらに外から見たいときにスマホから見れないし、
ドラッグ&ドロップでReact製のWEBアプリがつくれるReactStudioがやばい - Qiita
ReactStudioを使ったアプリの作り方はこちら React Studioを使ってQiitaの記事一覧アプリを作成してみる はじめに reactというとJSXの書き方、props、stateの挙動等を覚える必要があるため、 学習コストが割りと高めであったり、環境を構築するのに一手間かかったり等、 まだまだとっつきにくさが否めないライブラリです。 しかし、今回は、そんなReactをドラッグ&ドロップでアプリが 作れてしまうツールがあったので紹介したいと思います。 ※尚、Windowsはなく、Macのみで使用できるツールでございますので、予めご了承下さい。 公式サイト 公式サイトへのURLはこちら。 React Studio https://reactstudio.com/ ツールの使い方 ReactStudioでコンポーネントをデザインします。 その後、コードが自動生成されます。 無料で
TensorFlow(LSTM)で株価予想 〜 株予想その１ 〜 - Qiita
はじめに 新しく株投資の勉強を始めるのでそのメモを残していきます。 目標、機械学習やディープラーニングを使って株価予想します。 勉強を始めるにあたり、先ずは以下の本を確認。 ※ 株が動く条件は「業績がよい」「PERが低い」「チャートの形が良い」らしい。 各々スクレイピングで持ってきて予測していきたいと思います。 [補足] 普段は株以外に競馬予想 sivaを運用しています。 連対的中率 ： 約 86% 回収率 ： 約 136% twitter始めました。 フォローお願いします。 なぜ株か？ 以下の見解から株を選んでみました。 ◆ 競馬などのギャンブル 0 or 100のリターンも大きいがリスクが大きい。 ◆ FX 儲かる人の反面に損する人がいるので、性分に合わない。 ◆ bitcoin 価値が確立されてないので、暴落の恐れも考えられる。 ◆ 株 株に関してはみんなが儲かる仕組みである。 先ず
AWS スポットインスタンスでの TensorFlow 学習の自動化 - Qiita
mizti さんの AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する を自分の求めるものに従って微修正したものです。 背景 AWS の高性能 GPU マシン、 p2 インスタンスで DeepLearning (TensorFlow) の学習を回したい でも p2 は高い！！ スポットインスタンスを使うと安い！ しかしスポットインスタンスは実行中に入札額によって強制シャットダウンされる 学習中データを定期的に S3 にアップロードしたい スポットインスタンスを立ち上げて学習開始するのを自動化したい 学習完了時に勝手にインスタンスをシャットダウンしたい 仕様 学習開始の Slack 通知 データ格納先の S3 のチェック bucket は存在するか？ 既に学習結果格納ディレクトリが無いか？（上書きしないようチェック） スポットインスタンスへの入札と、結
のび太と学ぶ「機械学習」～FX予測プログラムを作成～【第1話】if文作戦 - Qiita
本シリーズでは、「FXの予想プログラム」を作りながら、機械学習・ディープラーニングを解説します。 （注）のび太くんは有名漫画のキャラとは一切関係ありません。 あらすじ 「のび太と機械学習」は、20歳の大学生、のび太くんが主人公です。 大学生のび太くんは、お小遣い欲しさにFXに興味を持ちます。 そんなのび太くんに、家庭教師のすぐるさんが、機械学習を解説し、FX予測プログラムを一緒に作ります。 残念なことに、FX予測プログラムは、ちょっとしか儲かりませんでした。 ・ ・ ・ のび太くんはその後、学んだ機械学習を生かして、D-mind社を起業し、汎用人工知能を作り上げます。 高齢になったのび太くんは、D-mind社をTMR社に売却し、TMR社の工場で22世紀、汎用人工知能搭載型ロボットが誕生します。 この物語は、そんな汎用人工知能搭載型ロボット誕生につながる、のび太くんの機械学習・勉強記録です。
gcsにgasからファイルを公開して、アクセス耐性100万倍させるゾッと - Qiita
これは、Google Cloud PlatformのAdvent Calendar の9日目のエントリーです 静的ファイルと私 マイクロダイエットでハードダイエット中のa2cです、GoogleDeveloperExpert(Apps)を担当しています。 GAS(GoogleAppsScirpt)を使えば、公開Webサーバが作れるのでスプレッドシート上の情報を元にJSON返したり、HTML返したり結構自由な公開ライフが送れたりします。がしかし、遅い！大量アクセスさばけない（なさそう）のです。 スプレッドシートでこさえたデータをデータベースに突っ込んでそこから再送するとか有りますが、静的ファイルをGCSに配備して一般公開することで、大量アクセスも難なく捌けるし、GoogleSpreadSheetの各種関数や、時限実行、履歴機能もそのまま使える素敵な管理画面が出来ます。 とは言え、GASには標準
GPUでディープラーニングやるならAWSよりFloydHub - Qiita
UdacityのDeep Learning Nanodegree Foundation のコースでFloydHubという便利なサービスが紹介されていました。ディープラーニングのHerokuだそうです。 GPUが使えるプランも月額14ドルからなので、手軽にGPUでディープラーニングを始めることができます。 TensorFlowとKerasがデフォルトですが、他にもPyTorchやChainerなどメジャーなフレームワークはだいたい使えるようになっています。 2017/10/18 追記 この記事を書いた直後に、KaggleのKernelについての記事が投稿されています。Kaggleのデータセットに限って言えば、Kernelを使う方が簡単そうです。 パワーアップしたKernelでKaggleに飛び込もう - Qiita FloydHubのいいところ 起動が簡単 floyd-cliというコマンドラ
Kerasで最短で強化学習（reinforcement learning）する with OpenAI Gym - Qiita
はじめに 強化学習よくわからないけど，理論そっちのけでとりあえずパパッと動かして見たいせっかちな人向けです．つまり僕のような人間です． OpenAI Gymで，強化学習の環境を提供してくれているので，それを用います． OpenAI Gymはあくまでも環境だけで，実際に学習させるには他のものが必要です． 調べて見ると，Kerasで強化学習をやるkeras-rlを書いた人がいて，これを使うと簡単に試せそうだったので使います．先人に感謝． 環境の準備 今回の環境 Python 3.6.0 :: Anaconda 4.3.1 (x86_64) Mac OS Sierra 10.12.5 keras 2.0.5 (backend tensorflow) tensorflow 1.2.0 最初はディスプレイのないサーバーでやっていましたが，めんどくさかったので，ローカル環境でやりました． ちなみにディ
GAS+S3を使ってサービス運営向け設定ツールを超絶簡単に作成する方法 - Qiita
はじめに Webサービスを開発していくときに、以外と手間がかかるのが"管理ツール"と呼ばれる運営者側がサービスの設定を行う機能です。 広告やバナーの設定やタイアップ・コラボといった短期的な案件、ちょっとしたABテストの条件、新機能の段階的リリースなどなど毎回DB作成をして、一人か二人の担当者のためのツールを作成するのは非常に手間ですし、勿体無い。 かといって、設定ファイルをエンジニアが書き換えてデプロイするのも作業の割り込みが多くなってしまい生産性を低くしてしまいます。 そんなわけで、ちょっとした設定ツールをさくっと作りたいなというときは以外と多いわけです。 今回は、Google DocsとGoogle Apps Script(GAS)を利用して、簡単に設定ツールを作成する方法を紹介します。 作成イメージ Google Docsで上記のような設定項目を並べたSpreadSheetを作成しま
為替をDeepLearningで予測してみた話 - Qiita
概要 現在の日付を$T$とすると、$T+1$から$T+30$までにおける日次価格の単純移動平均をDeepLearningを使って予測し、 ロングポジションを持った（もしくはショート）時の価格より、予測した移動平均を上(下)回れば利益確定するようなシミュレーション売買を行いました。また、３０日保持したら強制的に手仕舞いするようにします。 エントリーは日時毎に残高があれば全力で行うようにします。 ※オレンジのラインが30日後の30日単純移動平均になります。緑がx軸の日付時点における為替価格です。 使用したDLフレームワーク chainer ver1.3~1.5 ちょうどver1.5で互換性が大幅に変更になって、対応するのが大変でした。 2017/8現在はver2.0.2になっているみたいですね。 使用データ みずほヒストリカルデータ https://www.mizuhobank.co.jp/r
【Python】pandas.DataFrameで置換処理 - Qiita
import numpy as np import pandas as pd cols = ['var1', 'var2', 'var3', 'var4'] df1 = pd.DataFrame(np.random.randn(4, 4), columns=cols) df2 = pd.DataFrame(np.arange(16).reshape(4, 4), columns=cols) df1 var1 var2 var3 var4 0 -0.083782 0.964222 0.832664 -0.528963 1 0.017696 0.144067 0.093823 0.147779 2 -0.082808 -0.893112 -0.477983 -0.623641 3 0.581019 -1.603081 -0.717007 0.849844 df2 var1 var2 var3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
三項演算子(Python) - Qiita
