さくっとトレンド抽出: Pythonのstatsmodelsで時系列分析入門 - Gunosyデータ分析ブログ
久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース
決定木、分類木、回帰木の意味と具体例 - 具体例で学ぶ数学
分類木の例 下図のように、日々の温度と湿度のデータ、および、その日A君が暑いと感じたか暑くないと感じたかのデータが与えられた状況を考えてみます。 図の１つの点が１日を表します。赤い点はA君が暑いと感じた日、青い点は暑くないと感じた日を表します。例えば、温度が $27$ 度で湿度が $40$ ％の日は暑くないと感じています。 このデータから、例えば、下図のような温度と湿度がどのようなときに暑いと感じるのか？を表現したツリーを作ることができます。
scikit-learn から学ぶ機械学習の手法の概要 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学
ディープラーニングによるファッションアイテム検出と検索 - ZOZO Technologies TECH BLOG
データサイエンティストの中村です。VASILYではファッションに特化した画像解析エンジンを開発しています。本記事では、スナップ写真からファッションアイテムを検出するシステムを紹介したいと思います。 概要 このシステムの入力はスナップ写真です。スナップ写真が入力されたとき、システムは以下のタスクを解きます。 写真中からファッションアイテムに該当する領域を検出する 検出したファッションアイテムのカテゴリを予測する 検出したファッションアイテムに似ているアイテムをDBから検索する 各タスクを解く方法は様々ありますが、弊社のシステムでは2種類のネットワークを使ってこれを達成しています。 ファッションアイテムの検出とカテゴリ予測 検出は画像認識の基本的なタスクで盛んに研究されていて様々な手法が提案されていますが、今回はSingle Shot MultiBox Detector (SSD)*1 と呼ば
Web地図のあり方をかえるかもしれない?! 地図専用アクセス解析サービス「Maptiks」
MaptiksはLeafletやOpenLayers、Google Maps APIなどで作成された地図にたいするユーザーのアクティビティログを収集することができるWeb地図専用のアクセス解析サービスです。 Welcome to Maptiks – Analytics for Web Maps from will cadell on Vimeo. Maptiksを利用すると、地図上の各レイヤーごとの読み込み時間や表示回数、ユーザーが良く見ている位置やズームレベル、マーカーごとのクリック数などを集計し分析することができます。 サンプル 下記は先日公開した「大阪市ひったくり発生個所マップ」のアクセス解析画面です。 ・地図全体とタイルレイヤーごとのステータス ・ズームレベルアクティビティのヒートマップ 感想 ユーザーがWeb地図上で「どこらへんのエリアをよく見ているのか」や「どのマーカーをクリッ
100億件を4時間半で分析 NTTデータらビッグデータで革新技術
NTTデータとNTTデータ数理システムは2015年4月27日、1億件を超える大量のデータ分析ができる「In-Database Analytics技術」（図）を共同で開発したと発表した。検証では100億件のデータをサーバー1台で約4時間半で分析でき、従来製品の1000倍以上の件数を処理できたという。NTTデータは15年度中に同技術を用いたサービスを商用化し、2020年度までに100億円の売り上げを目指す。 業務データを高速に分析する「データウエアハウス（DWH）」では扱うデータ量や分析処理の速度に限界があったが、今回両社が共同でこの問題を解決する技術を開発。DWHとデータ分析ソフトの役割分担を見直し、DWH内部でデータを分析できるようにした。 DWH用のデータベースサーバーソフト「SAP IQ」（旧Sybase IQ、関連記事）に同技術を実装。分析はSQL（データベース言語の一種）を使ってい
Twitter、NTTデータを含む再販業者へのFirehose提供を8月までに打ち切りへ
米Twitter傘下のGnipは4月10日（現地時間）、公開ツイートデータ「Firehose」の再販業者への直接提供を8月中に打ち切ると発表した。企業や組織へのFirehoseの提供はGnipのみが行うことになる。 Gnipによると、TwitterはGnip買収直後から再販業者へのFirehose提供打ち切りのプロセスを開始し、現在まだFirehoseを扱っているNTTデータと米DataSiftへのFirehose提供を8月半ばには終了する見込みという。 再販業者へのFirehose提供打ち切りの理由は、Firehoseのユーザー企業とダイレクトな関係を築くことが、Firehoseをサポートする最善の方法だと確信するからとしている。 Twitterは2012年に立ち上げた「公認製品プログラム」で、Twitterのデータの価値を高め、利用しやすくするツールの構築をサードパーティーに奨励し、F
js-xlsx - JavaScriptでXLSXファイルを解析
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました やり方は分かるんですが本当にやってしまうのが素晴らしい。 MS Office 2007以降ではファイルフォーマットがXMLをベースにリソースファイルなどをZipで圧縮したものになっています。そのためZipを解凍すればファイルの内容を読み取ることもできます。 とは言え記法の問題もあって読めるのと情報を読み取れるのとでは意味合いが違っています。そこで作られたのがjs-xlsxです。ExcelファイルフォーマットであるXLSXファイルを読み取るJavaScriptライブラリです。 デモのHTMLファイルにXLSXファイルをドロップします。 CSVとして解析させるとちゃんとファイルの内容がカンマ区切りで取り出せているのが分かるかと思います。 JSONにするとさらにJavaScriptとの連
機械学習の理論と実践
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。 VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。 VIEW2021チュートリアルセッション：http://vie
Esprima
Esprima is a high performance, standard-compliant ECMAScript parser written in ECMAScript (also popularly known as JavaScript). Features Full support for ECMAScript 2019 (ECMA-262 10th Edition) Sensible syntax tree format, with optional node location info Experimental support for JSX, a syntax extension for React Heavily tested (~1600 tests with full code coverage) API Esprima can be used to perfo
iRIC | 河川の流れ・河床変動解析ソフトウェア
Flow and fish sumilation Using iRIC new function, fish are released into a flow field calculated by iRIC solver and motion of fish are
「端末仕様確認ツール」リリースしました！ - NTTドコモ開発者情報Blog
以前より本Blogにて御案内させて戴いておりました、「端末仕様確認ツール」を本日Android Marketにリリース致しました。 こちらから入手してください。 本アプリはAndroid端末向けコンテンツを開発される皆様の手助けをさせていただければと開発しました。ダウンロードして実行しますとその端末の各種仕様を取得し、画面上に表示します。 対応OSはAndroid2.2以降となります。仕様の取得には各種APIを使用していますのでAPIバージョンによっては取得できないものもあります。その様な場合はN/Aと表示します。 また端末内のインストールされているアプリケーションのアクティビティやサービス、ブロードキャストレシーバーのクラス名も取得して表示させることができます。 取得結果をCSVファイルでローカルストレージに出力する機能も用意しました。開発者の皆様で異なる機種の情報を比較したり共有した
ページに仕込まれたJavaScriptのイベントを全部見える化出来るブックマークレット「Visual Event」:phpspot開発日誌
画像スライダーに関することならお任せ！なjQueryプラグイン「Slider Kit... 次の記事 ≫：かなりいい感じのWordPressテーマ２０ Allan Jardine | Reflections | Visual Event ページに仕込まれたJavaScriptのイベントを全部見える化出来るブックマークレット「Visual Event」。 JavaScript で開発していて、jQuery等の各種フレームワークや、on〜 を使ってイベントを埋め込むことは多いですね。 後になって、どこにイベントがあるのかをすぐ見える化し、どのような処理が記述されているのか、確認することのできるブックマークのご紹介です。 当サイトにはそれほどイベントが組み込まれていませんので、Yahoo! Japanのトップページで試してみます。 ブックマークレットを起動すると、グレーアウトされ、エレメントの上
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.seanabu.com/2016/03/22/time-series-seasonal-ARIMA-model-in-python/www.seanabu.com/2016/03/22/time-series-seasonal-ARIMA-model-in-python/
SSL Server Test (Powered by Qualys SSL Labs)
ロシアより技術サポートをこめて：Apacheに次ぐ勢いのWebサーバー「NGINX」
NTT研究所におけるYammerの取り組みと、社内Twitterの統計解析
Platform Versions | Android Developers
画像認識の初歩、SIFT,SURF特徴量
画像一致チェックするやつ