[Python][Scikit-learn]主成分分析を用いた次元削減、主成分ベクトルを用いた予測と線形回帰による予測の比較 | DevelopersIO
[Python][Scikit-learn]主成分分析を用いた次元削減、主成分ベクトルを用いた予測と線形回帰による予測の比較 はじめに 主成分分析はデータ分析において、対象となるデータの説明変数を減らし、後に続く予測の際の計算量を削減するなどします。 本記事ではScikit-learnを用いて以前の線形回帰の記事, 線形重回帰の記事で取り上げたデータを題材とし、主成分分析を用いた次元削減を行います。 普段私達が馴染んでいる2次元空間での図をもとに、主成分分析が何をやっているか図解しながら見ていければと思います。 主成分分析 主成分分析は既存のデータの次元数を削減する手法として知られ、データの次数を削減することによって、次元の呪いを回避できることがあります。 この次元の呪いとはデータの次元数が多くなるにしたがって、データの取得や分析の際にあらわれる現象のことを指しており、分析、予測の際の計算
![[Python][Scikit-learn]主成分分析を用いた次元削減、主成分ベクトルを用いた予測と線形回帰による予測の比較 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ca665bf96288aed2117d971c0062833d563349e6/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F02%2Feye-catch-statistics.png)
[レポート] TensorFlow User Group #1 が開催されました | DevelopersIO
はじめに 先日 2016/10/12 六本木Googleオフィスにて TensorFlow User Group #1 が開催されました。本記事はそのレポートになります。オープニングは19:00でしたが、少し遅れての会場入りとなり、始めの方のメモが欠けていますがご容赦ください。 当日の動画 TensorFlow Tutorial スライドのPDF(Github) Google Inc, Greg氏 遅れての会場入りのため、メモは割愛いたします 来栖川電算における機械学習活用事例 [slideshare id=67052999&doc=tfug20161012-161012095030] 有限会社来栖川電算 山口陽平氏 毎朝体操とは 社員教育の一環として始めた スマホを持ってラジを体操すると 消費者と企業を体操でつなぐ 150000DL突破 知名度上昇中 体操の採点 簡単そうで難しい たくさ
![[レポート] TensorFlow User Group #1 が開催されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d31a36e185555d1c0dca2a8ca8dba86ad1243522/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F11%2Ftensor_flow-1.png)
【初心者向け】Amazon EC2にSSH接続する【Windows、Macintosh】 | DevelopersIO
森永です。 色んな情報が飛び交っているここDevelopers.IOですが、基礎中の基礎みたいな内容が抜けていたりします。 EC2へSSH接続するというのは、慣れた人からすれば当たり前かもしれませんが、私が初めてAWSを触った時にも躓いたポイントだったりします。 WindowsとMacintoshからの接続方法をご紹介します。 少しでもお役に立てれば幸いです。 共通して必要な情報 WindowsからでもMacからでも必要な情報がありますので、収集しておきましょう。 接続先EC2のグローバルIPアドレス or ホスト名 ユーザ名（Amazon Linuxの場合デフォルトはec2-userです） 秘密鍵（デフォルトでは****.pemという形式です） また、自分のPCのグローバルIPアドレスをセキュリティグループ（ファイアウォールのようなもの）に登録しているかサーバの管理者に確認しておきましょ
【新機能】Python Serverless Microframework for AWS(プレビュー版)が登場！ | DevelopersIO
【新機能】Python Serverless Microframework for AWS(プレビュー版)が登場！ こんにちは、せーのです。今日は昨今でのクラウド構築での主流となりつつある「サーバレスアーキテクチャ」を更に効率的に構築できる便利ツールをご紹介します。ちょっとワクワクしますよ。 できるだけ速く、できるだけ直感的に AWSにてサーバレスアーキテクチャを実現するのに一番シンプルな方法は「Lambda + API Gateway」です。要件をREST APIの形に落とし込み、API Gatewayにデプロイ、URLを叩かれたらLambdaが連動して処理を開始する、というものです。Lambdaが自動的にスケールしてくれるので沢山のアクセスがきた時もうまいこと捌いてくれ、EC2無しでシステムの構築が可能となる、というものです。 しかし実際に組んだことがある方はわかるかと思いますが簡単な
Public BetaになったDocker for Macを使ってみる | DevelopersIO
はじめに Dockercon 16、盛り上がってますね！行きたかったなー。たくさんの発表がある中、今日はこちらの注目。 Announcing the Docker for Mac and Windows Public Beta これまでPrivate Beta扱いだったDocker for MacとDocker for WindowsがPublic Betaになりました。これからは誰でも触って試すことができます。 ということで、早速触ってみました！ やってみた インストール Docker for Macのシステム要件は以下の通りです。特にVirtualBoxのバージョンには注意で、4.3.30以下だとインストール時にエラーが出ます。 Mac must be a 2010 or newer model, with Intel’s hardware support for memory man
Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag | DevelopersIO
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln — Sadayuki Furuhashi (@frsyuki) 2016年6月15日 という訳で試してみました。注目度の高かったワークフローエンジン『Digdag』がついにOSS化されました！Githubリポジトリ及びドキュメントは以下となります。 treasure-data/digdag: Workload Automation System Getting started — Digdag 0.8 documentation 目次 インストール 環境の準備 Digdagのインストール実施 その他ドキュメントの内容について Digdagサンプルワークフロ
JMeterの実行結果CSVデータをローカルMacにたてたElasticsearchとKibanaで可視化する | DevelopersIO
「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
[レポート]クラウド上でミッションクリティカルなシステムを「運用」するには 〜重要課題「運用」について考える〜 #AWSSummit | DevelopersIO
クラウド上でミッションクリティカルなシステムを「運用」するには 〜重要課題「運用」について考える〜 6/1 (水) ~ 6/3 (金) に開催された AWS Summit Tokyo 2016 のセッション "クラウド上でミッションクリティカルなシステムを「運用」するには 〜重要課題「運用」について考える" を聴講しました。本記事はそのレポートです。 セッション スピーカー TIS 市田真也 様 大事なこと 今日は3つ覚えて帰る 背景 TISとは 創業45年のシステムインテグレータ 旧三和銀行系からの金融、それから基幹系システム グループ全体で2万人 東京、名古屋、松本、九州‥ データセンターも11箇所（日本と中国） 基幹系＋クラウドや仮想化にも力を入れている 1.ミッションクリティカルとは クラウドに乗せるのは 情報システムや基幹システム 今回は基幹システムの話し 基幹システムとは ER
![[レポート]クラウド上でミッションクリティカルなシステムを「運用」するには 〜重要課題「運用」について考える〜 #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/148d66c86adf4dd67af10f04029ebb83085d1632/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F06%2Faws-summit-tokyo-2016.png)
[レポート] Docker と Amazon ECS で DevOps を進化させる #AWSSummit | DevelopersIO
Docker と Amazon ECS で DevOps を進化させる 6/1 (水) ~ 6/3 (金) に開催された AWS Summit Tokyo 2016 の Develoeprs Confrence のセッション「Docker と Amazon ECS で DevOps を進化させる」を聴講しました。本記事はそのレポートです。 コンテナ技術である Docker と、Amazon EC2 のクラスタ上でコンテナを管理できる Amazon EC2 Container Service (ECS) を利用することで、アプリケーションとインフラという2つの密結合したライフサイクルの管理から脱出し、新しい DevOps へと向かう方法、及びその事例をいくつかご紹介します。 スピーカーは 岩永 亮介 氏（アマゾン ウェブ サービス ジャパン株式会社 技術本部 メディア・エンターテインメント部
DSSTNEを試してみた | DevelopersIO
DSSTNEとは DSSTNEとは、Amazonが2016年5月12日に公開した深層学習向けライブラリです。 特徴として、Sparseなデータに対する最適化された高速な処理や、マルチGPUでのスケーリングなどが挙げられています。 g2.8xlargeの環境下において、Sparseなデータを対象に、Googleが提供するTensorFlowと比較して処理速度2.1倍という結果を残しています。 今回は、ドキュメントから実際にDSSTNEを試してみて見ようと思います。 DSSTNEのセットアップ まずは、DSSTNEのセットアップを行ってみます。 DSSTNEのセットアップ方法は、以下の3つがドキュメントにまとめられています。 Dockerを用いたセットアップ AWSを用いたセットアップ 開発マシンへのセットアップ 今回は、このうちAWSを用いた場合のセットアップ手順を試してみたいと思います。
エンジニアのための無料で使えるドローイングツールまとめ | DevelopersIO
今回は、ローチャート、UML、システム構成図、などなどなど、 エンジニアがよく使いそうな図を書くためのツールを紹介したいと思います。 無料でMac/Windowsの両OSで使えるという条件でチョイスしてみました。 (あ、タイトルには「エンジニアのための」と書きましたが、今回紹介するのは別にエンジニア専用のツールではないです（念の為）) 汎用的 とりあえず、色々な図が書けそうなツール Cacoo 【URL】 https://cacoo.com 【特徴】 無料版では25シートまで 無料版での書き出しはPNGのみ だいたい何でも書ける 複数人でチャットしながら1つの図を作成出来る 【メモ】 特に有料版は高機能だと思う 会社で有料アカウントに入っているのであれば、このツールを使う選択肢で良いと思う draw.io 【URL】 https://www.draw.io/ 【特徴】 とりあえず会員登録し
TensorFlow研究会が開催されました!! | DevelopersIO
TensorFlow研究会が開催されました!! 先日、渋谷ヒカリエの株式会社ディー・エヌ・エー様にて、株式会社ビズリーチ様主催のTensorFlow研究会が開催されました。 私も予習の上でブログまとめ枠として参加いたしまして、本記事はそのまとめになります。 思いついたアルゴリズムをTensorFlowで実装してみた話 (株式会社トップゲート 藤原氏) [slideshare id=56050548&doc=tf-study-151211114019] TensorFlowで面白そうだと思って試してみた ステップサイズの設定が面倒 確率的勾配降下法 ステップサイズが大きいと全てがNanになる 近接点法だと w が行方不明にならなそう PassiveAggressiveに正則化項がついた感じ ステップサイズを大きくすると勾配降下法だとウェイトが飛んで行く 近接点法だと割りと収束する まとめ ニ
【社内資料公開】AWSトラブルシューティングページまとめ／より早い原因把握のために心がけること | DevelopersIO
はじめに こんにちは植木和樹です。オンプレで10年近くサーバーの保守運用をやっていた経験からいいますと、AWSの障害発生率は非常に低くて驚きます。数百台規模のサーバーを扱ってますと、毎日どこかでのサーバーでディスク、CPUファン、メモリーパリティエラーなんかの故障が起きていて日々対応に駆けまわってた覚えがあります。 さてAWSの障害発生率が低いといってもゼロというわけではありません。仮に0.1%だとしても1000日つまり3年運用していれば1回くらい障害に遭遇するものです。0.01%だったとしてもサーバーが1万台あれば1日1回なにかしらのトラブルに遭遇しても不思議ではありません。 トラブルに遭遇すると、当然サービスや処理に影響をきたしてしまうわけで早期の暫定処置と、その後に恒久的な対策が求められます。その時に重要なのは早く正しく原因を特定することです。トラブルシューティング力が重要です。 A
【速報】MQTTサービス「AWS IoT Message Broker」がリリースされました！ #reinvent | DevelopersIO
re:Invent 2015 キーノートで、Amazon IoT が発表されました。その1コンポーネントとして、IoT/M2Mなどに利用されることの多い軽量なメッセージングプロトコル MQTT(MQ Telemetry Transport)のマネージドサービス Message Brokwer も発表されました。 今年の3月には IoT プラットフォームを展開するスタートアップ企業 2lemetry を買収しており、この買収も今回の発表と大きく関係しているのではないかと思われます。 Message Broker は MQTT だけでなく HTTPS にも対応しています。 本稿ではMQTTプロトコルに限定し、OSS なMQTT ブローカーMosquitto との機能比較を表にまとめました。 Amazon IoT の概要は次の記事を参照ください。 【速報】新サービス「AWS IoT」 登場！
HashiCorpの新プロダクトNomadとOttoを触ってみた | DevelopersIO
ども、大瀧です。 VagrantやTerraformで有名なHashiCorpのカンファレンスイベント、HashiConf 2015が今朝未明からポートランドで開催されています。そこでNomadとOttoという2つの新サービスが発表されました。両方とも発表直後に公開され、試せるようになっているのでサンプルを動かしてみた様子をレポートします。 Nomad by HashiCorp Otto by HashiCorp Nomad NomadはEasily deploy applications at any scaleというリード文からあるように、アプリケーションをデプロイするスケジューラです。あらかじめアプリケーションを実行するホストにエージェントをインストール、アプリケーションをジョブとして設定ファイル(*.nomad)に定義しておき、設定ファイルに従ってジョブを実行します。 デプロイツー
Mac/Windows/Linuxで利用可能なDB専用GUIツール『0xDBE』について | DevelopersIO
これまでに、(主に)Amazon Redshiftで活用出来るGUIツールとして『Intellij IDEA Ultimate Edition』や『Aginity』等を紹介して来ましたが、Intellij IDEAを開発しているJetBrain社から別種のDB関連ツールが開発されているという情報を先日知りました。 Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ Developers.IO それがこの『0xDBE』と呼ばれるものになります。アナウンス自体は1年以上前からなされていた様で、
Vaultで機密情報を管理する | DevelopersIO
Vaultとは 最近のアプリでは、データベースやAWS等、必ずといっていいほど外部システムとの連携があります。 その際に必要になるのが、パスワードやキー情報などの機密情報です。 そういった機密情報の管理は、特に注意しなければいけません。 例えば、大事なAWSキー情報やパスワードを、プログラム中やプロパティファイルに記述して、 それをGithubのようなリポジトリにpushしてしまったら、大変なことになってしまいます。 そういったミスをしないよう、安全に機密情報を管理するためのツールが、今回紹介するVaultです。 Vaultとは機密情報を管理するためのツールであり、クライアント/サーバ形式で動きます。 Vaultを使用するには、まずサーバを起動し、そこに対して機密情報を登録します。 その後、コマンドラインやHTTPでアクセスすることで、登録した情報を取得することができます。 Vaultの特
WWDC 2015 で Swift 2 が発表されました。 | DevelopersIO
Swift 2が発表されました 2015/6/8 アメリカはサンフランシスコで開催された WWDC2015 にてプログラミング言語Swiftの新バージョンであるSwift 2が発表されました。 私もTwitterのタイムラインを尻目に生中継を視聴していましたが、その中でとりわけ注目を集めていたのはなんといってもSwiftがオープンソース化し、将来的にはLinuxの上でも動くようになるという発表でした。 Appleの公式ブログによればSwiftは標準ライブラリ、コンパイラも合わせて今年の遅くにオープンソース化されるとのことです。OSSコミュニティからのコントリビューションも積極的に取り入れられるとのことで、バグの原因もOSSコミュニティの寄与によってパッチ等があてられて、目に見える形で言語開発が進むことが期待されます。 ドキュメント Pre-release版としてドキュメントがWWDC201
ネットワークの状況を確認するコマンド色々 | DevelopersIO
なんで相手に繋がらないの！？ サーバ管理していてよく起こる問題は、「なんで繋がらないの！？」ですよね。そこで、今回は基本的なネットワークをご紹介したいと思います。OSやツールのバージョンにより動作が異なりますので、それぞれ調べてみて頂ければと思います。今回は、Amazon Linux 2015.03を用いています。 ping 基本はpingですね。ICMPのにあるエコー要求/応答のpingを使って接続確認を行います。 $ ping yahoo.co.jp PING yahoo.co.jp (182.22.59.229) 56(84) bytes of data. 64 bytes from f1.top.vip.ssk.yahoo.co.jp (182.22.59.229): icmp_seq=1 ttl=54 time=4.84 ms 64 bytes from f1.top.vip.s
今さら聞けないXcodeのバージョン管理 Gitの基本的な使い方からGitHubへソースコードを公開するまで | DevelopersIO
今さらですがXcodeでGitを使ったバージョン管理の仕方をいろいろ調べたので調査結果をまとめたいと思います。調査した環境は以下になります。 Mac OS X 10.8 Mountain Lion Xcode 5.0 XcodeでのGitの使い方の記事なので、Gitって何？もしくは バージョン管理って何？という方は以下の記事を見た後でご覧ください。 ガチで5分で分かる分散型バージョン管理システムGit 目次 ローカルリポジトリ 準備：ローカルリポジトリの作成 ローカルリポジトリにコミットする ソースコードの変更を破棄する ローカルリポジトリの変更履歴を確認する 以前のバージョンとの差分を確認する リモートリポジトリ 準備：リモートリポジトリの作成 リモートリポジトリを複製する(Clone) リモートリポジトリを更新する(Push) リモートリポジトリから変更を取り込む(Pull) リモート
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
