何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
$ sudo docker network ls NETWORK ID NAME DRIVER 10aa51e2d993 bridge bridge 202b87d7b8a4 none null 92316fc5522f host host これらのNetwork はDocker の実装となっています。 コンテナを起動するときに--net フラグで、コンテナがどのNetwork を使用するかを指定することができます。 none ネットワークについて none ネットワークはnull なネットワークドライバの実装です。 ネットワーク接続を必要としないコンテナを作成する場合に使用されます。 none ネットワークを使用したbusy box コンテナを起動し、コンテナにログインしてネットワークを見てみましょう。 $ docker run --name none_net_busybox --net
マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoricalの活用 scipy.sparseの疎行列クラスの活用 さいごに 参考 データの縦横変換 機械学習や統計解析をする際に頻出するデータの前処理の1つに、データの縦横変換があります。 縦横変換とは、縦持ち(またはlong型)のデータと、横持ち(またはwide型)のデータを互いに変換することを指します。 縦持ちのデータの例 横持ちのデータの例 例示したこの2つのテーブルは、表現形式こそ異なりますが、表しているデータ自体はどちらも同じものになります。 ユーザーの行動予測をする
pandasのgroupbyがなかなか便利だったのでチートシートっぽいものを作っておく。 ほぼ自分用のメモ。 参考にさせていただいたサイトなど 詳しいことは下記のリンクを参照 pandasのドキュメント https://pandas.pydata.org/pandas-docs/stable/reference/groupby.html nkmk.meさんのサイト https://note.nkmk.me/python-pandas-groupby-statistics/ Takashi Yamamiyaさんの記事 https://qiita.com/propella/items/a9a32b878c77222630ae 環境とか python 3.7.2 pandas 0.23.4 データとかの準備 データはseabornのirisを使ってみる。
This is a translation of Functors, Applicatives, And Monads In Pictures from Haskell into Elm. I left the Haskell examples as reference. I don’t want to take any merit for writing this, I only went through the fun exercise of translating the code snippets in Elm. If you enjoy this post be sure to say thanks to the author of the original version: Aditya Bhargava, @_egonschiele on Twitter. This is t
一般的なチャート(8) インフォグラフィック(3) 地図・マップ(1) ネットワークグラフ(1) 関数のグラフ(1) エンジニア向け 一般的なチャート(10) 地図・マップ(4) ネットワークグラフ(1) 株価チャート(1) 1.一般的なチャート (1)RAWGraphs RAWGraphs はクラウド型、オープンソースのデータ視覚化ツールであり、 Excelのデータを処理するためによく使われます。RAWGraphsにデータをアップロードし、ほしいグラフを設計して、 SVGかPNGの画像に出力すれば済みます。RAWGraphsにアップロードされたデータは Web側でのみ処理されるので、 データの安全を保証できます。 (2)ChartBlocks ChartBlocks はグラフ作成のオンラインツールであり、スマートデータインポートガイドに従えば、データのインポートとグラフの設計を簡単に完了
NTTの須田です.Moby (≒Docker),BuildKit,containerdなど,コンテナ関連のオープンソースソフトウェアのメンテナ (開発委員.コミッタとも.)を務めています.また,Docker Meetup Tokyoの企画・運営も行っています. 2019年4月29日~5月2日にかけて, Docker公式のカンファレンスである DockerCon が サンフランシスコにて開催されました. Dockerをより安全に使うための技術「Rootlessモード」に関して発表してきましたので,紹介します. RootlessモードとはRootlessモードは,Dockerデーモン及びコンテナを,非rootユーザで実行する技術です.Rootlessモードを用いることにより,万一Dockerに脆弱性や設定ミスがあっても,攻撃者にホストのroot権限を奪取されることを防ぐことが出来ます. 須田は
We believe business users can turn into citizen data scientists with us.Metatron Discovery gives your business the power to fly. Metatron Discovery: Find your insights at once Metatron Discovery is a big data analysis platform supports overall process from data cleansing to visualization. Where more than 10 billion of large volume data are processed in seconds, analyze data on variety of levels, d
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
This post is part of the “Before you go Go” series, where we explore the world of Golang, provide tips and insights you should know when writing Go, so you don’t have to learn them the hard way. I assume you have at least some basic Go background, but if you feel at any point you’re not familiar with the materials discussed, feel free to pause, research and come back. Now that we got all of this o
【2019/09/12 追記】 この資料は旧版であり、最新版が存在します。 2019/09/12 にアップロードしたものをご参照ください 最新版 → https://www.slideshare.net/AmazonWebServicesJapan/db-20190905 --------(元の文)------------------- 2019/05/09 に #AWSLoft Tokyo で開催されたイベント、「イチから理解するサーバーレスアプリ開発」における講演資料の一つです。 ・サーバーレスアプリケーションにおいて Amazon DynamoDB が利用しやすい理由 ・RDB と DynamoDB の設計プロセス・考え方の対比・明文化 ・実例に沿った DynamoDB の設計プロセス解説とサンプル例題 などを含みます。 イベント: https://understandingbasi
Wails v2 turns what used to be tedious and painful into a delightfully simple process. Use the tools you know to create cross-platform desktop apps. Everyone wins!— Brian Ketelsen Co-author of "Go In Action" Feature RichBuild comprehensive cross-platform applications using native UI elements such as menus and dialogs.
In this video, we talk about some of the concurrency features of Golang such as goroutines, wait groups and mutexes. We build a simple application to demonstrate their proper use. Code: https://gist.github.com/RohitAwate/ebbbccac3063ae14c2e83564e0bceb75 Artwork by Egon Elbre (https://github.com/egonelbre), licensed under CC0. Social: GitHub: https://github.com/RohitAwate Twitter: https://twitte
久しぶりに自宅のスマートハウス環境をアップデートしたので、色々とポイントをメモ。あわせて、Takramさんと対談した「スマートじゃない家電」のポッドキャスト貼っときます。 スマートホームを作るポイントイカしたスマートハウスを作るルールはたった1つ。 「スマート冷蔵庫とかスマート洗濯機とか、そういうのは買うな」ああいう大物スマート家電は言うほどスマートではない。価格が高い割に賞味期限が短く、なけなしのボーナスを突っ込んで買っても、来年にはサービスが停止しているかもしれない。高額リスク案件だ。 あと裏情報として、大手のIoT家電は「弊社もIoTを!』みたいな雑なノリか、「消費者の利用データが取りたい」という企業目線ではじまった企画が多い。つまり、ユーザー視点では生活が便利にならない。 さらにお国の指針で、日本では「遠隔でオンにするタイプのスマート家電」が大手からは事実上出せない。遠隔からオンに
こちらのイベントに行ってきたので感想を書きます。 genbade-ddd.connpass.com 登壇者、主催者には参加者からのフィードバックがたぶん一番嬉しくて、次回開催のモチベーションにもつながるのでみなさんもブログを書くととても喜ばれますし、ブログが大変ならツイッターでも伝えるとすごく良いと思います。わたしも勉強会の手伝いをやったことがあるのでその辺はわかります。 ソフトウェアの核心にある複雑さに立ち向かう 株式会社ギルドワークス 増田 亨 初めて増田さんを直接みてお話を聞きました。サンプルコードが出てこない抽象度の高い内容の発表だったのに、参加者に「それそれ!」と思わせるトークはさすがだと思います。基本的には増田さんの著書の内容の復習みたいなものだと思いますが、著者本人がライブで強調する部分、例えば型を使うことの効用を説くのを見られるのは伝わり方が違う、本を読むだけとはまた違うな
genbade-ddd.connpass.com こちらのイベントに参加してきました。 タイトルに「レガシーをぶっつぶせ」とあった効果か、基本レガシーに立ち向かった実体験ベースの具体的な、泥臭い話が多くて非常に楽しかったです。 DDD周りって結構抽象的な話に終始してしまうことが多いので、これほど具体的な話が集まったイベントはすごく貴重だったと思います。人数も相当集まっており相当好評だったようでまたやりたい、とクロージングで話されていたので、また次回に期待したいです。 モデリングハンズオン その中で、「DDDモデリングハンズオン」というコンテンツがあり、モデリングしながらドライバーの方がライブでコードを書いていただくというとても良いコンテンツがあったので参加してきました。 そこでは携帯の月額プランをお題にモデリングをされていました。 そこで参加した内容が時間内に終わらなかったこともあり、自分
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く