はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに データ解析の情強な方なら、Kaggle はご存じだと思います。データ解析のSkillを競うCompetitionサイトで、与えられたテーマ(Dataset)に対して、世界中のデータ解析有識者が様々なデータ解析手法を駆使してより高い正答率(Score)を競い合う場所です。 が、Kaggleそのものは知っていても、どうやればKaggleに実際に参加できてランキングに加われるのかは知らない、と言う方は多いと思います。この記事では、とりあえずKaggleの何らかのCompetitionに参加して、解析結果をSubmitして、(その時点

はじめに Jupyterは次のVersionより Jupyter Lab として大きくUIや機能が進化する予定です。ここでは、AWS EC2上でJupyter Labの環境を構築方法、簡単な使い方を自分用にチラシの裏しておきます。細かい設定はさておき、手っ取り早くEC2上にJupyter Lab環境を構築し、どんな風に進化したかを試して見る所までを目標とします。 Jupyter LabはまだPreview版で、最新情報はJupyter Lab Githubを参照下さい。 また、旧来のJupyter Notebookの環境構築方法はこちらを参照下さい。 Jupyter Labの機能概要 Jupyter Labの開発の背景、機能紹介は、SciPy 2016でのJupyterLabの紹介動画と、その時の説明Slideがわかりやすいですが、ポイントとなる資料は以下の2枚です。 Browser上であ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2015/10のAmazon re:Invent 2015でKinesis Firehoseが発表されました。 AWSが外部に一般供用するKinesis FirehoseはIoTなどのセンサデータをクラウドへ直接送る Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか これみて、ビビッと来ました。(Client appやIOT機器で)Logを収集するServerを持っていない場合でも、溜めるだけならServerメンテ0でLogをS3やRedshiftに溜められるジャン！G

はじめに Jupyter初心者なので、AWS EC2上の環境構築方法、簡単な使い方を半年後の自分用にチラシの裏しておきます。 細かい設定はさておき、手っ取り早くEC2上にJupyter環境を構築し、Jupyter上で簡単なPython scriptを動かして、JupyterのUI操作方法の初歩を覚える所までを目標とします。Linux戦闘力が低いので、極力コピペで手順がなぞれる様に心がけます。 なお、Amazon EMRを使ってSpark Cluster上にJupyterを作りたい場合にはこちらを参照下さい。また、Jupyter Notebookは次期VersionよりJuypter Labとなり大きくUI/機能が変わる予定です。Jupyter Labの環境構築方法はこちらを参照下さい。 Jupyter環境構築 まずは、Jupyter環境を構築する手順です。 EC2の作成 Jupyterを動

はじめに：Spark Dataframeとは Spark Ver 1.3からSpark Dataframeという機能が追加されました。特徴として以下の様な物があります。 Spark RDDにSchema設定を加えると、Spark DataframeのObjectを作成できる Dataframeの利点は、 SQL風の文法で、条件に該当する行を抽出したり、Dataframe同士のJoinができる filter, selectというmethodで、条件に該当する行、列を抽出できる groupBy → aggというmethodで、Logの様々な集計ができる UDF(User Defined Function)で独自関数で列に処理ができる SQLで言うPivotもサポート (Spark v1.6からの機能) つまり、RDDのmapやfilterでシコシコ記述するよりもSimple Codeで、且つ高

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2015/6にAmazon EMRでSparkが標準サポートされました。これにより、EMRでSpark Clusterを起動すれば、ものの10分ぐらいでSpark + IPythonの環境を構築できるようになりました。 が、AWS ConsoleのEMRの設定UIが大きく変わったり、IPythonがJupyterになり一部設定方法が変わったり、それらの変化に各種Documentが追従していなかったりと、色々ハマッたので、設定方法と、IPython上でPysparkを動かす方法をチラシの裏しておきます(2015/11時点での情報

最近、Node上でのPromiseの勉強を全く0からしてちょっとだけ解ってきたので、自作のcodeをチラシの裏がてらひたすら貼り付けます。ここでは、Node.js上でbluebirdを使っています。一つでも参考になる物があれば幸いです。 なお、coffee script版を知りたい人は、一旦xxx.jsとして保存して、js2coffee xxx.jsを実行！ coffee script化した時にハマッた箇所 ".catch" がjs2coffeeでエラーを吐く 原因の詳細はこちらを参照 js→coffee変換は別のこのTool使う事で回避できました Webstormが".then", ".catch" を正しくindent処理してくれない 私はjavascriptのIDEにwebstorm (v8.0)を使っていますが、promiseの.then, .catchを正しくcoffee scr

はじめに 2015/10のAmazon re:Invent 2015で、Lambdaに関して幾つかの機能追加が発表されました。 個人的に大きいのは以下の3つです。 Lambda functionをPythonで記述できる Lambda functionをSchedule実行させる事ができる Lambda functionの最大実行時間が5分に拡張された (従来は1分) AWS LambdaをData Pipelineを使ってSchedule Drivenで起動させる記事を以前書いたのですが、Schedule実行の機能はLambdaの標準機能としてサポートされました。この記事ではLambda functionをPythonを使って記述し、Schedule実行させる手順をチラ裏しておきます。 制限事項 今回発表/追加されたLambda + Python + Scheduleの実行環境ですが、気

はじめに AWS上でPython Scriptを定期的に実行させたい、というNeedsは結構あると思います。EC2を立ててcronで実行させる事で実現できますが、ここではAWSのData Pipelineの機能を使って実現する方法をチラ裏しておきます。 ただし、Data Pipelineの制約として、実行周期は15分以上にしか設定出来ないので注意してください、1分毎の実行などはできません。 なお、Data PipelineでLambda Functionを周期実行させることも可能です。ScriptがNode.js or Javaの場合は、こちらの方法でやるほうが楽だと思います。 全体の流れ 設定する項目の流れは、以下の様になっています。Python Script自体はすでに完成している前提です。 S3 BucketにPython Scriptを配置 Python Scriptを置く為のS3

はじめに AWS SummitのLambda関連のSessionに触発されてLambdaを色々触っていますが、Lambdaを既存のREST APIのServerの置き換えとして使えないか、という検討をしたメモをチラシの裏しておきます。 AWS Summitの資料はこちらにあります。Lambda関連のSession資料は以下2つ。 DEV-06 (Service）:Run Code in The Cloud : AWS Lambda 概要 DEV-08 (Mobile）:モバイル開発における AWS Lambda 活用法 追記 AmazonがAPI GatewayというServiceを発表しました。これを使えば、従来のREST API→API Gateway→Lambdaとつなげる事で、EC2無しでServer環境を作る事が可能になります。つまり、この記事に有る様なREST APIを無理矢理

Googleが、Noto SansというFontをOpen Source Licenseで配布を始めました。 Noto Sansの日本語/中国語簡体字版のFontをWeb Font化しようとしてハマった時の話と、最終的にWeb Font化した成果物をおいておきます。 Web Font化の全体の流れ & ハマりポイント ttfやotf形式のFontをWeb Font化するには、以下のような流れで処理します が、ここでポイントなのが2です。 ご承知のように日本語や中国語などはFontのFile sizeがそもそも大きいです。例えば上記のNoto Sansの日本語Fontは1つ16MB近くあります。 どうやら、FontのFile sizeが大きすぎるとBrowserの制限なのかWeb fontとして使えないみたいで、BrowserはFont fileをちゃんとDownloadしているのに表示に使

Elasticsearch, Kibanaを初めて触る人が、Amazon EC2上でまず動かして見る為のSetup手順です。Elasticsearch, Kibana, nginx(reverse proxy用)を、1個のEC2 instance上にSetupします。極力コピペで手順がなぞれる様にしています。 なお、Qiita初投稿なので、色々ご容赦ください。 必要な環境+準備 EC2 Instance * 1 t2-microとか一番小さい奴でOK EBSを10GBぐらい AMIはLinux系なら何でも (ここではUbuntu14.04 64bitとして書いています) EC2にssh loginできる環境 Port 22/80/443はアクセス出来る様に、Security policyの設定をする EC2のURLを確認しておく ここでは『http://ec2-xxxx.compute.a

fig/docker-compose初心者なので、環境構築、超簡単なdocker-compose.yml、docker-compose xxのコマンドライン辺りを半年後の自分用にチラシの裏しておきます。なお、figはdockerへ統合された事に伴い、docker-composeと名前が変わっています。ここでは(タイトルを除いて)docker-composeで統一します。 docker-compose環境をEC2にsetupする Amazon EC2 + Ubuntu14.04でのsetup手順です(docker-composeの最新verのinstallコマンドは随時ここを参照してください。以下は(現時点の最新の)Ver1.3.3の場合のCommandになります まずはDocker (>v1.3)をいれる # apt-get update # wget -qO- https://get.d

Docker初心者なので、Dockerを活用する上でのSupervisorの使い方, Tipsをチラ裏しておきます。 そもそもSupervisorとは この記事とかが参考になりますが、そもそもはプロセスの管理、Daemon化、永続化(プロセスが不正終了したら自動で再起動など)のTool、と言うイメージです。 Docker視点で見ると、『Docker Container上ではProcessがForegroundで動いていないとContainerは終了する』というContainerの制限がある中で、1つのContainer上で複数のプロセス (例えばNode + MongoやFluentd + Elasticsearchなど)を動かしたい、永続化させたい時にこのSupervisorというToolが使われます。 supervisord.confのOptionは、公式ページを見て下さい。 基本的な

docker初心者なので、Docker container同士の連携について、設定方法やらを半年後の自分用にチラシの裏しておきます。 この内容を踏まえた上で、docker-compose (旧Fig)に進む事をお奨めします。 初めに Container同士の連携と言っても、大きく2つのケースがあります。 同じHost内にあるContainer間の連携 (シングルホスト) 別のHostにあるContainerとの連携 (マルチホスト) マルチホストでの連携は、Best practiceについてまだ試行錯誤の段階にあるみたいですが、ここら辺とかここら辺を参照して見て下さい。 ここでは、シングルホストでの連携についてチラシの裏しておきます。 結論から言うと、同じHost上のContainer-A→Container-Bにアクセスさせる場合、 Container-Aの起動時に、docker run

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?