はてなブックマーク

本コンテンツは機械学習入門講座を各所でやっている内容の一部を、受講者の皆様の予習・復習のために公開しているものです。対象読者は、Pythonをやったことがほとんどない方やつまづいてしまっている方でも概ね実行できるようになるレベルで書いています。解説は講座でそれなりに詳しくしているため、コードにコメントする以上の説明はあまり記述していません。 各コードはJupyterシリーズやiPythonで記述しながら実行できるように記述しています。 AI/DX/機械学習/Pythonのアドバイザリー、社内研修、セミナー等承っております。 webサイトからお問い合わせください。 BeeComb Grid株式会社 機械学習入門シリーズ記事 機械学習入門 vol.1 Pythonの基礎１ 記述とデータ型 -> 講座第3回に相当 機械学習入門 vol.2 Pythonの基礎2 条件分岐と処理 -> 講座第3回に

Playframework2.5のアプリケーションをdockerでAWS EC2にデプロイしてCloudWatch Logsでログを集約した話です。デプロイの自動化はここでは触れません。すごいまとめていうとdockerのawslogs logging driverが楽で便利だから使おうぜーってだけの話です。 dockerの1.9以上のバージョンでAmazon CloudWatch Logs logging driverを使いました。 環境は下記の通りです。 環境 Playframework 2.5 Amazon Linux Java 1.8 (EC2ではopenjdk1.8を利用) docker 1.12.6 手順 本番用のlogbackの設定 playframeworkでdockerのビルド CloudWatch Logsの設定 EC2インスタンスでアプリケーション起動 1. 本番用のl

最初に Apache Sparkのドキュメントの日本語訳です。 他のページも翻訳していますのでご確認ください。 Apache Spark ドキュメント和訳 - Quick Start http://qiita.com/mychaelstyle/items/46440cd27ef641892a58 Apache Spark ドキュメント和訳 - Cluster Mode Overview http://qiita.com/mychaelstyle/items/610b432a1ef1a7e3d2a0 Apache Spark ドキュメント和訳 - Apache Spark on AWS EC2 http://qiita.com/mychaelstyle/items/b752087a0bee6e41c182 翻訳におかしなところを見つけたらコメントかfacebookでお知らせください。 Sub

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Apache Sparkについて Apache Software Foundationで最近トップレベルプロジェクトになり5月に最速でバージョン1がリリースされた分散処理基盤のオープンソースプロダクト。 MapReduce on HDFSとことなり繰り返し演算処理の情報をシェアードメモリで共有するため演算速度が爆速とうたわれています。 バッチでしか処理できなかった部分をリアルタイム化、タイムラグを減らすなど今後大きな期待ができるプロジェクトです。 参考他プロジェクト Twitter Stormとか EC2で簡単にクラスタを構築できるスク

以下のページの日本語訳です。みんなでSpark使いになりましょう。 http://spark.apache.org/docs/latest/quick-start.html AWS EC2でのSpark環境構築ガイドの和訳も下記で作っているのでよろしければご覧ください。 Spark on AWS EC2 http://qiita.com/mychaelstyle/items/b752087a0bee6e41c182 Cluster Mode Overview http://qiita.com/mychaelstyle/items/610b432a1ef1a7e3d2a0 和訳におかしなところがありましたらコメントにてご指摘ください。 Quick Start This tutorial provides a quick introduction to using Spark. We will

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Apache Sparkプロジェクトの以下のデプロイメントオーバービューの日本語訳です。 http://spark.apache.org/docs/latest/cluster-overview.html 翻訳におかしたところがありましたらコメントにてご指摘ください。 Quick StartとEC2導入の和訳も下記で投稿しているので会わせてご覧ください。 Quick Start http://qiita.com/mychaelstyle/items/46440cd27ef641892a58 Spark on AWS EC2 http:/

import sbt._ import Keys._ import play.Project._ import de.johoop.jacoco4sbt._ import JacocoPlugin._ import de.johoop.findbugs4sbt._ import de.johoop.findbugs4sbt.FindBugs._ import de.johoop.cpd4sbt.CopyPasteDetector._ object ApplicationBuild extends Build { val appName = "MyProject" val appVersion = "1.0-SNAPSHOT" val main = play.Project(appName, appVersion).settings( ProjectSettings.all: _* ) }

私的Java開発をJenkinsでCIするためのbuild.gradleとJenkinsの設定です。要不要に応じて書き換えたり足したりが必要です。特にチェックルール。 環境 Java 1.7 Groovy 1.8.6 Ant 1.9.2 Ivy 2.2.0 Gradle 1.11 Mac OS X 10.9.2 全体の流れ Jenkinsに必要なプラグインをインストール GradleでFindBugs, PMD, CPDを実行するようbuild.gradleを作成 Eclipseでは Jenkinsにいれるプラグイン Gradle plugin - jenkins+gradle連携 FindBugs Plug-in - バグ検知 PMD Plugin - コーディングチェック Violations plugin - 静的レポートの集計表示 JaCoCo plugin - コードカバレッジの

インターフェース変更 久しぶりにApache Jakarta HttpClientを利用してみたところ最新の4.3であまりにもインターフェースが変更されていて非推奨の警告ばかりでてきました。 警告なので当面は動作するのですが今後のことを考えて正しい使い方を調べてサンプルコードを作成してみました。 2013年11月現在、英語も含めてあまりサンプルソースコードが見つからないので参考にしたのは本家のJavaDocとソースコードを追って確認しました。 これまで使い慣れていた人にとってdeprecatedが多くなってしまうほどの大幅な変更です。 本家JavaDoc https://hc.apache.org/httpcomponents-client-4.3.x/httpclient/apidocs/ 大きな変更点として、実装面ではスレッド処理に強い実装になっていること、プログラミング記述上の変更点

capistranoを利用してEC2のオートスケールインスタンスにデプロイします。 「正常」な本番化のためにはオートスケールで起動したインスタンス内のソースコードも最新の状態に保つ必要がありますが、AMIを都度作りなおすのは面倒です。 ここでは自動起動するインスタンス側にもcapistranoを仕込んで起動時にソースコードをリリース用のブランチから自動で取得するように設定します。 capistranoはバージョン3が出ていますがバージョン2を使います。 前提 VPC内でオートスケール インスタンスのタグ名は統一。 [プロジェクト名]-[ロール名]-[識別子] ポイント AMIにローカルデプロイ用capファイルを仕込んで起動時に本番ソースコードを取得する デプロイ用サーバから指定のタグ名を持つオートスケールインスタンスを自動取得してデプロイできる PHPやperlならこれだけでほぼクリアでき

バッチ処理をおこなう実行可能jarを生成する場合にはコマンドラインでいちいちクラスパスを設定するのは面倒ですし依存関係がかわるとバッチ処理コマンドも変更する必要が出てくるので管理が煩雑です。 gradleを利用してjarを生成する際に依存jar内のクラスも含めて一つのjarに入れればデプロイが格段に楽になります。 やり方は簡単。 build.gradleファイルのjarの設定に from configurations.compile.collect { it.isDirectory() ? it : zipTree(it) } を加えるだけでできます。 apply plugin: "java" apply plugin: "maven" def defaultEncoding = 'UTF-8' [compileJava, compileTestJava]*.options*.encodi

HTML5ではタグを閉じなくてもよいのでjava.xmlのDocumentBuilderでそのままパースできません。 Validator.nu HTML Parserを利用するのが一番簡単です。 日本語のドキュメントが少ないのでメモを共有します。 このライブラリはFirefox4系のコアでC++にコード変換して利用されているとのことでかなり信頼性が高いと考えられます。これまでに数百のサイトのhtmlを解析してみましたがパースでエラーが出たことはまだありません。英語のドキュメントでの利用方法もそれなりに充実しています。 本投稿時点でのバージョンは1.4です。 使い方 まずは上記URLにあるzipをダウンロードしhtmlparser-1.4.jarにビルドパスを通します。 nu.validator.htmlparser.dom.DocumentBuilderクラスを利用することで簡単にorg.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?