はてなブックマーク

この記事はDistributed computing Advent Calendar8日目の記事です。 Hadoopをはじめとする大規模な計算リソースを効率よく使うにはリソーススケジューラが必要です。分散システムでのリソーススケジューラといえばYARNやMesosといったシステムが有名ですが、今回は分散システムでの効率のよいスケジューリングを定義したDominant Resource Fairnessという考え方とそのYARN上での実装についてまとめてみました。 "Fairness"の難しさ 分散システムに限らずリソーススケジューリングにおいて目標とされるもののひとつとして"Fairness"があります。曖昧な言葉ではありますが、効率のよいシステムでは限られたリソースを複数のユーザ、タスク間で共有してそれぞれの要求を満たしつつ、全体のスループットもあげていくことが求められます。このときにど

この記事はSpark Advent Calendar 2015の記事です。 SparkのSecurity HadoopもSparkと同じようにデータ処理のための分散フレームワークなのでsecureなデータを使って処理を行うことはままあります。Sparkはそれ単体ではストレージレイヤーを含まないものの(Tachiyonとか最近でてきましたが)そのデータを使うjobを好きなように投げることができます。通常HDFSやS3にあるデータは認証、認可を経てアクセスされるようになっていると思います。今回はそれよりも上の層のSparkのjob自体をsubmitするとき、jobの情報を参照するときの認証、認可がどのように行われているかを見てみたいと思います。 Sparkでの認証 Shared secret 最もシンプルな方法はshared secret tokenを使う方法です。shared secret

この記事はSpark Advent Calendar 16日目の記事です。 SparkのUser Interface Sparkに対して通常ジョブを実行する際には以下のような選択肢があると思います。 spark-submit: スケジュールされたジョブ、すでに固定化されたproductionのジョブなど spark-shell: interactiveに処理を実行させたい場合 spark-sql: SQLをinteractiveに書きたい場合 pyspark: PythonでSparkのジョブを書きたい場合 これらはすべてSparkのパッケージに同包されていますが、全部CLIです。ブラウザなどからGUIとして使えるツールとしては Jupyter Apache Zeppelin などがあります。Jupyterは元々Pythonの分析用GUIツールとして作られたみたいですが、今はSparkもサ

この記事はSpark Advent Calendar 9日目の記事として書きました。 Spark上でDeep Learningのアルゴリズムを走らせるにはいくつか方法があります。 MLlibで実装されているMultilayerPerceptronClassifierを使う Sparkling Waterを使う deeplearning4jを使う 今回は３つ目のdeeplearning4jをSparkから利用する方法を紹介したいと思います。 deeplearning4jとは Skymindが中心となって開発をしているJVM上で動くDeep Learningのフレームワークです。Deep Learningのアルゴリズムを実装したものはCaffeやTorch, Chainerなどがありますが、これらはメインではLuaやC/C++で実装されています。deeplearning4jはJava, Sca

この記事はTreasure Data Advent Calendar 9日目の記事です。 今年の10月頃からTreasure DataのBackend Teamで働いています佐々木といいます。 今回はTreasure Dataで動くHadoopの、中からみたすごいところをなるべく私自身の初々しさが残るうちに書いておきたいと思い筆をとりました。 Treasure DataのHadoop まずはじめにTreasure Dataで動いているHadoopとその周りのアーキテクチャを簡単に紹介したいと思います。 Treasure Data, Architecture Overviewより Treasure Dataはフルマネージドなデータ処理、管理のためのCloudサービスです。Treasure Dataでは上記のように大きく分けて3つの役割を担うコンポーネントたちが存在します。 データの取得(Ac

この記事はApache Spark Advent Calendar二日目の記事として書きました。 Apache Sparkにはその分散処理の特徴を活かした機械学習ライブラリ、MLlib, MLが含まれています。元々オンメモリで分散処理を行うSparkにとってiterativeな計算が必要な場面の多い機械学習のアルゴリズムとは親和性が高く期待の大きかった分野のひとつでもあります。 モデルの大きさ ところがDeep learningのような最近話題の手法、アルゴリズムでは非常に大きなモデルを扱う場合があります。ここでの大きさとは次元数、合計としてのデータ容量の大きさを含みます。MLlibのアルゴリズムを見てみるとしばしば以下のようにモデルの重みをbroadcastしていることがわかります。 while (!converged && i <= numIterations) { // 重みをbro

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Swiftでの継承で気をつけること initializerはデフォルトでは継承されない サブクラスのを呼び出すときにスーパークラスのinitializerはデフォルトでは見えないので サブクラスの型で実装してあげる必要がある。ここはObjective-Cと少し違うところらしい。 class SuperClass { var value: Int init(v: Int) { value = v } func description() -> String { return "The values is \(value)" } } class SubClass: SuperClass { init() { super.init(v: 3) println("This is SubClass's initializer") } } let c: SubClass = SubClass(v: 4

scikit-learnCross ValidationとGrid Searchをやってみた。 Cross Validation 詳しいことはWikipediaに書いてある。 Cross Validationはモデルの妥当性を検証する方法のひとつ。一般的に開発用のデータは訓練データと検証データに分かれる。 しかし、このまま行ってしまうと折角の訓練データが減ってしまうことになる上に、訓練データの選び方によって汎化性能が下がってしまう可能性がある。 Wikipediaに書いてあるもののホールド・アウト検定がこれに当たる。一般にはこれはCross Validationにはあたらない。 ここに書いてあるK-分割交差検定がこれに当たる。K-分割交差検定では開発用のデータをK個に分割しK-1個を訓練用に、残りの一つを検証用に使いモデルの正当性を計算する。 これにより使える訓練データが増えると同時に、こ

AVCaptureVideoPreviewLayerとAVCaptureMovieFileOutputを使ってカメラ映像を見ながら録画する方法をメモ。なんでこんなこと書くかというとAVFoundationではAVCaptureVideoOutputとAVCaptureMovieFileOutputは同時には使えないっぽいので、このPreviewLayerというものを使って同時に見るしかないみたい。 参考：StackOverflow 必要なFramework Foundation AVFoundation CoreMedia CoreVideo AssetLibrary (カメラロールに保存するのなら必要) 必要なクラス 詳しいことはAVFoundationの仕様を読んでもらった方がいいけれど、今回必要なものは以下。 AVCaptureSession : InputとOutputの橋渡し的な

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

NSMutableString *wantedString; -(void)parser:(NSXMLParser *)parser didStartElement:(NSString *)elementName namespaceURI:(NSString *)namespaceURI qualifiedName:(NSString *)qName attributes:(NSDictionary *)attributeDict{ wantedString = [NSMutableString string]; } -(void)parser:(NSXMLParser *)parser foundCharacters:(NSString *)string{ if( [currentElement isEqualToString:@"WantedString"] ){ [wantedStr