Mapを極める - key->valueの索引の使い方 | Scala Cookbook
Mapは key -> valueの索引のためのデータ構造。keyの値には重複を許さない。 Mapの作成 scala> val m = Map(1 -> "Apple", 2 -> "Banana", 3 -> "Chocolate") m: scala.collection.immutable.Map[Int,java.lang.String] = Map(1 -> Apple, 2 -> Banana, 3 -> Chocolate) 1 -> "Apple"の部分では、(1, "Apple")のTupleが生成され、最終的にMap.apply(elems:(A, B)*)が呼ばれている。 Builderを使ってMapを作成 val m = { val b = Map.newBuilder[Int, String] b += 1 -> "Apple" b += 2 -> "Banana
Homebrew で Mac の環境を移行したり同期する
新しい Mac にアプリやライブラリ等を Homebrew によって自動で移行させて、かつ双方 の Mac で環境を同期させるやり方の覚え書き。 古い Mac での設定 Homebrew と git (Developer tool が入っているなら大丈夫) が既に入っている前提。 Homebrew のアップデート brew update brew upgrade Homebrew-Cask のインストール /Applications/ フォルダ内のアプリを Homebrew で入れられるようにするツール。 brew install caskroom/cask/brew-cask Homebrew-file の設定 Homebrew-Cask で入れたアプリも含め、Homebrew 経由で入れたアプリ、パッケージ等を一元管理するためのツール。 git の設定 自分は使い回している .gitc
AWS Solutions Architect ブログ
Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成 Amazonのパーソナライゼーションでは、お客様毎の製品レコメンデーションを生成するためにニューラルネットワークを使っています。Amazonの製品カタログは、あるお客様が購入した製品の数に比較して非常に巨大なので、データセットは極端に疎になってしまいます。そして、お客様の数と製品の数は何億にものぼるため、我々のニューラルネットワークのモデルは複数のGPUで分散しなければ、空間や時間の制約を満たすことができません。 そのため、GPU上で動作するDSSTNE (the Deep Scalable Sparse Tensor Neural Engine)を開発しオープンソースにしました。我々はDSSTNEを使ってニューラルネットワークを学習しレコメンデーションを生成していて、ECのウェブサイト
Hive on EMRで手っ取り早くTezを使う - Qiita
サマリ 社内でTezのデモを見たんだけど、非常に使い始めが簡単で、しかもクエリ高速化の効果がかなり高いので使い方をまとめておく。手順的にはビルド済みのTezをEMRのBootstrap actionでS3から配布する感じ。 Hiveの実行エンジンをMapReduceからTezに変えるだけで25%から、場合によっては50%以上も性能が上がるので、費用対効果としてはかなり高い施策だと思う。 クラスタ起動 aws emr create-cluster \ --name tez_installed_cluster \ --ami-version 3.5.0 \ --applications Name=Hive \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c3.xlarge InstanceGro
大規模データについて第3回～EMR開発_基礎編～ - Qiita
今回から開発編ということで、いままで開発で得た EMR開発の実践的なところを紹介していきます！ 開発編を１回で記事にしてしまうとボリュームが多すぎてしまうので、 基礎編、実装編 と分けることにしました。 早速ですが、 投稿スケジュールを以下に変更させていただきます;; ・11月上旬 ～EMR開発基礎編～ ・11月下旬 ～EMR開発実装編～ ・12月上旬 ～EMR開発_運用編～ ・12月下旬 〜Redshiftについて 今回は、基礎編と題しましてEMR開発における 土台 の部分について書きたいと思います。 はじめに 先ずは、EMRを動かすために必要なものを一通り ・AWSアカウント ・アカウントに紐づくアクセスキー/シークレットキー ・処理対象のデータ ・Hadoopを動かすためのMapReduceコード(Hive/Pigの場合は不要) ・CLIツール(Webコンソールでも代用可能) 以上で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
