Sparkアプリケーションの基本と、はじめに押さえておきたい重要な概念
はじめに はじめまして、IBMの田中裕一です。 デバイスやセンサの高度化による、モバイルから取得できるデータの多様化、IoTの本格化といったハードウェアの面、機械学習の本格的な広がりといったソフトウェアの面、双方の進歩もあり、ビッグデータのキーワードのもと、大規模なデータ分析基盤を構築するデータエンジニアやデータサイエンティストの重要性が増しています。 昨今いろいろな分散処理基盤や機械学習ライブラリが登場してきましたが、本連載では数回に分けてApacheプロジェクトでも人気が高いApache Spark（以下、Spark）を使い、Sparkでのプログラミングやデータ処理を中心に見ていきます。 また、分散処理系で入門時につまづくことが多いClusterでの動作や、Sparkの詳細な挙動を連載後半に回すことで、Sparkを使う際のハードルを下げられればと思っています。 対象読者 連載を通して、
東大のiMacはハイパーバイザー型仮想化環境でEl CapitanとWindows 10が動く (1/4)
東京大学にMacが大量導入されたのは、いまからさかのぼること12年前の2004年、かなりの話題になりましたよね。当時のAppleは、Xserveをベースにネットワーク経由でMacを起動するというNetBoot環境を提供しており、国内の大学でNetBootを大々的に導入したのが東大でした。 「東大」「NetBoot」という強すぎるキーワードの影響は絶大で、「ほかの教育機関がこぞってNetBootの構築を切望して困った」という悩みを、某SI企業の中の人からよく聞いた記憶があります。ちなみに、快適かつ安定性の高いNetBoot環境を構築するには、ネットワーク機器のリプレース、具体的にはギガビットイーサ以上のネットワーク環境の構築が必須ということもあり、コスト高になるのはもちろん、システム構築に時間がかかります。 東大では、2012年ごろまではNetBootを利用していたそうですが、SSDの普及に
中学生にも分かるTensorFlow入門 その１ テンソルとはなにか - Qiita
目的 このシリーズは中学三年生程度の数学の知識があれば、Python言語の機械学習記述用ライブラリを利用して記述された、基本的な教師あり学習のニューラルネットワークである誤差伝搬型3層ニューラルネットワークのプログラム、つまり、TensorFlowのサイト（TensorFlow.org)上にあるTutorialのMNIST For ML Beginnersの内容をを理解できるということを目的としています テンソルとは何か 早速本題に入り、まずはテンソルということについて考えて行きます ベクトルとスカラー テンソルについて説明する前に、まず、スカラーとベクトルについて説明します スカラーとは大きさです。例えば距離、例えば重さ、そういうものを数学用語でスカラーといいます ベクトルとは大きさと向きがあるものです。座標というものベクトルで考えることができます。それは原点をどこかにとれば、座標への向
｢独立しても成功できない人｣に共通する経験
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
