Spark Casual Talk #1 (2015/06/23)発表資料 『メキメキ開発の進む Apache Sparkのいまとこれから』 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔(Apache Sparkコミッタ)、土橋 昌 ※イベントページ http://connpass.com/event/15575/Read less
![メキメキ開発の進む Apache Sparkのいまとこれから (Spark Casual Talk #1 発表資料)](https://cdn-ak-scissors.b.st-hatena.com/image/square/83685d8bcbc94e42d6bd174fba57a5672b323720/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20150623sparkcasualtalkall-150623114925-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
↓↓↓↓訂正あります。↓↓↓↓ 2018/07/02に株式会社エフコード社内で行われた勉強会のスライドです。 訂正版(随時更新中): https://docs.google.com/presentation/d/15HOMfAbtdWwO48njcB8IdkN3kVAMu3wsmZo0O3S-f_4/edit?usp=sharing 専門家による資料・専門家向けの資料ではありません。自分自身で学習し、論文・文献等を読解してまとめた内容となります。間違い等あるかもしれませんが、あれば是非コメント頂ければと思います。 【訂正事項】 スライド16: 誤:たった一つのプロセスが故障しただけでも有限時間で合意できない 正:たった一つのプロセスが故障しうるだけでも有限時間で合意できない スライド20: 誤: 重要: あるschedule σ1, σ2 がdisjoint (nodeが被ってない) なら
情報処理学会 数理モデル化と問題解決(MPS)研究会 概説 当研究会は, 問題の数理的把握とモデル化及び その有効な解決手法の開発に関する研究交流の場として, 1995年に誕生しました. 以来, コンピュータを用いた問題解決が求められる理工系・人文社会系の諸分野全体を対象とし, 活発な学際的研究会として成長してまいりました. 特に, 1999年からは情報処理学会論文誌「数理モデル化と応用」を編集発行し,それにより研究会・シンポジウムの発表, 申し込みも一層活性化されました. 今後, 論文誌の更なる充実・発展を期し, 研究会全体のより一層の国際化及び学際化を進め, 産・官・学の良き交流の場を確立してゆきたいと考えております. 研究会設立の目的 社会や企業等における種々の複雑な実問題を解決するためには, 先ず,いかにしてそれを適切に定式化した数理モデルとして表現するかが, 重要な第一ステップと
Accord: A high-performance coordination service for write-intensive workloads Overview Accord is a high-performance coordination service like Apache ZooKeeper that uses Corosync Cluster Engine as a total-order messaging infrastructure. It features: Accord is a distributed, transactional, and fully-replicated (No SPoF) Key-Value Store with strong consistency. Accord can be scale-out up to tens of n
質問 git log でヒストリを追いかけようとすると、どうも過去にディレクトリツリーを大幅に変更したらしく、追いかけるのが大変です。 なんとかならないでしょうか。 回答 以下の3つのコミットハッシュをチェックアウトして、それぞれブランチを切っておけば多少は追いかけるのが楽になります。 pre-HADOOP-7560 コミットハッシュ eda88e7e1d1653643c959d547f672c9ad98f9dfb 最後のディレクトリ大改造。trunk だと git log 使ってもここまでしか追えないので超絶めんどくさい。そしてディレクトリ編成はこれだけではない。 pre-HADOOP-6671 コミットハッシュ 58ab6d673734f2ee9f514ac10a6d31655a1d1861 HADOOP-6671 でもかなり改造されてる。 pre-directory-name-cha
Mahout はやっぱり Hadoop の上で使ってこそでしょ。というわけで開発用にも Hadoop をセットアップしなければならない。 基本的に Hadoop は Linux で使うべき。Linux 上での疑似分散くらいまでなら結構簡単にセットアップできる。ネット上にいっぱい情報がある。Cloudera 使ってもいい(まだ使ったこと無いけど)。 スタンドアローンなら Windows でもそんなには難しくない。けど、疑似分散になると途端にやっかい。 そんなこんなで Windows 2008 x64 に Hadoop 0.21.0 を疑似分散でセットアップにチャレンジ。 最初に結論から。 Hadoop 0.21.0 は使うな。 Windows で Hadoop は使うな。 【追記】Mahout 0.4 が Hadoop 0.20.2 なので、最初からそれを使うのがベストだった。0.5-SNA
Embulk のプラグインを作るにあたって、pure java と jruby でどれぐらい速度差が出るのか気になったので、それぞれ同じ動作をする簡単なプラグインを作って速度比較してみた。 java版 https://github.com/sonots/embulk-filter-java_pass ruby版 https://github.com/sonots/embulk-filter-ruby_pass このプラグインは、入力データをそのまま通すだけの filter プラグインで、ruby 実装だととても単純で、ただ入力を page_builder に add するだけになっている。 def add(page) page.each do |record| @page_builder.add(record) end end Java 版だと型があるので、Visitor を使ってもう少し
Computational Statistics in Python 0.1 Site Introduction to Python Variables Operators Iterators Conditional Statements Functions Strings and String Handling Lists, Tuples, Dictionaries Classes Modules The standard library Keeping the Anaconda distribution up-to-date Exercises Getting started with Python and the IPython notebook Cells Code Cells Magic Commands Python as Glue Python <-> R <-> Matla
Fedora17でCDH4をインストールした。 また擬似分散モードでの起動を確認した。 インストール JDK6をインストールする CDH4がOracleのJDK6に依存しているので、 http://www.oracle.com/technetwork/java/javase/downloads/jdk6u37-downloads-1859587.htmlよりインストーラをダウンロードしてインストールする。 $ cd ダウンロード $ chmod +x jdk-6u37-linux-x64-rpm.bin $ sudo ./jdk-6u37-linux-x64-rpm.bin $ sudo alternatives --install /usr/bin/java java /usr/java/jdk1.6.0_37/bin/java 20000 ~/.bashrcに以下を追加する $ exp
とりあえずHadoop Core (CDH3なら、hadoop-0.20-0.20.2+923.194-1.noarch)だけインストールすれば、とりあえず使えるようになる。 ただ、何も設定しないと、 hadoop -fs ls hdfs://namenode:54310/tmp のように、FQDNで指定しないとアクセスできない。「hdfs://・・・」を省略すると、ローカルのファイルシステムにアクセスしにいく。 core-site.xml に fs.default.name を入れれば、デフォのファイルシステムを設定できる。
HTMLやJavaScriptにデバッグやテストのためだけのコードを書いておき、リリース時は消しておきたいといというシチュエーションがあると思います。 gulpなどを使うのかなと思って、調べたら意外にC/C++のプリプロセッサを使う方法が出てきました。 perezvon.hatenablog.com 前提 clang Apple LLVM version 6.1.0 (clang-602.0.53) (based on LLVM 3.6.0svn) プリプロセッサってなに? Wikipediaによると プリプロセッサ - Wikipedia コンパイル処理において、プリプロセッサ(preprocessor)とは、コンパイラがソースコードをコンパイルする前に、一旦ソースコードに処理を施すためのプログラムである。 処理内容 以下のようなものがある。 ファイルの読み込み (including)
こんにちは。西槇です。 先日、Javaでバッチプログラムを作る機会がありましたので、 実行可能なJARファイルの作り方と実行の仕方を簡単に説明したいと思います。 Java言語で開発するというと、Eclipseを使用されている方が多いと思いますので、 Eclipseの画面と共に説明します。 まず、プロジェクトエクスプローラー上で右クリック->エクスポートを実行します。 下記画面のようにどのような形式でエクスポートするか選択できますので、 Javaを展開し、実行可能JARファイルを選択し、次に進みます。 次に、実行可能JARファイルの仕様についての設定画面が表示されます。 起動構成は、クラス名 - プロジェクト名の形式で、プルダウンが表示されるので、 JARファイルにしたいクラスを選択します。 エクスポート先は、JARファイルの保存先を指定します。 ライブラリー処理は、プログラムが動作するのに
JARファイルは作成したJavaアプリケーションを配布するときに便利です。Eclipseを使うとウィザードに従うだけで、実行可能なJARファイルを簡単に作成できます。マニフェスト・ファイルを用意しておく必要もありません。自動的に作ってくれます。 それでは早速、JARファイルを作成してみましょう。 【1】Eclipse を起動します。 【2】パッケージ・エクスプローラーで sample302 を右クリックします。 【3】メニューから エクスポート を選択します。 【4】エクスポート画面が表示されたら、 Java → JARファイル を選択し、「次へ」ボタンをクリックします。 【5】以下のように設定したら、「次へ」ボタンをクリックします。 *エクスポート先は sample302 以外にしてください。 【6】そのまま「次へ」ボタンをクリックします。 【7】マニフェスト・ファイルを生成 にチェック
いま、欧米のIT業界で最もホットな話題の1つが「Docker(ドッカー)」です。 「ウチの技術部門がポスト仮想化とか言っているけど、本当なのか?」 「Dockerって、コンテナを船に積む人?」 Dockerとは、一体何者なのでしょう。そして、なぜ企業がDockerに着目するのでしょう。19年以上オープンソースを手掛けているオープンソース・Linuxテクノロジーエバンジェリストの古賀政純が「Dockerって何?」を、“攻め”たいと思っているIT部門/情シスの方に向けて解説していきます。 本連載の目的は、Dockerに対する漠然としたイメージや誤解を払しょくし、正しくDockerを理解することにあります。このことは、システムの保守だけではないこれからの情シスに求められる“攻めのIT”の強い武器になると信じています。 まずはDockerとは何? ですよね。それには、Docker誕生以前の基礎技術
Private content!This content has been marked as private by the uploader.
In this chapter, we will use MLlib to make personalized movie recommendations tailored for you. We will work with 10 million ratings from 72,000 users on 10,000 movies, collected by MovieLens. This dataset is pre-loaded in your USB drive under data/movielens/large. For quick testing of your code, you may want to use a smaller dataset under data/movielens/medium, which contains 1 million ratings fr
Trying to grasp a basic concept of how distancing with ibeacon (beacon/ Bluetooth-lowenergy/BLE) can work. Is there any true documentation on how far exactly an ibeacon can measure. Lets say I am 300 feet away...is it possible for an ibeacon to detect this? Specifically for v4 &. v5 and with iOS but generally any BLE device. How does Bluetooth frequency & throughput affect this? Can beacon devices
Sho Shimauchi @shiumachi "Sparkは、ビッグデータ処理ソフトの定番「Hadoop」に続く、次なるビッグデータ処理の主役に目され始めている" ちょっと私の理解と違うかなあ itpro.nikkeibp.co.jp/atcl/column/15… Sho Shimauchi @shiumachi SparkはHadoopと比較するのではなく、 MapReduceと比較するものだと思っている。 バッチ処理(MapReduce)や、SQL (Impala/Presto/Drill)、全文検索(Solr/Elasticsearch)等に並ぶ新しい分散処理がSparkという認識 Sho Shimauchi @shiumachi そもそもHadoopは何か。HDFS(分散ストレージ)+MapReduce(分散バッチ処理)だけの時代はこのまま覚えていればよかった。しかし、Map
Spring Bootハンズオン¶ 本ハンズオンでは、簡単なECサイト作成を通じて、Spring Framework/Spring Bootの機能を学んでいきます。 また、RedisやSpring Sessionを用いてスケーラブルなWebアプリケーション作成方法を学びます。 ハンズオンを始める前に以下のソフトウェアをインストールしておいてください。 Gitのインストール Java SE 8u45以上のインストール Maven 3のインストール IntelliJ IDEA(推奨) または Spring Tool Suite(Eclipse)のインストール IDEのLombokプラグイン(IntelliJ IDE用0.9.4以上、またはEclipse用1.16.4以上)のインストール 【オプション】Redisのインストール 【オプション】Dockerのインストール 「はじめてのSpring
よく訓練されたアップル信者、都元です。個人的な話になりますが、少し前にMacbookを新調しました。それまで利用していたMacbookは、Time Capsule経由でバックアップ-リストア経由で何台も渡り歩いてきた、最初に手に入れたMacから脈々と受け継がれる秘伝のタレ状態でした。MacPortsでパッケージを管理していた時代もありましたし、Homebrew Caskも導入していませんでした。 マシンを新調するにあたって、再びバックアップ-リストアを行えば、今までどおりの環境をそのまま移行できます。しかし、モダンなサーバ環境構築で取り入れられているInfrastructure As Codeを自分のクライアント環境でも実現できないか、と考えました。 記述に依る定義 サーバ環境の構成をコードで記述するメリットとしては、構築の自動化と再現性の高さを挙げることが多いと思います。要するに開発環境
gistfile1.txt # generate rootfs sudo debootstrap --arch=amd64 trusty rootfs # container.json (from README.md) cat <<__EOF__>container.json { "version": "0.1", "os": "linux", "arch": "amd64", "processes": [ { "tty": true, "user": "daemon", "args": [ "sh" ], "env": [ "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "TERM=xterm" ], "cwd": "" } ], "root": { "path": "rootfs", "reado
ɾίϯςΩετ͖ଟόϯσΟοτʹΑΔίϯςϯπ࠷దԽ ɹɾ7PXQBM�8BCCJU�Λར༻ ɾ�ʹ�ίϯςϯπ ɹɾF�H��ݙཱɺهࣄɺྉཧಈը ɾใु�ʹ�$53 ɹɾϢʔβʹظ͞ΕΔ͕׆༻࣌ʹબ͞ΕΔ ɾͷબ ɹɾ୳ࡧ࣌ɿҰ෦�17�ͰϥϯμϜʹબ ɹɾ׆༻࣌ɿ$53�࠷େͱظ͞ΕΔͷΛબ 10/9� 10/10% 10/11% 10/9� 10/10% 10/11% m/d� m/d� m�d������% ��� � �% m�d������% ������ �% construct%training% and%test%data� m/d% % %m’/d’% �� m�d��m’�d’��� % � ���� �����% Amazon%S3� �� �� ��� 10/9% % 10/11% �� …� …� predict%ac:ons� lea
技術部の小野(taiki45)です。クックパッドではこれまで様々なデータベースの負荷対策を行ってきましたが、シャーディングは行われていませんでした。しかし先日クックパッドの認可サーバーが利用している MySQL サーバーの負荷分散のためにクックパッドで初めてのシャーディングを行ったので、Rails アプリケーションでのシャーディングの事例のひとつとしてその際の手法をご紹介したいとおもいます。 構成 Before データベースは1マスター、1ホットスタンバイ、バッチ用の1リードレプリカで構成されています。Read オペレーションのほとんどはキャッシュ層に逃しています。 After データベースの各ロールにつきそれぞれ1台ずつマシンが増えています。 シャーディングが必要になった背景 認可サーバーのアクセストークンの作成・削除時の Write オペレーションが急増し、レコード数自体も急増していて
OpenStackとTerraformで作るPhoenix Environments ~よみがえれ、俺のインフラ~Read less
Preferred Infrastructure(以下PFI)からスピンオフした会社、Preferred NetworksのリリースしたDeepLearningライブラリのChainerがすごい、と話題になっています。*1 解説 Deep Learning のフレームワーク Chainer を公開しました | Preferred Research 公式 Chainer: A flexible framework of neural networks GitHub pfnet/chainer · GitHub ドキュメント Chainer – A flexible framework of neural networks — Chainer 1.1.0 documentation おそらく初露出 ディープラーニング最近の発展とビジネス応用への課題 公式ツイッター chainer (@Chai
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く