Home - Elephas Documentation
Home Elephas: Distributed Deep Learning with Keras & Spark Introduction Getting started Basic Spark integration Spark MLlib integration Spark ML integration Distributed hyper-parameter optimization Distributed training of ensemble models Discussion Literature Why use Elephas Getting started Getting started with Elephas FAQ Models About Elephas models SparkModel SparkMLlibModel ElephasEstimator Hyp
「Spark」開発者会議で感じた進歩と物足りなさ、将来への期待
米ボストンのハインズコンベンションセンターで米国時間2月7日～9日に開催された「Spark Summit East」には、開催施設の変更や、移動を邪魔する北米大陸北東部特有の嵐などの困難にもかかわらず、1500人もの参加者が集まった。これは「Apache Spark」の普及がますます進んでいることを証明しており、このイベントでは、機械学習や深層学習、ストリーミングアプリケーションなどの分野における改善が話題になった。 サミットの規模はニューヨークのヒルトンホテルで開催された前回よりも拡大したが、窮屈な会場に大勢の人が詰め込まれていた前回と、広大なハインズコンベンションセンターを使った今回では、比較は難しく感じられた。参加者は技術者中心で、前回との違いがあるとすれば、今回はビジョンよりもハウツーに重点が置かれていたように見えた。また、自社の導入事例を紹介する大企業の基調講演が減り、ベンダーの
How Spark Illuminates Deep Learning
Data scientists everywhere are delving more deeply into deep learning (DL). If you’re only skimming the surface of this trend, you might think that the Spark community, which focuses on broader applications of machine learning, is watching it all from the sidelines. Though Spark is certainly at the forefront of many innovations in machine intelligence, DL industry tools and frameworks—such as Tens
Engineering fast indexes
Contemporary computing hardware offers massive new performance opportunities. Yet high-performance programming remains a daunting challenge. We present some of the lessons learned while designing faster indexes, with a particular emphasis on compressed bitmap indexes. Compressed bitmap indexes accelerate queries in popular systems such as Apache Spark, Git, Elastic, Druid and Apache Kylin.
米Intel、Apache Sparkベースの深層学習ライブラリ「BigDL」をオープンソースで公開 | OSDN Magazine
BigDLは分散型の深層学習ライブラリ。Apache Sparkプログラムとして深層学習アプリケーションを作成し、既存のSparkまたはHadoopクラスタを活用して動かすことができる。 Luaで作成された学術向けのコンピューティングフレームワーク「Torch」に倣ってモデリングされているのが特徴で、GPUアクセラレーションを使って高速な処理が行える。Tensor経由での数値計算、ハイレベルのニューラルネットワークなどの種類をサポートし、事前にトレーニングされたCaffe（オープンソースの深層学習フレームワーク）やTorch向けの既存モデルを読み込ませることもできる。 性能、効率の良いスケールアウトも特徴で、Intel MKL（Intel Math Kernel Library）とマルチスレッド化されたプログラミングを行うことで、単一ノードのXeonや汎用のGPU上でCaffeやTorch
Apache Sparkにおけるメモリ - アプリケーションを落とさないメモリ設計手法 -
市ヶ谷Geek★Night#11【Spark勉強会】ChristmaSpark https://ichigayageek.connpass.com/event/45925/ 発表資料
CODAIT - IBM Code
The Center for Open Source Data and AI Technologies (CODAIT) are a group of data scientists and open source developers headquartered out of IBM’s Watson West building in San Francisco and distributed around the world. CODAIT mission is to make open source AI models dramatically easier to create, deploy, and manage in the enterprise.
developerWorks : Java™ technology
IBM developer kits Develop and test Java™ Platform Standard Edition applications with the IBM Software Development Kit. Download IBM packages, access Java resources, and collaborate here with our developers. Downloads Downloads of IBM Developer Kits and Runtime Environments for IBM Power Systems™ , Intel® and IBM z Systems™ products that require Java functionality.
Spark Takes On Dataflow in Benchmark Test
Google Cloud Dataflow crunched data two to five times faster than Apache Spark in a benchmark test of batch analytics performed by Mammoth Data. While Dataflow’s raw power is impressive, don’t throw in the towel on Spark just yet. If you’re looking to choose a framework to analyze your big data, good luck. With so many options out there, you’ve got your work cut out for you. This embarrassment of
神林節炸裂！Asakusa Frameworkは「分散」から「並列」へ (1/3)
11月27日、ノーチラス・テクノロジーズは「2015 Asakusa Framework Day」を開催。舌鋒鋭い物言いで知られる同社の代表取締役社長 神林飛志氏は、ビッグデータとIoT市場の現状やHadoop/Sparkと日本市場のミスマッチなどを指摘しつつ、次世代のAsakusa Frameworkの構想を披露した。 ビッグデータは既存のCRM、IoTはPoCレベル ノーチラス・テクノロジーズのAsakusa Frameworkは、業務システムのバッチ処理にHadoopやSparkでの分散システムを活用するための開発・運用フレームワーク。会計や在庫などの業務データから精度の高い分析情報を作成したり、バッチ処理に利用できるほか、分散システムのメリットを活かし、負荷分散や高い可用性などを実現する。OSSで公開されており、エンタープライズで多くの実績を持つ。 イベントの後半で登壇したノーチラ
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
Newsroom
Corporate Corporate news and information Consumer Phones, laptops, tablets, wearables & other devices Enterprise Enterprise products, solutions & services Carrier Products, solutions & services for carrier networks Huawei Cloud Cloud products, solutions & services Australia - English Belarus - Pусский Brazil - Português Canada - English China - 简体中文 Europe - English France - Français Germany - Deu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Project Hydrogen: State-of-the-Art Deep Learning on Apache Spark
A Vision for Making Deep Learning Simple
Distributed deep learning on Spark
Databricks Expands Internationally to Embrace Growing Demand for Apache Spark
Whole-stage code generation - Databricks
Dataflow | Google Cloud
A Comparative Performance Evaluation of Apache Flink
Tuning Java Garbage Collection for Apache Spark Applications - The Databricks Blog
