秘密主義のアップル、OSS利用を公表した狙い
秘密主義で有名な米アップル（Apple）が、知られざる社内ビッグデータ環境の一端を明らかにした。2018年6月4～6日（米国時間）に米サンフランシスコで開催された「Spark + AI Summit 2018」で、オープンソースソフトウエア（OSS）の分散データ処理ソフト「Apache Spark」の利用事例を公表したのだ。 アップルが社内におけるOSSの利用事例を公開するのは珍しい。5日の基調講演には情報セキュリティ部門に所属するドミニク・ブレジンスキー（Dominique Brezinski）氏が登壇して、セキュリティ監視や不正検出にSparkを活用していることを紹介した。6日の技術セッションでも、社内に構築するストレージ容量1エクサバイトを超えるSparkクラスターの詳細や、Spark用のリソーススケジューラーを自社開発した事情などを説明している。 アップルはSparkを使ううえで、
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など
Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など 分散処理フレームワークの「Apache Spark 2.0」正式版のリリースが、開発元のDatabricksから発表されました。これまでApache Sparkはバージョン1.x（直前の最新版は1.6）でしたので、メジャーバージョンアップとなります。 Spark 2.0で最大の新機能は、新しいSQLパーサーを採用したことによるANSI SQL（SQL 2003）への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能と説明されており、プログラマが慣れ親しんだ一般的なSQL文はすべて実行可能になります。 また、DataFrameとDatasetは統合されたAPIとなりました。 こうしたAPIの変更や改善が行われた一方で、Spark 2.0ではパフ
MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine
非営利団体のApache Software Foundation（ASF）は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピューティングフレームワーク。高度なDAG（Directed Acyclic Graph）実行エンジンを持ち、より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もあるという。HDFS、HBase、Cassandraに対応し、スタンドアロンのほか「Apache Mesos」、Amazon AWS（
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
DMM.com - DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～
Sparkによる分散処理 / 2015-01-16 PyData.Tokyo#3