サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」（https://www.iza.ne.jp/economy/）に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ
SankeiBiz（サンケイビズ）：自分を磨く経済情報サイト
サービス終了のお知らせ SankeiBizは、2022年12月26日をもちましてサービスを終了させていただきました。長らくのご愛読、誠にありがとうございました。 産経デジタルがお送りする経済ニュースは「iza! 経済ニュース」でお楽しみください。 このページは5秒後に「iza!経済ニュース」（https://www.iza.ne.jp/economy/）に転送されます。 ページが切り替わらない場合は以下のボタンから「iza! 経済ニュース」へ移動をお願いします。 iza! 経済ニュースへ
Hive/Hivemallを利用した広告クリックスルー率(CTR)の推定 - Qiita
Hadoop Advent Calendar 2013 2013 12/25のXmasエントリです。 本記事では私が開発しているHadoop/Hive上で動作する機械学習ライブラリのHivemallについて、KDD Cup 2012, Track 2のデータセットを用いて利用方法を解説します。 https://github.com/myui/hivemall 基本的にプロジェクトのWikiサイトにあるKDDCup 2012 track 2 CTR predictionの説明を丁寧にしたものです。a9a binaryやnews20 binaryの方がよりシンプルの例ですので、そちらも参考にして頂ければと思います。 KDD Cup 2012, Track 2のCTR推定タスク このタスクは与えられたセッション情報（ユーザ属性と広告の属性）をもとに、検索エンジンの広告クリック率(Click-Th
CDAP
The Data Analytics PlatformA 100% open source, integrated framework that accelerates application development for data analytics Ajai NarayananAlbert ShauAli AnwarAndreas NeumannBhooshan MogalDerek WoodEdwin EliaJay JinLea Cuniberti-DuranNitin MotgiPoorna ChandraRohit SinhaSagar KapareSreevatsan RamanTerence YimTony HajdariVinisha ShahYaojie Feng
Welcome to Apache Kylin | Apache Kylin
Smarter and FasterKylin is a high concurrency, high performance and intelligent OLAP engine that provides low-cost and ultimate data analytics experience.
Hadoop MapReduceで大きな相関行列を計算する（Calculate Large Correlation Coefficient Matrix with Hadoop MapReduce) - tetsuya_odakaの日記
前回までのログで、観測値行列から相関行列を求めるための一通りの仕組みができた。 この開発をスタートするときに、以下の目標を立てた。 実行時間の目標：以下のクラスターを用い、5000変量で、各変量につき5000サンプルあるとして1時間以内での計算を行う。 インフラ Amazon Elastic MapReduce リージョン US Standard インスタンスタイプ m1.small マスタ・インスタンスグループ 1インスタンス コア・インスタンスグループ 8インスタンス タスク・インスタンスグループ 10インスタンス 観測値データ [0,10]の一様乱数から発生させた小数点以下１桁までのデータ（2500万個=5000*5000）を利用した。このデータはPCで生成した（Javaプログラム）。 => 有効な桁数が少ない（＝データサイズが小さい）ので、今後の課題として、その評価も必要になると思
DataScienceCentral.com - Big Data News and Analysis
The data platform debt you don’t see coming Saqib Jan | August 28, 2025 at 2:05 pm Data Platform Debt... Designing AI factories: Purpose-built, on-prem GPU data centers Martin Summer | August 26, 2025 at 2:39 pm Discover how purpose-built AI factories are transforming on-premises GPU data centers for high-performance AI workloads,... How diagnosis image annotation turns scans into insights Rayan P
Apache Beam®
Introducing Apache BeamThe Unified Apache Beam ModelThe easiest way to do batch and streaming data processing. Write once, run anywhere data processing for mission-critical production workloads. Link to GitHub Repo Introducing Apache BeamThe Unified Apache Beam ModelThe easiest way to do batch and streaming data processing. Write once, run anywhere data processing for mission-critical production w
Falcon - Falcon - Feed management and data processing platform
Why? Establishes relationship between various data and processing elements on a Hadoop environment Feed management services such as feed retention, replications across clusters, archival etc. Easy to onboard new workflows/pipelines, with support for late data handling, retry policies Integration with metastore/catalog such as Hive/HCatalog Provide notification to end customer based on availability
Apache OODT - Distributed Data Management
Disciplined Data Management Apache Object Oriented Data Technology (OODT) is the smart way to integrate and archive your processes, your data, and its metadata. OODT allows you to: Generate Data Process Data Manage Your Data Distribute Your Data Analyze Your Data Allowing for the integration of data, computation, visualization and other components. Solidify Your Data Processing Traditional process
How Coursera Manages Large-Scale ETL using AWS Data Pipeline and Dataduct | Amazon Web Services
AWS Big Data Blog How Coursera Manages Large-Scale ETL using AWS Data Pipeline and Dataduct February 2023 Update: Console access to the AWS Data Pipeline service will be removed on April 30, 2023. On this date, you will no longer be able to access AWS Data Pipeline though the console. You will continue to have access to AWS Data Pipeline through the command line interface and API. Please note that
Using Docker to Build an IPython-driven Spark Deployment - { lab41 }
TL;DR: Our ipython-spark-docker repo is a way to deploy an Apache Spark cluster driven by IPython notebooks, running Docker containers for each component. The project uses Bash scripts to build each node type from a common Docker image that contains all necessary packages, enables data access from a Hadoop cluster, and runs on dedicated hosts. By using IPython as the interface, you can leverage a
Visualization of large datasets with <code>tabplot</code>
The tableplot is a powerful visualization method to explore and analyse large multivariate datasets. In this vignette, the implementation of tableplots in R is described, and illustrated with the diamonds dataset from the ggplot2 package. Introduction The tableplot is a visualization method that is used to explore and analyse large datasets. Tableplots are used to explore the relationships between
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pachyderm Challenges Hadoop with Containerized Data Lakes
Clustering Similar Images Using MapReduce Style Feature Extraction with C# and R – Data Science Central
DARPA - Open Catalog
http://tootsie-musical.com/
Calculations with arrays bigger than your memory (dask arrays)
Big Data in Python: out of core processing – MKTSTK
Pytables: persistent matrices using HDF5
Kaseya DattoCon Miami, FL