GitHub - dataform-co/dataform: Dataform is a framework for managing SQL based data operations in BigQueryYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
つくば市が堀田龍也研究室などとデジタル教科書の実証研究
茨城県つくば市において、学習者用デジタル教科書の履歴データ活用の実証研究が2021年10月から始まった。実証研究に参加するのは、つくば市教育委員会のほかに、東北大学大学院 情報科学研究科 堀田龍也研究室、東京書籍、Lentranceの4者だ。クラウド版の学習者用デジタル教科書（以下、デジタル教科書）から学習履歴データを収集し、それを分析することで将来の指導改善につなげるのが狙い。実証研究の期間は2022年3月末まで。 4者の役割は図1の通り。つくば市内の小学校7校と中学校5校（義務教育学校を含む）に在籍する児童・生徒が各自のコンピューターでデジタル教科書を使い、その学習活動履歴を収集・分析。デジタル教科書が、児童・生徒の学力や学習に対する意識にどのような影響を与えるのかを調べる。 図1 つくば市が開始した「クラウド版デジタル教科書の学習履歴データ活用に向けた共同実証研究」のスキーム。学校・
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
もし、あなたが「“ビッグデータプロジェクト”を任せる。何とかするように」と言われたら
本連載におけるビッグデータ基盤の説明には、業界標準であるオープンソースの分散処理基盤である「Apache Hadoop（以下、Hadoop。とりわけ、Clouderaが提供する「Cloudera Enterprise」）を用いますが、考え方そのものは基盤に依存することなく共通なので、Hadoopではない他の基盤を使っていても活用できることでしょう。 第1回目は、「ビッグデータプロジェクトを開始する前に確認しておくべき、事前知識」編として、ビッグデータおよびビッグデータ基盤の概要とその利点を解説します。 Hadoopについて Hadoopは今から10年前の2006年、オープンソースの検索ライブラリの開発者であった米Cloudera チーフアーキテクトのダグ・カッティング氏が開発した、一般的なIAサーバを並べるだけでスケールアウトできる分散処理基盤です。Hadoopが持つ分散ストレージ／分散フ
GH Archive
Open-source developers all over the world are working on millions of projects: writing code & documentation, fixing & submitting bugs, and so forth. GH Archive is a project to record the public GitHub timeline, archive it, and make it easily accessible for further analysis. GitHub provides 15+ event types, which range from new commits and fork events, to opening new tickets, commenting, and adding
GedowFatherさんがImpalaを本番投入した件
外道父 | Noko @GedowFather Impalaを本番環境にぶっ込んでやった。ありがちな集計クエリで10倍、ただのカウントで30倍の処理時間差を計測 2012-11-16 11:25:12 外道父 | Noko @GedowFather Impala検証利用データ：17MB, 45,000行 で GROUP & ORDER BY が Hive 63s : Impala 7s。COUNTで Hive 34s : Impala 1s 2012-11-16 11:28:33
BigQuery documentation | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. BigQuery is Google Cloud's fully managed, petabyte-scale, and cost-effective analytics data warehouse that lets you run analytics over vast amounts of data in near real time. With BigQuery, there's no infrastructure to set up or manage, letting you focus on finding meaningful insights using GoogleSQL and taking
ビッグデータとプライバシーについて | 栗原潔のIT弁理士日記
DISCLAIMER： 私はプライバシー分野はもちろん一応の勉強はしていますが、必ずしもコアな専門領域というわけではないのでBest Effortベースで書いています。もっと詳しい方からのコメントを期待します。 IBMの「ビッグデータ」担当の人が日経ITProのインタビュー記事で「ビッグデータ」の応用として通話履歴（CDR）を使ってソーシャルグラフを作るというような事例を挙げたのに対して「それは通信の秘密に反する違法行為ではないか」ということで、twitter界隈を中心にプチ炎上的な状況になっています（参考togetter）。 そもそも、「ビッグデータ」と言う言葉が出る前から通話履歴情報の分析はデータウェアハウスの重要応用分野でした。通話履歴の分析がいっさいできないということであれば容量計画もできないですし料金の設定もできません。 過去にこの手のデータウェアハウス・アプリケーションについて
Privacy and Big Data
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Much of what constitutes Big Data is information about us. Through our online activities, we leave an easy-to-follow trail of digital footprints that reveal who we are, what we buy, wh
GraphLab: A New Parallel Framework for Machine Learning
GraphLab: A Parallel Framework for Machine LearningDesigning and implementing efficient and provably correct parallel machine learning (ML) algorithms can be very challenging. Existing high-level parallel abstractions like MapReduce are often insufficiently expressive while low-level tools like MPI and Pthreads leave ML experts repeatedly solving the same design challenges. By targeting common pat
GitHub - hpcc-systems/HPCC-Platform: HPCC Systems (High Performance Computing Cluster) is an open source, massive parallel-processing computing platform for big data processing and analytics.
Description / Rationale HPCC Systems offers an enterprise ready, open source supercomputing platform to solve big data problems. As compared to Hadoop, the platform offers analysis of big data using less code and less nodes for greater efficiencies and offers a single programming language, a single platform and a single architecture for efficient processing. HPCC Systems is a technology division o
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.meti.go.jp/policy/economy/chizai/chiteki/pdf/datapoint.pdf
GitHub - malloydata/malloy: Malloy is an experimental language for describing data relationships and transformations.
大規模データ技術の現状と今後の方向性
Splunk | The Key to Enterprise Resilience
Big Data Analytics | IBM
GitHub - nathanmarz/storm: Distributed and fault-tolerant realtime computation: stream processing, continuous computation, distributed RPC, and more
Charming Python: Functional programming in Python, Part 3