大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -（db tech showcase 2021 / ONLINE 発表資料）
4. 4 © 2021 NTT DATA Corporation Hadoopとは? • 大規模データ処理基盤 • 以下をセットで提供 • 分散ファイルシステム(HDFS) • 計算リソース管理機構(YARN) • 分散処理フレームワーク(MapReduce) • 汎用的な(Linux)サーバを多数(〜10000台)使ってクラスタを構成 • 大量のデータを格納し、並列分散処理 • Googleが論文の形で紹介した技術を参考にして作られたオープンソース実装 • ASF(Apache Software Foundation)配下のプロジェクト 5. 5 © 2021 NTT DATA Corporation リリース履歴 2006/04 0.1.0 2009/09 0.20.1 : JIRAが(HADOOP, HDFS, MAPREDUCEに)分割 2011/12 1.0.0 : SVNからG
10分でわかる Cilium と XDP / BPF
2017年11月14日開催 『サイバーエージェントとさくらインターネットのインフラ談義』のスライド資料ですRead less
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！ イベントサイト: https://ml-kubernetes.connpass.com/event/239859/Read less
Dockerからcontainerdへの移行
NTT Tech Conference 2022 での「Dockerからcontainerdへの移行」の発表資料です https://ntt-techconf.connpass.com/event/241061/ 訂正： P2. . 誤: ``` Ship docker run -it --rm alpine Run docker push ghcr.io/ktock/myalpine:latest ``` 正: ``` Ship docker push ghcr.io/ktock/myalpine:latest Run docker run -it --rm alpine ``` Read less
Little-known facts about WSL2
1. Talks on Little-Known Random Facts about WSL2 Kernel/VM online part 4 Takaya Saeki (@nullpo_head) https://fuel.edby.coffee 2. Outline •Random Talks! • Won’t cover basics of WSL, nor something explained in the official documentation. (e.g., WSLg • Will talk only about lesser-known facts 3. @nullpo_head ( Takaya Saeki ) Software Engineer ( https://fule.edby.coffee ) Hobby: Software development •
Testing Distributed Query Engine as a Service
Naoki Takezoe from Treasure Data discussed testing their distributed query engine Presto as a service. They developed a tool called presto-query-simulator to test using production data and queries in a safe manner. The tool reduces testing time by grouping similar queries and narrowing data scans. It also helps analyze results and find problematic queries. Future work includes running tests more f
Container Networking Deep Dive
How to Schedule Machine Learning Workloads Nicely In Kubernetes #CNDT2020 / C...
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～ （Kubernetes Meetup Tokyo #33 発表資料） 2020/08/26 NTT DATA Yasuhiro HoriuchiRead less
どうやって決める？kubernetesでのシークレット管理方法（Cloud Native Days 2020 発表資料）
どうやって決める？kubernetesでのシークレット管理方法 （Cloud Native Days 2020 発表資料） 2020年9月8日 株式会社NTTデータ デジタル技術部 里木、山田Read less
データをどうやって見せるか？
2016年11月27日「The Data Journalism Handbook」日本語翻訳版 リリース記念イベント の発表資料 http://datajournalismjp.github.io/handbook/ https://www.facebook.com/events/1336202769744886/ -------------------------------------------------------------------------- スライドをmarkdown形式でgithubにも公開しました! https://github.com/yasunobuigarashi/Slide-2016-11-27-DJH Marp：Markdown Presentation Writerで開くとスライド形式でみれます https://yhatt.github.io/mar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Bigtop3.2 (仮)（Open Source Conference 2022 Online/Hiroshima 発表資料）
Apache Airflow 概要（Airflowの基礎を学ぶハンズオンワークショップ 発表資料）
KubernetesとFlannelでWindows上にPod間VXLAN Overlayネットワークを構成
Hadoop and Kerberos
VPC Reachability Analyzer 使って人生が変わった話
【CNDO2021】Calicoのデプロイをミスって本番クラスタを壊しそうになった話
Apache BigtopによるHadoopエコシステムのパッケージング（Open Source Conference 2021 Online/Osaka発表資料）
Kafkaクラスタの安定性を向上させるCustom Partitionerの紹介 #kafkajp
Kubernetes環境に対する性能試験（Kubernetes Novice Tokyo #2 発表資料）
HDFS Migration from 2.7 to 3.3 and enabling Router Based Federation (RBF) in production #ACAH2020