はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another Resource Negotiator) ノードの役割 分散処理エンジン (MapReduce, Tez, Spark) MapReduce Apache Tez Apache Spark クエリエンジ
HPEがKubernetes対応のコンテナプラットフォーム「HPE Container Platform」を国内で提供開始。大規模なデータ統合基盤の構築が狙い
ヒューレット・パッカード エンタープライズ（HPE）は、KubernetesやDockerコンテナなどを統合したパッケージソフトウェアとして「HPE Container Platform」の国内提供を開始したと発表しました。 HPE Container Platformは、ベアメタルもしくは仮想マシン上のRed Hat Enterprise LinuxもしくはCentOSに対応し、その上にKubernetes、Dockerコンテナ環境を構築します。オンプレミスやAWSなどさまざまなシステム基盤上に展開可能です。 最大の特徴は、マルチテナントなクラスタ管理のためのBlueDataと、ストレージ機能としてMapRを統合している点です。 BlueDataを用いることで、おもにHadoopやSparkといったビッグデータ処理のためのミドルウェアを部門ごとなどにセキュアに分離したマルチテナントを構築
渡部です。Oracle Database関連のレプリケーション技術について整理します。 Oracle Database本体のレプリケーション機能の多くが、サポートが終了していることに注意してください。 物理レプリケーションと論理レプリケーション データベースのレプリケーション技術は、物理レプリケーションと論理レプリケーションに大別されます。 物理レプリケーションは、データベース全体に対する物理的な更新を伝搬することで、 データベースを複製します。レプリケーション元のデータベース（プライマリDB）と レプリケーション先のデータベース（スタンバイDB）の物理的な構造が同じになります。 メカニズムがシンプルで運用しやすいため、災害対策に向けたDR構成／HA構成によく使用されます。 論理レプリケーションは、指定したテーブル群に対する論理的な更新を伝搬することで、 データベース内の指定したテーブル群
In this post we'll cover new hardware additions to tonari and some of the work and research that went into powering that hardware. We're big fans of the Rust programming language but before this project we hadn't ever used it for embedded hardware. We'll go over our hardware requirements, some possible solutions, some reasons (excuses) for choosing Rust for the job, and provide a primer for gettin
SSMセッションマネージャーのセッションログの出力先をS3バケットにすると、ログが出力されないことがあるかも え! セッションログがS3バケットに出力されていない! こんにちは、のんピ(@non____97)です。 皆さんはSSMセッションマネージャーのセッションログがS3バケットに出力されていないと経験をしたことはありますか? 私はあります。 SSMセッションマネージャーのセッションログはS3バケットやCloudWatch Logsに出力することが可能です。具体的な出力方法は以下記事をご覧ください。 CloudWatch Logsにログ出力をすると、以下のようにJSON形式のログが出力されます。 { "eventVersion": "1.0", "eventTime": "2023-07-18T10:24:19Z", "awsRegion": "us-east-1", "target":
DeepLearning.AI, Coursera, and AWS launch the new Practical Data Science Specialization with Amazon SageMaker | Amazon Web Services
AWS Machine Learning Blog DeepLearning.AI, Coursera, and AWS launch the new Practical Data Science Specialization with Amazon SageMaker Amazon Web Services (AWS), Coursera, and DeepLearning.AI are excited to announce Practical Data Science, a three-course, 10-week, hands-on specialization designed for data professionals to quickly learn the essentials of machine learning (ML) in the AWS Cloud. Dee
HPE、「Kubernetes」ベースのコンテナプラットフォーム「HPE Container Platform」発表
Hewlett Packard Enterprise（HPE）が、クラウドアプリケーションもオンプレミスアプリケーションも実行できる「Kubernetes」ベースのコンテナプラットフォーム「HPE Container Platform」を発表した。HPE Container Platformによって、顧客はどのパブリッククラウドでも、エッジでも、ベアメタルあるいは仮想化されたインフラで動く新規、既存のアプリ向けのアプリケーションの開発を加速させることができる。 主要なクラウドプロバイダーの多くは、Kubernetes管理ツールやインスタンスを保有している。また、Red Hatを買収したIBMがハイブリッドクラウドのデプロイメントとそれに伴うコンテナ管理で強力な足場を築いていることなどから、表面的に見れば、HPE Container Platformは困難に直面するかもしれない。 HPEは1
Jean-Yves Stephan Senior Product Manager, Ocean for Apache Spark Apache Spark is an open-source distributed computing framework. In a few lines of code (in Scala, Python, SQL, or R), data scientists or engineers define applications that can process large amounts of data, Spark taking care of parallelizing the work across a cluster of machines. Spark itself doesn’t manage these machines. It needs
主演女優は香港警察を支持 「ムーラン」とは古代中国の伝説のヒロインで、家族や国を守るために戦い、そのストーリーはディズニー映画となって知られている。 また実写版の映画『ムーラン』も完成していたが（現在、まだ公開はされていない）、主演を務めた女優のリウ・イーフェイさんは以前、激化していた香港デモに関して、「香港警察を支持する」とウェイボに投稿して物議を醸した。 実際、これにより映画は政治的なシンボルとなってしまい、中国本土の市民はイーフェイさんを支持する一方、香港民主派の人々は映画のボイコットを呼び掛けた。 「彼女は私のムーラン」 そして今回、周庭さんの支援者は、彼女とイーフェイさんを比べて「周庭こそ、戦うために立ち上がった真のヒロインの代表者だ」と語り始めたという。 実際、ツイッターにも「アグネス（周庭）は、本当の勇気がどんなものかを教えてくれた」や「アグネスは私のムーラン」「アグネス・チ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CDH (Hadoop) 入門 - MicroAd Developers Blog
Oracle Databaseレプリケーションとサポート状況／対応製品 | コーソルDatabaseエンジニアのBlog
Using Rust for a simple hardware project | tonari blog
SSMセッションマネージャーのセッションログの出力先は用途によって使い分けよう | DevelopersIO
The Pros and Cons of Running Apache Spark on Kubernetes
「周庭こそ、真のムーランだ！」彼女の勇気を称え、ネット上に称賛の声