Kubernetes Invitational Meetup Tokyo #4 で使用したスライドです。 複数の Pod が通信し合って実行を進めるような Job をデプロイする場合、一部の Pod だけが先に配置された状態で Node のリソースを使い切ってしまうと、後続の Pod が配置できずにデッドロックに陥ることがあります。 これを防ぐため、特定のグループに属する Pod を一度に全て配置するか、あるいは全て Pending のまま留めるかという All of Nothing の配置戦略を Gand Scheduling あるいは CoScheduling と呼びます。 今回紹介した kube-batch は Gang Scheduling を実現する特殊スケジューラの一種です。Gang Scheduling 以外にも、複数のキューを定義してクラスタのリソースをキュー間で均等に配分
しかし、である。日本において、性暴力を含むハラスメントの防止措置は、いまだに十分とは言えない。十分ではないどころか、フリーランスや就活生、インターンにとっては無法地帯である。 伊藤さんは、まさに求職活動の一環で山口氏にOB訪問をした際に被害にあっている。実名顔出しで事実を公表し、加害者を訴えた伊藤さんの勇気と行動力には頭が下がるばかりだが、深い傷を負ったまま声を上げられずにいる人が、世の中にはまだまだたくさんいる。 フリーランスや就活生を取り巻く環境は無法地帯 筆者が代表理事を務めるプロフェッショナル・パラレルキャリア・フリーランス協会が8月に公表した「フリーランスや芸能関係者に対するハラスメント実態アンケート」によると、1218名の回答者のうち882名、つまり回答者全体の72.5%が何らかのハラスメントを受けたことがあることが分かっている。 具体的には、パワハラ被害経験者が61.6%、セ
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション(厳密にはSparkアプリケーション)ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
A collection of inspirational websites made by real Squarespace users. Stories and solutions for the modern entrepreneur. In-depth guides and videos about the platform, our services, and how to get started. An online community for Squarespace users and professionals to discuss best practices and seek advice. Free, online sessions where you’ll learn the basics and refine your Squarespace skills. Ea
Page layout & design powerhouse Think you know publishing software? Think again. Optimised for the latest tech on Windows, Mac and iPad—and chosen by Apple as its Mac App of the Year—Affinity Publisher is the next generation of professional page layout software. From books, magazines and marketing materials to social media templates, website mock-ups and more, this incredibly smooth, intuitive app
Apache Parquet is a free and open-source column-oriented data storage format in the Apache Hadoop ecosystem. It is similar to RCFile and ORC, the other columnar-storage file formats in Hadoop, and is compatible with most of the data processing frameworks around Hadoop. It provides efficient data compression and encoding schemes with enhanced performance to handle complex data in bulk. History[edit
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
require 'trino-client' # create a client object: client = Trino::Client.new( server: "localhost:8880", # required option ssl: {verify: false}, catalog: "native", schema: "default", user: "frsyuki", password: "********", time_zone: "US/Pacific", language: "English", properties: { "hive.force_local_scheduling": true, "raptor.reader_stream_buffer_size": "32MB" }, http_proxy: "proxy.example.com:8080",
AWSのEMRで分散クエリエンジンPrestoクラスタ作成→rubyから接続してS3の大量ファイル操作体験をしてみよう!AWSSQLEMRPresto分散処理 この記事はフロムスクラッチ Advent Calendar 2016の9日目の記事です。 筋トレ大好き!プログラミング大好き! あれ?そうすると、、、 筋肉系カレンダーにも投稿しないと、自称筋肉プログラマー失格なのでは!! と本気で悩んでいます。 mixです。 最近の事件 そう!AWS、ATHENAが発表されました! Presto信者としては血湧き肉躍るニュースです! 簡単に説明すると、Prestoというfacebookの作ったフレームワークを AWSでサーバーレスに使えるという画期的かつ凄すぎる新サービスです! カレンダー2日連続になっていますが、 AWSの回し者とかじゃないです。。。(>_<) そもそもPrestoってなんじゃい
Apache Pig is a platform for analyzing large data sets that consists of a high-level language for expressing data analysis programs, coupled with infrastructure for evaluating these programs. The salient property of Pig programs is that their structure is amenable to substantial parallelization, which in turns enables them to handle very large data sets. At the present time, Pig's infrastructure l
Hello Windows Insiders, today we’re releasing Windows 10 Insider Preview Build 19536 to Windows Insiders in the Fast ring. The Fast ring going forward Back in early November, we announced that Windows Insiders who had opted into Skip Ahead would be migrated back into the Fast ring with the goal of providing everyone in the Fast ring the freshest builds at the same time. With today’s flight—we’re e
Project Flogo Ecosystem Scroll through the action elements to read more about what you can build on the core! Project Flogo is a resource efficient, Go-based open source ecosystem for building event-driven apps. Event-driven, you say? Yup, the notion of triggers and actions are leveraged to process incoming events. An action, a common interface, exposes key capabilities such as application integra
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く