GitHub - shenwei356/rush: A cross-platform command-line tool for executing jobs in parallel
Major: Supporting Linux, OS X and Windows (not CygWin)! Avoid mixed line from multiple processes without loss of performance, e.g. the first half of a line is from one process and the last half of the line is from another process. (--line-buffer in GNU parallel) Timeout (-t). (--timeout in GNU parallel) Retry (-r). (--retry-failed --joblog in GNU parallel) Safe exit after capturing Ctrl-C (not per
Sparkの性能向上のためのパラメータチューニングとバッチ処理向けの推奨構成
はじめに 前回は、Sparkで処理を実行したときのボトルネック箇所と、その対策について解説しました。今回は、「本検証のシナリオではどのようなクラスタ構成が良いか」検証した結果を解説します。 Spark2.0のパラメータチューニング 最適なクラスタ構成を検討するにあたり、今回はSparkの（設定ファイルspark-defaults.confに記述できる）パラメータのうちいくつかをチューニングします。条件は次の通りです。 Sparkのバージョンは2.0 処理対象のデータは365日分の消費電力量データ Sparkのシャッフルファイル出力先ディスクはHDFSと共用（前回解説したもの） パーティション数のチューニング Sparkはデータを「パーティション」という単位で並列処理します。処理の流れは以下の通りです（図1）。今回はシャッフル処理後の適切なパーティション数を検証します。 (1)データソースか
AWS Solutions Architect ブログ
【AWS Database Blog】Amazon Elasticsearch Service をはじめよう: インスタンス数の見積もり方法 こんにちは。ソリューションアーキテクトの篠原英治(@shinodogg)です。本日はAWS Database Blogに掲載されたGet Started with Amazon Elasticsearch Service: How Many Data Instances Do I Need?をご紹介します。 Jon Handler (@_searchgeek) は Amazon Web Services のプリンシパルソリューションアーキテクトです。 Elasticsearch および Amazon Elasticsearch Service のブログポストシリーズへようこそ。ここではAWS上でElasticsearchをはじめるにあたって必要な情報
誰も教えてくれない「分かりやすく美しい図の作り方」超具体的な20のテクニック
【追記】この記事をきっかけに、名著「ノンデザイナーズ・デザインブック」の20周年記念特典eBookの制作に協力させていただきました。詳しくはこちらを御覧ください。 ノンデザイナーズ・デザインブック20周年記念の特典に寄稿しました デザイナーである・なしに関わらず、仕事の中で伝えたいことを「図」で説明する機会は多々あります。提案書で事業内容を説明することもあるでしょうし、具体的な数値をグラフで説明することもあるでしょう。そんな中でこんな指摘を受けたことはありませんか？ ・最終的に何を言いたいのか結論が見えないよ。 ・関係性が複雑すぎて理解しずらいんだけど。 ・要素が多すぎて全てを把握するのが大変。 ・何をどこから見れば良いの？ ・結局一番言いたいことはなんなの？ ・文字サイズがたくさんありすぎてまとまりがないね。 ・安っぽいチラシみたいでダサイなぁ。 ・全体的にバランスが偏ってて不安定。 ・
訪れた無印良品でスマートフォン用ポケット付きデニムジーンズを発見 | juggly.cn
最近、近所の無印良品に訪れてたところ、昨年発表され大きな話題となった「スマホポケット付きデニムジーンズ」が販売されていたので、実際の商品がどのようなものだったのかをレポートします。 ジーンズのポケットは大抵 5 つですが、無印のスマホポケット付きデニムジーンズ「オーガニックコットンストレッチデニム」には第 6 のポケットとしてスマートフォンを収納するための専用ポケットがが備わっています。現代のスマホ文化ではもはや必須とも言えるポケットです。 デニムの種類はシルエット別にスキニー、スリム、テーパードの 3 種類が用意されており、カラバリは 3 種類。インディゴブルーとダークネイビーの 2 色が基本となっており、スキニーはブラックデニムとホワイトデニムもあります。 サイズは 29 インチ ~ 32 / 34 インチで展開されています。種類によってサイズ展開は異なるかもしれません。 やはり面白か
Windows API実装「Wine 2.0」がリリース、「Office 2013」をサポート | OSDN Magazine
Wineは「Wine Is Not an Emulator」の頭文字をとったもので、Linux、Mac OS X、BSD系などPOSIX準拠のOS上でWindowsアプリケーションを動かすための互換性レイヤー。Windows APIコールをPOSIXコールに変換するというアプローチを採用し、仮想マシンやエミュレータのようなWindowsのロジックをシュミレーションする手法ではないため、性能やメモリの面で負荷が少ないとしている。 Wine 2.0は2008年6月に公開されたWine 1.0以来のメジャーリリースとなる。1年以上の開発期間を経ての正式リリースとなり、約6600もの変更が加わった。 大きな特徴となるのが、「Microsoft Office 2013」のサポートとMac OS Xの64ビットアプリケーションのサポート。64ビットではMonoエンジンでも64ビットのサポートが加わって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
