Sparkの性能向上のためのパラメータチューニングとバッチ処理向けの推奨構成
はじめに 前回は、Sparkで処理を実行したときのボトルネック箇所と、その対策について解説しました。今回は、「本検証のシナリオではどのようなクラスタ構成が良いか」検証した結果を解説します。 Spark2.0のパラメータチューニング 最適なクラスタ構成を検討するにあたり、今回はSparkの（設定ファイルspark-defaults.confに記述できる）パラメータのうちいくつかをチューニングします。条件は次の通りです。 Sparkのバージョンは2.0 処理対象のデータは365日分の消費電力量データ Sparkのシャッフルファイル出力先ディスクはHDFSと共用（前回解説したもの） パーティション数のチューニング Sparkはデータを「パーティション」という単位で並列処理します。処理の流れは以下の通りです（図1）。今回はシャッフル処理後の適切なパーティション数を検証します。 (1)データソースか
Chatbotの概要
コミュニケーションの新しい形としてChatbotが注目されている。この連載では既存のサービスを利用してChatbotを作成してみる。 Chatbotとは？ 「Chatbot」という言葉は、すでに一般的に使われるようになっているので今さらな解説となってしまいますが、この連載を始めるにあたり、復習の意味も込めて「Chatbotとは何か？」を簡単に確認しておきましょう。 ChatbotはChatとBotの造語です。「Chat」はチャット、文字によるコミュニケーション手段の一つです。手紙や電子メールとは異なり、リアルタイム性があるのが特徴です。文字だけではなく、画像、リアルタイムな動画の送信や音声によるチャットも可能です。こうなるともはやチャットというよりはテレビ電話ですね。「Bot」はロボットのことです。一口にロボットといっても定義範囲は広く、鉄腕アトムのような人型ロボットや、人の代わりに何か作
Deep Learning Lab初のエンジニア向けイベント「異常検知ナイト」レポート
実社会でディープラーニング（深層学習）の利用拡大を目的としたコミュニティ「DEEP LEARNING LAB」は異常検知に関する質問が非常に多かったことを受け、2月14日に異常検知ナイトを開催した。同コミュニティ初となるエンジニア向けのイベントで、深層学習で異常検知問題を解く方法論や異常検知関連の最新技術情報に関する情報を共有した。 2時間以上に渡るロングタイムなイベントの中から、本稿では主要なセッションのレポートをお届けする。セッション後の質問やライトニングトークなどに興味があれば、ぜひYouTubeライブのアーカイブをご覧いただきたい。 異常検知入門 最初に登壇した株式会社Preferred Networksの比戸 将平氏は、異常検知の概要を説明した。イベント当日がバレンタインデーということで、「会社でチョコを3つもらいました」「今年はチョコ0個でした」「今年も彼女が手作りどら焼きをく
OSSで脱サラ起業 国産Webデータベース「プリザンター」が目指す脱Excelの世界 | Think IT（シンクイット）
過日のイベント「“Microsoft + OSS” Meetup」で行われたLT大会で、筆者がひときわ注目したプロダクトがある。脱Excel、脱メールを謳う業務ツール「プリザンター」だ。大手SIerに20年近く勤務していた内田氏は、日々運用現場で感じていた課題を解決するために業務外の時間で独りもくもくと開発を進めていたという。そしてプリザンターをコアに独立して会社を起こした。開発元であるインプリム社の内田氏と森井氏に詳しく話を聞いた。 ーーさっそくですがプリザンターについて教えてください プリザンターは、ノンプログラミングで業務アプリが作成できる「Webデータベース」というカテゴリの製品になります。オンプレ版のkintoneと考えていただくと分かりやすいかもしれません。.NET Framework 4.5が動作するWindows系のシステムをベースにしていて、オンプレ環境のほかAzureの
ミニ四駆×Arduino×Bluetoothで“夢のミニ四駆”を作ろう
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
[ThinkIT] 第1回：どっちが速いSeasar2 VS Spring (1/4)
Seasar2が登場して2年が経ち、今では実際の開発でDIxAOPコンテナを使用することは珍しいことではなくなりました。 DIxAOPコンテナを導入するにあたって、他のDIxAOPコンテナとの速度比較やDIxAOPコンテナが行う処理の中でどこに時間がかかっているかについて評価されていることと思いますが、なかなかそのすべてを把握されていないのではないでしょうか。 そこで本連載では、DIxAOPコンテナの生成やコンポーネント取得といったベーシックな機能についてパフォーマンスを測定して、以下にあげた点について明らかにしていきます。 DIxAOPコンテナ（Seasar2、Spring）の実装によって、どれくらいパフォーマンスが異なるのか DIxAOPコンテナが行う処理の中で、どこに時間がかかるのか また結果として速度が遅くなった箇所については、その原因を考察して実案件で役立てていただけましたらと思
[ThinkIT] 第1回：Webブラウザを使ったテストツールSeleniumとは (1/3)
この連載は、WebアプリケーションのテストツールであるSelenium（セレニウム）についてサンプルを用いながら概要と基本的な使い方を解説していきます。本連載第1回の今回は、Seleniumの概要について紹介します。 Seleniumとは、Webブラウザを使ってWebアプリケーションをテストするツールです。この「Webブラウザを使って」というのが非常に大きなポイントで、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作してくれるのです。 そして単純に操作するだけでなく、例えばエラーメッセージが正しく表示されているかといった検証も行うことができます。つまり、今まで人手を必要としていたWebブラウザを使った試験が自動化できるものなのです。そのため数百項目もあるテストも、クリック1回で実施できます。 より重要なことは「自動化することによって試験を繰返し実施できる」こと
[Think IT] 【伝わる！モデリング】はじめようUML！
代表取締役 東京理科大学理学部応用数学科卒業。OSF（Open Software Foundation）のテクニカルコンサルタントとしてDCE関連のオープンシステムの推進を行い、OSF日本ベンダ協議会DCE技術検討委員会の主査をつとめる。現在、株式会社テクノロジックアート代表取締役。UMLによるオブジェクト指向セミナーの講師、UML関連のコンサルティングを行っている。UML Profile for EDOCの共同提案者、ISO/IECJTC1 SC32/WG2委員、電子商取引推進協議会（ECOM）XML/EDI標準化調査委員。明星大学情報学部講師。 http://www.tech-arts.co.jp/ 獨協大学経済学部卒業後、業務系のシステム開発を経て、株式会社テクノロジックアートに入社。現在は、UMLやオブジェクト指向技術を活かした実際の開発や、セミナー／トレーニングの講師、コンサルテ
[Think IT] 先取り！Ruby 1.9.1
なかなかアグレッシブな変更、追加機能がたくさんあり、夢ふくらみます。が、これらの新機能の大部分は「嘘」発表でして、まつもと氏の後に続いた筆者が、嘘の部分を指摘していく、という発表になりました。 というわけで、嘘ではない、次の「Ruby 1.9.1」のリリースは以下のようになる予定です。 2007年クリスマスにRuby 1.9.1をリリース 仮想マシンYARVが取り込まれ、従来より基本性能で5倍、通常アプリケーションでも1.x倍の高速化 M17N（多言語化）標準搭載 ネイティブスレッドを用いたRubyスレッド（ただし並列化は行わない） 継続、Fiberのサポート 独自のI/Oバッファリング機構とノンブロッキングI/O機構の改善 データ構造の改善などによるメモリ効率 新しいライブラリの追加 新しいパッケージ機構の導入（RubyGems） 若干の文法の変更 より多くのテストの追加 次期Ruby処
[Think IT] 第2回：なぜTracの導入に失敗するのか？ (1/3)
【バグ管理の作法】Trac徹底活用！ 第2回：なぜTracの導入に失敗するのか？ 著者：masuidrive 公開日：2007/12/13（木） Tracの導入現場の今 「第1回：なぜバグ管理システムを使うのか？」でも紹介したように、TracはSubversionと連携するオープンソースのバグ管理システム（BTS：Bug Tracking System）だ。Ruby on Railsなど多くのオープンソースプロジェクトで利用されており、最近では商業開発でもっとも多く使われているツールの1つになっている。 その一方で、Tracの導入効果が出ていないケースも多々ある。それはなぜだろうか？ Tracの肝は「チケット管理」の運用にある！ Tracにはコンテンツを管理するシステムとしてのWiki、Subversionなどのバージョン管理システムのファイルをWebから閲覧するための「リポジトリブラウザ
[Think IT] 第5回：オープンソースコミュニティは何をするところ？ (1/3)
昨日のデータベース研修の課題もどうにかクリアし、すこし清々しい気持ちの森君…といきたいところですが、もとのぶ先生と金子さんの横浜出張、そして研修テキストの裏表紙にあった金子さんの名前が気になっているようです。 登場人物紹介 たかはしもとのぶ（高橋基信） 先生役 森君 新人。Windowsクライアントしか知らない。「Windowsは大丈夫です！ ウチでXP（ただしHome Edition）を触っていますから！」と豪語する。アプリケーションは買うものだと思っている。ややしったかぶりをするのが難点。 金子さん すとーるまん狂でGNU Emacsをこよなく愛する。面倒なことが大嫌い。普段はなにをやっているのかわからないが、すとーるまんが絡みそうなネタのときだけは元気になる。 青井部長 UNIX系サーバの経験は豊富で、コマンドをばりばり使いこなせる。しかしWindowsになるとからっきし苦手で、森君
[ThinkIT] コーディング規約
リッチクライアント：市場動向 | Curl | IdbA | Eclipse RCP | Biz/Browser | Ajaxが開く未来 | Java：JBoss入門 | JBossクラスタ | Javaコーディング規約 | OSS帳票システム | Eclipse：How to Eclipse3！ | Eclipseプラグイン | Eclipse TPTP| Eclipse WTP | Eclipse BIRT | セキュリティ：セキュアプログラミング | アンチウイルス サーバ仮想化：実践的評価ポイント | オープンソースXenによるサーバ仮想化 | ブレードサーバによる仮想化 | BIシステム導入の勘所 | PostgreSQL | DB2チューニング | Samba移行術 | OpenLDAP活用術 | Sledge | 障害解析ツール | Big Brother | LifeKee
[Think IT] 第1回：付箋紙アプリケーションを作ろう！ (1/3)
Webの技術を使ってデスクトップアプリケーションを作ることができる開発環境である、「Adobe AIR（旧名 Adobe Apollo）」のパブリックベータ版が6月11日にリリースされました。 ここ数年、Webアプリケーションの進化がめざましく、表計算やワープロといった今までテスクトップ専用のものだと思われていたアプリケーションまで、Webブラウザ上で扱うことができるようになってきました。 Adobe AIRは、Webアプリケーションで使われている、HTML、CSS、Ajax、Flashといったテクノロジを使つつ、Webブラウザに依存しない、スタンドアローンなアプリケーションを開発・実行できる新しい環境です。 本連載では、Adobe AIRとRuby on Rails（以下、RoR）を使って、Webブラウザだけではない、新しいタイプのWebアプリケーションを作る方法を紹介していきます。 A
[ThinkIT] 第1回：Webアクセスログ解析ソフトの種類と必要性 (1/3)
Webアクセスログ解析は、現在ではインターネット・マーケティング結果を評価する上で最も基本的なデータであるWebアクセスログを解析することです。特に最近では、サイト構築時にSEO（サーチエンジン最適化）やSEM（サーチエンジンマーケティング）を行うことが当たり前になり、Webアクセスログ解析は必須の作業となっています。 これまで、アクセスログの解析が必要だったのは、主にサイト管理者やサーバ管理者でした。しかしこれからは、PHPやJavaなどを使って動的なWebページを開発するエンジニアやサイト企画者、Webデザイナーも考慮しなければならない時代になりました。 このWebアクセスログを解析するソフトウェアとして、オープンソースと商用ソフトウェアの両方で多くのソフトウェアが提供されています。今回の徹底比較では、Webアクセスログ解析ソフトの比較を行い、アクセスログ解析に必要な基礎知識とソフトウ
[ThinkIT] 第1回：Railsが注目されている理由 (1/3)
RailsはDevid Heinemeier Hansson氏（以下、Hansson氏）が中心となって作成を続けているRuby製のオープンソースWebアプリケーションフレームワークです。まずはその概要について少し探ってみましょう。 Railsは、2003年の夏にHansson氏が作成を開始して、2004年にはじめて一般に公開されました。 それまでは「すぐに作れるけどゴチャゴチャしがちなPHPと、きれいだけど作るのに時間がかかるJavaを使ってソフトウェア開発をしていた」とHansson氏は語っています。そこで両者のいいとこどりをした「早くてきれいな」フレームワークを目指して開発をはじめ、現実のものにした結果がRailsなのです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[ThinkIT] 第6回：Webアプリケーションの開発（2）〜サーブレットの作成〜 (2/4)
[Think IT] 第2回：バグを未然に防ぐ仕組みづくり「モバイルFelica」 (1/3)
[ThinkIT] 第1回：Eclipse TPTPのインストール (2/3)