はてなブックマーク

まず wiki の「Performance Tuning」を読んでください。この記事には、RAM、圧縮、JVM の設定など、パフォーマンスに関係する重要な要素についての全般的な説明があります。記事を読んだら、ここへ戻ってきてください。以下では、さらに詳しい情報へのポインタを示します。 Todd Lipcon は、「Avoiding Full GCs with MemStore-Local Allocation Buffers」と題したプレゼンテーションの中で、特に HBase の読み込み時によく発生する、すべてが止まったかのような状態になるガベージコレクション、すなわち CMS が失敗するケースと、古い世代のヒープがフラグメンテーション化するケースの 2 つを取り上げています。最初のケースに対処するには、-XX:CMSInitiatingOccupancyFraction を追加してデフォ

ながえそれでは、本日のお題でEndian Firewallのご紹介をさせていただきます。私は運用の方で、プログラム言語とかコンピュータサイエンスとかとは関わりが薄いかもしれませんが、よろしくお願いします。 Endian Firewallなんですけども、オープンソースのUTMでして、UTMというのはUnified Threat Management−統合脅威管理というものなんですけども、それをするアプライアンスソフトウェアです。Endian FirewallはイタリアのEndian社によって開発・サポートされています。 ここらへんは、オープンソースカンファレンスのときに受けたEndian Firewallの紹介がありまして、そのときの受け売りなんですけど、Endian社というのはイタリアの田舎、北のオーストリアに近い方にあります。 Endianのトップページとかですと大体ダウンロードが先に来

Gephi は、関係をシンプルに表現した CSV ファイルをサポートしています。CSV ファイルは、任意の行データ、データベース、Excel のエクスポート機能から取得できます。各行は、区切り文字 (カンマ (,)、セミコロン (;)、縦棒 (|)、または空白) で区切られた要素を少なくとも 2 つ含んでいなければなりません。値は、単一引用符または二重引用符で囲むことができます。デフォルトでは、CSV からインポートされたグラフは有向グラフですが、インポートレポートダイアログで「無向」を選択することができます。 例 エッジリスト 次の CSV は、2 つのエッジ“a” -> “b” と “b” -> “c”を持つグラフの例です。 a;b b;c 隣接リスト すべてのエッジをノードのペアとして記述することができます。一行にすべてのノードの接続を記述することもできます。次に示すのは、3 つのエ

Gephi へようこそ！Gephi は、大規模なネットワークグラフの可視化と分析のためのオープンソースソフトウェアです。Gephi は 3D レンダリングエンジンを使ってグラフをリアルタイムで表示し、グラフの探索をスピードアップします。Gephi を使えば、あらゆる種類のグラフを対象とした探索、分析、空間化、フィルタリング、クラスタリング、操作、エクスポートが可能です。 スタートガイド Gephi を初めて使うユーザーは、以下にリストアップされているページを参照してください。これらのページでは、Gephi プロジェクト、基本機能、およびインストール方法について紹介しています。 プロジェクトの目標と方針 システム要件、インストール、リリースノート クイックスタートガイド ユーザーインタフェースの説明 サポートされているグラフ形式 エクスポート時のファイル形式 チュートリアル 基本さえ学べば、

Neo4j Server は REST API と webadmin アプリケーションを 1 つにまとめ、Neo4j を使ったソリューションのインストールと実行を容易にしたものです。Neo4j Server では、リモートから Java 以外の言語を使ってサーバーにアクセスすることができます。REST をサポートする任意の言語が使用できるので、もちろん Ruby も使用できます。 REST API が利用するのは HTTP と JSON なので、多くの言語とプラットフォームから REST API を使うことができます。ただし、再利用可能ないくつかのパターンをあらかじめ見ておくと便利です。この短いガイドでは、REST API を介して簡単なグラフを作成して操作する方法や、作成したグラフに対して問い合わせを行う方法を示します。以下で示すサンプルでは、Jersey クライアントコンポーネントを使

はじめに¶ Selenium-RC is the solution for tests that need more than simple browser actions and linear execution. Selenium-RC uses the full power of programming languages to create more complex tests like reading and writing files, querying a database, emailing test results. You’ll want to use Selenium-RC whenever your test requires logic not supported by Selenium-IDE. What logic could this be? For exa

チュートリアル: PDF でダウンロードする (原文 PDF)。 チュートリアルでは LesMiserables サンプルデータセットを使って、以下の手順について説明しています。wiki にはたくさんのネットワークデータセットのリストがあります。 ファイルのインポート 可視化 レイアウト ランキング (色) メトリクス ランキング (サイズ) もう一度レイアウト ラベルの表示 コミュニティ検出 パーティション フィルタ プレビュー エクスポート 保存

このドキュメントでは、チュートリアルとして役立つことを目的に、ユーザーが触れる Hadoop Map/Reduce のすべての側面についてまとめて説明します。 Hadoop のインストールと設定が済み、すでに実行されていることを確認してください。詳細については、以下を参照してください。 Hadoop を初めて使うユーザーは、Hadoop クイックスタートを参照してください。 大規模な分散クラスタを使うユーザーは、Hadoop クラスタセットアップを参照してください。 Hadoop Map/Reduce は、どこにでもあるごく普通のハードウェアで構成した (数千ノードの) 大規模なクラスタ上で、膨大なデータ (数テラバイトのデータセット) を並列処理するアプリケーションを簡単に記述できるようにするソフトウェアフレームワークです。 通常、Map/Reduce のジョブは、入力データセットを独立

概要 HBase では、さまざまな方法でデータをテーブルにロードすることができます。最も簡単な方法は、MapReduce ジョブから TableOutputFormat クラスを使うか、または通常のクライアント API を使う方法ですが、これらの方法は必ずしも最も効率的な方法ではありません。 ここでは、HBase のバルクロード機能について説明します。バルクロード機能は、MapReduce ジョブを使って、HBase の内部データ形式でテーブルデータを出力してから、実行中のクラスタにデータファイルを直接ロードします。バルクロードを使うと、HBase API を使う場合よりも、CPU とネットワークの負荷を低く抑えることができます。 MapReduce ジョブによるデータの準備 バルクロードの最初のステップでは、HFileOutputFormat を使って MapReduce ジョブから H

Selenium は、数多くのプラットフォームを対象に Web アプリケーションのテストを自動化するためのツール群です。 Selenium は... 多くのブラウザとオペレーティングシステムで動作します。 多くのプログラミング言語とテスティングフレームワークでコントロールすることができます。 Selenium IDE は、Selenium テスト用の統合開発環境 (IDE) です。Selenium IDE は Firefox の拡張機能として実装されており、テストの記録、編集、デバッグを行うことができます。Selenium IDE には Selenium Core 全体が含まれており、テストが実行される実際の環境で、テストをすばやく簡単に記録して再生することができます。 Selenium IDE は単なる記録ツールではありません。Selenium IDE は完全な IDE です。ユーザーは

ZooKeeper: 面倒な分散システムのコーディネートを支援するサービス ZooKeeper は、分散アプリケーションのためのパフォーマンスの高いコーディネーションサービスです。ZooKeeper では、名前付け、設定管理、同期化、各種グループサービスなど、利用頻度の高いさまざまなサービスが用意されているので、これらのサービスをゼロから作成する必要はありません。ZooKeeper をそのまま使えば、合意プロトコル、グループ管理プロトコル、リーダー選挙プロトコル、およびプレゼンスプロトコルを実装できます。ZooKeeper を基に、独自のニーズに対応したサービスを構築することもできます。 以下のドキュメントでは、ZooKeeper のコンセプトや ZooKeeper を使うための手順について説明しています。ドキュメントを読んでわからないことがあったら、メーリングリストに質問を投稿するか、ア

Neo4j は、成熟した堅牢なデータベースの特徴をすべて備えたハイパフォーマンスなグラフエンジンです。プログラマが操作するのは、静的で厳格なテーブルではなく、オブジェクト指向の柔軟なネットワーク構造ですが、トランザクションに完全対応したエンタープライズレベルのデータベースが持つあらゆるメリットを享受することができます。Neo4j を使えば、リレーショナルデータベースを使う場合と比べ、多くのアプリケーションで 1000 倍以上のパフォーマンス向上が期待できます。 Neo4j はオープンソースプロジェクトであり、GPLv3 の下でライセンスされるコミュニティエディションのほか、ともに AGPLv3 の下でライセンスされるアドバンストエディションとエンタープライズエディションがあり、商用ライセンスによって Neo Technology からサポートを受けることができます。どのライセンスを使用した

Neo4j はこれまでずっと完全なオープンソースソフトウェアとしてリリースされています。あらゆるコンポーネントのコードは、どの 1 行をとっても完全にガラス張りの状態で評価を行うことができます。開発チームは、こうすることが顧客とオープンソースコミュニティに価値をもたらす最善の方法だと考えます。 Neo4j には、それぞれライセンスの条件が異なる以下の 3 つのエディションがあります。 Neo4j コミュニティは、ACID トランザクションに完全対応したハイパフォーマンスなグラフデータベースで、GPL の下でライセンスされます。 Neo4j アドバンストは、高度なモニタリング機能を備えており、AGPL の下でライセンスされます。 Neo4j エンタープライズは、さらにオンラインバックアップ機能とハイアベイラビリティクラスタリング機能を備えており、AGPL の下でライセンスされます。 これらの

Neo4j は、成熟した堅牢なデータベースの特徴をすべて備えたハイパフォーマンスなグラフエンジンです。プログラマが操作するのは、静的で厳格なテーブルではなく、オブジェクト指向の柔軟なネットワーク構造ですが、トランザクションに完全対応したエンタープライズレベルのデータベースが持つあらゆるメリットを享受することができます。Neo4j を使えば、リレーショナルデータベースを使う場合と比べ、多くのアプリケーションで 1000 倍以上のパフォーマンス向上が期待できます。 Neo4j はオープンソースプロジェクトであり、GPLv3 の下でライセンスされるコミュニティエディションのほか、ともに AGPLv3 の下でライセンスされるアドバンストエディションとエンタープライズエディションがあり、商用ライセンスによって Neo Technology からサポートを受けることができます。どのライセンスを使用した

Gephi は、グラフの探索や分析を行う必要のあるユーザー向けのツールです。Gephi は、たとえて言えば、データを対象に扱う Photoshop のようなものです。ユーザーは描画されたグラフと対話し、構造や形状、色などを操作しながら、隠された属性を引き出します。Gephi が目標としているのは、データ解析の支援を通じて、仮説を立てたり、パターンを直感的に把握したり、データソーシング時に構造的な特異点や欠陥を分離したりできるようにすることです。Gephi は、伝統的な統計手法を補うツールです。今日では、インタラクティブなインタフェースを備えたビジュアルシンキングを行うことによって、推論が容易になることが知られています。Gephi は、視角分析論 (Visual Analytics) の学問分野で登場したパラダイムである探索的データ解析のためのソフトウェアです。 リアルタイムでの可視化 非常

GraphML ファイル形式は、.graphml 拡張子を使用する XML 構造化ファイルです。GraphML はノードとエッジの属性、階層グラフをサポートしており、柔軟なアーキテクチャによって多くのメリットを持っています。Gephi では、GraphML の一部だけをサポートしています (サブグラフとハイパーエッジには対応していません)。GraphML 形式は、NodeXL、Sonivis、GUESS、および NetworkX によってサポートされています。 ファイル構造 ファイルの内容は、graphml 要素で囲まれています。属性のカラム (すなわちタイトル) は key 要素で定義され、ネットワークは graph マークアップで定義されます。 graph 要素の設定では、次のいずれかのオプションを指定できます。 <graph edgedefault="directed"> または <

ここでは、サポートされているデータファイルはどれか、ファイルの大まかな構造はどうなっているかなど、グラフ形式のそれぞれについて簡単に説明します。ファイルのインポートやエクスポート時に問題が発生した場合は、このページの説明を充実させるためにも、発生した問題を開発チームに知らせてください。 インポート Gephi では、以下に示す標準的なグラフファイル形式をインポートすることができます。リンク先のページでは、それぞれのファイル形式に関する説明、サンプル、実装の詳細を参照することができます。これらの情報を参考にすれば、グラフファイル形式相互間の違いを把握することができます。 * GEXF * GDF * GML * GraphML * Pajek NET * GraphViz DOT * CSV * UCINET DL * Tulip TPL * Netdraw VNA 比較 データをどの形式で

チュートリアル クイックスタート Gephi チュートリアル クイックスタート 入門チュートリアルへようこそ！このチュートリアルでは、Gephi におけるネットワークの可視化と 操作の基本的な手順について説明しています。 このチュートリアルの作成には Gephi version 0.7alpha2 を使用しました。 Gephi をダウンロードする 最終更新: 2010 年 3 月 5 日 * はじめに * ファイルのインポート * 可視化 * レイアウト * ランキング (色) * メトリクス * ランキング (サイズ) * もう一度レイアウト * ラベルの表示 * コミュニティ検出 * パーティション * フィルタ * プレビュー * エクスポート * 保存 * まとめ グラフファイルを開く • ファイルをダウンロードします。 LesMiserables.gexf • [File] メニ

[edit] Neo4j Wiki へようこそ！ これは Neo4j プロジェクトの wiki です。この wiki では、Neo4j ベースのソフトウェア開発に役立つさまざまなリソースを網羅することを目標にしています。まだ完成にはほど遠い状態ですが、ユーザーが自由に編集できる wiki ですので、ぜひみなさんの力を貸してください。 [edit] ダウンロード Neo4j ダウンロードのページ - リリースされている Neo4j artifact のダウンロード [edit] 関連ドキュメント スタートガイド - Neo4j Server の使い方、Ruby、Java、Python での使い方を 10 分で学ぶためのガイド スタンドアロン Neo4j Server スタートガイド Java で Neo4j Server を使う Ruby で Neo4j Server を使う IMDB を使

[edit] Neo4j Server とは Neo4j Server は、REST API と webadmin アプリケーションをまとめて 1 つのスタンドアロンサーバーにしたものです。Neo4j Server には次のような特徴があります。 Java の知識がなくても Neo4j グラフデータベースを簡単にセットアップ可能。 REST API を介したほかの言語からのリモートクライアントアクセス。 Linux および Windows のサービスとして Neo4j を 簡単にインストール可能。 データベースへの統合管理インタフェースにより任意のブラウザからアクセス可能。 スクリプト言語コンソールの統合サポート。 [edit] インストール http://neo4j.org/download にアクセスし、最新のバージョンを選択します。すぐにコーディングを始めたい場合は、「Java で

Adding first cuts at Configuration, Getting Started, Data Model