並列バッチデータ転送OSSのEmbulkをソースコードリーディングしてみる（その３：run概要＆データソース概要 - 夢とガラクタの集積場
こんにちは。 前回で初期化部分の確認が終わったため、今回は本処理の方に入ってきます。 尚、ServiceLoaderでJava製プラグインがロード出来るかについてはとりあえず一通り読んでからの方針で＾＾； まず、基本構造としては 上記の図にあるRunnerが起動の起点となり、初期化を行った後に run/cleanup/guess/previewの各々の処理に分岐する流れとなっています。 まず今回はrun処理の流れを追ってみることにします。 1. run処理の流れ概要 run処理の流れは下記のようになっています。 設定ファイル（YAML形式）を読み込む。 出力ファイル（次回実行用の設定出力先、Resume状態の出力先）の出力可能確認を行う。 Resume状態ファイルを読み込む。 Executorクラスを生成する。 Resume状態にあわせて処理を実行する。 実行失敗した場合、Resume出力
恐怖の JVM 大量メモリ消費！メモリリークの謎を追え！！ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、ミドルウェア開発チームの青木(@a_o_k_i_n_g)です。将来の夢は川口浩探検隊に入ることです。 先日、弊社のアプリケーションサーバーで大量にメモリを消費するという現象に遭遇しました。アクセス頻度の低いサーバーがメモリを大量消費するという謎深いものでした。 発生当初の状況はこんな感じです。 アプリケーションサーバーでは Jetty が稼働 現象が発生した JVM は 5GB 程度のメモリを消費しており、明らかに通常ではない量のメモリを消費している 複数台のサーバーで発生していたが、全てで発生したわけではない。 また、発生したサーバーはいずれもアクセス頻度が少ないサーバーだった。 ヒープ、パーマネント、スタック ひとまず、JVM でトラブルが発生した時は何はともあれヒープダンプとスレッドダンプを見るに限ります。各種情報の取得をインフラ部隊へ依頼し、得られたヒープを解析すると、
Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう
こんにちは。斎藤です。 最近、Dockerなどのコンテナ型仮想化技術、Chef, Ansible, Itamae などによるITインフラ構築・運用自動化技術の利用が進んでいます。一方で、何年も動いて「歴史」を積み重ねているシステムも数多くあります。そして、私を含めてそれらの運用に関わる事もあるでしょう。そんな「歴史」のあるシステムも、何とか運用を効率化したいと思う事があるかもしれません。 今日は、バッチジョブや複数サーバに対する運用を効率化するRundeckを取り上げます。「何ができるの？」「はじめかた」そして「利用時の留意点」の3点についてお話しします。 ※OSはCentOS 6系、Rundeck はバージョン 2.4.0、Java VM は Oracle JDK 1.7.0_72 を利用しています。 cron。Linux系OSに標準搭載されているジョブスケジューラです。標準で使えるため
JMeterとJUnitとMavenで独自プロトコルサーバーの負荷テストを自動化するぞ | GREE Engineering
こんにちは、インフラストラクチャ本部の@nagaseyasuhitoです。このエントリは GREE Advent Calendar 2014 10日目の記事です。昨日はイケメンmoritaさんによる男性エンジニアリングマネージャが長期育休を取った話でした。 エンジニアブログのアカウントは2年くらい前からあるのですが、これが初エントリになります。グリーでは比較的珍しいJavaEEを始めとしたサーバーサイドJavaアプリケーションの開発、SolrやHadoopといったミドルウェアの周辺機能開発や運用などを行っています。どうぞよろしくお願いします。 最近はPvE/PvP/GvGなどユーザー同士がリアルタイムに協調プレイする際、クライアント-サーバー間を常時接続通信で行うゲームが増加しています。このような場合はHTTPのREST APIなど慣れ親しんだプロトコルでは要件を満たしきれないため、Web
Configuring Elasticsearch | Elasticsearch Reference [6.4] | Elastic
Self Managed Elasticsearch ships with good defaults and requires very little configuration. Most settings can be changed on a running cluster using the Cluster update settings API. The configuration files should contain settings which are node-specific (such as node.name and paths), or settings which a node requires in order to be able to join a cluster, such as cluster.name and network.host. This
![Configuring Elasticsearch | Elasticsearch Reference [6.4] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/920e019aaec2913305595d3953ac79066eeffb34/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic-res%2Fimages%2Fsocial_media_default.png)
はじめてのmaven central 公開 - たごもりすメモ
前置き：このエントリはJavaおよびJava周辺の*1開発環境に全く縁の無い人間が、可能な限り依存ソフトウェアを少なく手順をシンプルに保ったままやろうとしたものであり、知識・経験のある人にとっては全く最適な手段でなかろうことをお断りします。 先日のエントリ で書いたとおり woothee 1.0.0 をリリースした。Perl, Ruby, Node.js および PHP などはそれぞれの言語毎のモジュールリポジトリに登録されている。 が、Javaについては自分が Maven Central の勝手がわからず、されてると便利だよなーとは思いつつ放置していた。 が、なんと @making さんからMaven Central登録用の pull requestがきた 。きてしまった。これで最大の問題(xmlを書く)はおおむね解決されてしまったので、覚悟を決めて登録作業をすることにした。 せっかくや
YosemiteでJetBrains IDEを動かす #jbugj | 株式会社サムライズム
Mac待望の新OS、Yosemiteが正式リリースされました。 既にお試しの方も多いかと存じますが、IntelliJ IDEAをはじめとするJetBrainsのIDEはデフォルトでAppleのJava6を必要とします。IDEを起動しようとすると以下のようなダイアログが現れますので、「詳しい情報…」をクリックしてJava for OS X 2014-001をダウンロード、インストールしてください。 ・Java for OS X 2014-001 これはAppleがリリースしているJava6仕様に基づいたJVMです。すでに無償提供版のアップデートを中止されているOracle社のもの(最終リリース版は1.6.0_45)とは異なり、1.6.0_65相当となります。 対応のOSとしてYosemiteは含まれていませんが、弊社にてIntelliJ IDEAの起動、ビルドや実行といった一通りの操作が行え
YosemiteにしたらJetBrains製IDEが起動しなくなったので、Java1.7をインストールしたりinfo.plistを書き換えたりする前に #jbugj - mike-neckのブログ
こんにちわ、みけです。 表題の件について、 Java1.7入れろとか、info.plistだかを書き換えろ的なエントリーが流行ってて、 それを真に受ける人が多いかと思います。 How to Fix the PhpStorm Java Error with Yosemite MacのJava8環境でIntellij IDEA 13.1.1が起動しない これらはあまりオススメしません。OracleのJavaを使うと、IntelliJ IDEAの機能の一部が制限されるからです。 フォントが汚くなる ピンチイン・ピンチアウトができなくなる これらは他のJetBrains製IDEでも同じなので、AppleのJava1.6をインストールすることをオススメします。 以下、サムライズムのYosemiteでJetBrains IDEを動かす #jbugjからほぼコピペ IntelliJ IDEAを起動すると
Java8のHotSpotVMからPermanent領域が消えた理由とその影響 | ギークを目指して
今回も前回の記事につづき、Java8による変更点で未だあまり紹介されていないポイントを記事にしようと思う。 今回はJava8のHotSpotVMの話。Java8ではJEP122が取り込まれ、VMのメモリモデルが変更された。JEP122のタイトル「Remove the Permanent Generation」から想像できるとおり、Java8のHotSpotVMからは従来のPermanent領域が無くなった。 なぜ、こういった変更が行われたのだろうか？また、元々Permanent領域に格納されていた情報は何処にいってしまったのか？JVM付属のツールにどういった影響があるのか？ 今回の記事ではこの点をまとめていこうと思う。 なお、HotSpotVMのメモリモデルについて詳しくない方は、先にこちらの項番（「補足 – HotSpotVMのメモリ構造概説）を読んでいただくとスムーズに読み進められるだ
いますぐ採用すべきJavaフレームワークDropWizard(その１) - Qiita
Dropwizardについて3回に渡って説明したいと思います。 今年に入ってリファクタリングなどで有名なマーティン・ファウラーらが所属するthoughtworks社のTechnology RadarのLanguages & frameworksでADOPT（つまりプロジェクトで採用すべきプロダクト）に入りました。 他に入っているものが、Clojure,Scala,Sinatraなので、それらと同じくらい注目すべきプロダクトということになります。 他のプロダクトに比べると日本語の記事が少なく、また、バージョンも上がり変わった部分もあるので記述しました。 なお、Dropwizardは日々進化しているので、この記事の内容もすぐに古くなるかもしれません。 概要 DropWizardは、YammerのWebサービス部分で利用するために作られたフレームワークでした。 自分が思う一番の特徴は、 **「1
型安全性とは何か | POSTD
以前書いた（C言語についての） メモリ安全性について定義した記事 について、型安全性について説明する記事も投稿してほしいというコメントがありました。型安全性についてはかなりよく知られてきていると思いますが、ズバリこうだと簡単に定義できるほどにはまだ理解が浸透していません。特に誰かが”Javaは型安全な言語だ”と言った場合、これは厳密に何を意味するのでしょう。全ての型安全な言語はある意味”同じ”と言えるでしょうか。ある特定の言語について、そして一般的な意味で、あなたを悩ませる型安全性とは何でしょうか。 実際のところ、型安全性が何を意味するのかは言語の型システムの定義によります。最もシンプルなケースでは、型安全性はプログラムの動作が正しく定義されるように保証します。もっと一般的な話をすると（この記事ではそのあたりをカバーするつもりですが）、言語の型システムはそのプログラムの正確さと安全性を推論
sqoopでOutOfMemoryError - wyukawa's diary
HDP2.1環境でMySQLに対してsqoop importしたら以下のようなOutOfMemoryErrorが出た。 2014-07-29 15:58:15,994 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded at com.mysql.jdbc.MysqlIO.nextRowFast(MysqlIO.java:1649) at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1426) at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2924) at com.mysql.jdbc.
見習いJavaプログラマ向け10冊＋α（2014年版) - カレーなる辛口Javaな加齢日記
http://d.hatena.ne.jp/JavaBlack/20101203/p1 の焼き直し． とくにピアソン桐原の撤退の影響が大きい．*1 前回と同じく，あくまで一例であることは断っておく． プログラミング言語 Java 第4版 作者: ケンアーノルド,デビッドホームズ,ジェームズゴスリン,Ken Arnold,David Holmes,James Gosling,柴田芳樹出版社/メーカー: 東京電機大学出版局発売日: 2014/05/10メディア: 単行本この商品を含むブログ (4件) を見る定番Java言語解説書．ピアソン桐原撤退の時には一度絶版になって泡食ったが，他社より再出版されたので一安心． EFFECTIVE JAVA 第2版 (The Java Series) 作者: Joshua Bloch,柴田芳樹出版社/メーカー: 丸善出版発売日: 2014/03/11メディア
いいから聞け！ 俺が文字コードについて教えてやるよ その２（Javaの文字コード編） - 谷本 心 in せろ部屋
前回のエントリーでは「Java関係ないやん」的なツッコミも受けましたが、 今回からは、Javaを前提にしていきます。 Javaで文字から文字コードを作る 新人くん「Javaで文字から文字コードを作りたいんですが、どうすれば良いんですか？」 先輩社員「getBytesすれば一発だね」 新人くん「getBytesした後のバイト配列から上手く文字列を作れないんですが・・・」 先輩社員「それは別の話だね」 前回のエントリーでは、WordやIMEを利用した文字と文字コードの変換方法を説明しましたが、 では、Javaではどうやれば良いのでしょうか。 Javaで文字から文字コードを作るには、 先輩社員も言っている通り、String#getBytes(charset)するだけです。 具体的なコードは、以下のようになります。 String str = "あいうえお"; byte[] utf8 = str.g
elasticsearch-hadoopをもうちょい調べて遅い理由が少しわかった - Yamakatu as a Service
■これまでの話 第4回Elasticsearch勉強会でElasticsearch-hadoopについて発表させて頂きましたが、その際、評価としてHiveの実行速度をHDFSをストレージとして利用した場合と比較してお見せしました。 ここらへんです。 elasticsearch-hadoopをつかってごにょごにょしてみる from Katsushi Yamashita で、ちょっといくらなんでも遅すぎるな、と思って調べていたらわかったことがあったのでメモ。 ■わかったこと 結論から言うと、elasticsearch-hadoopはRead時はPrimary Shardの数しかMapタスクを生成しない。 これはelasticsearch-hadoopのここら辺のソースを読んでもわかります。 ・EsInputFormat.java getSplitsメソッド 1 2 3 4 5 6 7 8 9
超簡単インストールが可能なGitHubクローン「GitBucket」が凄い | ソフトアンテナ
世の中にはたくさんのGitHubクローンが存在しますが、高機能でもインストールが面倒だと、なかなか手が出しづらいものがありますよね。実際に使えるものかどうか確認したいだけなのに、動かすだけで精一杯だとやる気が萎えてしまいます。 ということで、手間をかけずにGitHubクローンソフトを体験したい方にオススメしたいのが「GitBucket」です。 gitbucket.warをダウンロードしてjavaを使って実行するだけという超簡単インストールで即動かすことができます。 インストール方法 gitbucket.war(現段階で最新版は1.12)をダウンロードし、以下のようにjavaを使って実行します。MacのJava6でも問題なく動きました。 java -jar gitbucket.war 正常に起動したのを確認したら、ブラウザから「http://localhost:8080」へアクセスします。
自己流オブジェクト指向プログラミング＆Javaお奨め本2007年版 - カレーなる辛口Javaな転職日記
http://d.hatena.ne.jp/JavaBlack/20050909/p1の改訂．*1基本的に改訂版への差し替えと一部の新刊の追加程度になっている． お奨めのJava＆オブジェクト指向プログラミング関連の書籍／参考文献リスト．初心者向け入門書や参考書から上級者向けの専門書まで，オブジェクト指向だとかJava言語とかの初心者〜中級者が学習をすすめる上での参考にすることを想定して作っている． 初心者向け勉強の手引き：http://d.hatena.ne.jp/JavaBlack/20070825/p1 オブジェクト指向プログラミング とりあえず初心者なら「オブジェクト指向プログラミング入門」「オブジェクト指向における再利用のためのデザインパターン」と，あと「リファクタリング―プログラムの体質改善テクニック (Object Technology Series)」くらいかな．ただしリフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hadoop YARN: Avoiding 6 Time-Consuming "Gotchas" | Cloudera Developer Blog
20141116 jjug ccc_2014_keynote1_public
おすすめオブジェクト指向練習方法 | サイバーエージェント 公式エンジニアブログ
