Java Swing「StatusBar」メモ(Hishidama's Swing-StatusBar Memo)
ステータスバーもどき（Swing） Swingには、ステータスバーそのものは用意されていない。 JFrame#getContentPane()の下方にそれっぽいコンポーネントを配置することで代用する。 単純なラベル 少し複雑な配置 [/2007-02-08] ツールバーとの並存 単純なラベル /** * ステータスバーの初期化 */ private void initStatusBar(Container c) { JLabel bar = new JLabel("status"); c.add(bar, BorderLayout.PAGE_END); } 少し複雑なステータスバー 左詰のペインを用意し、その上に必要なコンポーネントを配置する例。 /** * ステータスバーの初期化 */ private void initStatusBar(Container c) { JPanel ba
Hadoop0.23 YARNメモ(Hishidama's Hadoop0.23 YARN Memo)
概要 YARNは、Hadoop0.23におけるジョブ実行フレームワークの名前。 0.23より前のHadoopはMapReduceというアルゴリズム（に基づくフレームワーク）だったので、次世代MapReduceという意味でMapReduce2.0（MRv2）とも呼ばれているが、実際はもうMapReduceではないので、別の名前が付けられたのだろう。 YARNでは、以下のような手順でアプリケーションを実行する。 （ResourceManager（RM）とかApplicationMaster（App Mstr・AM）とかの関係については、YARN Architectureを参照） ClientがResourceManagerに対してプログラム（ApplicationMaster）の実行を依頼（submit）する。 ResourceManagerは、どこかのノードでApplicationMaste
微分演算子：勾配ベクトル、ヤコビ行列・ヤコビアン、ヘッセ行列・ヘッシアン、ラプラシアン
※関連ページ ・グラディエント・ヤコビアン・ヘッシアン：n変数関数のケース/ベクトル値関数のケース ・2変数関数の微分定義：偏微分/高階偏微分/方向微分/全微分/高階全微分 ・2変数関数微分の応用：合成関数の微分/平均値定理･テイラーの定理/極値問題 陰関数定理/逆関数定理/ラグランジュ未定乗数法 ・2変数関数の概念：2変数関数の諸属性/極限/連続/極限の性質/矩形上の積分/点集合上の積分 →文献・総目次
UNIXコマンドのメモ(Hishidama's UNIX-command Memo)
S-JIS[2003-05-19/2016-12-10] 変更履歴 UNIXコマンド一覧 xtermやktermといった端末上のシェルから入力して実行するコマンド。 UNIX…BSD系もSystemV系もLinuxもSolarisも一緒くたに書いてます。 当ページでは 全てのコマンドに<a name="コマンド名">で名前を付けてあるので、URLに「#コマンド名」を付けると目的のコマンドまですぐ飛べます(爆) 終了関連（shutdown等） [/2007-02-09] 端末関連（stty等） [/2009-05-10] ファイル操作関連（ls, cp等） [/2014-09-27] ディレクトリー関連（cd, pushd, mkdir等） [/2008-11-29] ファイル属性関連（chmod, umask等） [/2007-03-05] ファイル表示関連（cat, tee, tail,
JNIエラーメモ(Hishidama's Java native interface error Memo)
JNIのエラー JNIはJavaとC言語/C++間をつなぐので、ミスをするとJavaだけで作っているよりも複雑な障害が発生する。 UnsatisfiedLinkErrorが発生する場合 戻り値のクラスが異なる場合 クラスにNULLを指定した場合 UnsatisfiedLinkError System.loadLibrary()で指定したJNIのライブラリー（dllやso）が見つからないとUnsatisfiedLinkErrorが発生する。 System.loadLibrary("SampleJNI"); java.lang.UnsatisfiedLinkError: no SampleJNI in java.library.path at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1682) at java.lang.Runtim
Spark Streamingメモ(Hishidama's Apache Spark Streaming Memo)
概要 Spark Streamingは、流れてくるデータ（ストリーム）を処理する機能。 次々に流れてくるデータを（短い間隔で）繰り返しバッチ処理する。 大抵は結果をファイルシステム上に格納する。バッチ処理の都度書き込まれるので、ファイルが増えていくことになる。 短い間隔でバッチ処理を行う形なので、高スループット（単位時間当たりの処理能力が高い）であるが、レスポンス（応答時間）は遅くなる。 Spark Streamingを扱う場合、StreamingContextクラスを使う。 入力データはDStream（discretized stream、離散ストリーム）というクラスで扱う。 DStreamはRDDではないが、RDDと似たメソッドを持っている。（それらのメソッドを使って処理を記述することを「バッチ処理」と呼んでいるように思う） import org.apache.spark.stream
Hadoop0.23 YARNメモ2(Hishidama's Hadoop0.23 YARN Memo2)
円周率算出サンプル（中途半端版） 最初にコンテナー抜きのサンプルを作ったので、今度はコンテナーを起動するサンプル。 ただし、コンテナーの起動は出来たものの、戻り値を受け取る上手い方法を見つけられなかったので、今回はその部分は無し！ つまりコンテナーを起動するだけ（結果はログに出力するだけ）＾＾； 参考として従来のMapReduceで動く円周率算出（モンテカルロ法）のサンプルを使って作ってみたが、 結果を返さないので、別に円周率算出でなくてもよかったな…(苦笑) →ソース全体 MapReduce版のサンプルでは、Map処理を複数起動して数値の算出を行い、Reduce処理で合算している。 最初に入力ディレクトリーをHDFS上に1つ作り、Map数と同じだけ入力ファイルを作っている。 （従来のMapReduceでは、入力ファイル数（と大きなファイルの場合はブロック数）の個数だけMapタスクが作られ
Java文字列メモ(Hishidama's Java String Memo)
一文字：char [/2010-06-20] 不変の文字列：String [/2023-09-24] 可変の文字列：StringBuffer/StringBuilder [/2023-09-24] StringWriter（PrintWriter）/PrintStream [/2009-02-14] StringJoiner [2014-03-19] コードポイントの例 [2017-01-28] 文字のStream [2014-04-29] 文字列の結合 [2007-07-01] 単独の結合の実行時間 ループ内結合の実行時間 +演算子の実態 [/2008-01-27] 結論 [/2014-04-29] 文字列の比較方法 [2008-04-16] 文字列比較の書き順 [2008-05-02] 半角カタカナ・全角ひらがな変換 [2012-06-15] 半角英数変換 [2014-04-29] c
Embulkメモ(Hishidama's Embulk Memo)
概要 インストール [/2017-05-15] サンプル YAMLファイル [/2015-10-31] 入出力プラグイン ローカルファイル入力 [/2017-07-16] ローカルファイル出力 [/2017-07-16] MySQL入力 [/2015-10-31] MySQL出力 [/2015-10-31] PostgreSQL入力 [2017-04-11] PostgreSQL出力 [2015-10-15] Tsurugi入力 [/2023-12-07] Tsurugi出力 [/2023-12-10] Excelファイル入力 [/2023-10-08] SequenceFile入力 [/2023-10-08] フィルター [/2015-09-27] 概要 Embulkは、データを並列にバルク転送するツール。Treasure Data（のfrsyukiさん）が開発しているOSS。 ファイル
Hadoop CDH4メモ(Hishidama's Hadoop2.0 CDH4 Memo)
CDH4（Cloudera's Distribution including Apache Hadoop v4）のインストールについて。 CDH4の概要 CDH（Cloudera's Distribution including Apache Hadoop）は、Hadoopのディストリビューション。 CDH4はHadoop2.0（旧Hadoop0.23）がベースとなっている。 CDH4のHadoopはMapReduce v1（MRv1）とYARN（MRv2）の二種類ある。 MRv1は従来と同じくJobTrackerやTaskTrackerを使用して動作する。 YARNは新しい方式で、ResourceManager・NodeManager（やApplicationMaster/Container）を使用して動作する。 （Hadoop0.23ではインストールは一種類で、パラメーターmapred
DBトランザクションメモ(Hishidama's database transaction Memo)
いずれにしても、そのレベル（範囲）において、整合性がとれていなければならない一連（ひとかたまり）の処理を意味する。 レベルの違いを除けば、欲しい機能（トランザクションに求めれられる事）は同じ。 すなわち、一連の処理中に同じデータに対して他の処理が更新をかけることが無いようにしたい。 一連の処理が途中で中断された場合、半端な状態になるのは困るので、何らかの対処が欲しい（トランザクション処理開始前の状態に戻るとか）。 当ページで扱いたいのは、データベースが持つ仕組みとしてのトランザクション。 特に、それを使ってどうプログラミングするか・その為にどういう設計が必要か、という考察。 RDBのトランザクションの使用方法 リレーショナルデータベース（RDB）においてデータ（テーブル）を更新するには、トランザクションを使用する。 DBアクセスする為には、クライアントからDBへ接続（connect）する。
Apache Sparkメモ(Hishidama's Apache Spark Memo)
概要 [/2017-01-14] Hadoopとの比較 [/2014-09-12] サンプル [/2017-01-22] インストール 開発環境の構築 [2017-01-22] インストール [/2017-01-14] Sparkシェル [/2014-09-19] 実行方法 [/2017-01-18] API（RDD系） SparkContext [/2014-09-15] RDD [/2017-07-26] パーティション [2014-09-07] Kryo（シリアライズ） [/2015-01-15] Spark SQL [/2014-09-02] Hive操作 [2014-09-01] Streaming [2014-09-02] API（Dataset系） SparkSession [2017-01-14] Dataset [/2020-10-08] Encoder [2017-01
Spark RDDメモ(Hishidama's Apache Spark RDD Memo)
RDDの不変とは RDDの不変（イミュータブル）とは、“依存RDD（系譜）”と“処理内容”が変わらないという意味であり、「“処理した結果のデータ（値）”が常に変わらない」という意味ではない。[2014-09-08] 「一度出来上がったデータ（値）は、正常な手段では変更されない」という意味では、データが不変と言えなくもないが。 Sparkでは、障害が起きてRDDの一部が消失すると、入力元の（依存している）RDDを使って再処理してデータを作り直す。 基本的には、依存RDDのデータ（値）が障害前と同じであれば、再処理した結果のデータも障害前と同じになる。 しかし、障害前と同じにならないケースもある。 破損していない入力データが見つかるまで再帰的に依存RDDを辿っていくことになるが、一番先頭まで辿り着いてしまうと、HDFS等の外部システムからデータを再度読み込むことになる。 もしそのデータの内容が
Java関数型インターフェースメモ(Hishidama's Java8 Functional Interface Memo)
概要 @FunctionalInterface 標準的な関数 Supplier（get：()->T） [/2014-04-13] Consumer（accept：(T)->void） [/2014-04-13] Predicate（test：(T)->boolean） [/2018-10-01] Function（apply：(T)->R） [/2014-04-13] UnaryOperator（apply：(T)->T） [/2014-04-13] BinaryOperator（apply：(T,T)->T） [/2014-04-13] 関数型インターフェースは、ラムダ式やメソッド参照の代入先になれるインターフェースのこと。 関数型インターフェースの条件は、大雑把に言って、定義されている抽象メソッドが1つだけあるインターフェース。 staticメソッドやデフォルトメソッドは含まれていても
ポストグレスSQLメモ(Hishidama's PostgreSQL SQL Memo)
ユーザー情報 CREATE USER（createuser）で作成する。変更はALTER USER。削除はDROP USER（dropuser）。 照会は以下の様なSQLで行う。 select * from pg_shadow; ←権限がある人のみ実行可能。パスワードも見られる。 pg_shadowで表示されるパスワードは、MD5形式の時は暗号化されている。文字列の先頭がmd5になっていたような…。 select * from pg_user; ←権限が無くても実行可能。パスワードは見られない。 select current_user, session_user; ←現在のユーザーIDを表示する関数を使用 パスワードの設定は、以下の様にして行う。 ALTER USER ユーザー名 PASSWORD 'パスワード'; グループ情報 CREATE GROUPで作成する。変更はALTER GRO
Spark SQLメモ(Hishidama's Apache Spark SQL Memo)
概要 Spark SQLは、Spark（RDD）の操作をSQL（SELECT文）で行う為のクラス群。 Sparkをインストールすればそのまま使える。（他に特に何かをインストールする必要は無い） Spark SQLを使う場合、SQLContextとSchemaRDDクラスを使う。 import org.apache.spark._ import org.apache.spark.sql._ val sc: SparkContext = ～ val sqlContext = new SQLContext(sc) import sqlContext._ SQLContextインスタンスはSparkContextを使って生成する。 SQLContextには通常のRDDからSchemaRDDへ変換する暗黙変換メソッドが定義されているので、インポートしておく。 SchemaRDDはRDD[Row]、す
Hadoop0.21メモ(Hishidama's Hadoop0.21 Memo)
WindowsXPへのインストール HadoopはUNIXを想定しているようなので、Windowsで試す為にはCygwinが必要。 sshが必要なので、CygwinのOpenSSHもダウンロードして設定しておく。 （単独環境で動作させるだけならsshは不要） HadoopはJavaで動くので、JDK1.6もインストールしておく。 Hadoop Common リリースの 「今すぐダウンロードする」を選択してダウンロードページを開く。 ダウンロードページから適当にミラーサイトを選んで、アーカイブをダウンロードする。（hadoop-0.21.0.tar.gz） 適当な場所にアーカイブを展開する。（C:\temp\hadoop-0.21.0-c1\～） 展開したディレクトリーをCygwinのディレクトリーに移動する。（C:\cygwin\usr\local\hadoop-0.21.0-c1\～）
Hadoopメモ(Hishidama's Hadoop Memo)
S-JIS[2010-02-21/2021-05-17] 変更履歴 Apache Hadoop Apache Hadoop(ハドゥープ)は、分散コンピューティングの為のオープンソースのソフトウェア（フレームワーク）。 Hadoopというのは、製作者の子供のぬいぐるみの象の名前なんだそうだ。 公式ページの上の方に描かれている黄色い象がそれか？＾＾； （ぬいぐるみの写真→@ITの記事や工藤さんのブログの下の方） リンク集 インストール Windowsへのインストール Hadoop0.20 [2010-08-29] Hadoop0.21 [2010-08-29] HDInsight [/2013-02-26] HDP [/2013-05-26] Hadoop 2.1 [2013-08-31] CDH3のインストール [/2012-05-10] CDH4のインストール [2012-06-08] H
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Java Swingメモと改造(Hishidama's Java Swing Memo)
数列の極限の例