Gradle 8.8-rc-1 Release Notes
Gradle Release Notes The Gradle team is excited to announce Gradle 8.8-rc-1. Gradle now supports Java 22. This release introduces a preview feature to configure the Gradle daemon JVM using toolchains and improved IDE performance with large projects. Additionally, this release includes many notable improvements to build authoring, error and warning messages, the build cache, and the configuration c
Structured Data | Linux 6 Transparent Huge Pages and Hadoop Workloads
This past week I spent some time setting up and running various Hadoop workloads on my CDH cluster. After some Hadoop jobs had been running for several minutes, I noticed something quite alarming – the system CPU percentages where extremely high. Platform Details This cluster is comprised of 2s8c16t Xeon L5630 nodes with 96 GB of RAM running CentOS Linux 6.2 with java 1.6.0_30. The details of thos
Transparent Huge Page - 研究日誌。
Transparent Huge Page という hugepage が Linux 2.6.37 から使用することができます。 とはいっても、Transparent Huge Page は default で always 設定(すべて hugepage 上に確保)になっているので、CentOS6, Fedora15 あたりの OS を使用している場合、知らず知らずのうちにその恩恵を授かっていると思われます。 本来 Linux は 4KB のページと呼ばれる block でメモリを扱うことになっていますが、この場合 virtual address から 4 段階の変換テーブルを参照して目的の物理メモリにアクセスすることができます。この 4KB ごとの TLB miss を軽減するには、大きなサイズのページ hugepage を採用することが有効です。2MB の hugepage を採用す
- 株式会社エスロジカル - 技術ドキュメント システム運用TIPS：ディスク使用量の監視
技術ドキュメント目次 -> システム運用TIPS -> ディスク使用量の監視 本技術ドキュメントは、2002～2004年頃に作成したものが多いです。 内容が古くなっていることもあるかと思いますが、ご了承ください。 【低価格SSL証明書】弊社運営の低価格SSL証明書販売サイト、翌月末払いなど請求書払いも可能。 dfコマンドは、 下記のようにパティションごとのディスク使用率を出力します。 （dfコマンドの出力例：NetBSD） $ df -k Filesystem 1K-blocks Used Avail Capacity Mounted on /dev/wd0a 525814 30320 469203 6% / /dev/wd0e 56547854 1520236 52200225 2% /usr kernfs
5.11 sayを使って出力する
世界で最も有名なPerl入門書の決定版"初めてのPerl"に沿って重要なことをまとめていき、これからこの本を用いてPerlを学習する人はもちろん、一度この本を読んだことがある人が、短時間ですべての重要事項を押さえることができるようなプログラムとその出力を載せていきます。 効率的な学習のため、"初めてのPerl"を持っていない方は購入してから並行して読むことを強くお勧めします。 say関数： Perl 5.10以降で使われる関数。print関数の引数の末尾から改行文字を除いた値を返す。使用の際には「use 5.010」と記述するべきである。 ＜復習プログラム＞ #!/usr/bin/perl use 5.010; use strict; my $scalar = "Hello, Perl!"; my @list = qw/one two three four/; print "Hello,
- 自動化のためのGNU Make入門講座
2003/01/05 石井 勝 はじめに ここでは，makeを使ってプログラマやSEが普段行なっている作業を自動化する方法を解説します． makeはプログラム開発だけでなく，いろいろな作業を自動化してくれます．自動化する作業のプラットフォームとしてmakeを活用することができます．ところが，最近はmakeを理解できる開発者が非常に少なくなってきました．普段統合開発環境を使っている人が多いことや，makeについて書かれた書籍やサイトが非常に少ないことが原因でしょう．makeについて少しは知っているけど，あまり使いこんだことがない人はこの記事を参考にしてみてください． 一口にmakeといってもいろいろな種類があり，それぞれ仕様が異なります．ここでは，僕が普段使っているGNU makeについて解説します．GNU makeは機能が豊富で他のmakeツールやAntに比べ優れています．開発環境は，僕が
トリビアなmakefile入門
make/makefileは，大きいプログラムのどの断片が再コンパイルされる必要があるかという事と,それらを再コンパイルする発行コマンドを自動的に決定するユーティリティ／設定ファイルです． コンピュータサイエンスの基本的な考え方のひとつに冗長性をなくして効率化する構成を追及するというのがあります． 情報理論(bitの理論)，HTMLとブラウザ，高級言語と機械語など，ひとつの仕様（表現）から環境や状況にあわせて実装（記述）をつくりだす構成が好まれます． ひとつのファイルでさまざまなコマンドを制御するmake/makefileを制することはコンピュータサイエンスを制することになります． makeのあれこれ もっとも単純な例 Makefile は以下のようなルールからなる．
Autotools - Wikipedia
Autoconf (autoconf) はconfigurationスクリプトを自動生成するツールである[4]。 ビルド環境の自動構築をおこなうconfigurationスクリプト (configure) はそれ自体が時に数千行に渡る巨大なスクリプトになる。これを手動で記述し維持することは時間の浪費でありバグの温床である。このconfigure生成を自動でおこなうツールがAutoconfである[4]。 Autoconfはconfigure.acを入力とし、configureを出力とする[5]。ユーザーがこのconfigureを実行することでビルド環境が構築される。 特徴[編集] autoconfはDavid Mackenzieがフリーソフトウェア財団での仕事で使うために、1991年の夏から開発を開始した。その後、様々な人に改良を加えられ、オープンソースのコミュニティでは最もよく使われるツー
SCons: A software construction tool
What is SCons? SCons is an Open Source software construction tool. Think of SCons as an improved, cross-platform substitute for the classic Make utility with integrated functionality similar to autoconf/automake and compiler caches such as ccache. In short, SCons is an easier, more reliable and faster way to build software. What makes SCons better? Configuration files are Python scripts--use the p
SCons/Makefileを書くのに疲れた人のためのSCons - S.T.K Wiki
SCons SConsはmakeやAntのように数多くあるビルドツールのうち一つであり、Pythonで書かれている。 ビルド設定のファイルをPythonで記述することができ、またSCons自身が依存関係解析の機能を持っているため、 makeと比べるとずっと簡単にビルド環境を構築することができる。 Hello, World的なもの 以下のような簡単なCプログラムをSConsでビルドしてみる。 hello.c 1 #include <stdio.h> 2 int main (int argc, char *argv[]) { 3 printf("Hello, World!\n"); 4 return 0; 5 } 6
なぜSTAP細胞は驚くべき発見なのか――STAP細胞が映し出すもの/八代嘉美 - SYNODOS
はやいもので、2014年最初の月はもう終わろうとしている、しかし、そのひと月だけでも、幹細胞研究やがん研究に関するニュースがいくつか報じられていた。 ・小分子RNAによって悪性度の高いがんを正常な細胞に転換させる （鳥取大） ・神経幹細胞の分化制御に関わる小分子RNAを特定 （慶應・理研） ・化合物を加えてiPS細胞に似た集団を得る （京都大） だが1月最終週になって、とんでもない報告が飛び出すことになった。それが、理化学研究所・発生再生科学総合研究センター（理研CDB）のグループリーダー、小保方晴子博士らによる「STAP細胞」の報告である。 STAPというのは「Stimulus-Triggered Acquisition of Pluripotency」の略。日本語では刺激惹起性多能性獲得細胞、と名づけられているそうだが、ようするに、「とある細胞に刺激をあたえたら、身体を構成するあらゆる
クロスプラットフォーム開発の大本命!? HTML5もアプリもFlashも開発できる「OpenFL」とは？ - ICS MEDIA
クロスプラットフォーム開発の大本命!? HTML5もアプリもFlashも開発できる「OpenFL」とは？ 「インタラクティブコンテンツをワンソースでクロスプラットフォームに対応させたい」、それはフロントエンドのデベロッパーであれば誰もが望むことではないでしょうか。一昔前はAdobe Flashが「Open Screen Project」と題して一歩手前まで実現していましたが、iPhoneからFlashを締め出そうとするAppleの強硬な姿勢によって頓挫することになりました。 尾野さん(しっぽさん)からの勧めもあり調べたのですが、「OpenFL」（オープンエフエル）というテクノロジーはさまざまな形式にインタラクティブコンテンツを出力できます。つまりOpenFLを使えばワンソースでクロスプラットフォームを実現できるのです。今回はOpenFLからHTML5とFlashを出力することによってクロス
IntelliJ IDEA 13.0.2の新しいScalaコンパイラ - 最大で25%高速化 | Post Blog
IntelliJ IDEA 13.0.2でご利用いただけるScalaプラグインの最新版(v0.30.375)ではSBT incrementalかIntelliJ IDEA内蔵のものか、コンパイラを選べます。 後者はIntelliJ IDEAのバイトコード依存アナライザをベースにした新しいビルトインコンパイラで、Scala特有のソースコード間の依存を無視することで最大で25%の高速化を実現しています。この手法をJetBrainsでは”lower precision approach”(低精度アプローチ)と呼んでいます。なぜならパフォーマンスにフォーカスするため、幾分正確性を犠牲にしているからです。 プラグインそのものをコンパイルした際のベンチマーク結果を以下に示します: 新しいコンパイラはデフォルトで有効になっていますので、すぐにどれくらいコンパイラが早くなっているか実感出来ることでしょう。
dockerについて社内勉強会で話しました - 圧倒亭グランパのブログ
こんにちは！@at_grandpa です。 社内勉強会でdockerについて話す機会がありました。 以下に、勉強会で使用したスライドを載せます。 「dockerって聞いたことあるけどなんなんだ？」という人向けに作りました。 （自分もその立ち位置だったので） はじめてのdocker from at_grandpa 内容としては以下になります。 現在のサーバー運用が抱える問題 ( p.9 ) dockerを支える技術 ( p.56 ) AUFS LXC 実際にdockerを使う流れ ( p.85 ) pingとvimをインストールしてみる dockerのその他の機能 ( p.113 ) AUFSやLXCについては、以下のサイトが個人的にわかりやすかったです。 Dockerが利用しているAUFSとLXC スライド内で使用したURLはこちらです。 Docker: Linuxコンテナを使ってアプリ
Acroquest TechnologyがStorm上で動作する機械学習向けライブラリをOSSとして公開
Acroquest Technologyは2014年1月30日、分散処理フレームワークのStorm上で動作する機械学習向けライブラリ「AcroMUSASHI Stream-ML（Machine Learning Library）」をOSSとして公開した。Acroquest TechnologyのGitHubのページからダウンロードできる。 AcroMUSASHI Stream-MLに含まれるライブラリ群を利用すれば、機械学習に使われるクラスタリングや異常値検知といった処理を分散処理フレームワーク上で実装できる。ビックデータなどの連続的に発生するストリームデータに対して、動的に学習データを更新しながらリアルタイムに分析するといった処理が可能になる。 また、AcroMUSASHI Stream-MLのベースになっているOSSのAcroMUSASHI Streamと組み合わせることで、データの収
Fatal Error Log - Troubleshooting Guide for Java SE 6 with HotSpot VM
Document Information Preface 1. Diagnostic Tools and Options 2. Detailed Tool Descriptions 3. Troubleshooting Memory Leaks 4. Troubleshooting System Crashes 5. Troubleshooting Hanging or Looping Processes 6. Integrating Signal and Exception Handling 7. Submitting Bug Reports A. Environment Variables and System Properties B. Command-Line Options C. Fatal Error Log D. Summary of Tools in This Re
「Java」Fatal Error Log を強制的に出力させる - プログラム日記
Java のプロセスが強制終了した場合、Fatal Error Log が出力されることがある。 ( 原因としては Java VM 側の不具合であることがほとんどだとか ) Fatal Error Log の出力先ですが、ドキュメントによると "-XX:ErrorFile" オプションで指定できるとのことです。 ・Fatal Error Log - Troubleshooting Guide for Java SE 6 with HotSpot VM http://www.oracle.com/technetwork/java/javase/felog-138657.html また、以下の記述があり、"-XX:ErrorFile" オプションで指定しない場合は、作業ディレクトリ ( これは Java を実行したディレクトリってことでいいんかな ) に作成しようとするとある。 In addi
core - ファイルのフォーマットと規約の説明 - Linux コマンド集 一覧表
ある種のシグナルを受けた場合のデフォルトのアクションは、 プロセスを終了し (terminate)、 "コアダンプファイル (core dump file)" を生成することである。コアダンプファイルは、ディスク上に生成される 終了時のプロセスのメモリイメージを内容とするファイルである。 どのシグナルを受けたときにプロセスがコアダンプを生成するかのリストは signal (7) に書かれている。 プロセスはソフト・リソース制限 RLIMIT_CORE を設定することで、「コアダンプ」シグナルを受信した際に生成される コアダンプファイルのサイズに上限を課すことができる。詳細は getrlimit (2) を参照。 コアダンプファイルが生成されない状況がいくつかある: プロセスがコアファイルを書き込む許可を持たない場合 (デフォルトでは、コアファイルは core という名前で、カレント・ワーキ
coreファイルのパスを変更する
coreファイルは一ヶ所にまとまっていてほしいので保存先パスを変更した。 $ cat cat /proc/sys/kernel/core_pattern core # echo /var/core/core.%e.%p > /proc/sys/kernel/core_pattern 書式指定子は以下のとおり %p - pid %u - uid %g - gid %s - signal number %t - UNIX time of dump %h - hostname %e - executable filename %% - output one "%" %<NUL> - "%" is dropped %<OTHER> - both are dropped init scriptで起動するプロセスはinit script内か/etc/defaultでulimit -c unlimite
[Linux] ディスクの容量不足を警告するスクリプト～設置編～ | pc.casey.jp
これまで数年サーバーを運用していて、２度、容量不足に事前に気がつけなかったことがあった。 １度目はroot 宛メールが蓄積していき、いつの間にやらディスクを逼迫してしまっていたもの。２度目は取り消したはずのスクリプト（cron ）が何故か活きていて、ディスク容量不足に陥り、データベースのバックアップスクリプトが正常完了しなかった状態になってようやく気がついた。 ちょっと間違えば起動できなくなったり、データが吹き飛ぶ事も考えられるから恐ろしい。 そこで、容量が不足した場合、電子メールで警告するようにしたい。どのような手段があるだろうか。 ユーザ領域（クォータ）に関するものが多くヒットしてしまい、ディスク全体（特に「/」）に関するものが少なかったように感じた。そもそも、その辺を正しく弄るレベルな人には、朝飯前どころの話ではないからかもしれない。 ここでは「サーバーの空き容量を監視してアラートメ
sarコマンドでディスクIOを見る - ike-dai's blog
sar -Aで取得したシステムの利用状況の中で、ディスクIOを示すものは下記の記述部分。 17:57:57 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 17:58:07 dev8-0 8.78 0.00 134.13 15.27 0.01 0.73 0.73 0.64 17:58:07 dev8-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 17:58:07 dev8-2 8.78 0.00 134.13 15.27 0.01 0.73 0.73 0.64 17:58:07 dev8-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 17:58:07 dev8-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Jenkins] monitor free space on jenkins slave
Sign in - Google Accounts
GitHub - acromusashi/acromusashi-stream-ml: AcroMUSASHI Stream-ML - Machine Learning Library