GCCの最適化オプション
郷に入っては郷に従えというが、GNU/Linuxのプログラミング環境にはまだまだ慣れない。とりあえず今のC++本執筆作業には、最新のClangでコンパイルできればそれで用が足りるので、Clangのビルドが楽なGNU/Linux環境は悪くない。欲を言えばlibc++もまともに動くようになってほしい。Ubuntu 12.10でlibsupc++を使ってlibc++をビルドしてみたところ、RTTI周りのABIに問題があるらしく、virtual関数呼び出しすらできなかった。 しかし、GNU/Linuxにおけるプログラミングはどうにも学ぶことが多すぎる。GNUのgdbの使い方もそろそろ覚えたいし、Autotoolsの使い方も覚えたいものだ。幸い、GNU/Linuxで一般的なテキストエディターであるVimは、特に何も学ばなくても使えるので楽だ。たかがテキスト編集作業に、多数のキーボードショートカットを
gccでアセンブラを出力しそれを実行ファイルにする
○gccでアセンブラを出力しそれを実行ファイルにする ■元になるソースコード ▽ファイル名 : test.c #include <stdio.h> main(){ while(1){ char buff[1024]; scanf("%s",buff); printf("%s HELLO \n",buff); } } ■アセンブラファイルを出力する gcc -S test.c ▽生成されたファイル名 : test.s .file "test.c" .section .rodata .LC0: .string "%s" .LC1: .string "%s HELLO \n" .text .globl main .type main, @function main: pushl %ebp movl %esp, %ebp subl $1048, %esp andl $-16, %esp movl
なんでGCCはa*a*a*a*a*a を (a*a*a)*(a*a*a) に最適化できないの？っと
c - Why doesn't GCC optimize a*a*a*a*a*a to (a*a*a)*(a*a*a)? - Stack Overflow 俺は科学技術計算の数値計算の最適化をしてたんだけどさ。GCCはpow(a, 2)をa*aにしてくれるんだな。うん。で、pow(a, 6)は最適化されずに、ライブラリ関数であるpowを呼んじゃうんだ。パフォーマンス的に最悪。(Intel C++ Compilerはpow(a,6)のライブラリ関数呼び出しを消し去ってくれるんだけどな) どうもよくわからんのが、pow(a, 6)をa*a*a*a*a*aで置き換えて、GCC 4.5.1をオプション"-O3 -lm -funroll-loops -msse4"で使ったら、mulsd命令を5個使う。 movapd %xmm14, %xmm13 mulsd %xmm14, %xmm13 mulsd
単純なスタックバッファオーバーフロー攻撃をやってみる - ももいろテクノロジー
一つ前のエントリで作ったシェルコードを使って、スタックバッファオーバーフローを利用したシェル起動をやってみる。 環境 Ubuntu 12.04 LTS 32bit版 $ uname -a Linux vm-ubuntu32 3.11.0-15-generic #25~precise1-Ubuntu SMP Thu Jan 30 17:42:40 UTC 2014 i686 i686 i386 GNU/Linux $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 12.04.4 LTS Release: 12.04 Codename: precise $ gcc --version gcc (Ubuntu/Linaro 4.6.3-1ubuntu5) 4.6.3
GCC をソースからビルドする修行してみた - Qiita
C++11 が使えない？最新の GCC 使えばいいじゃない！ sudo 権限がないからインストールできない？ビルドすればいいじゃない！ はい。C++11 が使えないのはちょっと人権がないと思うので、そのためだけに GCC の最新版をビルドしてみました。まぁ、ほぼマニュアル通りに実行しただけなので、つまずいた所とかをメモ書き程度に。 uda@host:~$ uname -srmo Linux 2.6.32-5-amd64 x86_64 GNU/Linux uda@host:~$ cat /etc/debian_version 6.0.6 uda@host:~$ /usr/bin/gcc --version gcc (Debian 4.4.5-8) 4.4.5 Copyright (C) 2010 Free Software Foundation, Inc. This is free soft
gccのみでOS自作入門 - ブレ男のブログ
2014年2月11日火曜日 gccのみでOS自作入門 時刻: 9:48 OSを作りたくて「OS自作入門」本を以前試してたんだけど、WindowsじゃなくてMacでやろうとしたところ、３章のC言語を導入するところで躓いてしまい、放置していた。 これはMacで使われているgccでコンパイルしたオブジェクトファイルからバイナリを取り出す方法がわからなかったのが原因だった。 それならと、Linux系OS上のgccならばリンカスクリプトも受け付けて直のバイナリを取り出すことができるのでやってみた。アセンブラもgccのもの(gas)を使うようにした。 VirtualBoxでLinux系OSを動かす 普段Macを使っていて手元にLinux系のマシンを持ってないんだけど、OS開発にエミュレータを使うこともあり、ついでにとエミュレータ上でLinux系OSを走らせて、その上で自作OSの開発を行うことにし
ELF実行ファイルのメモリ配置はどのように決まるのか - ももいろテクノロジー
Linux x64環境において、ELF実行ファイル、共有ライブラリ、スタック領域、ヒープ領域のアドレスがどのように決まるのかについてのメモ。 環境 Ubuntu 12.04 LTS 64bit版 $ uname -a Linux vm-ubuntu64 3.11.0-15-generic #25~precise1-Ubuntu SMP Thu Jan 30 17:39:31 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 12.04.4 LTS Release: 12.04 Codename: precise $ gcc --version gcc (Ubuntu/Linaro 4
KMC Staff Blog:GNU CPP(GCC)の独自拡張#include_next指令
2014年09月11日 GNU CPP(GCC)の独自拡張#include_next指令 Warp の挙動を調べている時に、GCC のプリプロセッサの #include_next 指令の挙動にかなり悩んだので、備忘録も兼ねてドキュメントの日本語訳をアップロードします。 厳密な仕様が無く、あまり有名でもない（？）独自拡張なので（ARM CC や IBM XL C/C++ など、一応 GCC 以外のコンパイラのプリプロセッサにも取り入れられているようですが）、情報が少なく、実際にいろいろ動かして実験してみないと挙動がよくわからず、かなり混乱しました。以下の翻訳もあまり自信が無いので、何かお気づきの点があれば、コメント欄にてご指摘いただけると幸いです。（ただし、現在スパムコメントがあまりにも多いため、半角英数字のみのコメント、国外の IP アドレスからのコメント、改行が 10 個以上あるコメント
GCC 4.8.2をビルドしてホームディレクトリにインストール - 学生時代に頑張ったことが何もない
概要 あるサーバ上でC++11の機能をフルに使いたかったがGCCが古かったのでGCC 4.8.2を新たにインストールした．管理者権限が無いのでソースからコンパイルして$HOME/localにインストールした． 環境 OS Linux x86_64 元のGCC 4.3.2 手順 # Download GCC 4.8.2 wget http://ftp.tsukuba.wide.ad.jp/software/gcc/releases/gcc-4.8.2/gcc-4.8.2.tar.bz2 tar xjf gcc-4.8.2.tar.bz2 cd gcc-4.8.2 # Download GMP 5.1.3 wget https://ftp.gnu.org/gnu/gmp/gmp-5.1.3.tar.bz2 tar xjf gmp-5.1.3.tar.bz2 mv gmp-5.1.3 gmp #
GCC 5.0 での x86 向けの最適化新機能 | iSUS
この記事は、インテル® デベロッパー・ゾーンに公開されている「New optimizations for X86 in upcoming GCC 5.0」(https://software.intel.com/en-us/blogs/2014/11/24/what-is-new-for-x86-in-upcoming-gcc-50) の日本語参考訳です。 パート 1 ロード/ストアグループのベクトル化GCC 5.0 では、ロードグループとストアグループのベクトルコードの品質が大幅に向上しました。ロード/ストアグループとは、反復中のロード/ストアの連続したシーケンスを意味します。次に例を示します: x = a[i], y = a[i + 1], z = a[i + 2] で、”i” で繰り返されるロードグループのサイズは 3 です。 グループサイズは、ロード/ストアアドレスの最下位と最上位間
KMC Staff Blog:Linux上でビルドしたGCCクロスコンパイラを（簡易）テストする方法
2015年02月24日 Linux上でビルドしたGCCクロスコンパイラを（簡易）テストする方法 PC Linux ホスト上で、sh の評価ボードなどホストと異なる環境をターゲットにした、GCC のクロスコンパイラ ※ をビルドするのは比較的簡単で、ウェブ上にも情報はたくさんあるのですが、それをテストする方法がなかなかわからず苦労しました。その時のメモです。 ※ この記事では newlib を使用した bare-metal target、いわゆる OS レスの環境をターゲットにしたクロスコンパイラの、ソフトウェア CPU シミュレータを使用した簡易テスト方法を扱います。GCC のビルド環境や、dejagnu などの（通常のネイティブ GCC の）テスト環境は、既に整っているものとします。 このサイトが非常に参考になりました。 参考サイト： MIPS Cross Compiler build
gcc4.4.7 → 4.9.0にバージョンアップ : 密かなITエンジニアの備忘録
CentOS6.5に標準で入っているgccのバージョンは 4.4.7 。 # gcc --version 最新版は 4.9.0 がリリースされているので、これを入れることにしました。 1. gcc4.9.0をダウンロードする。 http://gcc.gnu.org/ でミラーサイトから gcc-4.9.0.tar.gz をダウンロードします。 2. ダウンロードしたファイルを展開する。 # tar zxvf gcc-4.9.0.tar.gz -C /usr/local/src/ /usr/local/src/gcc-4.9.0 にファイルが展開されます。 3. 必要なパッケージをダウンロードする。 # cd /usr/local/src/gcc-4.9.0 # ./contrib/download_prerequisites 下記パッケージがダウンロードされました。 mpfr-2.4.2.
gccで Wall & Wextra を使っても有効にならない警告 - Qiita
gccで-Wall -Wextraを付けてもなお有効化されない警告オプションがあるそうなので、ドキュメントを読んでその効能を簡単に調べた。 なお、これらのオプションの中にはfortran、Objective-C用のものもあるようだが、それらについては説明を省く。 検証環境: gcc (Rev3, Built by MSYS2 project) 5.2.0 (やや特異な環境なのでLinuxなどの一般的な環境とは状況が違うかもしれない) 参考: https://gcc.gnu.org/onlinedocs/gcc/Warning-Options.html https://gcc.gnu.org/onlinedocs/gcc/C_002b_002b-Dialect-Options.html https://gcc.gnu.org/onlinedocs/gcc/Objective-C-and-Ob
xv6 を読む
xv6.md 書いたもの xv6を学ぶ上での準備 https://gist.github.com/kaishuu0123/5235498#file-xv6_0-md 起動処理を読む(main.c の main() が呼ばれるまで) https://gist.github.com/kaishuu0123/5235498#file-xv6_1-md main() からmpmain()が呼ばれるまで https://gist.github.com/kaishuu0123/5235498#file-xv6_2-md xv6_0.md xv6 を学ぶ上での準備 xv6 って何? Unix v6 を x86 マルチプロセッサシステムに移植したxv6 講義資料はこれ: http://pdos.csail.mit.edu/6.828/2012/xv6.html なんでxv6を読むのか Linux からとっ
ミニCコンパイラの概要
12月10日頃にスタートしたミニCコンパイラの開発の目途がつき、 最も簡単な次のプログラムが正常にコンパイル・実行できた。 #include <stdio.h> void main() { int n = 5; printf("n=%d\n", n); } 構文解析などコンパイラの基本処理は前バージョンを踏襲している。 前バージョンはプログラムソース自体は複数に分割しているが、 実行ファイルは一つであり、字句解析から実行形式ファイル作成まで一挙に行っている。 アセンブリ言語は用いず、構文解析・意味解析・バイナリコード生成を一挙に行っている。 全体のプログラム行数は小さくなるが、解りにくさは否めず、コンパイラのデバッグも面倒である。 前バージョンとの相違点は次の通りである。 実行プログラムは Preprocessor（前処理）、Lexer(字句解析器)、 Parser(構文解析・意味解析・ア
各種アーキテクチャのクロスコンパイラ環境を構築する - ももいろテクノロジー
Docker上に作成したDebian 8環境にてbinutils、gcc、glibcをソースコードからビルドし、さまざまなアーキテクチャのクロスコンパイラ環境を構築してみる。 なお、構築した環境は次のDocker imageとして公開してある（イメージサイズが2.8GBと大きいことに注意）。 inaz2/debian-crossbuild 環境 Ubuntu 14.04.3 LTS 64bit版、Docker 1.9.1 $ uname -a Linux vm-ubuntu64 3.19.0-25-generic #26~14.04.1-Ubuntu SMP Fri Jul 24 21:16:20 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux $ lsb_release -a No LSB modules are available. Distributo
GCC 4.6.2が出たので手動インストール方法メモ(Linux) | さかな前線
先週にRCが出て，昨日4.6.2が出ました． さすがにNightlyを常用するようなアレじゃないので，公式リリース待ってました． で，ディストロの標準パッケージではたいてい落とせないと思うので，手動インストールを． ということで，Linuxな人がgccを初めてイチからインストールするときの手順を簡単にまとめます． インストールしませう 私の手元の環境(ラボマシン)は，i7-920，3GB，Ubuntu 10.10 x86，gcc 4.4.5です． 各作業の所要時間を書いとくのでご参考にどうぞ． 置き換えではありません ここでしようとするのは非4.6系列のgccを4.6.2に置き換えるわけではありません． 例えばCUDA4.0なんかはgcc-4.4.x系でないと使えない…そういうようなことがあるので，4.6系列の新規追加インストール，という形になります． OpenCVも4.6.xじゃなんかビ
コンパイラ(gccコマンド)の使い方
gccはジーシーシーと読む．GNUが作成し，UNIX，Windowsなどで動作するフリー のコンパイラである． ここでは，C言語をコンパイルする際のgccの利用方法を説明するが，C++の場合 にはgccというところをg++に変更すればほぼそのまま利用可能である． イタリック体は，実行時には適当に変えること．ここでは，サンプルとし て，test.cをコンパイルしてtest.o(オブジェクトファイル)または test(実行ファイル)を作成する場合についての説明をする． 主なオプション一覧 -g (コンパイル，リンク時) コンパイル，リンク時にDEBUG情報を付加する．dbx,gdbなどのデバッガ を使用するときに必要． -c (コンパイル時) コンパイルのみ行う(オブジェクトファイルを生成する)． ex: gcc -c test.c → test.oを生成 -o test.o (
GCC, the GNU Compiler Collection - GNU Project
GCC, the GNU Compiler Collection The GNU Compiler Collection includes front ends for C, C++, Objective-C, Fortran, Ada, Go, and D, as well as libraries for these languages (libstdc++,...). GCC was originally written as the compiler for the GNU operating system. The GNU system was developed to be 100% free software, free in the sense that it respects the user's freedom. We strive to provide regular
CMake/C++ プロジェクトについて GCC または Clang のバージョンに併せた最新の -std オプションを与える CMake の記述例 - Qiita
CMake/C++ プロジェクトについて GCC または Clang のバージョンに併せた最新の -std オプションを与える CMake の記述例C++GCCCMakeclangC++1z if( CMAKE_CXX_COMPILER_ID MATCHES "Clang" ) if( CMAKE_CXX_COMPILER_VERION VERSION_GREATER 3.5 OR CMAKE_CXX_COMPILER_VERSION VERSION_EQUAL 3.5 ) set( CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++1z" ) elseif( CMAKE_CXX_COMPILER_VERION VERSION_GREATER 3.2 OR CMAKE_CXX_COMPILER_VERSION VERSION_EQUAL 3.2 ) s
コンパイルオプションの条件次第でエラーもしくは警告を出力する - Qiita
TL;DR コンパイルオプションの条件次第でエラーを出すようにしたい #error または #warning を使用する。 サンプルコード #ifdef ERROR_DEFINED #error "error macro defined" #endif #ifdef WARNING_DEFINED #warning "warning macro defined" #endif int main(int argc, char const* argv[]) { return 0; } # エラーを出力する（コンパイルを失敗として中断させる） $ gcc a.cpp -DERROR_DEFINED a.cpp:2:2: error: #error "error macro defined" $ echo $? 1 # 警告を出力する（コンパイルは継続する） $ gcc a.cpp -DWARNI
最適化オプション込みのGCCとClangベンチマークの結果は?
Phoronix Media is the largest Internet media company devoted to enriching the Linux hardware experience and catering its content to Linux gamers and computer enthusiasts. Phoronixは3月3日(米国時間)、「GCC vs. Clang Benchmark Comparison At Varying Optimization Levels」において、GCC 5.3.1とLLVM Clang 3.8のベンチマーク結果を公開した。これまで同様のベンチマーク結果は定期的に公開されているが、今回の結果には最適化オプションを指定した場合の結果も含めてGCCとLLVM Clangの比較結果が掲載されている。 最適化オプションとして
C++ コーディングスタイルメモ - Qiita
はじめに 自分なりのコーディング規約をまとめておき，見返すときに使用する．順番など意識せず適当に書いているのでまとまり感はない． 参考文献 以下を参考に作成いたしました．書籍類は，中級者向けかも．少なくとも初心者向けではないと思います． 書籍 リーダブルコード： 読みやすいコードとは何か? 伝わりやすいコードとは何かをまとめた良書．O'Reilly，amazon Effective C++： 古いと言われることもあるが，C++ のデファクトスタンダードともいわれる良書．いろいろなテクニックや考え方が載っている． amazon C++ Coding Standards―101のルール、ガイドライン、ベストプラクティス：Effective C++ と似たような面が多いがやっぱり参考になる． CODE COMPLETE [上・下]：設計から実装まで幅広い範囲で様々な考え方が記載されている．完読し
PythonのNumPyとFakerパッケージを使ってダミーデータを作成する - Qiita
なぜダミーデータにこだわるのか 機械学習などのライブラリやツールを使う際に扱うデータはとても重要になります。データがなければ、デモを行うこともできません。実データを使うことが一番ですが、なかなか身近に求めているタイプの実データがないケースも多いと思います。最近は分析に使いやすい実データが一部の企業から公開されていますが、研究目的の使用に限られているなど、使用条件を満たせられないこともあります。 データがなければ自分で作ればいいということで、ダミーデータを自由に作れると便利です。 ダミーデータを作るにあたっては、その目的によって作り方に工夫が必要です。大きく分けると次の二つになると思います。 パフォーマンス測定としてのダミーデータ データ分析としてのダミーデータ パフォーマンス測定においては、全データ読み込み速度測定などシンプルなものであれば、データ量さえ合わせれば用件を満たすケースも多いと
"プロのプログラマ"を目指す初心者が最初に読むべきたった一冊の本
あと一つプログラミング言語を 覚えたら死ぬ! 脳みそがパンクしそうな あなたのための nodeJSことはじめ文樹 高橋
pelletkachels | blog over bedrijven en feitjes en de pelletkachel
Welkom bij Pelletkachels.nl, jouw ultieme bron voor alles wat met pelletkachels te maken heeft! Maar we zijn meer dan alleen een platform voor het bespreken van warmtebronnen. Bij Pelletkachels.nl geloven we dat het delen van kennis en ervaringen over bedrijven en gebeurtenissen ook essentieel is voor het creëren van een betrokken en geïnformeerde gemeenschap. In dit blog duiken we dieper in de we
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
volatileとatomicの違い - 簡潔なQ
volatileとatomicの違いを調べるために、以下のC++プログラムをコンパイルしてみる。 #include <atomic> void func1(int *p) { ++*p; ++*p; } void func2(volatile int *p) { ++*p; ++*p; } void func3(std::atomic_int *p) { ++*p; ++*p; } $ g++ -std=c++11 -pthread -O2 -Wall -Wextra -g -c func.cpp -o func.o環境による可能性はあるが、出力された機械語は端的に言うと次のようなものになる。(なおアーキテクチャはLinux x86-64) func1: addl $2, (%rdi) ret func2: movl (%rdi), %eax addl $1, %eax movl %eax
シンプルで応用の効くmakefileとその解説 - URIN HACK
シンプルで応用の効くmakefileとその解説 makefileは一度作るとそれ以降編集する機会が少なくなるので意外と真面目に考える人は少なく、ネット上でもまとまった情報は多くない。 Linux系OS上（正確に言うとGNU MakeとGCC）で複数のC/C++ソースファイルから１つの実行ファイルを作成(make)するための汎用的なmakefileテンプレートを作った。名前はまだない。適宜ディレクトリ構成や設計などに従ってmakefileをカスタマイズする必要があると思うがそのベースにする。 このmakefileのいいところ コンパイル対象となるソースファイルをワイルドカードで指定できる。 ヘッダファイル、ライブラリ、オブジェクトファイルなどコンパイル、リンクに関連するどのファイルが外部で変更されていてもきちんと 差分 コンパイルされる。 makefile自体に説明書（この記事）がある。 C
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Man page of GCC
Section: GNU Tools (1) Updated: 1998/12/16 Index JM Home Page roff page 名称 gcc, g++ - GNU プロジェクト C および C++ コンパイラ (gcc-2.95.3) 書式 gcc [ option | filename ]... 注意 このマニュアルに書かれた情報は GNU C コンパイラの完全な ドキュメンテーションからの抜粋であり、オプションの意味の記述にとどめます。 このマニュアルはボランティアのメンテナンスが行なわれた時にのみ更新され るもので、常に最新の情報を示しているわけではありません。 もしこのマニュアルと実際のソフトウェアの間に矛盾点があれば、 正式なドキュメントである Info ファイルのほうを参照して下さい。 このマニュアル中の古い記述が重大な混乱や不具合をきたすことになれば、 このマ
仮想OSをカスタマイズする - Qiita
目的 自分仕様のboxファイルを作成するでは自分仕様のboxファイルを作成しました。 私の場合、それをベースに色々なプロジェクトで使用する予定である。 そう考えるとプロジェクトによってはCPUコア数を2つにしたり、メモリ数を2GBにしたり、ネットワークの転送もしたいでしょう。そのたびにboxファイルを作成するのは、あまりにもあれである。今回はVagrantfileの編集のみで実施します。 カスタマイズ内容 ここでは、以下3つに限定して説明をします。 CPUコア数の変更 メモリ数の変更 ネットワークのポート転送 カスタマイズの前に Vagrantfileのどこにカスタマイズ部分を入れるかですが、下記を見てください。
Twitterがリリースした時系列異常値検出のためのRパッケージ{AnomalyDetection}を試してみる - 渋谷駅前で働くデータサイエンティストのブログ
もう松の内も明けてしまいましたが、遅ればせながら皆さん明けましておめでとうございます。今年もよろしくお願いいたします。 で、年明け早々にTwitterエンジニアブログに面白いネタが上がっていたのでした。 その名も{AnomalyDetection}というRパッケージ。バルス砲に備えてTwitterが鉄壁の防御を敷いていることは多くの人がご存知だと思いますが（笑）、そういうバルス砲のような異常なアクセスの跳ね上がりだったり、逆にサーバダウンなどでアクセスの異常な落ち込みが出た時にいち早く検出するというのが目的の分析フレームワークのようです。 ということで、話題が新鮮なうちにちょっと試してみようと思います。 どういう仕組みで動いているのか 理論的背景としては、そもそもgeneralized ESD (extremely Studentized deviate) testという外れ値検出の手法が
異常検知（変化点検出）のパッケージを作ってみた - yokkunsの日記
時系列的な振る舞いの変化点を検出するためのパッケージを作ってみました。 CRAN: http://cran.r-project.org/web/packages/ChangeAnomalyDetection/ github: https://github.com/yokkuns/r-AnomalyDetection Usage changeAnomalyDetection(x, term = 30, smooth.n = 7, order = c(1, 0, 0), ...) x 時系列の数値ベクトル term 学習期間 smooth.n 移動平均の期間 order arima関数に渡すorder ... arima関数に渡すその他パラメータ 実行例 パッケージ読み込み library(ChangeAnomalyDetection) library(RFinanceYJ) library(
統計的変化点検出の手法 - Qiita
ログデータの異常検知を行う必要が発生したので、変化点検出の統計的な手法をざっくりと調べてみた。 偏差の累積和による方法 各データ点に対して標本平均との偏差の累積和を求め、これが最も大きくなる点を変化点とする方法。 手順は下記の通り。 系列全体の平均値(標本平均)を計算して、各点について平均値との差を求める 平均値との差の累積和を計算し、絶対値が最大になる点を変化点とする。 変化点によって区切られた各区間について、1,2を再帰的に繰り返す。 平均値でなく分散を使うバージョンもある。 特徴 1次元のデータ列に適用可能。 変化していない部分のデータは同一の確率分布に従い、かつ観測値はすべて互いに独立であることを仮定。 上記を満たしていれば、データが特定の分布に従うことを仮定しない。 もちろんデータの独立性が仮定できなければ使えないので、ログのような時間相関のありがちなデータにおいて使える場面は限
時系列分析による異常検知入門
TalkingData AdTracking Fraud Detection Challenge (1st place solution)Takanori Hayashi
fluentdでつくる監視系 - Qiita
いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上にある やりたいこと メールで来ても絶対に気がつかない自信がある。 異常の側から教えてくれる仕組みを目指す。 fatalログが出た場合は、電話による通知を行う 全てのエラーログはchatツールに出力する ログのバックアップ ログの分析・可視化 この記事では1, 2, 3についてまとめる。 構築 fluentdのインストール 公式のドキュメントが一番わかり易い。 Installation | Flue
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
良く知りもせずKafkaの入門部分を触ってみた - Qiita
背景 ビッグデータとかリアルタイム解析とかデータマイニングとか機械学習とか、皆が面白そうにブログ書いてたり話してたりしてるから興味あるんですよ。面白そうなんですよ。 で、個人的に興味があって調べていますというただそれだけです。 下手の横好き以下なので、何をいまさらレベルのことをやりながら楽しんでます。 参考 Kindle書籍でこんなのがあって、GWくらいに買ったはずなのにiPadの中で肥やしになっていたので夏休みの自由研究がてら触ってみようかと。ほら日本語ですよ日本語。 Apache Kafka入門@kindle 環境 Ubuntu 14.04(32bit) OracleJDK 1.6.0_45 Apache Kafka 0.7.2 インストール 公式サイトのパッケージを展開するだけでした。 最初にJDK1.8でやろうとしたけど、0.7x系では動きませんでした。 複数バージョンのJDKを切
How To Install Apache Kafka on Ubuntu 14.04 | DigitalOcean
Not using Ubuntu 14.04?Choose a different version or distribution. Introduction Apache Kafka is a popular distributed message broker designed to handle large volumes of real-time data efficiently. A Kafka cluster is not only highly scalable and fault-tolerant, but it also has a much higher throughput compared to other message brokers such as ActiveMQ and RabbitMQ. Though it is generally used as a
An Introduction to LLVM in Go
An Introduction to LLVM in Go # LLVM is an infrastructure for creating compilers. It was initially created by Chris Lattner in 2000, and released in 2003. Since then it has evolved into an umbrella project that has a wide array of tools such as the LLVM Linker lld, LLVM Debugger lldb, and so on. The banner feature of LLVM is its intermediate representation, commonly referred to as the LLVM IR. The
Python で SSH は paramiko + ssh で楽勝 (1) - 傀儡師の館.Python：楽天ブログ
2008.06.19 Python で SSH は paramiko + ssh で楽勝 (1) テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python はじめてのPythonネットワークプログラミングを読み始めた。中身確認しないで買っちゃったのだけど、クライアントサイドのネットワークを使ったプログラミングということで、内容は下のようなものだった。ちゃんと見てから買えってｗ 第1章 Python のおさらい 第2章 FTP と Telnet 第3章 メールの作成と送信（連絡網スクリプト1) 第4章 「SQLite」によるデータベース (連絡網スクリプト 2) 第5章 「Tkinter」を用いた GUI フロントエンドの作成 第6章 「Google News」の元記事を集めてくる 第7章 XMLの取り扱いと簡易RSSリーダー といったものだった。ネットワークプログ
2016年、C言語はどう書くべきか (後編) | POSTD
(前編はこちら： 2016年、C言語はどう書くべきか (前編) ) (編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) システム依存の型 まだ「32 bitのプラットフォームでは32 bitのlong型、64 bitのプラットフォームでは64 bitのlong型がいい」という不満があるようですね。 プラットフォームに依存する2つの異なるサイズを使うため、 故意に コードを難しくすることを考えたくなければ、システム依存の型のために long を使おうとは思わないでしょう。 この状況では、プラットフォームのためにポインタ値を保持する整数型、 intptr_t を使うべきです。 モダン32-bitプラットフォームでは、 intptr_t は int32_t です。 モダン64-bitプラットフォームでは、 intptr_t は int64_t です。 int
Neural Networks Demystified - lumiverse
Best place to publish, discover, and discuss educational videos.
100分の1の確率でアタリが出るくじを100回引いたとき、100回すべてがハズレになる確率を求めよ。
100分の1の確率でアタリが出るくじを100回引いたとき、100回すべてがハズレになる確率を求めよ。 問題 \(100\)分の\(1\)の確率でアタリが出るくじを\(100\)回引いたとき、\(100\)回すべてがハズレになる確率を求めよ。 解答 \(1\)回目で、ハズレになる確率は、 \[ 0.99 \] である。 \(1\)回目でハズレになり、さらに\(2\)回目でもハズレになる確率は、 \[ 0.99 \times 0.99 = 0.99^2 = 0.9801 \] である（前提：毎回の試行の独立性）。 \(1\)回目から\(100\)回目までずっとハズレ続ける確率は、 \[ \underbrace{0.99 \times 0.99 \times \cdots \times 0.99}_{\text{$100$個の積}} = 0.99^{100} = 0.3660\cdots \]
運用備忘録: 2GBまで肥大化したmlocate.dbが犯人でした：こうしす！通信
どうもこんばんわ。システム運用担当のButameronです。 トラブル対応の備忘録として時々不定期にこんな記事も書いていこうと思います。 OPAP-JPでは、定期的な簡易バックアップにbtrfsのスナップショット機能を使っています。 （オンラインfsckすらない実験的なファイルシステムを実運用で使うというあたり、壊滅的にダメな人です。どうもこんばんわ。） これの良いところは、Copy on Writeの仕組みでストレージを効率的に使えることです。 あるファイルを一切変更しなければ、いくらそのスナップショットを作ってもほぼそのファイルひとつ分だけの領域だけしか占拠しません。限られたストレージ容量を効率的に使いながらファイルの履歴を保存するという用途に重宝するというわけです。（上手く使えば、遠隔バックアップも効率的に行うことができます） さて、ConoHa支援プログラム でVPSの無償提供を受
)
Pythonでデータサイエンスを試す(8_MCMC) - あれもPython,これもPython
前回から大分、間があいてしまいましたが、 Pythonでデータサイエンス続き編です。 前回のアソシエーションルールまでで、 本編は一通り終了しました。 残りは10章に載っている、 様々な手法に触れてみよう編です。 手を動かしながら学ぶ ビジネスに活かすデータマイニング 作者: 尾崎隆出版社/メーカー: 技術評論社発売日: 2014/08/22メディア: 単行本（ソフトカバー）この商品を含むブログ (6件) を見る 今回はベイジアンモデリング 教科書はこれ、ですが、ベイジアンモデリングそのものの説明は最小限でした。 準備 Pythonでベイジアンモデリングを用いるには、 MCMCを扱えるpystanを使用します。 これは重力波の研究にも使われたツールで、 StanというMCMCを扱うライブラリのPythonラッパーです。 andrewgelman.com pipで入ります。 pip inst
小さいReactアプリケーションのためのライブラリ書いた - Qiita
EventEmitterバケツリレースタイル/フレームワークなしで小さくFluxする - Qiita これ見て最近は大体自分も同じような感じのことをしているので共通化できる最小限のコードをライブラリにしてみた。 元記事でも言ってるようにやることはとても少ないのでライブラリ使わないでもいいんだけどそのへんは好み。 Usage まず普通のステートレスなReactコンポーネントを作る。dispatchというpropsを受け取ってそれを通してイベントを発火するというのが唯一の規約。 import React from 'react'; // Stateless component export default class Counter extends React.Component { render() { return ( <div> <div>{this.props.count}</div>
第２回 Elasticsearch 入門 データスキーマ設計のいろは | DevelopersIO
第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an
ほげおメモ: tshark (WiresharkのCLI版) の使い方
tsharkはWiresharkのCLI(コマンドライン)版と言えるもので、GUIのないサーバ上やターミナルからtcpdumpと同じ利便性で使える、パケットキャプチャです。tsharkによるSummaryもWiresharkど同等の内容で確認できるので、tcpdumpよりtsharkの方が好まれる人も多いのでは。 GUIではWiresharkが最もメジャーなパケットキャプチャで、使用されている方も多いかと思います。かたやCLIではtcpdumpを使う方が多いのではないでしょうか。この場合、tcpdumpの代わりにtsharkを使うとCLIでもWiresharkと同様の確認が行えるのでよいかもしれせん。 tsharkはWiresharkのパッケージに含まれて提供されていますので、Wiresharkがインストール済みであれば既に実行可能かと思います。 WindowsやLinuxでは下記Path
tcpdump is amazing
It took me 2 years, but I think now I love tcpdump. Before we go into why – what’s tcpdump? tcpdump is a tool that will tell you about network traffic on your machine. I was scared of it for a long time and refused to learn how to use it. Now I am wiser and I am here to show you that tcpdump is awesome and there is no need to be scared of it. Let’s go! tcpdump: the basics (or: how not to use it) I
diffの動作原理を知る～どのようにして差分を導き出すのか | gihyo.jp
UNIXの基本的なコマンドの1つであるdiff。 これに実装されているアルゴリズムは実に興味深い世界が広がっています。 本稿では、筆者が開発した独自ライブラリ「dtl」をもとに「diffのしくみ」を解説します。 はじめに diffは2つのファイルやディレクトリの差分を取るのに使用するプログラムです。 ソフトウェア開発を行っている方であれば、SubversionやGitなどのバージョン管理システムを通して利用していることが多いかと思います。本稿ではそのdiffの動作原理について解説します。 差分の計算の際に重要な3つの要素 差分を計算するというのは次の3つを計算することに帰結します。 編集距離 2つの要素列の違いを数値化したもの LCS（Longest Common Subsequence） 2つの要素列の最長共通部分列 SES（Shortest Edit Script） ある要素列を別の要
開発環境としてのデスクトップLinuxのススメ - 今日学んだこと
前回の更新からかなり時間があいてしまいました。 ネットに規制がかかるかの国へ出張してたのと、本題であるLinuxデスクトップ環境を構築してたりしてで。 デスクトップLinux? ここではサーバー用途との対比語として利用しています。実際はノートPCにインストールしてたりします。 なんでオススメ？結論はよ 構成によってはという前置き付きですが、軽いです。めちゃくちゃ軽いです。 今このブログを書いているのもlenovoのx100eという約5年前のネットブックだったりするんですが、メインマシンとしているMac mini Late2012 梅モデルより断然軽いです。 特にはてなブログの管理画面って、しょっちゅう固まるんですよ・・・。加えて、我が家の子は日本語入力さえしょっちゅう引っかかる。それがない。まさかネットブックが僕をストレスから開放してくれるとは思ってませんでした。 参考までに、x100eの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近ツイッターで “while(1){LOVE++}”と書き込まれてる指輪があって、 そのソースは最適化でLOVEが消えてただの無限ループになる云々という話があったので検証。 用意したソースはこちら。 int main() { int LOVE = 0; while(1){LOVE++;} } それじゃアセンブラを見てみましょ。 まずは最適化抜き。 gcc -O0 -s hoge.c .file “hoge.c” .text .globl main .type main, @function main:
ゼロから始める自作 CPU 入門
http://homepage1.nifty.com/herumi/diary/1510.html
Hatada's Home Page
SDLでundefined reference to 〜 と表示されて コンパイルできないとき - Qiita
小さく始める大規模スクラム
GitHub - johnmyleswhite/BanditsBook: Code for my book on Multi-Armed Bandit Algorithms
IBM Developer
devstackのnoVNCコンソールで日本語キーボードを使う - Qiita
Amazon.co.jp: はじめてのLisp関数型プログラミング――ラムダ計算からリファクタリングまで一気にわかる (Software Design plus): 五味弘 (著), 272 (その他): 本
GitHub - Shopify/toxiproxy: :alarm_clock: A TCP proxy to simulate network and system conditions for chaos and resiliency testing
Advanced Testing with Go
GitHub - cweill/gotests: Automatically generate Go test boilerplate from your source code.
深層学習フレームワークChainerの特徴
Microservices Casual Talks で話してきました - Anonymous Function
GitHub - tiann/understand-plugin-framework: demos to help understand plugin framwork
GitHub - pf4j/pf4j: Plugin Framework for Java (PF4J)
GitHub - unclebob/fitnesse: FitNesse -- The Acceptance Test Wiki
アルゴリズムとデータ構造
GitHub - iij/ipgen: interactive packet generator
GitHub - lexborisov/myhtml: Fast C/C++ HTML 5 Parser. Using threads.