Awesome-crawler - Webクローラー使いたい放題の厳選リンク集 | ソフトアンテナ
Web上のリンクを辿りドキュメントや画像、PDFなどさまざまな情報を収集するプログラム「クローラー」。Googleのような巨大な検索エンジンもクローラー(ボット)が地道に収集した情報によって構築されています。 今回紹介する「Awesome-crawler」は、このWebクローラーに関する情報を集めたawesomeリンク集です。さまざまなプログラム言語で作られたクローラーフレームワークに関する情報が1カ所にまとめられています。 サイトには現在Python、Java、C#、JavaScript、PHP、C++、C、Ruby、R、Erlang、Perl、Go、Scalaで作られたクローラーフレームワークが含まれています。 やはり人気の高いプログラミング言語ほどクローラーの数も多く、世界トップクラスの人気を誇るスクリプト言語Pythonでは、多機能で有名なScrapyを初めとして以下のような多くの
いまさらC言語のexternで悩む – ビットログ
とある製品のソースコードを眺めていたときに疑問に思って調べたことをメモします。 C言語で通常、大域変数(グローバル変数)を複数のソースファイルで共有する場合、共通でincludeするヘッダファイルにextern int abc;みたいに書いて、ソースファイルのいずれか１つに実体をint abc;みたいに書くと（私は）思っていたのですが、その製品のソースではヘッダファイルの方にint abc;とあり、各ソースファイルにextern int abc;という風に書かれています。 一瞬、それぞれのモジュール（ソースファイル）に別々の実体が存在するのかな、と思ったのですが、実際のその製品の動きを見てみるとちゃんと変数を共有して使っているようです。 私のいままでの理解が間違っているかもしれないので調べようと思ったのですが、C言語の規約を調べるのも億劫だし、環境依存かもしれないので、とりあえずサンプルを
DOSプロンプト
フォーマット指定子一覧 フォーマット指定子とは、C言語のprintf()、fprintf()、sprintf()、scanf()、fscanf()、sscanf()などの関数で使用する、 表示形式を指定するための記述子である。 C言語専用と思っていると、MFC(C++)のCStringクラスやjavaのFormatterクラス(jdk1.5以降)にも使用されていたりして、 やはりしっかり覚えておかなくては、と思わせられることもある（詳細は異なるが）。 度忘れした際にはここを見ればよいように、よく使うフォーマット指定子をここにまとめておく。 なお、ANSI規格での全貌を知りたいときは、fprintfのリファレンス等を参照のこと。 出力フォーマット指定子 printf(),fprintf(),sprintf()などで使用する指定子である。
C言語 クイックソート(配列要素の並び替え) - stdlib.h - [ qsort ] | 勇躍のゴミ箱
C言語 目的別 画面への文字出力 画面へ1文字単位で出力 画面へ1行単位で出力 画面へ書式付きで出力 可変個引数を書式付き表示 キーボードから文字入力 入力を1文字単位で取得 入力を1行単位で取得 入力を書式付きで取得 ストリームに1文字戻す 文字列データの入出力 文字列から書式付きで取得 文字列へ書式付きで出力 可変個引数を書式付き出力 ファイルオープン ファイルを開く ファイルを閉じる ファイルオープンのモード 標準入出力について ファイルの読み込み テキストファイルの読込 空白区切りファイルの読込 CSVファイルの読込 バイナリファイルの読込 ファイルの書き込み テキストファイルの書込 CSVファイルの書込 バイナリファイルの書込 可変個引数をファイルへ書込 ファイル関連 ファイル位置の取得 ファイル位置の設定 ファイル位置の取得2 ファイル位置の設定2 ファイル位置を先頭に戻す フ
良い乱数・悪い乱数
Ｃ言語標準ライブラリの乱数rand( )は質に問題があり、禁止している学会もある。 他にも乱数には様々なアルゴリズムがあるが、多くのものが問題を持っている。 最も多くの人に使われている乱数であろう Visual Basic の Rnd の質は最低である。 そもそも乱数とは 乱数とは、本来サイコロを振って出る目から得られるような数を意味する。 このような乱数は予測不能なものである。 しかし、計算機を使って乱数を発生させた場合、 次に出る数は完全に決まっているので、予測不能とはいえない。 そこで、計算機で作り出される乱数を疑似乱数(PRNG)と呼び区別することがある。 ここでは、特にことわらない限り乱数とは疑似乱数のことを指すとする。 計算機でソフト的に乱数を発生させることの最大のメリットは、 再現性があることである。 初期状態が同じであれば、発生する乱数も全く同じものが得られる。 このことは
assert はいつ使えばいいの？ - 標準 C ライブラリ - C/C++ 入門
assert の説明では、「assert は通常のエラーチェックに使うものではないことに注意しましょう」と書きました。 では、いつ assert を使えばよいでしょうか？ ここでは assert を使うべきではない場合と、使ったほうがよい場合について書いてみたいと思います。 assert を使うべきではない場合 例えば、ファイルを開こうとしてファイルが開いたかどうかチェックする場合、例えばポインタ fp が NULL かどうかチェックするために assert( fp ) とやるべきではない、ということです。 このような場合は、条件判断として if( !fp ) { // エラー処理 ... とすべきです。 単にエラーの状況に対応しているだけです。 assert で 「開発者の意図」を記述する では、いつ、何の目的で assert を使えばよいでしょうか。 それを話すために少し私の経験を話し
ワイド文字
2バイトのchar ANSI C は標準でワイド文字をサポートしている ワイド文字とは、1文字表現するのに2バイト用いる文字のことを言います 同時に1バイト以上の文字のことをマルチバイト文字と言います これまで、文字コードはASCIIコードを用いてきました これは1文字を１バイト( char 型 )で表現できるコードで、世界的に標準のコードです しかし、１バイトだけでは中国語や日本語のような漢字や記号を多く持つ言語を表せません そこでワイド文字が使われるというわけです ワイド文字は国際的なアプリケーションの開発には必要な知識です ことUnicodeなどは非常に有名ですね ワイド文字の型はwchar_tです これは標準型として WCHAR.H ヘッダファイルに定義されています //または STDDEF.H、 STDLIB.H ヘッダファイルなど typedef unsigned short
複雑な演算子
第１４章 複雑な演算子 基本的な演算子については第4章で説明しましたが、この章では、もう少し複雑な演算子について説明します。 １４－１．ビット演算子 ビット単位でデータ操作をするものです。対象は整数に限られます。 【ビット演算子】 演算子説明
Cocoaの日々: [iOS] ディレクトリ配下の総ファイルサイズを計算する 〜 BSDのftsを使う
iOS/iPhone/iPad/MacOSX プログラミング, Objective-C, Cocoaなど Apple のリファレンスを眺めているとディレクトリ走査でパフォーマンスを考慮するなら fts を使うのがいいと出ていた。 File-System Performance Guidelines: Iterating Directory Contents 上記内の Traversing Directories in BSD に記述あり。 調べてみたところ fts というのは BSD系OSで使われているディレクトリ走査用のライブラリのようだ。 fts_open - Linuxの手で行なうページ （特徴） ・サブディレクトリを含むファイルとディレクトリの一覧を取得できる ・パス名の他、stats構造体を取得できる ・ソートが可能（比較関数を渡すことができる） サブディレクトリも再帰的にリスト
NSStringとC文字列(2): 永遠ログ
Mac OS X 向けアプリケーション開発を仕事としている永遠製作所が、日々の開発でつきあたった問題点や、ちょっとしたTipsをメモしていこうと言う、自分勝手な覚え書きブログ。 さて、前回に続きNSStringからC文字列を取り出す変換について。今回のが書きたかったこと。 簡易な変換方法では文字列の保存領域確保が不要な反面、いずれ勝手に解放されてしまう不便があります。 ですから、メモリ解放が自動ではない方法があればそれにこしたことはない。それがこれ。 - (BOOL)getCString:(char *)buffer maxLength:(NSUInteger)maxBufferCount encoding:(NSStringEncoding)encoding bufferはあらかじめ呼び出し側で確保したメモリなので誰も勝手に解放しません。そこにC文字列+NULL終端文字を含めて返してくれ
ファイルの時間とサイズを取得する - Qiita
ファイル属性はNSFileManagerクラスを使えば簡単に取得できます。 参考でC言語のstat(2)を使う方法も載せておきます。詳細はstat(2)のmanpageを参照してください。 NSBundle *bundle = [NSBundle mainBundle]; NSString *path = [bundle pathForResource:@"first" ofType:@"png"]; // NSFileManagerを使ってファイルの属性を取得する NSFileManager *fm = [NSFileManager defaultManager]; NSDictionary *attribute = [fm attributesOfItemAtPath:path error:nil]; NSDate *creationDate = [attribute objectFo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - fogleman/Craft: A simple Minecraft clone written in C using modern OpenGL (shaders).
C言語関数辞典 - C言語Tips集 余剰を計算する
Returning an array (Warning: Function returns address of local variable)?
IBM Developer
http://www.tricky-code.net/mine/c/mc17typedef.php
サービス終了のお知らせ
nxmnpg.com
http://www.g-ishihara.com/c_dt_01.htm
Converting char * to char * const *