タグ

ブックマーク / www.mwsoft.jp (3)

  • scikit learnで特徴量生成に役立ちそうな処理 | mwSoft

    scikit learnで特徴量生成に役立ちそうな処理 概要 scipyとかscikit-learnとかに機能があるのに気づかずに独自実装して無駄に時間を使ってたみたいなことをしなくて済むように、整形したデータを分類器とかに回す前段階でやる処理でお手頃そうなものをまとめておく。 LabelEncoder 文字列をIDに変換したい場合に利用できる。 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() le.fit(['tokyo', 'osaka', 'nagoya', 'tokyo', 'yokohama', 'osaka']) le.classes_ #=> array(['nagoya', 'osaka', 'tokyo', 'yokohama'], dtype='<U8') le.transform([

  • HDFSシェルコマンド一覧 | mwSoft

    概要 HDFSをコマンドラインから操作する際に使える引数の一覧です。 下記のページを参考にしています。 HDFS File System Shell Guide http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html ls / lsr lsはLinuxなどのlsコマンドと同じ、指定ディレクトリのファイルの一覧を表示する。 $ hadoop fs -ls /user/hdfs Found 1 items drwxr-xr-x - hdfs supergroup 0 2011-11-11 01:35 /user/hdfs/sample ディレクトリを指定しない場合は/user/${ユーザ名}を見に行く。 ディレクトリが存在しない場合は、以下のようなエラーになる。 $ hadoop fs -ls ls: Cannot access

  • プログラミング言語人気TOP10の簡易解説

    0-1. 前書き この世にはたくさんのプログラミング言語が存在します。Wikiepdiaのプログラミング言語一覧を見ると、実に200個以上というわけの分からない数の言語が並んでいたりします。 【参考URL】プログラミング言語一覧 - Wikipedia http://ja.wikipedia.org/wiki/%E3%83%97%E3%83%AD%E3%82%B0%... 200の中にはほとんど使われてない言語も混じってるので、実際に仕事でざくざく使われている言語は20とか30とかそういうオーダーなのですが、それでも1人の人間が把握するにはちょっと多過ぎる数です。 記事では、そうした有り余るプログラミング言語の海の中で「どれを勉強したらいいの?」とか「どれを採用するのが適切?」という悩みをお持ちの方が「よし、この言語に決めた!」と自信を持って決断できるように背中を押すことを目的として書か

  • 1