Mac OSXの空き容量が足りない。容量を喰ってるフォルダを探す - それマグで！
Office 2016 for Mac をインストール試みたら空き容量足りない Mac のSSDは２５０GBもあるのに空き容量足りない。。 どうなってるの・・・ 容量を食ってるフォルダを探してみる 昔ながらのdu で探してみる sudo /usr/bin/du -g -x -d 5 / | awk '$1 >= 5{print}' 実際に実行したのが以下のとおり takuya@rena:~/Desktop$ sudo /usr/bin/du -g -x -d 5 / | awk '$1 >= 5{print}' 30 /Applications 6 /Library/Application Support 13 /Library 25 /private/var/tmp 29 /private/var 29 /private 5 /System/Library/Caches/com.appl
Java8が好きになる話（StreamAPIの話はしない） その1 Map#computeIfAbsentとList#sort - Qiita
public static class Foo { private final String key1; private final String key2; public Foo(String key1, String key2) { this.key1 = key1; this.key2 = key2; } public String getKey1() { return this.key1; } public String getKey2() { return this.key2; } @Override public String toString() { return "{key1=" + this.key1 + ", key2=" + this.key2 + "}"; } } private static final Map<String, Map<String, Foo>>
load averageを見てシステムの負荷を確認する - Qiita
load averageとは ロードアベレージはシステム全体の負荷状況を表す指標。 「1CPUにおける単位時間あたりの実行待ちとディスクI/O待ちのプロセスの数」で表される。 システムのスループットを上げたい場合はロードアベレージを下げることを目標にする。 詳細な説明 Linuxカーネルはプロセス１つごとにプロセスディスクリプタを持っていて、そのstateメンバにプロセスの状態を入れて管理している。 プロセスの状態は以下のように区別される。 TASK_RUNNING: 実行可能な状態。CPUが空いていれば実行できる。 TASK_UNINTERRUPTABLE: 割り込み不能な待ち状態。ディスクI/O待ちなど、短時間で復帰するもの。 TASK_INTERRUPTABLE: 割り込み可能な待ち状態。ユーザの入力待ちなど、復帰時間が予測できないもの。 TASK_STOPPED: 実行中断になった
Load Average(ロードアベレージ)とCPU数 - tweeeetyのぶろぐ的めも
はじめに 業務中Load Averageを見ることが多いが Load Averageについてあらためて自分のためにも整理＆メモ また、誰かに質問された際にええっとええっと。。。とならないように 質問されたらって仮定ですｗ 知ってるつもりなのに意外に答えられないんですよね(>_<) Load Average Load Averageってなに？(※こぴりました。 実行プロセス数(実行中プロセス数＋実行可能プロセス数) Load Averageが高いとなに？ 語弊を恐れず言えば Load Averageが高い ≒ サーバ負荷が高い ≒ 重い ≒ 応答速度が遅い Load Averageが高いってどんな状態？もっとkwsk...的な コマンド(uptimeなど)でLoad Averageを表示した場合に Load Averageの値がCPUの数より大きい場合、「Load Averageが高い」(
大規模並列処理：PythonとSparkの甘酸っぱい関係～PyData.Tokyo Meetup #3イベントレポート
ロゴステッカーの作成計画も進行中です。近々イベント会場でお配りできるかも知れません。 チュートリアルおよび次回勉強会のお知らせ この度PyData.Tokyo初の試みとして、初心者向けのチュートリアルを3月7日（土曜日）に行います。また、次回勉強会はデータ解析に関する「高速化」をテーマにし、4月3日（金曜日）に開催します。詳細は記事の最後をご覧下さい。 Sparkによる分散処理入門 PyData.Tokyo オーガナイザーのシバタアキラ（@madyagi）です。 ビッグデータを処理するための基盤としてHadoopは既にデファクトスタンダードになりつつあります。一方で、データ処理に対するさらなる高速化と安定化に向けて、新しい技術が日々生まれており、様々な技術が競争し、淘汰されています。そんな中、Apache Spark（以下Spark）は、新しい分析基盤として昨年あたりから急激にユーザーを増
分散KVSによる大規模な統合認証基盤や、IoTへの応用を考えるコミュニティ（かもめエンジニアリング）
分散KVSによる大規模な統合認証基盤や、IoTへの応用を考えるコミュニティ（かもめエンジニアリング）
スポーツ動画MAX
バスケ 【速報】八村塁が絶好調14得点！そして試合残り6.4秒『うぉぉ！B・ビールすげぇぇ!!』サンダー戦 2022/11/17 バスケ 【社会人バスケ】富士通vsRBC東京［2022男子関東地域リーグB・11月6日］ バスケ 【社会人バスケ】日立金属ブルドッグスvsNTT東日本東京［2022男子関東地域リーグA・11月6日］ バスケ 2022.11.20 【速報】八村塁が絶好調14得点！そして試合残り6.4秒『うぉぉ！B・ビールすげぇぇ!!』サンダー戦 2022/11/17 続きを読む バスケ 2022.11.20 【社会人バスケ】富士通vsRBC東京［2022男子関東地域リーグB・11月6日］ 続きを読む バスケ 2022.11.20 【社会人バスケ】日立金属ブルドッグスvsNTT東日本東京［2022男子関東地域リーグA・11月6日］ 続きを読む バスケ 2022.11.20 【ぴえん
IT勉強会を探そう - IT勉強会カレンダー以降をこの先生きのこるためには - 鎌玉のよしなしごと
photo by Chris Smith/Out of Chicago 2/2 夜 追記 タイトルの「この先生きのこる」とは「この先、生き残る」の一昔流行った言い換え*1です。また、情報いただいたり、自分で調査して以下の情報を追記しました。 ・情報セキュリティ系勉強会ポータルサイト ・人力アジャイルイベントカレンダー ・青森県ＩＴ関連イベントカレンダー ・北陸エンジニアグループ ・DSTokaiカレンダー ・IT勉強会カレンダー(関西版) ・山陰ITレーダー ・山陰のIT勉強会 ・@atnd_kanto 2/10 再追記 以下の情報を追記しました。 ・IT勉強会の最近の更新がすごい ・Japanese Perl Event Calendar ・イケメン @yusuke さんの #techmood #APImood #jvmood はじめに 今まで、お世話になってきた id:hanazuki
“Learning Spark”読書会
オライリーの“Learning Spark”を読みましょう。 主催 : @data_sciesotist オライリーの“Learning Spark”をいっしょに読みませんか。 http://shop.oreilly.com/product/0636920028512.do 主催者自身、専門的なエンジニアではありませんので、毎回1章ずつくらいのペースで、デモを交えつつ、各章の内容をサマライズしていこうと思います。できるだけわかりやすく、簡単にSparkの入口を知ることを目的にしています。 Kindle版はすでにリリースされており、ペーパーバック版も2015/2/22にリリース予定です。まだ日本語版はありませんが、基本的には日本語で内容を共有することを目的としているので、英語のスキルは不要です。 本を持っていなくても、もちろん参加はできますが、著者や開発コミュニティへの敬意として、Kindl
リアルタイムにビッグデータを処理する「ストリームデータ処理」勉強会｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 05/26（火）、06/02（火）の勉強会がお申込み多数のため、07/07（火）に同じ内容で開催することに致しました！ ストリームデータ処理とは ・従来のHadoopに代表されるビッグデータ処理は、データを一定期間（例えば１日）蓄積し、それを高速にバッチ処理することで行っていました。 ・しかし、スマートデバイスやIoTの普及により、データ量がさらに増加している状況の中で、よりリアルタイムにデータを処理したいというニーズが高まっています。 ・「ストリームデータ処理」は、大量に発生するデータを、発生したタイミングで逐次リアルタイムで処理するデータ処理技術です。 （似たような方式として、Apache Sparkなどを使った方法がありますが、これはバッチ処理の単位を小さくし実行頻度を上げるというアプローチです。「ストリームデータ処理」はデータが発生した都度、１件ごとに処理します。）
Storm上で動作するオンライン機械学習ライブラリをOSSとして公開しました！ - Taste of Tech Topics
id:KenichiroMurata (@muraken720)です。 昨日、AcroquestはStorm上で動作するオンライン機械学習ライブラリをOSSとして公開しました！ ここでも簡単に紹介させて頂きます。 AcroMUSASHI Stream-ML（Machine Learning Library） 「AcroMUSASHI Stream-ML」はStorm上で動作し、連続的に発生し続けるストリームデータに対して、動的に学習データを更新しながら、リアルタイムの分析をすることができるライブラリです。 https://github.com/acromusashi/acromusashi-stream-ml Storm をベースとした、ストリームデータの分散処理プラットフォームである「AcroMUSASHI Stream」と組み合わせることで、「データの収集～分析～結果の出力」までをシー
Storm関連本とオススメ電子書籍 - Taste of Tech Topics
新年あけましておめでとうございます。ツカノ(@snuffkin)です。 今年最初のT3ブログですね。よろしくお願いします。 私はリアルタイム分散処理の仕事に携わっているため、昨年、こんな話題に興味を惹かれました。 CDHによるSparkのサポート AmazonからKinesisが登場 ImpalaやPrestoといった分散クエリの盛り上がり こういった傾向から、リアルタイム分散処理に関する機運の高まりを感じます。この調子だと、2014年はリアルタイム分散処理でアドベントカレンダーを立ち上げられるくらいの年になるのではと、期待しています。 さて、リアルタイム分散処理を行うプロダクトはSpark、Splunk、Storm等、様々あります。中でもStormは、このブログで特に取り上げてきました。そこで、今回はStorm関連本についてまとめてみました。 あっ、私が知らないだけで、他にもオススメの本
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
TwitterでCaffeという単語をチラホラ見かけるようになってたんだけど、何のことかしばらくわからなかった。 どうやらディープラーニングのフレームワークの名前らしい。 Caffeはキレイで読みやすく、高速に処理できることを念頭に置いて開発されたディープラーニングのフレームワークです。 Caffeは、Yangqing Jia氏がカリフォルニア大学バークレー校で博士号取得中に開発したもので、現在もBerkeley VisionとLearning Center(BVLC)を中心としたコミュニティ貢献者によって開発が継続されています。 Caffeは二条項BSDライセンスです。 Web画像を分類するデモはこちら。 こういう一般名詞っぽい名前はググりづらいからやめてほしい(笑) デモページではWeb上の任意の画像URLを入力して試すことができる。そして、当然のようにPythonのインターフェイスを
Hadoop上で動くスケーラブルなRandomForest分類器の開発 | 株式会社サイバーエージェント
業務経歴： 大手総合電機メーカー、バイオベンチャーを経て、2011年に株式会社サイバーエージェント入社。現在は「Ameba」サービスの分析を担当。 1.はじめに RandomForestという分類器はパラメータ設定の容易さや確率分布を仮定してなくも良い手軽さ等の理由により、様々な分野で多様されている。しかしながら、アナリストがよく利用する分析ソフトウェアR上でのRandomForest実装をそのまま使うと大きなデータを扱うことができないためソーシャルゲームなどの分析には適用できない場合もあった。そのため弊社内で構築されているHadoop環境を使って大規模なデータを扱えるようなRandomForest分類器を開発し、それを利用してAmebaプラットフォームの分析を行った。 2.実装 以下にRandomForestの一般的なアルゴリズムを示し、現状のRとMahoutとの実装での制限を示した上で
Linuxサーバに搭載されているCPUコア数の確認 - 元RX-7乗りの適当な日々
この前、若手に聞かれたので、ここにも書いておく。 好みでは有るが、可能な限り数字のみで標準出力に出せるようにしておくと、スクリプトの中などで並列実行数を動的に定義しやすい。 ちなみに下記の前提は、CentOS 6.6 & 56コア(！)のサーバで確認している。 nproc # nproc 56一番簡単なやつ。 getconf # getconf _NPROCESSORS_ONLN 56getconfでも拾える。 /proc/cpuinfo # cat /proc/cpuinfo | grep -c "processor" 56皆さん、ご存知の通り、 /proc/cpuinfo は多くのCPU情報を取得することが出来る。 余談だけど、 /proc/cpuinfo に含まれる"physical id"はどの物理ソケットか、とか、"core id"を見ると物理コア(HT関連などで論理コアの紐付き
Java 8 の DateTimeFormatter の曜日等のフォーマットについて - tokuhirom's blog
DateTimeFormatter を利用して曜日などのフォーマットを行おうとすると、実際どういうふうにフォーマットされるのかよくわからんということになる。 https://docs.oracle.com/javase/8/docs/api/java/time/format/DateTimeFormatter.html をちらっと見ると、以下のように書いてあって、各シンボルが何を表すのかよくわからない。 Symbol Meaning Presentation Examples ------ ------- ------------ ------- G era text AD; Anno Domini; A u year year 2004; 04 y year-of-era year 2004; 04 D day-of-year number 189 M/L month-of-year n
Pythonの'=='と'is'、ついでにJavaの'=='と'equals'について
B! 20 0 0 0 Pythonでオブジェクトの比較の時に気をつけることと、 同じような事でJavaのString型の比較の時に気をつけることについて。 Pythonの’==’と’is’ Javaの’==’と’equals’について まとめ Pythonの’==’と’is’ Pythonで2つの物が同値かどうか確認するには ==を使う方法とisを使う方法がありますが、 これらは少し違うものです。 Immutable 1 なintやstring等の場合には基本的に結果は同じです。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 >>> a = 1 >>> if a == 1: ... print 'Same!' ... Same! >>> if a is 1: ... print 'Same!' ... Same! >>> b = 1 >>
逆引きNashorn – やりたいことからNashornのサンプルコードを引く – yusuke.blog
機械校正ツールであるRedPen(ライブデモ)は、デフォルトで内蔵している沢山の校正ロジックに加え、ユーザーがカスタムロジックを実装することができます。 自分で実装するにはJavaでValidatorというクラスを拡張すれば良いのですが、間口を広げるためにJavaScriptでもロジックを実装できるようにしました。 RedPen自体はJavaで実装しており、JavaからV8などを呼び出すのは大変なのでJava8に内蔵されているJavaScriptエンジンであるNashornを使いました。 あちこちの情報をかき集めて工夫をしたので、ここにまとめておきます。 やりたいことと、実現するためのコードを逆引き的に並べています。実現方法は全部違うけれども、どのコードもHello Nashornと出力するだけです。 ・JavaScriptを呼び出す ・JavaScriptの関数をJavaから呼び出す ・
Javaのマイクロフレームワーク ― この新トレンドは見逃せない | POSTD
この記事は、JavaとScalaの例外分析・パフォーマンス監視のツール Takapi の blog に投稿されたものです。 Javaのマイクロフレームワークとは何か、推奨される理由とは？ どんなプログラミング言語にも、長所と短所はあるものです。例えばJavaは、安全性の高さや、厳しいテストを経ていること、後方互換性などの利点を持つ言語です。しかし、その代償として、アジリティ（俊敏性）や合理性といった面が少なからず犠牲になっています。冗長で、Java自体が肥大化しているという事実も否定できません。とはいえ、新規開発や大規模な開発を行いたい場合、JVM（Java仮想マシン）はバックエンドとして非常に魅力的です。JVMはパワフルな上に、非常に厳しい環境でテストされています。このような利点があるため、結果的にJavaは広く使用され、積極的にデプロイされているのです。 しかし、このJavaの現状を皆
Spark DataFrameで3値をmapの形式で集約する - Qiita
def summarizeAsMap(df: DataFrame): RDD[(String, Map[String, Long])] = { // 最初は、 RDD[((String, String), Long)] のデータ構造にreduceする val firstReduce = df.rdd.map(row => row.getString(0) -> row.getString(1) -> row.getLong(2)).reduceByKey(_ + _) // 次にuidをkey, Mapをvalueとするreduce // reduceされたデータ構造 RDD[(String, Map(String, Long))] val mapRdd = firstReduce.map(e => e._1._1 -> Map(e._1._2 -> e._2)).reduceByKey(
Spark Summit Sched & Perf1 「Spark Performance」 - 夢とガラクタの集積場
こんにちは。 間が空いてしまっていますが、 Spark Summitの資料をとりあえず読んでみよう、の第２弾です。 今回は「Spark Performance」を見てみました。 概要の次にいきなり性能の資料に入ってしまうあたり趣味を反映している気もしますが＾＾； では、見てみます。 あと、この情報はSpark0.8.1準拠だそうです。現状の最新版ですね。 Spark deep dive まず、下記のRDDの記述によって性能が変わることを理解いただきたい。 ■RDD (patrick, $24), (matei, $30), (patrick, $1), (aaron, $23), (aaron, $2), (reynold, $10), (aaron, $10)….. ■パターン１（groupByKey） このパターンの場合、groupByKeyオペレーションを実行したタイミングで全データ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
connpass - 人をつなぐIT勉強会・イベント支援サイト
pydata.tokyo
Doorkeeper
http://blog.yoslab.com/entry/2015/03/01/112836
2014 11-20 Machine Learning with Apache Spark 勉強会資料
Apache Spark - IT勉強会・イベントならTECH PLAY［テックプレイ］
人工知能学会論文誌