Linuxパフォーマンスモニタを活用したボトルネックの把握 – 「さくらのクラウド入門」(6) | さくらのナレッジ
CPU、もしくはストレージがボトルネックになっている場合、vmstatコマンドを用いて切り分けを行います。 [root@test ~]# vmstat 1 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 271328 110320 59792 392132 0 0 1 165 0 5 1 0 88 11 0 0 0 271328 110304 59792 392132 0 0 0 16 101 175 1 0 99 0 0 0 0 271328 110304 59792 392132 0 0 0 436 154 276 0 0 98 2 0 右から3番目の
高次元ベクトルデータ検索技術「NGT」の性能と使い方の紹介
この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。
format string attackめも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
最近CTFとか興味出てきたので色々と遊んでます。 今回はOverTheWire: Narniaのレベル7の問題(narnia7.c)を元にformat string attackのメモです。 narnia7の脆弱性のある関数はこれです。formatはmain関数においてはargv[1]で参照されていたもので、ユーザーからの入力がそのままsnprintf(3)に渡ります。 int vuln(const char *format){ char buffer[128]; int (*ptrf)(); memset(buffer, 0, sizeof(buffer)); printf("goodfunction() = %p\n", goodfunction); printf("hackedfunction() = %p\n\n", hackedfunction); ptrf = goodfunc
機械学習向けデータのクラス間のサンプル数を揃える with Python - Qiita
機械学習をする上でクラス間のサンプル数が揃っていることが望ましいです. しかし実際にはそんなきれいなデータばかりではなく, クラス間のサンプル数が異なるデータもしばしば. 今回, ラベルデータに記されたクラス間のサンプル数を揃える処理をPythonで実装したのでメモ. やりたいこと 以下の様なデータ配列とそのラベルデータがあった際に ラベルデータのサンプル数を揃える 1番の処理に合わせてデータ配列の要素も取り除く # データ配列 data = np.array([10, 11, 12, 13, 14, 15, 16, 17, 18, 19]) # ラベル配列 label = np.array([0, 0, 1, 1, 1, 2, 2, 2, 2, 2]) ############### # データ処理... ############### >>>data [10 11 12 14 15 1
深層強化学習(DQN)でオセロもどきAIを作ってみた - Qiita
どうも、オリィ研究所（http://orylab.com/） の ryo_grid こと神林です。 今回は深層強化学習 (DQN) を試してみたので、それについて書いてみます。 概要 以下を大いに参考（大半のコードを流用させてもらって）にして、(深層)強化学習でオセロもどきのAIを作ってみました。エージェントには駒を多く取ったら勝ちといった知識も与えずに、対戦した勝敗結果(ここの判定だけは学習の時に行う)から打ち方を学ばせます。 コードは間違っているとこがあるかもしれないので、指摘してもらえると幸い。 なお、エージェント自体の学習ロジックは下記の参考コードからほとんどいじっていません（うまく分離されていて素晴らしい！） ChainerでDQN。強化学習を三目並べでいろいろ試してみた。（Deep Q Network、Q-Learning、モンテカルロ） http://qiita.com/na
突然プログラマになって社内ファイルサーバ検索システムを作った話 | 東北ギーク
お疲れ様です。株式会社リスペクト プログラマの山内です。 先輩から「入社してから一年半経ったし今までやってきたことをブログにまとめてみてよ」と言われたので、今回は自分が入社してはじめての社内ツールをつくるまでの話をしてみようかと思います。 どうしてプログラマになったのか せっかくなので、はじめに自分がどうしてプログラマになったのかをちょっとだけ話してみます。 自分は大学時代バリバリの文系で、おおよそプログラミングとは縁遠い生活をしていました。ついでに言えば大学で始めた演劇では脚本家の真似事までしていて、 就活はそれを活かして文章を書くような仕事に就ければなーくらいのことを考えていたのです。 そこで出会ったのが株式会社リスペクトだったのですが、弊社で新卒ライターを募集していたのに目をつけ、ライター志望で弊社の面接に乗り込みました。一次面接を気合でなんとかやり過ごし、多少気を良くした私でしたが
究極のIT系最新技術情報収集用Slackチーム公開 - モヒカンSlack -
tl;dr コンピュータ系の情報収集用のSlack公開グループ（モヒカンSlack）を作ってみたよ。 皆さんで協力して育てていく共同RSSリーダーみたいなものだよ。 このSlackグループの情報を追っていればオッケーなので、情報取集が格段に楽になったよ。 誰でも無料で参加オッケーよ。下のどっちかからメールアドレスを入力して参加できるよ。 Invite people to mohikan Slackin Google Forms 参加者数 1,694名 (2016/10/7 時点) 4,077名 (2017/1/25 時点) 7,000名 (2017/8/25 時点) 11,747名 (2018/12/1 時点) チャネルのリストは「Gist」にあるよ。148チャネル(2017/1/25時点） 分野ごとにチャネルが別れていて、追いたい分野のものに参加すると良いよ プログラミング言語系(毎朝G
手を動かす Spark MLlib & Word2Vec Part 1 （spark-ec2 でクラスタを構築するまで） - 無印吉澤
このシリーズについて Part 1 の範囲 Spark をローカル環境（Mac）にインストールする 最終的にやったこと つまづいたこと ローカル環境での Word2Vec の実行 最終的にやったこと つまづいたこと Amazon EC2 への Spark クラスタの構築（spark-ec2 を使った方法） 最終的にやったこと つまづいたこと(1)：GitHub の spark-ec2 つまづいたこと(2)：--hadoop-major-version=yarn の指定 Spark クラスタでの Word2Vec の実行 最終的にやったこと つまづいたこと すべての slave に処理が分散されることの確認（Word2Vec のパラメータ変更） 最終的にやったこと つまづいたこと Part 1 のまとめ Part 1 の主な参考文献 このシリーズについて 機械学習系のツールを全然使ったことが
Spark MLで主成分分析 - Qiita
SparkのMLlibはMLに移行しつつあります。Spark2.0からはRDDベースのMLlib APIは保守のみになり、今後はDataFrameベースのAPIが標準になるそうです。ここではPySparkでML APIを使い、主成分分析を行ってみます。 ※DataFrameはPandasのDataFrameとは異なります。 新聞１０紙の紙面の傾向分析 下記のリンク先にある新聞10紙のニュース、ビジネス、スポーツの充実度の評価から紙面の傾向を分析する、という例題をSparkで実装してみます。 データ 新聞10紙について、記事の内容をニュース・ビジネス・スポーツについてその充実度を10点評価で調査した、とのこと。スケールは0から10で大変充実しているが10,充実していないが0。
defragTreesがよさそう - Qiita
ちゃお……† 今回はdefragTreesという機械学習ライブラリを紹介します。 defragTreesとは RandomForestやXGBoostなどに対して、できるだけ精度やカバレッジを下げないようにしつつ、モデルをシンプルに(ルールを減らす)表現する手法を使ったライブラリです。 ルールが少ないので人間が見たときのわかりやすさがあります。 たとえば、元はシンプルなデータ(Figure 1 の a)でもアンサンブル学習すると無駄に複雑になってしまうことがあります (Figure 1 の b)。そこで、defragTreesを使うとオリジナルと同じようなシンプルさになります (Figure 1 の c)。 コード: https://github.com/sato9hara/defragTrees 論文: https://arxiv.org/abs/1606.09066 使い方 from
macbookのバッテリー残量をコマンドラインでシンプルに表示 - Qiita
$ bl External Power : No Current level : 67.2% Time to empty : 0d 4h 44m deterioration : 98.5% ioregで65535が返却されたときのハンドリングに苦慮してますが、まあとりあえずサクッとバッテリー残量知りたいだけなのでコレで良しとしておきます。 気が向いたらメンテするかもしれないです。 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
Advent Calendar 2016 購読者数ランキング - Qiita
…というのをまとめた後で別の方 (@yoichiro_twitter さん) もまとめる予定があることに気づいたのですが微妙にニュアンスが違うのでまあ棲み分けということで。 2016年度版Qiita Advent Calendarランキングをお届けいたします - Qiita Blog 蛇足 アドベントカレンダー一覧収集スクリプト Custom JavaScript for websites で以下スクリプトを Qiita に組み込む。（処理が終わったらスクリプトは削除する） // まずは全リンクを収集 -> items … {url:url, name:name} のリスト // Custom JavaScript for websites で以下スクリプトを Qiita に組み込み $(function(){ // 現在ページのインデックス var m = location.href.m
Linux向けの最強のキーリマッパーを作った - k0kubun's blog
X Window Systemで動作するキーリマッパー「xremap」を作った 2017/1/9追記: xkremap→xremapにリネームしました 2021/12/21: Rust化に伴いアーキテクチャを刷新し、より多くの機能と環境がサポートされました: Linux用キーリマッパーxremapをRustで書き直した - k0kubun's blog 僕はKarabiner用のRuby DSLを作ったりそれを使って大量の設定を既述する程度にはKarabinerのヘビーユーザーなんだけど、デスクトップ環境にLinuxを使い始めてからもう1年以上経つ今でもLinux環境で使えるKarabiner並にリッチなキーリマッパーを見つけられずずっと不便していたので、ユースケースを満たす最低限のものを自分で作った。 github.com ちなみにX用であって別にLinuxの何かに依存しているわけではな
第33回 cgmanagerとLXCFS ─ コンテナ内のcgroup管理［1］ | gihyo.jp
今回は、cgroupを操作したり、コンテナ特有の値の/proc以下のファイルを提供したりするLXC用のソフトウェアを紹介したいと思います。 LXCでは設定ファイル内でcgroupの設定を行い、コンテナに対するリソース制限を行います。この場合、cgroup操作はコンテナの外で行われますので、必ずしもコンテナ内でcgroupを操作する必要はありません。 しかし、LXCではコンテナ内でさらにコンテナを起動する「コンテナのネスト」をサポートしています。この場合、コンテナ内で起動するコンテナに対してリソース制限を行うために、コンテナ内でcgroupを操作する必要がでてきます。つまりコンテナ内でcgroupfsツリーを操作しなければなりません。 LXCでは、最初に第11回で説明したlxc.mount.autoという設定を使用して、ホストのcgroupfsをバインドマウントすることにより、コンテナ内にc
ダイエットは運動１割、食事９割、食べ方を変えればみるみるヤセる？ - Rinのシンプル生活
2016 - 11 - 29 ダイエットは運動１割、食事９割、食べ方を変えればみるみるヤセる？ 日々のこと ミニマリスト にはなれないけれど、モノを極力増やさないシンプルな暮らしを心がけています。 お片付け・断捨離・インテリア等を中心に日々の生活を綴っています。 週末の日曜日は夫に誘われて、久しぶりにモーニングを食べに行きました。 （夫が近くの駅まで送って欲しかったようです・・・笑） 星乃珈琲にてモーニング 久しぶりの星乃珈琲！ ここ好きなんですよね～ フレンチトーストのセット６００円 フレンチトーストの他に、ミニサラダとゆで卵にコーヒーが付きます。 私は星乃ブレンド！ フワフワで美味しい。 新聞や雑誌を見ながらゆっくりコーヒーを飲む。 最高ですね～ 夫を送ってから、帰りにブックカフェに立ち寄りました。 そこで目にしたこちらの本・・・・ ダイエットは運動１割、食事９割 運動指導者の森拓郎さ
PRML第4章 ベイズロジスティック回帰 Python実装 - Qiita
曲線フィッティングではベイズ的に扱って事後予測分布を算出したりもしますが、クラス分類においてはあまりそのようなことがやられていない印象があり、今回はクラス分類でよく用いられるロジスティック回帰をよりベイズ的に取り扱って事後予測分布を計算するコードを実装しようと思います。 上でも書きましたが、クラス分類において予測分布を算出しているコードをあまり、というか全く見かけたことがありませんでした（ただ見てきたコードが少ないだけかも）。 ベイズ的に予測分布を計算するためには重みパラメータの事後分布を使ってパラメータについて積分消去しなければならない。しかしロジスティック回帰ではロジスティックシグモイド関数を用いているので、解析的にパラメータについて積分することはできません。そこでラプラス近似を用いて近似的に予測分布を求めます。
AWSネットワークの論理的な側面 ～ AWSのバックボーンネットワークに関するDeepな話（2）
こんにちは。アマゾンウェブサービス（AWS）サポートの有賀と申します。好きなサービスはAmazon Virtual Private Cloud（VPC）です。これからAWSサポートの各メンバーがそれぞれ「今一番AWSユーザーに伝えたいこと」を連載の形でお届けしていきます。筆者の担当する本稿では、AWSの「ネットワーク」について見ていきたいと思います。今回は、ネットワークの「論理設計」について解説します。 本稿でお伝えするのは下記の第2回の内容です。全3回に渡って解説していきます。 AWSのネットワークの物理的な側面 ⇒ 第1回 AWSのネットワークの論理的な側面 ⇒ 第2回 AWSのネットワークにおけるベストプラクティス ⇒ 第3回 AWSのネットワークにおいて過去に発生した問題の事例 ⇒ 第3回 必ずしもAWSの使い方といった内容ではないので、今日すぐに使える知識にはならないかもしれませ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kotlin Internal勉強会に参加&発表してきました #kotlin_internal