Tips of how to understand the source code of big software projects
大規模ソースコードの読み方
Tips of how to understand the source code of big software projects
Web Application Penetration Testing Cheat Sheet | JDow.io
This cheatsheet is intended to run down the typical steps performed when conducting a web application penetration test. I will break these steps down into sub-tasks and describe the tools I recommend using at each level. Special Thanks @Arr0way - Check out his incredible network / infrastructure penetration testing cheat sheet and other great work on his blog https://highon.coffee. Many of the ide
Akkaによるスレッドの使い方
•Thread •join •Runnable/Callable •Lock •synchronized •Atomic variables •volatile •ThreadLocal •DynamicVariable •ConcurrentHashMap •ConcurrentLinkedQueue •ForkJoin •ThreadPool •Executor/ExecutorService •ExecutionContext •Future •Thread intereference •Memory Consistency error •Dead lock •Live lock •Starvation •InterruptedException •Scheduling
GitHub - ua-nick/Data-Structures-and-Algorithms: Data Structures and Algorithms implementation in Go
AWSの料金を「ざっくり」計算できるサイトを作る - Qiita
AWSの料金、ややこしいですよね。 サービスの選択肢が多く構成が柔軟なおかけで、さまざまな要件をカバーできるのは嬉しいのだけど、そのぶん料金体系がややこしいので、やるせない気持ちになります。 この気持ちはなんだろう、この気持ちはなんだろう、と自問しているうちに春になってしまったので、AWSの料金を「ざっくり」計算できるサイトを作り始めました。 ざっくりAWS 公式ツールの存在 Simple Monthly CalculatorというAWSの料金を計算できる公式のツールがあるのですが、悲しいことに名前ほどシンプルではありません。 正確な料金を算出するために入力項目が多いのは仕方がないとは思うのですが、サイトを開いたときの威圧感がすごいので、もう少しさっぱりできないかという気持ちがありました。 なので、公式ツールの敷居が高いと感じる自分のような人向けに、料金を「ざっくり」計算できるサイトを作り
Minikubeを使ってローカル環境にKubernetes環境を用意する | DevelopersIO
コンニチハ、千葉です。 EKSがプレビュー中です。EKSがGAになる前に、Kubernetesを勉強するため、Minikubeを利用してMac上にKubernetes環境を用意しました。MinikubeはMac以外にも、Linux、Windowsにも対応しています。 Minikubeとは？ Minikubeはローカルで簡単にKubernetesを実行できるツールです。Kubernetesの検証や開発者のために、ノートPC上のVM環境でシングルノードのKubernetesクラスタを実行します。注意事項としては、シングルノードの環境になるので検証できない機能もあります。その場合は適宜クラウド環境に複数ノードでクラスを用意しましょう。 名前的に、小さいKubernetesでミニKubernetesからMinikube？ インストール インストールの前提があります。 ハイパーバイザーが必要になりま
【poke2vec】word2vecをポケモンのパーティに適用してみた
最近の自然言語処理の技術にword2vecと呼ばれるものがあります。word2vecは文字通り単語をベクトルに変換する技術のことで、これを用いることで単語同士の足し算や引き算を計算できます。 これを使うと例えば、「王」+「女」-「男」から「女王」を導くことができます。 今回この単語同士の足し算や引き算をする代わりにポケモン同士の足し算や引き算ができないかと実験してみました。 学習に使用したコードは全て odanado/poke2vec にあります。 word2vec最初にword2vecについて簡単に触れます。 いきなりですが単語の意味とはなんでしょうか？多くの人は辞書を引いてそこに書いてあることを単語の意味とするかもしれません。 一方で自然言語処理では、単語の意味は前後の文脈から決定されるという考え方をすることもあります。 今「林檎」という単語の意味を考えます。例えば「食べる」という動詞
Nginx 1.13 の http_mirror_module を試す - たごもりすメモ
みなさんにも、さまざまな過去の経緯からくる微妙挙動を満載した外部ユーザ向けのHTTPサーバをリプレイスしたりするとき、実際にガツンとやっちまう前にちょっとリクエストを分岐して挙動と性能を確認したい、と思うことがあると思います。考えるだけでつらい気分になってくるやつ。でもやったほうが100倍マシなやつ。 どうしよっかなとちょっと考えたところ、少し前にこんな話があったのを思い出すはずですね*1。 asnokaze.hatenablog.com とはいえヨッシャ使うぞといきなりぶちこむこともできないので、まずいくつか試してみることにする。 準備 前提としては以下のように、元のアプリケーションと同じにホストにリバースプロキシが立っており、そこのnginxで http_mirror_module を使う、という想定*2。ミラー先はどこか適当なアプリケーションサーバ(あるいはロードバランサ)で、元アプ
バックエンドエンジニアがscikit-learn入門しました【教師なし学習編】 - Qiita
はじめに 機械学習ライブラリのデファクトスタンダード的存在であるscikit-learnの"教師なし学習"とその定量的評価手法をまとめる。 数学レベルでの理解は途中で挫折したため、まずはライブラリから概要を理解しようと思いまとめました。 教師あり学習編はこちら 前処理編はこちら 教師なし学習とは 教師なし学習とは、入力データのみが与えられ正解ラベルがない状態で学習を行う手法である。 教師なし学習を使う場面は以下。 正解ラベルを用意できないケース 教師あり学習や他の教師なし学習の前処理をするケース データを可視化するケース データをなんとなく理解したいケース 教師なし学習は、次元削減とクラスタリングの2つの大きなタスクに活用される。 次元削減 次元削減とは、データを表現する特徴量の数（次元数）が多すぎる場合に、その特徴量の数を減らすことである。 本記事では、アルゴリズムとして以下をまとめる。
Kubernetesのクラスタ監視について - ABEJA Tech Blog
この記事はKubernetes Advent Calendar 2016の20日目の記事です。 Kubernetesを安定的に運用する上で、どのように監視を行うかということを考える必要があると思います。 しかし、Kubernetesにデフォルトで使用されているcAdvisor, Heapsterやaddonとして提供されているkube-state-metricsの他、DataDogなど選択肢も様々で、その中からどれを選べば良いのか難しい状況です。 今回は、それらの監視ツールの中からKubernetesにデフォルトで使用されているcAdvisor, Heapsterと、addonとして提供されているkube-state-metricsについて調べてみました。 cAdvisor cAdvisorはGoogle社が開発しているオープンソースのコンテナの監視ツールです。 Kubernetesの各ホ
ファイルを open したまま各種システムコールを呼び出すとどうなるか | ゴミ人間.com
会社にて、インフラ屋さんからアプリケーション屋さんまでわりと多分野の数人が集まって「ふつうの Linux プログラミング」という本を輪読しています。各章、それぞれのメンバーが知っていることと知らないことがうまくばらけていて、良い輪読になっています。 また、分野違いの人ならではの視点からの疑問や知識が輪読中に飛び出してきて、なかなか有意義です。業務経験〜10 年くらいの人たちで寄ってたかって読むと良い本ではないかなと思いますので、ぜひ読んでみてください。 [amazon template=wishlist&asin=4797386479] さて、この本の第 10 章の練習問題には「ファイルを open() して、close() する前にそのファイルを rename() すると何が起きるでしょうか。unlink() はどうか、別のファイルを rename() するとどうなるか、実験して調べなさ
いい感じにログを監視するNagiosプラグイン check_log_ng 2.0.5 をリリースしました！
こんにちは。 CTOの馬場です。 いい感じにログを監視するNagiosプラグイン check_log_ng をメジャーバージョンアップして 2.0.5 をリリースしました！ OSSとしてGitHubで公開しています。 GitHub - heartbeatsjp/check_log_ng: Log file regular expression based parser plugin for Nagios. 目玉の新機能は 「監視結果を一定時間キャッシュできる」 です。 弊社のように複数の監視サーバを持つ場合には誤検知削減の効果が見込めます。 check_log_ng はPython製で、Python 2.6 - 3.6 に対応しています。 例えばCentOS7であればファイルひとつ置くだけで機能します。 (CentOS6のPython2.6で使う場合はargparseモジュールをインストー
深層学習を用いた時系列データにおける異常検知 - 株式会社カブク
はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は深層学習を用いた時系列データにおける異常検知について書きます。 背景 深層学習を異常検知に使用するにあたって閾値設定や評価尺度であるROCについての記述が日本語のウェブの資料で見つけられなかったので本ブログで記述することにしました。以前のブログに異常検知の基礎的な内容があるのでその内容を踏まえた上で読んで頂けると理解がしやすいと思います。 異常検知の基礎 時系列データにおける異常検知 情報圧縮に関するモデル(AutoEncoderなど) 利点: RNNなどに比べ少ないパラメータで学習可能なため高速 欠点: 系列データ特有の過去の値を考慮した予測ができない 系列データに関するモデル(RNNなど) 利点: 系列データ特有の過去の値を考慮した予測が可能 欠点: 構造上、GPU上での並列化が難しいため学習に時間がかかる 本記事では系
Dockerコンテナ内のユーザとホストのユーザとの関係について | Unskilled?
Dockerのコンテナとユーザ すっかりDocker大好きっ子な@MINOです。 最近はプログラミングそのものの勉強よりもDockerの実験ばっかりしているような気がしています。 最近DockerコンテナでGUIアプリを起動させるという実験を行っていました。 それは開発環境を整えるための実験だったのですが、その際にコンテナ内で作ったユーザとホスト上のユーザがどのような関係になるのかがよくわかっていませんでした。 そのため今回はDockerコンテナの中で作ったユーザはホスト上ではどういった扱いになるのかを調べてみたいと思います。 Dockerのデフォルトの状態での挙動を確認 Dockerコンテナは素の状態であればユーザがrootのみの状態で起動します。 すごく簡単なdockerfileを書いてビルドしてみます。 FROM ubuntu:14.04 CMD ["/bin/bash"] $ do
docker run するときにUID,GIDを指定する - Qiita
docker run --rm -u `id -u`:`id -g` \ -v $PWD:/work ubuntu:latest touch /work/uid1000gid1000.txt docker run するときに UID, GIDを指定する マルチユーザーを想定して、コンテナを動かすときにユーザーのIDを指定したうえで、コンテナ内のコマンドが実行できるのか、手元の環境 docker 1.6.0 で確認してみた。 オフィシャルのドキュメントによると Docker Docs Dockerfileの中に記述するのであれば、USERを使うことで任意のUIDでコンテナを実行できることが書いてあり、さらにコマンドラインからでも -u="" の形で指定することでこのオプションを上書きすることができる。 ただ、GIDも指定できるようにはみえなかった。 コマンドラインのヘルプで確認する 以下のコ
EMアルゴリズム徹底解説 - Qiita
本ブログは、混合ガウス分布を題材に、EMアルゴリズムという機械学習界隈では有名なアルゴリズムを丁寧に解説することを目的として書いています。 また、この記事は、「数学とコンピュータ Advent Calendar 2017」の24日目の記事です。 そして長いです。 1. はじめに 観測した確率変数 $X$ をよく表現する、モデル $p(x|\theta)$ のパラメータを求めることが確率分布の推定ではよく行われます。つまり最尤法ですね。より複雑な分布になるとその分布の構造に潜在変数(Latent Variable) $Z$ があると仮定してモデル化を行うと、シンプルな組み合わせで $X$ の分布を表現できることがあります。今回扱う混合ガウス分布もその一つです。 のちに説明しますが、データセットの種別を完全データ集合と不完全データ集合に分けた場合、不完全データ集合に属するようなデータセットはデ
Building user interfaces with Flutter
The minimal Flutter app simply calls the runApp() function with a widget: import 'package:flutter/material.dart'; void main() { runApp( const Center( child: Text( 'Hello, world!', textDirection: TextDirection.ltr, ), ), ); } The runApp() function takes the given Widget and makes it the root of the widget tree. In this example, the widget tree consists of two widgets, the Center widget and its chil
savanna.ioを一般公開しました - savanna blog
本日開催されたRails Developers Meetup 2018にて、esa社の赤塚さんによる「ノンデザイナーのためのコンセプト & ロゴ作り実践講座 feat. savanna.io」という発表がありました。スライドはこちら。savanna.ioを題材にして、ウェブサービスのコンセプトといい感じのロゴの作り方について話していただきました。 speakerdeck.com 前々からsavanna.ioをご利用いただいている皆さんはすでに気づいていると思いますが、赤塚さんのお陰でここデザインが見違えるように変わりました。赤塚さんありがとうございます。 savanna.ioはこれまでベータ版として限られた人にだけ利用していただいていましたが、今日の発表を区切りとして、ベータを外し一般公開とすることにしました。これからたくさんのユーザの方に対して、楽しく使えるサービスにしていくよう機能改善
Homepage - beego: simple & powerful Go app framework
Download and install go get github.com/beego/beego/[email protected] Create file hello.go package main import "github.com/beego/beego/v2/server/web" func main() { web.Run() } Build and run go build hello.go ./hello View effects Open your browser and visit http://localhost:8080 Congratulations! You just built your first beego app. Please see Documentation for going further.
TypeScriptのリフレクションでJSONの型変換を自動化する - Qiita
Castable TypeScript Library https://github.com/bitrinjani/castable 数値をダブルクォートでくくってJSONで送ってくるWebサービスに対処する たまには純粋に技術的な話を。 今C#でプロトタイプを作ったビットコイン自動取引システムをNode.jsに移行しようと試みています。C#の型安全性を保ったまま移植するため、TypeScriptを採用しました。そこでぶつかったのが、外部サービスから受け取ったJSONの型の変換がうまくいかないという問題です。 例えば、以下のシンプルなJavaScriptをみてみましょう。外部サービスがserverResponseのデータをJSON文字列で返してきたとします。 const serverResponse = `{ "name": "Milk", "price": "200", "tax": "
よく使うpsqlの便利技10選
1. メタコマンドとSQLを一緒に使う 実行例 2. SELECT結果の値だけを取得する 実行例 3. SQLでSQLを作り実行 (9.6~) 実行例 4. サーバに応じて実行するSQLを変える (10~) 実行例 5. 忘れたDDLのシンタックスを確認する 実行例 6. SQLファイルの内容を一行ずつ確認しながら実行する 実行例 7. 特定のコマンドを定期的に実行したい 実行例 8. psqlを起動した時に実行されるコマンドを設定する 実行例 9. .psqlrcを一時的に使わない 実行例 10. SELECTの結果をCSV形式で出力 実行例 普段よく使っているpsqlで便利だと思う使い方を10個紹介します。運用で使うシェルスクリプトとかでもpsqlは使う事があると思うので、psql派でない人にも多少は役に立つはず。 特に最近のバージョンで追加された機能は、利用できるバージョンを記載して
統計検定を理解せずに使っている人のために I - J-Stage
318 化学と生物 Vol. 51, No. 5, 2013 セミナー室 研究者のためのわかりやすい統計学-1 統計検定を理解せずに使っている人のために I 池田郁男 東北大学大学院農学研究科 319 化学と生物 Vol. 51, No. 5, 2013 1 1 320 化学と生物 Vol. 51, No. 5, 2013 2 μ σ σ 3 * 2 3 * 321 化学と生物 Vol. 51, No. 5, 2013 4 * 5 * 6 σ 4 5 6 σ * * 322 化学と生物 Vol. 51, No. 5, 2013 μ μ μ μ μ σ 7 σ σ σ σ σ σ σ σ σ σ 8 8 9 7 σ 323 化学と生物 Vol. 51, No. 5, 2013 9 10 11 * σ σ * * * * 10 11 * * * * 324 化学と生物 Vol. 51, No.
Scaling your Redux App with ducks
By Alex Moldovan How does your front-end application scale? How do you make sure that the code you’re writing is maintainable 6 months from now? Redux took the world of front-end development by storm in 2015 and established itself as a standard — even beyond the scope of React. At the company where I work, we recently finished refactoring a fairly large React codebase, adding redux instead of refl
ReduxをREST APIと使う時の命名のコツ｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
概要 今回は、REST APIに対してReduxを使用する場合の命名のコツを書いていきたいと思う。 リソースにあわせてconstantsをつくる 前準備として、リクエストの状態を表すconstantsをつくっておく。 基本的にREST APIを扱う時は、ロジック側はAPIリソースに合わせた命名にしておく。こうすることで、サーバーサイドの世界とコンテキストを切り替えることなく作業できて、混乱を避けることができる。例えば、ユーザー一覧を取得する/usersというエンドポイントがあれば、usersというオブジェクトで全体を設計してゆく。 Reduxで非同期な処理を扱う時は、リクエスト中 リクエスト成功 リクエスト失敗のような状態を持っておくと思うが、REST APIの場合、これにGET POST PUT DELETEなどがのってくるので、命名で混乱しないように、下記のようなヘルパーを作っておく。
Twitter公式サイトのRedux Store設計を少しだけ読み解いてみる - Qiita
1. はじめに TwitterのモバイルWeb (Twitter Lite) は、今年の2月頃のリニューアルによってReactアプリ化されたのですが、今回ツールを使い、この現在のTwitter公式サイトのRedux Store設計を調べてみることにしました。少し昔のこちらのmediumの記事にインスパイアされました。。 2. 準備 react-devtoolsでReduxのStoreを覗き見ることができます。今回Chromeのextensionを使っています。 https://github.com/facebook/react-devtools こちらとても便利で、actionのdispatchまでブラウザからできてしまいます。 インストールしたら、ChromeのDeveloper Toolsを開き、consoleに $r.store.getState(); と入力してみましょう。stor
コピペから脱却して自由に Deep Learning するための TensorFlow 再入門 - Qiita
はじめに TensorFlow はなかなかとっつきにくい部分があるかと思います。書き方が独特なので、慣れるまでに時間がかかるかと思います。公式の MNIST は一通りやったけど、自分で考えたディープニューラルネットワーク (DNN) をどう書いたらいいかわからない……なんてこともあるのではないでしょうか。 この記事では、シンプルな問題を題材にして、 TensorFlow をコピペに頼らず、自分の書きたい DNN を 低レベル API を使ってどのように書くかを最小構成で説明していきます（今さら感はありますが。。）。ベースは公式ドキュメントの Low Level APIs のあたり です。 内容としては： TensorFlow の最小構成要素 TensorFlow で線形関数のフィッティング TensorFlow で DNN を実装 のようになっています。また、以下のような方を対象としており
絵で理解するWord2vecの仕組み - Qiita
皆さん、Word2vec の仕組みはご存知ですか？ Word2vec は gensim や TensorFlow で簡単に試せるので使ったことのある方は多いと思います。しかし、仕組みまで理解している方はそう多くないのではないでしょうか。そもそも本家の論文でも内部の詳細については詳しく解説しておらず、解説論文が書かれているくらいです。 本記事では Word2vec のモデルの一つである Skip-Gram について絵を用いて説明し、概要を理解することを目指します。まずは Skip-Gram がどのようなモデルなのかについて説明します。 ※ 対象読者はニューラルネットワークの基礎を理解しているものとします。 どのようなモデルなのか？ Skip-Gram はニューラルネットワークのモデルの一つです。Skip-Gram は２層のニューラルネットワークであり隠れ層は一つだけです。隣接する層のユニット
TensorFlow Developer Summit 2018 でのアナウンスまとめ - 元データ分析の会社で働いていた人の四方山話
プロジェクトの忙しい時期やら体調不良やら子供の保育園入園やらでマジで追いかけられていないけどこのまとめから辿っていけば良さそう。自分の勉強用にあとでまとめてみる / Highlights from TensorFlow Developer Summit, 2018 https://t.co/M6eNfflHZO— norihiro shimoda (@rindai87) 2018年4月3日 ということで、こちらをもとにした完全に自分用のメモ集みたいな感じです。まあ言ってみればただのリンク集なので、元ブログと情報量に大差はありませんのでご注意を。 medium.com 最初にやったほうがいいこと $ pip install --upgrade tensorflow とかやって、TensorFlowのバージョンを1.7まであげておきます。 Installing TensorFlow | T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - toidiu/learn-rust
GitHub - hamakn/go_ddd_webapp: my Golang DDD webapp example
GitHub - google/flutter-desktop-embedding: Experimental plugins for Flutter for Desktop
PostgreSQLのDockerイメージの使い方 - SIerだけど技術やりたいブログ
今更聞けないMVPとMVVMの違い
GitHub - dfm/tf-tutorial: A non-traditional TensorFlow tutorial
MySQLのバイナリログを活用しリストア＆リカバリで障害時でもDB完全復旧可能な体制を整える。