はてなブックマーク

qiita.com この記事は Qiita Node.js Advent Calendar 2018 14日目の記事となります。 今回は Node.js のWorker Threadsに関してまとめます。 本記事では、前提としてNode.js v10.14.1 における内容をまとめています。 worker_threadはexperimentalな機能なので、今後仕様が変わりうるので注意が必要です。 Worker Threads | Node.js v11.4.0 Documentation worker_threadsとは Node.js 10.5.0より、Node.jsでのスレッドプログラミングを可能にするworker_threadsモジュールが追加されました。 現時点Node.js10.14.1 では、 Node.jsのプログラム実行時に --experimental-workerフラ

先日npm5がリリースされました。同時期にリリースされたNode.js v8.0.0にもバンドルされており、 複数ある新機能のうち、package-lock.jsonについて気になったので本家のドキュメントの内容を読んでまとめました。 docs.npmjs.com package-lock.jsonについて package-lock.json はnode_modules配下やpackage.jsonに変更があった際に自動で作成・変更されるファイルです。 具体的には、 npm install npm update npm uninstallなど、パッケージに変更が加えられるタイミングで作成・変更されます。 このファイルはpackage.jsonなどのように、リポジトリのソースの一部として組み込まれるように設計され、様々な目的のために利用されます。 package-lock.jsonを導入する

概要 特定のデータが、ある集合やリストに含まれるかどうかを判定するために線形探索や二分探索などいくつかのサーチアルゴリズムが使われますが、 本稿ではメモリの使用効率、探索の際の計算量が優れているブルームフィルタを用いたアルゴリズムについてまとめます。 ブルームフィルタとは ブルームフィルタとは確率的データ構造の一種で、あるデータが集合に属するかどうかを判定する際に使われます。 特徴としては、メモリの空間消費が少なくすみ、非常に効率的にデータの存在判定ができます。 デメリットとしては、false-positive(偽陽性)によるデータの誤判定の可能性があり、集合に存在しないデータを存在すると誤判定してしまう場合があります。このような誤判定が許されないような状況においては、ブルームフィルタは使えません。 逆に、false-negative(偽陰性)による誤判定はないため、データは実際にあるのに

この投稿はGoogle Apps Script Advent Calendar 2016の17日の投稿です。 Google apps scriptとは developers.google.com Googleスプレッドシートや、ドキュメントなど、Google関連のサービスにおいてGoogle apps script(以下GAS)を使ってシートの編集、 web api呼び出しなど色々なことができるようになっています。 私も特に職場でスプレッドシートを使うことが多く、GASを使ってデータ集計やサービスで使うマスタデータの入力、さらにはjson吐き出し機能など作って作業の自動化を行っています。 GASのLock機能について スプレッドシートやドキュメントなどのリソースでGASを使う際に、複数ユーザが同じリソースに対して同時にスクリプトを走らせてしまう場合があり、場合によってこれが非常に問題になる

ansibleで使って対象ノードで特定のコマンドを実行する際、 デフォルトで用意されているcommandモジュールとshellモジュールを使うことができます。 環境変数や、パイプを使ったコマンドを実行させる場合 この2つは挙動が異なるのでまとめてみました。 command モジュール まずはcommandモジュールについて http://docs.ansible.com/ansible/command_module.html The given command will be executed on all selected nodes. It will not be processed through the shell, so variables like $HOME and operations like "<", ">", "|", ";" and "&" will not wor

Qiita Node.js アドベントカレンダー2021の20日目の記事です qiita.com v8のbytecodeについて、自分で書いたコードでどうやって確認するか気になったので調べてみました。 v8によるバイトコード生成 v8がどうやってバイトコード、機械語を生成するかざっくりと整理します。 v8がJavaScriptをコンパイルするとき、パーサはASTを生成します。 ASTはJavascriptコードの文法構造を表現したツリーです。 v8のインタプリタであるIgnitionはこのASTからバイトコードを生成します。 一方で、最適化コンパイラであるTurboFanは最終的にバイトコードを取得し、そのバイトコードから最適化された機械語を生成します。 なぜv8がこの2つの実行モードを持っているかについては、下記の動画で説明されています。 youtu.be JavaScriptコードから

概要 Makefileで処理を実行する際に下記のエラーが出ることがあります。 Makefile:8: *** missing separator. Stop. この場合は、下記の最後の行の先頭でスペースを使っていることにより発生するもので、その原因と対処法についてまとめます。 missing separator. Stop. エラーの原因と簡単な対処法 簡単に結論から書くと、make コマンドで実際の処理を行うブロック(recipeと呼ぶ)での先頭行で、仕様ではタブ文字を使う必要がありますが、スペースが使っているために起きていました。 PROGRAM = server_socket OBJS = server.o SRCS = $(OBJS:%.o=%.c) CFLAGS = -g -Wall LDFLAGS = $(PROGRAM):$(OBJS) $(CC) $(CFLAGS) $(L

概要 AWS lambda functionが呼び出された際に、AWS dynamoDBのテーブルにデータを追加していく方法についてまとめます。 今回は、API Gateway と lambdaで構築した line botに対して送信されたデータを dynamoDBに追加していくところまで説明します。 IAMユーザの設定 AWSの IAM manageページから、新規にIAMユーザを作成します。 このユーザは、Dynamo DBに対する書き込み、読み込み権限そして、lambda関数からdynamoを使う権限を付与します。 「ユーザを追加ボタン」でユーザ名を入力し、「アクセスの種類」で、プログラムによるアクセスと、AWSマネジメントコンソールへのアクセスを許可します。 ユーザの作成を完了すると、 「アクセスキーID」と、「シークレットアクセスキー」が取得できます。 この２つをlambdaから

シングルスレッドで動作するNode.jsにおいて、マルチコアCPUを持っているマシンの能力を最大限引き出すために、 複数のワーカープロセスを起動して処理を分散させたいといったニーズがあると思います。 そのときに重要なclusterモジュールについて、いつも業務で使っていますが、さらなる理解のため、整理してみます。 この記事は、Node.jsバージョンv6.x系を前提とした話となります。 clusterモジュール clusterモジュールについて、大まかな処理の流れは、ドキュメントやNode.jsユーザグループのブログ(Node.js v0.6時のもので古いです)が非常に参考になります。 blog.nodejs.jp clusterモジュールによるプロセス間通信には2つの方法があり、それぞれ紹介していきます。 マスタープロセスによるロードバランシング この方法では、マスタープロセスは指定した

最近話題になっているGraphQLについて RESTful web api界隈で話題になっている、GraphQLが結構気になっています。 先日のnode学園#23でもGraphQLの話が上がっていて、RESTfulって運用上結構辛いところもあるよね　という文脈からGraphQLを推している 発表もありました speakerdeck.com あとは、海外の記事ですがGraphQLについて解説している記事も有名です https://0x2a.sh/from-rest-to-graphql-b4e95e94c26b#.gvddna8vv GraphQLとは A query language for your API graphql.org 公式の説明によるとGraphQLとは、web APIのためのquery languageで、 ニーズに合わせて必要なデータだけをクエリを書いて自由に取得できる

node.jsの非同期処理を書く際に便利なPromiseについて紹介します。 主にnode.js 4.x系以降でデフォルト利用可能な機能になります。 Promiseとは 非同期処理を抽象化したオブジェクトで、非同期処理に関する統一的なインターフェースを提供します。 これにより、非同期処理のコールバック関数の書き方が明確になり、可読性があがるというメリットがあります。 ES6(ECMA Script 6)により仕様が定められており、node.js 0.12系以降から徐々にES6の機能が導入されていて。 node.js 4系以降からはデフォルトで使えるようになっています。 http://www.ecma-international.org/ecma-262/6.0/index.html#sec-promise-objects Node.js ES2015/ES6, ES2016 and ES2

正月休みを利用して Deep Learningに関して勉強をしています。 以前、パターン認識系の本を読んでいたのですが、実装をせずに理論だけ学んでいて、いまいち自分の中で理解が進まず挫折していました。 下記に紹介する「ゼロから作るDeep Learning ――Pythonで学ぶディープラーニングの理論と実装」では、python3系を用いてパーセプトロンから丁寧に実装して理解をすすめることができて 非常に面白いです。 現在勉強中のパーセプトロンとニューラルネットワークについて、箇条書きですが簡単にまとめていきます。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon パーセプトロンとニューラルネットワークの違い パーセプトロン ある入力とがあり、それぞれの入力に対する重みと、バイアスbによって出力yが変

概要 前記事(http://kakts-tec.hatenablog.com/entry/2018/02/12/220716)に引き続き, Docker公式ドキュメントのPart4 Swarmsの内容を整理します. Part4 Swarms Introduction Part3ではPart2で作成したアプリケーションを取り上げ,Serviceを用いてproduction環境の定義を行い,プロセスのスケールアップも行いました. Part4では,アプリケーションをクラスタ上にデプロイし,複数マシン上で実行させます. マルチコンテナ,マルチマシンアプリケーションは複数のマシンをswarmと呼ばれるDockernizedされたクラスタにジョインすることで可能となります. Understanding Swarm clusters swarm はDockerを実行し,クラスタに参加するマシンのグループ