はてなブックマーク

現代のプログラミングではよりよい性能のためにマルチコア、マルチスレッドで動作するコードを書くというのは珍しくないと思います。多くのプログラミング言語ではユーザに利用しやすい形でそのための言語機能や標準ライブラリを提供しています。ですが抽象化のレイヤを降りて、例えば CPU のレベルで考えると同期化のために難しい概念というのが多数登場します。 ここではその中で「メモリコンシステンシ」について自分の理解をまとめました。これは言語によっては完全に隠された概念だと思うのですが C++ や Rust ではアトミックな操作に std::memory_order や std::sync::atomic::Ordering というパラメータを渡すことで、操作が従うべきメモリコンシステンシモデルを指定できます。最初のうちはそう言われても? という感じだったのですが、いくつか良質な資料に出会い徐々に理解ができ

MySQL を扱っているとたまに「このクエリだと何に対してロックを取るんだっけ？」、「デッドロックのエラー出てるけど原因がわからない」等悩むことがあるので、MySQL におけるロックの挙動を雰囲気だけでも理解したいなと思いました。 MySQL のロックまわりに関しては検索すれば既に多くの解説が得られるので、ここではそれらを参考にしながら自分にとってポイントになる部分を適宜まとめたりサンプルを実行したりしています。 なお途中出てくるサンプルは MySQL 5.7 (not 8.0) の REPEATABLE READ で確認したものです。 トランザクション分離レベル consistent read と locking read shared lock と exclusive lock InnoDB Locking DML 文は暗黙的に exclusive lock を取る 検索に使用された行

JSON といえば Web API であったり様々な箇所でお馴染みのデータフォーマットです。最近 play-json という Scala の JSON ライブラリについて話をしたときに、 昔 JSON の number 処理でハマったことがあったのを思い出したので、改めて調べた内容をメモしておこうと思いました。 ハマった内容 JavaScript の挙動の理由 play-json の挙動の理由 JSON の number 仕様 1. ハマった内容 文章で説明すると「JSON で絶対値の大きい整数を number として記述した場合に、同じ JSON なのにそれを処理するプログラム (あるいは言語やライブラリ) によって結果が異なる」というものです。 具体例としては JSON number で表記した 9007199254740999 をパーズした場合、 JavaScript (Google

UEFI とは Unified Extensible Firmware Interface - Wikipedia からの引用です。 Unified Extensible Firmware Interface （ユニファイド・エクステンシブル・ファームウェア・インタフェース、UEFI）はオペレーティングシステム(OS)とプラットフォームファームウェアとの間のソフトウェアインタフェースを定義する仕様である。 UEFI の仕様にはハードウェアの初期化や OS のブートストラップといったものが含まれます。このような処理を行うプログラムとして昔は BIOS がありましたが、UEFI は BIOS の至らない点を踏まえて設計された仕様です。UEFI は最終的に BIOS を置き換えることを目的にしていると思いますが、仕様で 「Evolutionary, not revolutionary」 と表現さ

最近になってようやく開発環境にDockerを使い始めたのですが、この記事を見てやっぱり一度Dockerの動作の仕組みをおさえておきたいよなと思いました。 馴染みのない部分も多く完璧におさえることは難しいので、ここではDockerの使用するLinuxの機能としてよく聞く3つ(overflayfs, namespaces, cgroups)が何なのかという点に注目して簡単にまとめてみました。 Dockerとは ハイパーバイザー型との比較 Dockerの使用するLinux技術 1. Dockerとは 一言でいえばコンテナ型の仮想化ツールです。 コンテナ型 ホストOSのカーネルを使いゲスト (コンテナ)を動かす それぞれのコンテナが独立したリソース (Filesystem, Processes, Memory, Devices, Network devices)を持つ (持っているように見せること

Scala 界隈ではお天気の次に共通の話題にできる (嘘) scala.concurrent.Future ですが、一年弱使用してきていまだにその挙動について上手く整理できておらずどことなく苦手意識がありました。例えば Future.successful(1) flatMap { x => Future.successful(2) flatMap { y => Future.successful(3) map { z => x + y + z } } } というコードを見たときに、全体としては Future[Int] 型が得られ、計算結果が 6 になるということは理解していますが、その中でどんな Future が生成されどのように最終的な結果が得られるのかはあまりイメージできていませんでした。 そこで Future とより向き合うために本実装から必要最低限のみを抽出した実装を自分で作ってみ

去年は Docker が Kubernetes のネイティブサポート を発表したり AWS にも Kubernetes をサポートする EKS がプレビュー入りしたりと Kubernetes が利用しやすくなる環境がどんどん整いつつあります。 ただ自身はこの流れに遅れて Kubernetes を触ってみたことが無かったので、ここで簡単に内容を整理してみることにしました。Kubernetes の基本的な要素である Pod, Deployment, Service を中心に見ていき、最後に既存の定義ファイルをもとに Elasticsearch クラスタを作成する、ということをやっていきます。 Kubernetes とは Kubernetes を構成する主要な要素 定義ファイルを使用したオブジェクトの作成 Elasticsearch クラスタのセットアップ 環境: 使用している OS が Arc

Docker のネットワークまわりの理解を深める一環として iptables について整理します。 全体として Iptables Tutorial がとても参考になりました。 iptables とは iptables の構成要素 Docker デーモン起動時の iptables Docker コンテナ起動時の iptables 環境: # OS $ cat /proc/version Linux version 4.14.13-1-ARCH (builduser@heftig-32336) (gcc version 7.2.1 20171224 (GCC)) #1 SMP PREEMPT Wed Jan 10 11:14:50 UTC 2018 # iptables $ iptables --version iptables v1.6.1 # Docker $ docker version

Performance At Scale With Amazon Elasticache は Amazon が書いている Elasticache に関するドキュメントなのですが、Elasticache に限らずインメモリキャッシュを使用するときのベストプラクティスを学ぶ参考になりそうだったので、ざっと読んでまとめてみました。 Elasticache 自体は ストレージエンジンとして Memcached と Redis を用意していますが、ここでは主に Redis に注目しています。 Abstract キャッシュ用途としてのインメモリキーストア 頻繁にアクセスされるようなデータをキャッシュすればアプリケーションのパフォーマンスを上げることができる 正しく使えばスケールアップ時のコストを抑えることができる キャッシュだけではなく analytics や recommendation engin

同値関係というのはオブジェクトの性質として基本的なものですが、同時に意外と厳密な定義の難しいものでもあると思います。 最近 Python を扱っていて 同値性を定義する __eq__ であったり オブジェクトのhash値を計算する __hash__ であったりの実装で悩むところがあったので、少しそのうまい定義の仕方について考えてみることにしました。 equality の実装 hashable class の実装 環境 OS: Arch Linux (linux kernel: 4.9.3) Python: 3.6.0 本記事の内容は Python の version に依存した内容になっているかもしれません。 主に 3.6.0 を使用していますが、 他に 2.7.5 でも ( version の差異による部分を書き直して) 記載スクリプトが実行できることを確認しています。 1. equal

Vim様には以前からシステム設定ファイルの編集やちょっとした作業でお世話になっており、キー操作や.vimrcに書くような基本的なオプションは理解していたのですが、Vimが裏側でどう動いているかをあまり理解せずに使い続けていました。ですが最近Vimの環境を新しく作り直した際、パッケージの管理に関してどこまでがVim標準でできて、どこからがパッケージマネージャのおかげで動いているのかがわからずもやもやとした気分を味わったので、そのあたりを中心にしてVimが裏側でやってくれていることをまとめてみようと思います。 環境 OS: Arch Linux (linux kernel: 4.8.13) Vim: 8.0 (2016 Sep 12, compiled Jan 7 2017 09:31:58). Included patches: 1-149 Vimのパッケージ管理にNeoBundleを使用

parsecというHaskellの構文解析用パッケージをしばらく触っていたので、その一つの成果として「md-parser」(Markdownパーサ)という車輪を生産しました。 見事な車輪ですが、Markdownパーサのシンプルな、でも理解しやすいパーサを作りたかったというのも隠れた目的としてあります (これが達成できているかは怪しい)。 実装自体はgithubを見て頂ければいいとして、ここではもし自分を含め誰かが同じようにMarkdownパーサを書いてみようと思ったとき参考になればという情報をまとめています。 Markdownの文書構造 Markdown解析用型クラス、インスタンス宣言 Inlineのパース Blockのパース 課題とか 1. Markdownの文書構造 まずはMarkdownの文書構造がどのようになっているかを確認しておきます。とはいえMarkdown自体はHTMLの別記

Java で Web Application を作成するときに何が気が重いって、環境や設定、クラス等必要なものをごちゃごちゃ揃える必要のあることだと思っています。 Spring Boot と Docker を使えばもっと身軽に開発ができるだろうなということで少し内容を整理してみます。 ここではサンプルとして単純な REST API を Spring Boot で実装し、アプリケーションの実行環境とデータベースを Docker Container で準備するという形を目指します。 データベース準備 REST API 実装 with Spring Boot Java Application 実行用 Image 作成 docker-compose でまとめて管理 環境 OS: Arch Linux (linux kernel: 4.9.3) Java: openjdk version “1.8.

JavaプロジェクトのビルドツールであるGradleの使用方法の確認として、階層型マルチプロジェクト構成を持ち、ビルドにより各モジュール起動用のスクリプトファイルが作成されるというものを作成してみることにした。IDEとしてはEclipseを使用する。 Eclipse用プロジェクトの作成 Eclipse上での開発 ビルド処理の記述 ビルド実行 実行環境 OS: Mac OS X 10.11.4 x86_64 Java: 1.8.0_77 Gradle: 2.4.4 Eclipse: Mars(4.5.2) プロジェクト構成 gradle-multi-example +--- module-core +--- module-core-export (module-coreに依存) +--- module-core-import (module-coreに依存) +--- module-expo