渡辺です。 Ansibleを利用する時、避けて通れない概念が「冪等性（べきとうせい/idempotence）」です。 冪等性は数学方面の用語で、大雑把に言えば「1回だけ操作を行っても、不数回（N回）行っても結果が変わらない特性」のことを指します。 例えば、有理数の乗算であれば1と0には冪等性があります。 1は、Nに何回かけても結果はNです。 同様に、0は、Nに何回かけても結果は0です。 とはいえ、Ansibleの冪等性は、あくまで構成管理を行う上でのことなので、数学的な冪等性については「そんな概念なんだ」程度の理解で良いと思います。 Ansibleによる冪等性はサーバの状態を保つこと サーバの定義を記述したAnsibleのPlaybookを実行すると、定義に合わせたミドルウェアなどがサーバにインストールされ、サーバの状態が変更されます。 そして、サーバの定義、すなわちPlaybookを変更

サイボウズ・ラボの光成です。 先日、社内で主にLinux上でC/C++を用いている開発者向けの講義をしました。 「こんなことができる」と知ってもらい、興味を持てば各自で勉強してもらおうと広く浅くツールを紹介しました。 gtags, ASan, Valgrind, addr2line, cppcheck, SystemTap, perfなどです。 興味があれば講義資料「C/C++プログラマのための開発ツール」をごらんください。 コンパイラオプション 受講者には新人やサイボウズ・ラボユースの学生もいたので基本的なところから紹介しました。 C/C++コンパイラを使うときはできるだけ警告オプションをつけるのが望ましいです。 警告が出るのは自分のコードの書き方に不備があることが多いからです。 gccやclangでは-Wall -Wextraは基本としてそれ以外にも有用なオプションがあります（C++用

Windows 11 information that can be used at the development siteAtomu Hidaka

ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design

決済システムの構築は、ショパンのワルツを演奏するのに似ている。問題解決における万能的な方法がそこには含まれていて、どのような問題にも適用することができる。 先日、Erlangを学習しているという若いプログラマから、なかなか興味深いメールが送られてきました。その内容は、金融システムのサイトを構築するのにErlangは適切であるかどうかを知りたいというものでした。高度な並列処理を行うフォールトトレランスなアプリケーションの構築にはErlangが適した言語であるという記事を目にしたのと、私の本を楽しんで読んだことで、彼はErlangに興味を持ったのだそうです。 彼の質問に対する私の回答は、「プログラムYにXは適切なのか？」というタイプの全ての質問に対する回答とほぼ同じです。同じ質問に何度も答えることを避けるために、その回答をここに記したいと思います。 問題を解決する際には、まず最も難しい問題から

ls のソースを読んでプログラマになりました - ablog というエントリを書いたが、「ls -f で返ってくるリストは何の順なんだろう？」と思った。ls -f を実行するとライブラリ関数 readdir(3) が呼ばれ、さらに getdents() システムコールが呼ばれ、dirent 構造体が返される。dirent 構造体は連結リストになっていて、次の dirent 構造体へのポインタを辿って行くことになると思われる。ディレクトリにエントリが追加されるたびにディレクトリエントリ（dirent 構造体）が繋がっていくので、たぶんエントリが追加されるときのロジックで決まるんだろうなと想像していた。DBエンジニアには自然な発想だと思う。 Linux や UNIX 関連の書籍はそこそこ揃っていると思っていたが、自宅にある本には書かれていなかった。本屋でふと、この本なら書いてるかもと思って、

なめらかなシステムのアイデアと実現に向けて 軽量Ruby普及・実用化促進フォーラム2016の講演 "GMOペパボの松本　亮介氏より「人工知能によってシステムを自動制御する『なめらかなシステム』に関するビジョンやmrubyを活用した具体的な取り組み」についてご講演いただきます。"

TL;DR ユニット設定ファイルに LimitNOFILE を書く /etc/systemd/system/<unit>.d/override.conf に書くとなおよい 経緯 CentOS 7 に MariaDB を構築していて、my.cnf に下記設定を入れていました。 open-files-limit = 65536 しかし、プロセスの Limit を調べてみると 1024 になっていて、ログにもその旨が出ています。 # cat /proc/`pidof mysqld`/limits | grep -i "max open files" Max open files 1024 4096 files # tailf /var/log/mariadb/mariadb.log ...snip... 150712 16:48:49 [Warning] Could not increase n

来月ぐらいにはGo 1.7がリリースされそうなのですが、CONTRIBUTORSに名前が載せられそう( https://github.com/golang/go/blob/release-branch.go1.7/CONTRIBUTORS#L915 )なので記念エントリです。 内容自体は、4月にあったGoCon 2016 Spring( http://gocon.connpass.com/event/27521/ )での発表済みです。 tl;dr 一部のディストリの最新版でlinux/386でビルドしたバイナリが起動すらできない、というバグがあった 問題はruntimeのアセンブラ部分だったけど、なんとかパッチ書けた パッチ提出→コードレビュー→やりとり→マージまで、3日程度とスムーズに進行できた https://go-review.googlesource.com/#/c/21190/

ITには大いなる可能性と危険性があるが、結局はソフトウエアの問題に尽きる。ソフトウエアの構想、企画、設計、開発、保守のやり方をどう良くしていくのか。ソフトウエア人材の将来像はどのようなものになるのか。日本製ソフトウエアを輸出できないのか。 ソフトウエアについて様々な人が論じ合える場を用意し、多くの人に考えるきっかけを提供したい。そこで「ソフトウエア、それが問題だ～Software Matters」と題した本連載を始め、この中で、ソフトウエアの諸問題と対策を日本や世界の論客の方々、そしてITpro読者の皆様と考えていく。ソフトウエアに関するご意見をお寄せいただきたい。 第1回として米カリフォルニア大学バークレー校のRobert E.Cole（ロバート・コール）名誉教授に寄稿いただいた。コール氏は、日本の作業組織の研究で知られる。ミシガン大学社会学及び経営学の教授を務め、日米自動車の製品品質の

昨年エンジニア界隈で好評を博した伊藤直也氏（現一休CTO @naoya_ito）がホスト役を務める #naoya_sushi にメルカリCTOの柄沢聡太郎（@sotarok）が登場してから約1年。 tenshoku.mynavi.jp 今回はホスト役をsotarokが務める形で #naoya_sushi のオマージュ企画がメルカンで実現。対談から1年経った今、前編ではお互いCTOの立場となった近況を語り合いました。 お互いCTOになって1年ぶりのsushi対談が実現！ sotarok 1年ぶりですね。今回は前回と立場を変えて僕がホスト役です。 まず乾杯しましょうか。 naoya うまい！ （よろしくお願いします） sotarok 顔が赤くなる前に話しちゃいましょう。 いきなりなんで一休に入ったか、の話になっちゃうけど…2年口説かれてやる気になったんですか？ naoya ま、そうですね。 一

やりたいこと 物理、仮想含め数百台のサーバーを管理しているので、 cronを一括管理したい cronジョブの負荷を分散したい cronの結果を可視化(成功or失敗) Dockerコンテナのcronを外出ししたい Dockerコンテナが作成または削除される度にcron登録・削除をAPIで行いたい これらを実現したいと思っていました。 そこで『Chronos』です！ 結論から言うとChronosを使ってこれらを実現することができました。 Chronosとは そこでChronosって何？という話しになりますが、 Cronの置き換えを想定したジョブスケジューラです。 airbnb/chronos · GitHub Mesos上で動くので登録されたジョブをいい感じに分散して実行してくれます。 図にするとこのような感じだと思います。 検証環境 本エントリで例としてIPアドレスやmesos-master

こんにちは。@jedipunkz です。 今回はクラスタマネージャである Mesos について書こうと思います。 Mesos は Apache Software Foundation によって管理されるソフトウェアで分散アプリ ケーションをクラスタ化することが出来るマネージャです。Twitter が採用しているこ とで有名だそうで、開発にも積極的に参加しているそうです。 http://mesos.apache.org/ @riywo さんが既に Mesos + Marathon + Zookeper + Docker な構成を組む手順をブロ グで紹介されていますので是非試してみると面白いと思います。 http://tech.riywo.com/blog/2013/09/27/mesos-introduction-1/ 私は理解した Mesos のアーキテクチャについて少し書いていきたいと思

こんにちは。@jedipunkz です。 Mesos アーキテクチャについて2つめの記事です。 http://jedipunkz.github.io/blog/2013/09/28/mesos-architecture-number-1/ 上記の前回の記事で Mesos 自体のアーキテクチャについて触れましたが、今回は Mesos + Marathon + Docker の構成について理解したことを書いていこうと思います。 mesos クラスタは 幾つかの mesos masters と沢山の mesos slaves から成っており、 mesos slaves の上では docker を操作する executor が稼働している。marathon は mesos master の上で稼働する mesos framework である。init や upstart の様な存在 であることが言

3日間の開発合宿で、Docker と Mesos を使ってリソース管理からテスト・デプロイ管理までするやつのプロトタイプを作ってた。 4人チームで3日間みっちりやって、それなりにいい感じにはできたと思う。id:shiba_yu36 が既に書いてるけど、自分の視点から感想だけ書いておく。 本番環境のBlue-Green Deploymentの仕組みのプロトタイプを作っていた - $shibayu36->blog; 経緯 最近忙しくてあまり触れてない、Immutable Infrastracture みたいなのを作ってみたかった。 Docker を開発に使うのはいい感じだけど、実際の運用に組み込むには、というイメージをつかみたかった。 というのをラーメン屋で話してたら4人集まったので風呂敷を広げてみた。 どんなものを作ったか アプリケーションは Docker コンテナとして動かす。 Debia

コードを書く人なら「あまり褒められたことじゃないけど、こうしちゃっているんだよねぇ」といったこともあるだろう。 そうしたちょっとした「懺悔」を投稿できるのがCoding Confessionalだ。 もちろん自分で投稿せずとも、他の人の投稿をみて楽しむことができる。 「あー、あるある」的なものから「ん？そうかなー」的なものまで幅広く投稿されているので興味がある人ならいかがですかね。

AWSのManagement Consoleに他のアカウントのロールになりすませる機能があります。 docs.aws.amazon.com 大変便利なんですが、うっかり意図したアカウントと違うアカウントで操作をしてしまうと大惨事になりかねないので、雑user jsでヘッダ全体の色を変えてます。 （以下のuser.jsではSwitch Roleしてないときに赤くしている） ご活用ください。 gist.github.com

13. Selenium GridをGoogle Cloud Platform上で動かす ▌ノード数が増えるとマシンリソースの用意が大変 ▌クラウドに移行すれば金の力で解決 ▌コスト削減のためにSeleniumテストのジョブが実行されるごとにインスタン スを作成→削除 ▌Google Compute Engineは課金が分単位で最小課金時間が10 分 EC2だと課金が時間単位 13

Evernote のニュースEvernote で起きている変化、改善について興味はありますか？ これらの記事は私たちが取り組んでいることをご紹介しています。ぜひご覧ください 新着情報レガシー版 Evernote アプリの廃止2024 年 3 月 26 日を以て、レガシー版 Evernote アプリを廃止いたします。V10 以前の Evernote エクスペリエンスを統合することで、セキュリティを大幅に高めることができ、開発のスピードアップに充てる人員を増やすことができます。 もっと読む 便利な 14 種類の機能を全ユーザ向けに開放Evernote の便利な機能を使用して、検索や添付ファイルの管理、ノートへのアクセスなど、主要な機能を最大限に活用しましょう。どれも今すぐご利用いただけ、Evernote が秘める力を解き放ちます。

(注：2016/09/28、いただいたフィードバックを元に翻訳を修正いたしました。) この記事は、RustやDNSの使い方を皆さんにお教えするためのものではありません。むしろ、私がDNSクライアント/サーバをRustで開発した時に面白いなと思った点について書く日記のようなものです。 約１年半前のことですが、私は史上最高とも言えるプログラミング言語と出会いました。それは私がGo言語を学んでいる最中のことでした。Goは学習していて楽しい言語で、Java出身の私は特にひとつの点を素晴らしいと評価しました。それは、シングルバイナリをコンパイルできるし、それをデプロイしたり実行するのも早くて簡単だという点です。正直言って、Goでプログラムを書いて初めて、C言語のスタティックバイナリをどれほど気に入っていたか気付いたのです。クラスパスはないし、デフォルトのメモリ設定をいじることもなく、デフォルトのガベ

This document discusses Graphite and options for optimizing its performance for high volumes of metrics data. It summarizes the default Graphite architecture using Carbon and Whisper and different approaches for scaling it up including using go-carbon, carbon-c-relay, and evaluating alternative time series databases like Influx and OpenTSDB. Various techniques for optimizing whisper and cache conf

RDSフェイルオーバーによるダウンタイムの実測（PostgreSQL編） オンプレミスなシステムをAWSに移行する際など、DBサーバにはRDSを使うかという点がよく議論になります。RDSは非常に便利ですが、導入の検討段階で「定期メンテナンスやフェイルオーバーでダウンタイムが発生するからNGになった」という話をよく聞きます。 ダウンタイムはどの程度か、という話はAWSの公式サイトにも記述があり、「通常」60～120秒とされています。可用性担保を使命とするエンジニアとしては、この「通常」という言葉がとても気になりますよね。 ということで、今回はRDSのフェイルオーバーによるダウンタイムを実測してみました。

［速報］GitHub、コードレビューのための新機能を発表。コードの行ごとや課題ごとにコメント可能。GitHub Universe 2016 GitHubはイベント「GitHub Universe 2016」をサンフランシスコで開催しています。 初日の基調講演に登壇した同社CEO兼共同創業者のChris Wanstrath氏は、新機能のCode Reviewを発表しました。 Chris Wanstrath氏。 Pull requestはGitHubを使う上で核となる機能だ。Pull Requestはコードに関するコラボレーションの方法としては優れているが、コードをレビューする方法としてはあまり優れた手段ではなかった。 これについてはいくつもの改善を続けてきた。

In this blog post, we’ll discuss how to improve the performance of slow MySQL queries using Apache Spark. In my previous blog post, I wrote about using Apache Spark with MySQL for data analysis and showed how to transform and analyze a large volume of data (text files) with Apache Spark. Vadim also performed a benchmark comparing the performance of MySQL and Spark with Parquet columnar format (usi

GitHubのイベント「GitHub Universe 2016」がサンフランシスコで開幕。初日の基調講演に登壇した同社CEO兼共同創業者のChris Wanstrath氏は、GitHubの新機能として「Projects」を発表しました。 Chris Wanstrath氏。 Issueを管理する方法は機能これまでも改善を続けてしてきたが、この新機能はおそらく過去最大の新機能だ。 必要十分にしてシンプルなIssueのトラック機能として、「Project」を発表する。 「ボード」と「カード」を備えており、カラムを設定して名前を自由に決め、カードをドラッグ＆ドロップで配置できる。

2016/9/14時点でのgithubの動向に基づく予想． 確定情報ではない． 正式リリース時期はおそらく10月後半か11月前半． マージ済み Checkpoint (experimental) live migrationにつかうべきものではないことに注意． This feature is currently focused on single-host use cases for checkpoint and restore. Here are a few: Restarting the host machine without stopping/starting containers Speeding up the start time of slow start applications "Rewinding" processes to an earlier point in ti

Ansible is a great tool for system administrators who want to automate system administration tasks. From configuration management to provisioning and managing containers for application deployments, Ansible makes it easy. The lightweight module based architecture is ideal for system administration. One advantage is that when the node is not being managed by Ansible, no resources are used. This art