ECSの運用で発生した悩み リポジトリ分割と採用ツール 採用したツール モノレポ管理 jsonnetの利用イメージ パイプラインの実装 差分検出 反映の高速化 crontabのJST表記対応 ecspresso verifyによるチェック OPAによるポリシーチェック さいごに こんにちは、インフラエンジニアの和田です。 弊社は、WEBアプリケーションおよびバッチ処理の実行基盤として Amazon Elastic Container Service（以下「ECS」と呼ぶ） を採用しています。現在では複数チームの開発者が 100 を超えるタスク定義を運用する規模にまで拡大しています。この記事では、増え続けるECS定義をモノレポとエスプレスタック（ecspresso/ecschedule）で管理した事例を紹介します。 ECSの運用で発生した悩み ECSを利用する開発者やアプリケーション数が増え

インフラ部 id:sora_h です。 先週開催された Cookpad TechConf 2017 如何でしたでしょうか。わたしは TechConf において Wi-Fi を担当していて、こちらも好評いただいたようでなによりでした。 というわけで、この記事では TechConf 2017 における Wi-Fi についての詳細を紹介します。 ネットワーク機器設定・サーバー mitamae レシピ等の公開 https://github.com/cookpad/techconf2017-network 今回の紹介する構成のうち、ネットワーク機器およびサーバ側の設定等、ほとんどを GitHub で公開しています。参考までにどうぞ。 TechConf 2017 NOC メンバー 実は外注などはしておらず、社内 IT と SRE グループのメンバーで構成されていました。 メイン (設計・運用・設営)

無償版のNetFlow CollectorとしてPRTGが現時点で最も有用だという結論を出しているが、有償で高機能なコレクター製品としてCisco Prime InfrastructureをCollector, Analyzerとして使用してみる。 使い勝手や機能に優れるからやはり有償製品を採用するべきか、あるいは、それほど差異がないため無償で十分という判断材料とする。 使い比べてみた結果 Cisco Prime InfrastructureをNetFlow Collectorとして使用する ソフトウェアダウンロード ソフトウェアインストール 初期設定 Cisco Prime InfrastructureのNetFlow機能でできること Cisco Prime InfrastructureのNetFlow機能でできないこと まとめ 使い比べてみた結果 結論から言うと、Prime Infra

ネットワーク機器(cisco)のExcelパラメータシート ホスト名とインターフェース名を含むExcelのパラメータシートを読み取って、データを加工(config作成、構築データ作成等)を行いたい時のサンプルスクリプトを作成(環境は、python 3.4 + openpyxl 2.3.0)。 ネストした辞書データ({"ホスト名" : {"インターフェース名": {} } })になるため、読み取り終了後、確認のため、YAMLへ変換して保存。 サンプルExcelデータ サンプルデータとしたのは、以下の様なA列にホスト名、B列にインターフェース名を含むデータ。一部の列には、'[' ']'で囲まれたリストのデータを含んでいる。 サンプルスクリプト #!/usr/bin/env python3 from openpyxl import load_workbook import yaml xls =

この記事は Kobe University Advent Calendar25日目の記事です。 低レイヤー技術(後述)をこれから学びたい人向けの入門記事です。 自身の経験を踏まえ、より多くの人達にこのレイヤーに興味を持ってほしくて書きました。 決して卒論がやばくてAdvent calendarのネタが作れなかったわけでは(ry なぜこんな記事を書いたか いわゆるシステムプログラミングのような低レイヤー(と言って差し支えない)ジャンルって一体何から始めれば良いのかいまいちピンと来ないし、何が面白いのかも分からないと思われている事が多いと思います。 にもかかわらず低レイヤーの魅力や学び方の指針みたいな物を示した、いわゆる入門記事ってかなり少ないんですよね。 本記事はこれからシステムプログラミングを始めたい方や、既にかじってみたが中々先が見えてこない、将来何の役に立つのか不安という方達に読んでい

こんにちは。ヨッピーです。本日は 東京大学 に来ています。 僕みたいな低IQの屁こき豚がこんな所に来てしまったら、一歩入っただけで 知恵熱 出してぶっ倒れそうな気がしますが、取材のためなので仕方がありません。 さて、「i:Engineer」ではこれまで、 京都大学の先生 や 東工大の学生 など、いわゆるアカデミックな方々にも取材をさせていただきました。その取材の際に、 「数学者は変人しかいない」 「人格破綻してる」 「狂人の巣窟」 なんて、「 数学者やべぇ 」みたいなニュアンスの話を聞くことがしばしばありました。僕の知人で、京都大学を中退後、現在は優秀なエンジニアとしてゴリゴリ最前線で働いている方も「ずっと数学をやっていたかったけど、 数学をやるには全部捨てなきゃ無理だな と思って諦めた」みたいなことを言っており、がぜん「 数学者ってどんな人なんだろう 」と興味が湧いたわけです。 そこで今

Update@2014/06/07 Wireshark で tagVLAN のタグ(VLAN-ID)がうまくチャプチャできない場合の対処法メモ。 （ググればすぐ見つかるけど） 対象は Intel NIC を使ってキャプチャしている場合。 http://wiki.wireshark.org/CaptureSetup/VLAN にあるように Intel NIC のドライバはデフォルトでは 802.1Q の VLANタグを引っぺがしてたデータを OS に渡すとのこと。 このよけいなおせわ機能を停めて Intel NIC でVLANタグまでキャプチャするにはレジストリをいじればいいらしい。 具体的には HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\Class\{4D36E972-E325-11CE-BFC1-08002BE10318}\00xx の

ネットワークが絡んだ通信プログラムを開発していると、テストのために遅延やパケロスを意図的に発生させたくなることがあります。いまどきは IDE にネットワークエミュレーション機能が組み込まれていたり、仮想環境で容易に再現できたりもしますが、箱物のネットワークエミュレータがあるとネットワークの構成を気にせずカンタンに設置できるのですごく便利だったりします。世の中にはそういった製品が沢山あるので安価なものを買ってもいいのですが、新たにラズパイが届いたばかりだったので、これを使って超小型のネットワークエミュレータを自作してみました。前編と後編の二回に分けて紹介します。 最近、社内で「ラズパイおじさん」と呼ばれるようになりました。@pandax381 です。 ラズパイ + Linux = ネットワークエミュレータ 「ネットワークエミュレータを自作」と言うとなんだか凄そうな感じがしますが、実はものすご

食事、大切ですよね。 しかし、意外と自分が何を食べたら良いか、わかっていないというのはあるかもしれません。 ということで、今日は、こちらの『疲れやすい人の食事は何が足りないのか』を読みました。 疲れやすい人の食事は何が足りないのか (青春新書プレイブックス) 作者: 森由香子 出版社/メーカー: 青春出版社 発売日: 2015/09/25 メディア: 新書 この商品を含むブログを見る 疲労回復には、ニンニクよりもモヤシがおすすめ！ モヤシには、疲労回復に絶大な効果を発揮する、アスパラギンが豊富に含まれています。アスパラギン酸はアミノ酸のひとつで、炭水化物をエネルギーの変える働きがあり、新陳代謝を活発にして疲労回復、スタミナアップ、疲労に対する抵抗力を高めます。 モヤシが、疲労回復に良いそうです。 これは、意外でした。 モヤシというと、おまけというか、あまり栄養がないものだと思っていました。

Gmailで未読（未開封）のメールがたくさん溜まってくると、通知バッジなどに表示される数字が気になるもの。ただ、一つずつ手動で開封するのは面倒なので、まとめてすべて既読（開封済み）にできたら便利です。 メールを一括で既読にするならPC（パソコン）版のGmailを使うのが一番簡単ですが、iPhoneやAndroidスマホでもメールをまとめて既読にしたいと考える人もいるでしょう。そこで本記事では、PCおよびスマホでGmailの未読メールをすべて既読にする手順をそれぞれ解説します。

ここまでは容量には困っていませんでしたが、色々試してきてそろそろ容量不足に陥りそうな状況になってきたので、SDカードの容量をフルに使えるようリサイズしたいと思います。 手順１　現状確認 最初に、df -hで現状の利用状況を確認します。 $ df -h 結果はこのようになりました。 今、SDカード自体は8GBのものを使っていますので、だいぶ持て余しています。 手順２　容量のリサイズ sudo raspi-configコマンドから入っていきます。 $ sudo raspi-config コマンドを打つとこの画面が現れます。今回の設定は 、1 Expand Filesystem で行いますので、そのままエンターキーを押してください。 リサイズが終わると、このような画面になります。<了解> でそのままエンターを押してください。 raspi-config の初期画面に戻ったら、「→」で<Finish

はじめに 前回書いたはじめてのRaspberry Pi 2ではRaspberry Pi 2をセットアップしてみました。しかしRaspberry Pi 2はGPIOピンがそのまま搭載されているので、弊社にたくさんあるGroveシステムのセンサーが使えません。そこでRaspberry Pi用GroveシールドであるGrovePiを購入しました！ ということで、早速使ってみました！これがまた結構ハマりました... やってみた 外観 上側。ポートの構成が変則的で、左側にアナログポート、真ん中と右側にデジタルポートとI2Cポートが入り混じっています。きっと小さな基盤の中にたくさんのコネクタを配置するのに苦労したんでしょうね。 下側。GPIOコネクタのみ。Dexter Industriesのロゴがカッコいいです。 Raspberry Pi 2にGrovePiを合体させたところ。無印Raspberry

データを眺めるのが好き 収集している情報 実現方法 データから分かった知見(?) 今後 年末なので、今年買ってよかったものに引き続き、今年やってみてよかった習慣について書いてみたいと思います。 データを眺めるのが好き 昔からデータを眺めるのは好きだったんですが、今年の5月くらいから自分に関するデータをとにかく収集してみました。可視化することで何か有益な視点だったり、生活の改善点が見つかるのではないか、という目的です。色んなデータを集めまくった結果、以下のようなグラフができあがります。ちょっと画像が小さいですが、毎日の歩いた歩数や体重、気温、録画した番組名、自宅マシンの負荷状況などが載っています。 収集している情報 上の画像ではとりあえずBlogに上げれるようなデータしか見せていないですが、収集している情報としては以下のようなものがあります。使用しているスクリプトで公開できるものはgithu

このエントリは、はてなデベロッパーアドベントカレンダーの20日目のエントリです。昨日の記事は id:aereal さんの連打を支える技術でした。明日の記事は id:astj さんです。 最近はWeb技術以外にもできることを増やそうと考えて、電子工学に入門しています。ほとんど何もしらないところからの入門ですから、理論を学びつつ手を動かして何か作ってみる作戦でいきたいところです。 しかし、自分の場合、手を動かすために丁度良い課題に取り組みたいものの、何をやればまったくわかりませんでした。 こんな風に困ってしまうことは、0から電子工学に学びはじめたい人にとっては、よくあるのではないでしょうか。そこで、このエントリでは、電子工学をはじめる人がとりあえず何か手を動かして学ぶための方法をご紹介したいと思います。 TL;DR Make: Electronics ―作ってわかる電気と電子回路の基礎を読み、

この記事ははてなデベロッパーアドベントカレンダーを始めます - Hatena Developer Blogの17日目の記事です．昨日は id:yashigani_w の Promiseを学ぶためにSwiftでPromiseを実装してみた話 - yashigani?.days でした． こんにちは、はてなの id:wtatsuru です。はてなのインフラ全般をみています。 はてなでは、しばしば新サービスを構築する機会があります。正式サービスもあれば、はてラボ のような実験的サービス、内部の Microserviceの一部になっているものなど多種多様なものがあります。新規サービスのインフラを構築する際は、最小構成でありつつ後のスケールやメンテナンスを考えた仕組みを作っていくことになります。この記事では、2015年12月現在のはてなでの標準的な構成を紹介していきます。 新サービスの最小構成 こち

仕事でプライベートで、当たり前に使っているGoogle検索。では、その機能や検索オプションをどこまで活用できていますか？ 日ごろ頻繁に使う方法は、キーワードとキーワードをスペースで区切り検索をクリック！ですよね。ちなみにこれは「AND検索」と言います。もちろんこれである程度の検索はできますが、1度でもっと検索を絞り込みたい、もっとピンポイントで検索したい、もっと効率よく複数の検索をしたいとき、「え？こっちの方が早い！」 なんて方法があったりするんです。それを知っていれば、手間が省けて検索時間も短縮できる！ ここでは、覚えておけば効率がグ?ンとアップす便利な検索方法をピックアップしてみました！知らなかった方法があれば、即実践！必見ですよ！