Migrating from AWS to AWS
This is a story about how we migrated from AWS Elastic Beanstalk to a Terraform + Consul + Nomad cluster in AWS EC2. Some backgroundPDVend started using Heroku. It’s a very nice option to startups, since you just deploy your application, not having to deal with complex infrastructure concerns and huge CI/CD flows. When you need to get bigger, there will come a time that you’ll realize that Heroku
「RubyでつくるRuby」を読んだ話 - Feedforce Developer Blog
エンジニアの id:sukechannnn です。最近アナログシンセサイザーを買いました。発信音最高です。 先週の土日で「RubyでつくるRuby」という本を一気に読みました。 RubyでつくるRuby ゼロから学びなおすプログラミング言語入門 作者: 遠藤侑介,hirekoke出版社/メーカー: ラムダノート発売日: 2017/03/31メディア: 単行本（ソフトカバー）この商品を含むブログを見る プログラミングを始めたばかりの初心者でも理解できるように、基礎的な部分からからインタプリタが動く仕組みまで非常に簡潔に分かりやすく書いてあります。 プログラミング始めたいけど何から手を付けていいか分からない、という方はこの本から読んでみると良いかもしれません。今後Rubyを勉強するかどうか関係なく、プログラミングにおいて大切なことが詰まっている本だと感じました。 それがこの分量で学べるのは非常
Stackdriver で Ruby アプリのモニタリング、デバッグ、ロギングが可能に | Google Cloud 公式ブログ
Google Cloud Platform（GCP）で動く Ruby アプリケーションのサポート拡充を進めている Google Cloud Ruby チームに合わせる形で、私たちは Stackdriver に対応した gem（Ruby ライブラリ）のベータ版をリリースしました。 Stackdriver は、モニタリング、ロギング、および診断機能を提供する管理ツール スイートです。今回の gem により、GCP だけでなく AWS やお客様のデータセンターでも、Ruby プロジェクトで Stackdriver を利用できるようになりました。Stackdriver gem の詳細は GitHub でご覧になれます。 他の Ruby ライブラリと同様に、私たちは Stackdriver ライブラリが Ruby ユーザーにとって理にかない、作業をより簡単に行えるよう手助けすることに重点を置いていま
『テスト駆動開発』を写経するための環境構築 - ろくにメモ
はじめに このエントリは『テスト駆動開発』を写経しようと思ったものの、環境構築から始めなければならない人向けに書きました。 テスト駆動開発 作者: Kent Beck,和田卓人出版社/メーカー: オーム社発売日: 2017/10/14メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る まず、私の Java に対する習熟度についてですが、Java言語プログラミングレッスン 第3版(上) Java言語を始めようの上下を読破した程度で、Java 周りの開発環境は全く分かっておらず、Eclipse を軽く触ったことがある程度です。 また、テスト駆動開発や自動テストについては、興味はあったものの実際に手を動かして使ったことはないレベルなので、『テスト駆動開発』を写経して実際に体感してみようと思い購入しました。 ですが、いざ読み始めてみると「Eclipse で JUnit の使い
LINE Engineer Insights vol.7「QAエンジニアに聞く、LINEプロダクトの品質管理」 - LINE ENGINEERING
LINE Engineer Insights vol.7「QAエンジニアに聞く、LINEプロダクトの品質管理」 LINEで働くエンジニアに色々と話を聞いていく「LINE Engineer Insights」の第7弾です。当コーナーでは、インタビュアーにLINEで働くエンジニア tokuhiromを迎え、エンジニア同士でざっくばらんに話を聞くという形で進めています。今回も、LINEのエンジニアは一体どんな人達なのか、その内面に迫っていきたいと思います。 第7弾は開発3センターサービスQAチームの鈴木里惇（りじゅん）さんに、LINEプロダクトの品質を支えるQAという仕事について実際の仕事の流れやこだわり、今後の展望などについて聞いてきました。あらかじめ説明しておきますと、QAとはQuality assuranceの略で品質保証のための検証作業などを指します。 ざっくり言うと QAの仕事は企画段
サービスを止めずにサーバを別のラックへ移動することに成功したので振り返る - Feedforce Developer Blog
こんにちは。lorentzcaです。 ⛺ 先日データセンターにある20台ほどのサーバを別のラックに移し替えるという作業を行いました。無事サービスを止めずに作業を完了出来たので、どうやってサービスを止めずに作業を完了できたのか振り返ってみようと思います。 そもそもなぜサーバを別のラックに移動する必要があったのか ざっくりとした段取り 物理的にラックの縮小が可能かどうかの調査 調査結果を元にチームメンバーと相談 データセンターと打ち合わせ 具体的な作業手順書の作成 実作業 まとめ そもそもなぜサーバを別のラックに移動する必要があったのか 5月末に弊社の RSSSuite というサービスが終了しました。 RSSSuiteの思い出 - 避難訓練 - Feedforce Developer Blog その結果、ラック内に未使用のサーバがけっこうな数発生しました。そこで使っていないサーバや機器を整理し
仕事とは、プログラミングとは - mizchi's blog
これは、冒頭の問いから端を発した、各章のつながりが不明瞭なエッセイ、流行りのミームでいうと技術的ポエム、であり、プログラミングをテーマにしていてもプログラミングの記事ではない。(と一番最後まで書き終わった自分が注釈を入れている) 良いコードとは何か 趣味で4年、本腰を入れたは最後の2年なのだが、それから3年間ほど仕事でプログラムを書いてきた。それで、趣味プログラマと業務プログラマの一番の違いは、業務プログラマが要求されるのが「他人にどれだけ意図を伝えることができるか」ということに尽きると思うようになった。 他人にとって良いコードとは、書いた人の意味が読み解けるコードであると思う。どれだけ書いた本人の自意識の中でかっこいい・よいコードを書いたと思っていて、実際にちょっと紐解けばそのポテンシャルがあったとしても、隣に座っている人間に伝わらなかったら意味が無い。正しくコードレビューが行われるなら
Git 爆弾 - Frasco
もしあなたが冒険好きな人なら（そして起こるかもしれない再起動に対処できる人なら）、この小さなリポジトリをクローンしてください： $ git clone https://github.com/Katee/git-bomb.git クローンできましたか？あなたのマシンが相当なメモリ（RAM とストレージ合わせて）を積んでいない限り、git が殺されたか、メモリ不足になったか、再起動しなければならなかったと思います。なぜでしょう？これは、たった12個のオブジェクトで構成されたリポジトリです。 どのようにして、この小さなリポジトリがメモリ不足を起こすのでしょうか？その秘密は、git が行う blobs（ファイルを保存しておくもの）の de-duplication（重複排除）です。これは、リポジトリを小さく、そしてコミット間でファイルが変更されていない場合に同じ blob を使うようにするためのもの
サーバレスはより安く、より複雑だ | POSTD
先週の (Emit) カンファレンスでは、卓越した講演の数々、興味の尽きないパネルディスカッションが行われ、サーバレスコミュニティの優秀な仲間たちに出会って貴重な意見交換をする機会がたくさんありました。 そこでは誰もが一様に、コストこそがサーバレス適用の推進の鍵だとみなしていました。オンデマンド実行と生来の弾力性は、稼働率を最適化しつつ、稼動時間と信頼性もさらに高い状態に保ちます。従量課金制はコストを直接的に定量化できるものに変えました。場合によっては 桁外れの 節約 になる可能性があります。パネルディスカッションで、Gartnerのアナリストの Anne Thomas は、企業クライアントは”コスト”が有利という理由からサーバレスに興味を持つ、と話しました。 しかし、クローズドなシステムにフリーランチはありません。メリットを得るには何かを犠牲にしなければならないのです。テクノロジーにおい
安全面に関する今後の予定
先日ツイートでご案内したように、Twitterをより安心してご利用いただけるようにさまざまな部分に手を加えてまいります。これまでも「努力を続けます」「より透明なコミュニケーションをめざします」とお伝えしてきたものの、まだ努力が足りていませんでした。今回より、安全面に関する状況のご報告を定期的、またできるだけ即時にお伝えしてまいります。簡単に達成できる部分ではありませんが、正しいことができるようにできるだけの努力を行います。
SSLを基礎から学ぶには最適の入門書「食べる！SSL！- HTTPS環境構築から始めるSSL入門」 | DevelopersIO
「良い本に出会った。感動した。」 by濱田 2014年4月のOpenSSLの脆弱性に起因するHeartbleed事件では、世界中のエンジニアが対応に追われました。この記事を読んでいる人で、あの日のことを懐かしく苦しく思い出す方、多いと思います。自分も例外ではないです。 それだけ広く使われていて、インターネット通信における基礎のSSLですが、皆さん、以下の点にすっきり答えられますか？ SSLとTLSの違い SSLが保護するレイヤーは？ SSHとの違いは？ デジタル署名の「署名」の意味とは？ 証明書は「誰」が「なに」を「どうやって」「証明」しているのか？ 普段、EC2でキーペア発行したり、証明書導入したりしているエンジニアでも、案外、ここらへんがもやもやしている人も多いのではないでしょうか。 ぶっちゃけ、自分がそうでした。 そんな折に手に取ったこの本が、自分のニーズにばっちこーいでヒットしたの
なぜスタディサプリは破壊的なのか？
「渋谷区立小中学校の全児童・生徒約8000人が『スタディサプリ』を教材として利用開始」というニュースを知りました。 「スタディサプリって、リクルートのやっている、動画で勉強するアレだよね」ぐらいにしか知らなかったのですが、公教育に導入されるのはインパクトが大きいと感じました。すでに学力が向上したという実証実験も報告されています。 きっとお子さんがいる方々は「EdTech（エドテック、エデュケーション＋テクノロジーの造語）」なんておカネの匂いがする単語は知らなくても、きっと「スタディサプリ」のことは気になっているはず。ということで、今回は「スタディサプリ」について考えてみます。 スタディサプリの売上は月に3億円!? スタディサプリなら、小学・中学・高校、そして大学受験に必要な5教科18科目・1万本以上の授業動画が月額980円で見放題。42万人の受講データをもとにプロ講師が磨き上げた「神授業」
td-agent のメモリバッファとファイルバッファでどんな違いが発生するか観察してみた - ようへいの日々精進XP
はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォルトはメモリバッファだがファイルバッファがオススメ また、fluent-logger を使ってサーバーの負荷が激しく上がってしまった件について質問させて頂いたがよくよく考えるとこのバッファについて全く考慮しないままの利用だったので、この件でも解決への糸口になるのではということでメモリバッファとファイルバッファで何が違うのかを調べてみた。 構成 検証環境 以下のような検証環境を用意した。 役割 バッファタイプ / Output / アプリケーション OS td-agent バージョン スペック 備考 Forwar
自分なりにあちこちからかき集めて作ったセキュアなCentOS7サーバ - Qiita
この記事は スマホゲームを作っている中でサーバが要るので、 WebAPIサーバとDBサーバの土台を作ろうと思い立ち、 いろいろなサイトと自分の過去の経験・知識からのサーバを構築した日記です。 主に自分がやった事を中心に書いています。 設定内容についての説明はかなり省略して書いております。 ご不明な点がございましたら、コメントお願いします。 本記事でやっている事 MacOSX 10.11.3 をホストOSとし、VirtualBox 5.0.16 上に CentOS7.1 （1503） minimal をインストール1 その状態でセキュアにやれる設定に手を入れています。 * ネットワークサービスはsshのみです。（SNMP、Webサーバ、DB等はインストールしていません） * SELinuxは有効にしていますが、ゆるめの設定で使っています。 * その他監視系のソフトはインストールしていません。
高速な研究開発を支えるGPU計算機環境 - クックパッド開発者ブログ
研究開発部の染谷 ( @ayemos_y ) です。好きな ImageNet のラベル(Synset)は "Eccentric, eccentric person, flake, oddball, geek" です。 クックパッドの研究開発部は2016年7月に発足し、現在はアルバイトを含め13名の体制となっています。その中で、こちらの記事でも紹介されている料理／非料理判別モデルを開発するなど、機械学習／ディープラーニング分野に特に力を入れて取り組んでいます。 最近は、モデルを開発し改善する手法などについて多くの情報にアクセス出来るようになり、このような技術をプロダクトに応用していきたいという気持ちが高まっている現場が多いかと思います。しかし一方で、分析の為のデータへのアクセスや画像認識モデルの実装や実験を行うためのGPU環境の整備など、現場の都合に対応するコストによって開発の勢いが鈍化して
一時ファイルとdentry cacheとメモリ - blog.nomadscafe.jp
わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem
ゼロワンオンカジチャンネル
ミスティーノは、仮想通貨でも遊べるオンラインカジノです。仮想通貨での入金には、Bitcoin、Ethereum、Litecoin、Bitcoin Cashなどが使用できます。また、出金も仮想通貨で行うことができます。 また、ミスティーノでは、スロットやテーブルゲーム、ライブカジノ、ポーカー、ビデオポーカー、バカラ、サイコロなど、様々なオンラインカジノゲームが楽しめます。さらに、スマートフォンやタブレットでのプレイも可能ですので、いつでもどこでもカジノゲームを楽しむことができます。 実際にミスティーノで遊んでみた感想 ミスティーノでは、新規登録や入金などに応じて、さまざまなボーナスが提供されています。 新規登録ボーナスとしては、入金不要で手に入る「フリースピン」があります。また、入金ボーナスとしては、入金額に応じた「マッチボーナス」が提供されることがあります。さらに、プレイヤーのレベルが上が
IBM、100万個の「演算するメモリ群」で作られた非ノイマン型マシンで機械学習のデモを発表。従来のコンピュータより200倍高速で高効率と － Publickey
IBMは相変化メモリを用いてメモリ群が演算能力を持つ非ノイマン型コンピュータのデモに成功したと発表した。これは「Computational Memory」、演算するメモリによる新しいコンピュータの姿を切り開くものだ。 現在のコンピュータのほとんどは「ノイマン型」と呼ばれるアーキテクチャで実現されています。 ノイマン型アーキテクチャは、メモリにデータを記憶し、そのデータを処理する際にはデータをプロセッサに移動して処理をし、結果をまたメモリに移動して保存する、という仕組みになっています。 データはつねにメモリとプロセッサのあいだをつなぐ「バス」を通じて行き来しなければならないため、大量のデータを高速に処理しようとしてもこのバスの部分の帯域や速度がボトルネックになり、一定以上の性能向上が難しくなります。 ノイマン型のコンピュータはこのバスによるボトルネック、いわゆる「フォン・ノイマン・ボトルネッ
なぜエンジニアの僕は論文を読み論文を書くのか - 人間とウェブの未来
という話を新卒エンジニア研修座学の最終回で発表しました。 昨日ちょうど、ペパボ研究所の2017年の実績をまとめており、まだまだ国際化は足りていないものの、だいぶ論文を書いたりしているなぁと改めて思いました。 rand.pepabo.com 実績はサマリーは以下の通りになります。博士学位論文を書きながらも、所長を含めて研究員4名でできたばかりの研究所で、雑誌や書籍やエンジニアの技術カンファレンスもこなしながらよくここまで書けたなと振り返って思います。 博士学位論文 1本 ジャーナル論文集招待論文 1本 ジャーナル論文 1本（予定） 査読付き論文 1本 査読なしの研究報告 6本 口頭発表 20本（後2本追加予定） 学会誌・商業誌解説等 4本 助成金・研究費等 2本 論文を読んだり書いたりするペパボ研究所において、大企業が持つ研究所とは違い、なぜWebサービスに関わる企業がなぜ研究所を持ち、論文
Nginx でリバースプロクシを立てるときに気にすべき proxy_next_upstream 設定 - 無印吉澤
個人的に、Nginx で「これは危険だ」と思っている設定があって、Nginx でなにかあるたびにその設定をつい疑ってしまいます。その設定について他の人に話すたびに、いちいち資料を集めるのが面倒になってきたので、今回はその設定項目についての情報をまとめておきます。 まだ理解に自信がない部分があるので、新しい情報が入ってきたら、この記事を適宜修正します。 リバースプロクシ設定の基本 Nginx をリバースプロクシとして使う時には、ngx_http_upstream_module でサーバのグループを定義します。そして、サーバ名やロケーション（パス）に対して、送信先のグループを指定します。 以下はマニュアルにある例です。その Nginx サーバへのすべてのアクセスを、backend グループに指定されたいずれかのサーバに送信します。 upstream backend { server backe
実行中プログラムのイメージを得る - tmtms のメモ
Twitter見てたらこんなこと言ってる人がいました。 Unix で実行中の実行ファイルのパスを確実に得る方法はない、というのは FAQ だと思うけど、実際にやりたいことは自分自身を別プロセスで新たに立ち上げたいということなので、メモリにロード済の自分自身から別プロセスを作る手段はないんだろうか— Yusuke Endoh (@mametter) 2017年10月25日 昔自分もそんなこと考えたなーと思いつつ、Linuxなら /proc/<pid>/exe が実行ファイルへのリンクになってるんで、 環境によるような気もするけど、自分の実行ファイルのパスは /proc/pid/exe から取れないですかね。— とみたまさひろ (@tmtms) 2017年10月25日 と言ってみたら、 Linuxならその手が使えますが、現在実行中の実行ファイルでも削除できちゃいますから、パス名を得る完璧な方法
Big Sky :: net/http でレスポンスの内容を確認したいなら io.TeeReader を使おう
« Golang で物理ファイルの操作に path/filepath でなく path を使うと爆発します。 | Main | VimConf2017 に参加してきた。 » printf デバッグは便利だ。技術の後退と言われようと printf でないと解決できない事はまだまだたくさんあります。 今日は net/http でクライアントが得たレスポンスの JSON を確認したいといった場合に、どうデバッグしたらいいかを書いてみたいと思う。 Go のインタフェースは大よそ io.Reader もしくは io.Writer を使う様に設計されている。こうする事でプログラムがメモリを一度に沢山確保してしまわない様にしています。 package main import ( "encoding/json" "fmt" "log" "net/http" ) type Foo struct { ID
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Black Belt Tech Webinar 2016 〜 Amazon CloudSearch & Amazon Elasticsearch Service 〜
俺と Amazon Elasticsearch Service とスポットインスタンス