なぜディスクレスハイパーバイザに至ったのか / Why did we select to the diskless hypervisor? #builderscon

8月29日（木）〜31日（土）にかけて開催される「builderscon tokyo 2019」にて、サイバーエージェントの新卒エンジニア中西（@whywaita）が登壇します。 今日は発表内容とあわせて、入社してからこれまでの感想について、本人に話を聞いてみました。 -自己紹介と業務内容について教えてください 2019年4月にサイバーエージェントに新卒として入社し、現在は技術本部のプライベートクラウドグループに所属している中西建登です。 技術本部という部署は、サイバーエージェントのメディア事業における横軸横断組織です。その中で私はプライベートクラウド 開発担当として、OpenStackとKubernetesを使い、社内のクラウド基盤を開発運用しています。 -配属から約3~4ヵ月が経ちますが、いかがですか？ 私にとって、この3〜4ヵ月の最も大きな収穫は「技術にも取捨選択が必要である」という

アドテク本部の黒崎( @kuro_m88 )です。 2019/08/23にAWSの東京リージョンで特定のAZ内で大きめの障害がありました。 私が開発しているプロダクトもAWSの東京リージョンを利用していて、常時数百インスタンスが稼働しているため、今回の障害の影響範囲に含まれていました。 何が起きたのか？ AWSから公式発表が出ています。 東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要 データセンタ内の冷却の障害が原因で一部のハードウェアホストが過熱し電源が失われてしまったようです。これにより影響を受けたハードウェアホスト上で稼働していたEC2インスタンスやEBSボリュームは電源が失われているため、外部から見ると突然応答がなくなったように見えました。 担当サービスでも公式発表と同じくらいの時刻にELBやその配下のサーバ

Scala Matsuri 2019 Unconference

Google Pixel 3a XLが届きました🎉 Pixel3a XL届いた🎉 pic.twitter.com/4ieC2kG7SP— くろさん (@kuro_m88) May 19, 2019 さっそく充電しようと思ったところ、充電ができない問題に遭遇したので、どんな状況だったのか書いてみます。 充電できない 常用していたUSB type A → USB type Cのケーブルをつかって端末を充電しようと思ったのですが、コネクタを刺しても反応せず… もちろん常用していたので、別の端末 (Huawei Mate9) を接続すると正常に充電できます。 ケーブルが断線しているのかよくわからなかったのでUSB-Cの電圧・電流チェッカを使っていくつかのケーブルを比較してみました。 比較対象のケーブルたち ①: エレコム USB Type C ケーブル MPA-FACS12RD Type A

Rustに興味を持っていたところ、著者の一人であるκeen氏*1から献本頂いたのでゴールデンウィークに読みました。全部は読み切れていないですが、紙媒体の発売前に記事を出して応援したかったので今読んでいるところまでの感想を書きます。 会社の元同期の @blackenedgold が会社に来て「実践Rust入門」献本してくれました🎉電子書籍版は4/26, 紙版は5/8に発売されるみたいです！サインももらった！⸜( ¯⌓¯ )⸝ https://t.co/Va3n1fj7s6 #実践Rust入門 pic.twitter.com/UrWtaFqgui— くろさん (@kuro_m88) April 24, 2019 Rustに興味を持ったきっかけ κeen氏とは新卒入社時の同期で、彼はコンパイラとRustの話をよくしていたのでそれをきっかけでRustの存在は認知していましたが、そこまで強い関心は

物理サーバ上でVMを簡単に立てたり落としたりできる環境がほしかったので、OpenStackの検証をしていました。 とりあえず最新版でVMが建てるために必要な構成を考えてKeystone, Glance, Horizon, Placement, Nova, Neutronをデプロイして、VMが経つところまでいくのに数日かかりました。(実質12時間くらい)VMが経ったのはいいのですが、VMとメタデータサーバがうまく通信できていないのでcloud-initが動作せずという感じでこれ以上ゴールデンウィークの時間を使うのがしんどくなり、半ば諦める形でMAASを検証してみたのですが、MAASが自分の用途にかなり合っていたので紹介します。 結論から言うと個人で数台の物理サーバとVM管理する程度だったら構築が本当に簡単なのでおすすめです。 MAASを使って空っぽの物理サーバ2台とVM1台(おまけ)に対して

ブログ三日坊主もいいところでした（反省） さて、Twitterへ何気なく投稿した「ベランダNTPサーバ」ですが、大変多くの反応・リプライを頂き驚いているところです。ありがとうございます。 ベランダにきのこアンテナとRaspberry Pi設置してNTP Stratum1運用開始 pic.twitter.com/9mVJ4fC5Ez — 竹下 (@_notchi) May 4, 2019 そろそろブログも書きたいなと思っていたところでしたので、良い機会として僭越ながらベランダNTPサーバが稼働するまでの一部始終をご紹介させて頂きます。まだ書き始めですが、長くなりそうなので最後まで根気よくお付き合いください。 事前の注意としまして、今回は屋外でAC100Vを扱います。施工不良により感電及び漏電や電気火災等の重大事故つながる虞を十分にはらんでいるため、施工においては自己責任でお願いします。 （自

ブログ三日坊主もいいところでした（反省） さて、Twitterへ何気なく投稿した「ベランダNTPサーバ」ですが、大変多くの反応・リプライを頂き驚いているところです。ありがとうございます。 ベランダにきのこアンテナとRaspberry Pi設置してNTP Stratum1運用開始 pic.twitter.com/9mVJ4fC5Ez — 竹下 (@_notchi) May 4, 2019 そろそろブログも書きたいなと思っていたところでしたので、良い機会として僭越ながらベランダNTPサーバが稼働するまでの一部始終をご紹介させて頂きます。まだ書き始めですが、長くなりそうなので最後まで根気よくお付き合いください。 事前の注意としまして、今回は屋外でAC100Vを扱います。施工不良により感電及び漏電や電気火災等の重大事故つながる虞を十分にはらんでいるため、施工においては自己責任でお願いします。 （自

2018年6月22日、Architecture Nightが主催するイベント「Architecture Night #1」が開催されました。単一のAPIではなく、複数のAPIが絡まって成立するような複雑性の高いアーキテクチャをどのように構成し、運用しているのか？　各社が自社の知見を披露します。第1回となる今回は、Gunosyとサイバーエージェントの2社が登壇し、自社で用いられるアーキテクチャを紹介します。プレゼンテーション「月間数千億リクエストをさばく広告配信システムの構成 」に登壇したのは、株式会社サイバーエージェント、アドテク本部の黒崎優太氏。 インターネット広告のプレイヤーたち 黒崎優太氏（以下、黒崎）：では、「月間数千億リクエストをさばく技術」というタイトルで、発表させていただきたいと思います。よろしくお願いします。 僕はサイバーエージェントの黒崎と申します。サイバーエージェントは

第51回 情報科学若手の会 参加者・発表者の受付を開始しました → [※9/12をもちまして締め切りました] 情報科学若手の会とは 情報科学若手の会とは、情報科学に携わる学生、若手研究者、社会人のディスカッションと交流の会です（昨年の開催報告）。 幅広い分野から参加者を募り、互いの交流を深めることで新たな発想が生まれることを目指しています。 インフォーマルな雰囲気ですので、これから研究を始めるという方も是非ご参加下さい。 招待講演 講演者 日本マイクロソフト株式会社 宇田周平 様 プロフィール 2013 年慶應義塾大学環境情報学部卒。同年日本マイクロソフトに入社し、現在に至るまで Windows や Azure のサポート業務に従事。2016 年から 2018 年にかけて個人でコンテナー データセンターを建設し、今夏より稼働を開始。 題目 そうだコンテナー データセンターを作ろう 概要 「

Abstract Web の装飾・レイアウトを担う CSS という言語は、その貧弱な構文のためコードの再利用性が低く、冗長な記述を誘発します。また、状態を持ち、それに応じて GUI が動的に変化するアプリケーションを Web 技術で実装する場合、静的な CSS ファイルではスタイルを制御することが困難になっています。 この問題に立ち向かうため提案されたのが「CSS in JS」という、JavaScript でスタイリングをするアプローチです。 本セッションでは、 なぜ「CSS in JS」が生まれ、そのメリットは何か 具体的な「CSS in JS」ライブラリの紹介 と言った基本的なことから、私が開発した Picostyle という 0.4 KB の最小 CSS in JS ライブラリを題材とし、 「CSS in JS」ライブラリの仕組み、内部実装 「CSS in JS」ライブラリを実装

本日、NTTコミュニケーションズ、NTTドコモ、NTTぷららの3社はサイトブロッキングを実施するとの方針を発表しましたね。 www.ntt.com https://www.asahi.com/articles/ASL4R4Q81L4RULFA01G.htmlwww.asahi.com 技術的にはどのように実現すればよいのか興味があるので検証してみました。 サイトブロッキングを実現するための方法の一つとして、「DNSブロッキング」という手法があるそうです。ISPがユーザに対して提供しているDNSキャッシュサーバでブロックしたいサイトの名前解決をできないようにする手法です。ただこの手法を用いても、ユーザがISPの管理外の 1.1.1.1, 1.0.0.1, 8.8.8.8, 8.8.4.4 のようなpublic DNS serverを使えば回避できてしまうのであまり意味はありません。 DNSブ

The Z Garbage Collector 以下の資料を見てZGCのことを知りました。 The Z Garbage Collector ZGCは、 "A Scalable Low Latency Garbage Collector" というものだそうで、まだ開発中でリリースはされていないです。 数TBまでのヒープメモリのサイズを想定していて、なおかつGCの最大停止時間が10msというのがゴール。既にヒープサイズが128GBのベンチマークにおいて、パラレルGCやG1GCより圧倒的に停止時間が短い。ベンチマーク上では最大停止時間も10msを切っています。 アルゴリズムについては別途まとめてみようかと思っています。Colored Pointerという概念が特徴です。 ZGCを試す 開発版のZGCは既に試すことができるようです。ですが、自分でビルドする必要があります。紹介したスライドで書かれて

この記事はwhywaitaアドベントカレンダー21日目の記事です。 タイトルは言い過ぎかもしれません。 2年ぶりの参加です。前回は雑すぎてごめんよ (参考) ICTトラブルシューティングコンテストという参加者も運営も学生が行うインフラ系のコンテストがあります。学生は本戦の問題作成および競技ネットワーク等の設計で忙しいので予選問題はお手伝いをしてる社会人(僕含め)で作りました。9問出題されましたが、この記事はそのうちの1問の紹介です。 ここでサーバを100台構築させる問題を出題させ、何かしらの構築を効率化できる手法を用いたチームが25チーム中16チームいて、1チーム5名なので80人の学生がサーバの大量構築をしたことがあるということになります。(難易度は別として) 問題 問題文は長いのでこちらに貼っておきます。伏せる内容もないので全文公開です。 【公開用】ICTSC9予選 問1 · GitHu

みなさんこんにちは！ 現在2017年新卒としてアドテクスタジオのDynalystという部署でエンジニアをしております、中村と申します。 早いもので去年参加したAdvent Calendar 2016の内定者バイトの記事を書かせていただいてから一年が経ちました。 今回は、アドテクスタジオの代表として11月27日~12月1日にラスベガスで開催されたAWSのre:Inventに参加してきましたので、その時に聞いてきたRedshiftのお話をしようと思います。 元ネタのセッション動画はこちらにありますので、これを見ていただければこの記事より詳しく載ってますｗ この記事はCyberAgent Developers Advent Calendar 2017 15日目の記事になります。 Amazon Redshiftとは Amazon RedshiftはAWSのフルマネージドサービスのデータウェアハウス

この記事はCyberAgent Developers Advent Calendar 2017 6日目の記事です。 アドテクスタジオ Dynalyst開発チームの黒崎 (@kuro_m88) です。早いもので入社して3年目になりました。今年はDatadog Logsを一部本番に導入したので紹介しようと思います。 Dynalystではサーバやアプリケーション、AWSのマネージドサービスの監視やメトリクスの可視化にDatadogを使っています。 どんな風に使っているかは以前発表した資料があるのでこちらをご覧下さい。 そして、このスライドの最後に「ログのマネジメントもできるといいなぁ…?」と書いてありますが、なんとその願いが叶った結果、Datadog Logsが11月末に発表されました！！！！ 何ができるのかは公式ドキュメントの図がわかりやすいです。 https://docs.datadoghq

東北大学の助教からCyberAgentのResearch Scientist職に転職して半年以上が過ぎたので、仕事に関して現時点で振り返って思うところを書き連ねてみます。 東北大学で働いている時との違い/CAでの仕事の面白み CAで働き始めてから働き方で一番大きな違いとして感じるのは、事務作業が大きく減り研究開発に集中できるようになったということがあると思っています。大学で助教をしていたときの業務...

こんなツイートをしたらいいねが1000件以上ついたのでやり方を紹介します。 【速報】Slackで寿司を回す事に完全に成功した pic.twitter.com/iKhg4tAn3T— くろさん (@kuro_m88) 2017年9月17日 きっかけ 以前Slackで絵文字を回転させる方法を紹介しましたが、もっとちゃんと寿司を回転させたくなりました。 kurochan-note.hatenablog.jp 画像生成 今回もImage Magickを使います。Mac上で生成しました。 絵文字を3行3列の9個順番に並べるといい感じに回っているように見えるのですが、中心は冒頭で紹介した記事で絵文字を回転させてください。今回は中心以外の8種類の画像を生成します。 出来上がったものはこちらです。 スクリプトはこんな感じです。最後のgifアニメ生成時の -colors 80 -fuzz 11% というオプ