DMMグループ Advent Calendar 2019 - Qiita の25日目です TL;DR AWSで3層アーキテクチャのサービスを構築するテンプレート（ここではスターターキットと呼びます）を公開しました。 利用するコンポーネントとしては主にAWSのALB・ECS/Fargate・Aurora、Dockerとローカル環境用にdocker-compose、IaCにTerraformを利用しています。 導入や既存メンバーのためのスターターキットで使用するコンポーネントの入門用ドキュメントを備えています。 概要 y-ohgi.github.io/starterkit にgitbookとしてドキュメントを公開しているのでそちらを閲覧してください。 サンプルとしてGolang・ECS/Fargate・Aurora（MySQL）で構築をしています。 また、RailsやNextなど、コンテナベー

時事ネタ、かつ暫定的なトラブルシュート 環境 CiecleCI (version2) でCIを動かしている Railsアプリ bundle installなどを.circleci/config.ymlでやってる DBはMySQL JSのコードも有るので使っていたイメージは circleci/ruby:2.6.3-node-browsers 発端 とあるタイミングから動いていたCIが突然失敗するようになった、エラーとしては rake aborted! LoadError: libmariadbclient.so.18: cannot open shared object file: No such file or directory - /home/circleci/rails_app/vendor/bundle/ruby/2.6.0/gems/mysql2-0.5.2/lib/mysql2

この記事はコネヒト Advent Calendar 2019の11日目の記事です！ qiita.com はじめに 半年ほど前から新規事業のチームで仕事するようになり、主な技術スタックもPHPからGo, Next.jsへと変わりました。 その中で、特にフロントエンドのテスト周りにおいてキャッチアップ不足を感じていたのですが、たまたま見つけた*1「Full Stack Open 2019」という教材がとても良かったので紹介したいと思います。 「Full Stack Open 2019」とは fullstackopen.com フィンランドのヘルシンキ大学で実際に使われているテキストベースのオンライン教材です。 Nodeで作られたREST APIとReactを使ったSPAの実装を通して、React・Redux・Node.js・MongoDB・GraphQLが一度に学べる教材となっています。 教材

Grafana チームから、ログ収集ソリューションとして Loki がOSSとして公開された。 GAに向けてベータリリースであるがすでに GitHub Star も 7000 に届く勢い。 Prometheus のようなラベリングが可能で、軽量なログソリューションと謳ってる。 https://github.com/grafana/loki Kubernetes でログ周りどうしようかなーとツールを探していたころに、 Loki を知ったので色々触ってみた。 そして、Lokiの構成要素である promtail について調べてみた。 Loki 概要 | log | <-- | promtail | --> | loki | <-- | Grafana (Explore) | <-- | User | Loki は ログを収集するエージェントの promtail と、そのログを受け取り保存・クエリ

事業開発部の塩谷 (@kwappa) です。 いきなり家庭の私事で恐縮なのですが、今朝出がけに妻からタイトルのような質問を受けました。 そのまま「Slackにリンク投げといてね！」と言い残して出て行ったので（我が家では家庭の連絡にSlackを使っています）、やっきになってぺたぺた貼ったリンクをご紹介しようと思います。 といっても、アジャイル開発の経験がある方ならお馴染みのものばかりです。「あーなるほど」と納得していただけたら幸いですし、「これも読んどけ！」という推薦もお待ちしています。 「まずはこれを10回読む」 …と最初に貼ったのが「アジャイルソフトウェア開発宣言」 (Agile Manifesto)です。すべての始まりですから、ここを読まなければ始まりません。ほんとうは「100回読む」と書きたかったのですが、のっけからハードルは上がるし感じ悪いしなので自重しておきました。 しかし、表面

多くの人に見てほしいスライド メルカリのマイクロサービス/Kubernetes運用事例を拝見しました。 speakerdeck.com こちら、中身はメルカリにおけるマイクロサービス・Kubernetesの実際の運用状況をまとめた内容になっています。 この内容が欲しかった。 この世の中で、会社のITサービス基盤をKubernetesにてマイクロサービス化できている企業はほとんどいません。言い切ります。まだ仮想マシンのWEB+AP+DBの3層構成のままです。もしくは、AWS Lambraなどサーバレスでマイクロサービス化した事例は多数出てきていますがこれは基盤にKubernetesが使われている可能性はあるにしろ、ユーザーは意識していません。 Kubernetesをエンタープライズに適用する。このケースではGCEですが企業としてどのようなオペレーションになるのか、どういう思考錯誤があるのかが

はじめに AWSのネットワーク構成 GCPのネットワーク構成 AWS と GCP 間での通信 VPN設定手順 TGWを用いたルーティングの設定 (AWS) Shared VPC の設定 (GCP) Terraform まとめ はじめに こんにちは。DR & MLOps Group というところで働いている阿部といいます。Data Reliability & Machine Learning Operations の略で、データ基盤やML基盤を作って運用するグループです。 私はもともとは記事配信ロジックやデータ分析をやっているグループにいましたが、今年移ってきました。 こちらが紹介記事です: DREの使命とは？「数が神より正しい」と言うための正確性を求められる技術力 – Gunosiru 弊社のシステムは基本的にはAWSで動いていますが、とあるプロジェクトでGCPを使うことになりました。 そ

低レイヤの知識の重要性は今後も変わらない - 小崎資広に聞くLinuxカーネル開発の裏側 Linuxは、世界でもっとも広く使われているソフトウェアのひとつであり、多くのエンジニアの仕事に密接に関わっています。では、Linuxそれ自体は、どのように開発されているのでしょうか。Linuxの中枢である、Linuxカーネルの開発者のひとりである小崎資広さんに、知られざる開発の裏側を聞きました。 オペレーティング・システムLinuxは、世界でもっとも広く使われているソフトウェアのひとつであり、オープンソースというカルチャーが生み出した、大きな大きな結実です。サーバー用OSとしてはデファクトと呼べるほどの普及を見せており、それだけにLinuxの動向がもたらす影響は広範にわたります。こうした前提があるなかで、Linuxそれ自体は、どのように開発されているのでしょうか。 今回、お話を聞いた小崎資広（こさき

By Yuval Avrahami November 19, 2019 at 10:35 PM Category: Cloud, Unit 42 Tags: container breakout, container escape, containers, CVE-2019-14271, Docker, exploit, vulnerabilities This post is also available in: English (英語) 概要 ここ数年、Docker、Podman、Kubernetesを含むさまざまなコンテナプラットフォームで、copyコマンド(cp)の脆弱性が複数確認されてきました。それらの中で最も深刻なものはこの7月というごく最近発見・開示されたものです。驚くべきことに、CVEの説明内容があいまいだったこと、公開されたエクスプロイトがなかったことなどの理由から、本脆

最近はとても便利なプラットフォームがいっぱいあって、 詳細な中身を意識しなくても簡単に使えるという素晴らしい時代ですが、 深くまで突っ込んで考えないといけない場面が たまーーーーーーーに でてきます その時になって初めて、 誰かが用意してくれた快適な環境を使っていただけで自分では何も解決できない という現実を叩きつけられるわけです 大げさに言いましたすみません ちょっと前に仕事でサーバーのパフォーマンス調査をする機会があり、 その中で "プロセス" と "スレッド" って一体何が違うの！？ って疑問にぶち当たりました わかるような、わからないような 何となくわかったつもりになっている事でもそろそろちゃんと理解して、 今日からイケてるエンジニアになりましょう この記事では 1. マルチタスクOSとプロセス 2. メモリの役割 3. 物理アドレスと仮想アドレス空間 4. プロセスがメモリに保持

以前より国内トップクラスのWebエンジニアとして名を馳せていた伊藤直也氏。一休の執行役員CTOに就任することが発表されてから、約3年半が経過した。CTOのキャリアとしては「はてなブックマーク」の開発を手掛けたはてなに次いで一休が2社目となる。 7人目のメンバーとして参画したはてな時代とは異なり、ビジネスモデルがある程度確立している一休の組織で経験を積んでいくなかで、伊藤氏は事業会社のCTOとしてあるべき姿に気付いたという。 同氏は現在、CTOの役割をどう考えているのだろうか。外部技術顧問時代から関わってきた一休の5年間を振り返りながら、明らかにしていく。 問題を「解決する」のではなく、問題を「理解する」サポートをしていた技術顧問時代 ――はてな時代と現在の一休とで、CTOとしての役割に違いはありますか。 はてな入社時はエンジニアが3人しかいなかったので、CTOというよりはリーダーのような役

忙しくてなかなか参加できなかったのだが、会社で課外活動としてやっている「サッカー部」に久しぶりに参加した。 「サッカー部」とは、RoboCupという世界最大のロボットサッカー大会への出場を目指して日々鍛錬する人々の集まりである。基本的に社員はおらず、外部の有志と外部コーチを招いて日々鍛錬を重ねている。 今年の日本大会では苦戦したが、思いのほか善戦した。スタート当初は小学生ふたり、業務プログラミング経験のない社会人4人のチームだったはずが、日々研鑽を繰り返すことで少しずつ前進していく。 ロボットのサッカー理論についての論文を手分けして翻訳して発表する、という活動を行った際、中学１年生の蓼沼くんは単に論文を翻訳するのではなく、論文の引用元と比較して「どこがどのように進化したのか」というところまで論じて大人たちを驚かせた。 小学生の陸くんはRoboCupシミュレーションリーグの対戦を管理する専用

メルカリJP Webチームの@urahiroshiです。 Webチームでは、メルカリWebのマイクロサービス化や機能開発を行なっています。メルカリWebのマイクロサービス化の概要については、昨年のTech Conferenceの資料がよくまとまっているので、そちらを参照していただけると良いかと思います。 https://speakerdeck.com/mercari/mtc2018-web-application-as-a-microservice-3a161f5c-07fa-4dca-99e9-bd0e8feeeddf 現在、メルカリWebのトップページはマイクロサービス環境から配信されており、他のページも随時マイクロサービス環境に移行していく予定です。 この記事では、マイクロサービス環境で導入した、メルカリWebの新しいリリースフローについて記載します。 まずメルカリWebのマイクロサ

ひきこもり状態の人は４０代が最多だが、支援を受けているのは２０～３０代が多い――。ひきこもりに関する実態調査をした都道府県・政令指定市への取材で、こんな構図が浮かんだ。４０代以上の当事者をいかに支援につなげるかが課題になっている。 朝日新聞が４７都道府県と２０政令指定市にアンケート。３２自治体が実態調査をしたことが「ある」と答えた（集計中を除く）。ほとんどの自治体が、仕事や学校に行かず家族以外とほぼ交流しない状態が６カ月以上続く人を当事者としていた。 このうち１７自治体は、民生委員などが地域で把握している当事者の数をまとめる形式で２０１３～１９年に調査。詳細を取材に明らかにした１６自治体のうち、１４自治体で４０代が最多だった。１４自治体は札幌市、長野県、大阪府、島根県、大分県などで、その多くはＨＰ上で公開している。 また、１６自治体すべてで４０代以上の割合が３０代以下より多く、今年２月現在

TGM シリーズは株式会社アリカの著作物です。以下のガイドラインに準じて動画の公開をしております。http://www.arika.co.jp/tgm_g.html公開者情報：https://rtainjapan.net/#tgm_series2017/12/27～2017/12/31の間で行われた『RTA in...

注意: バズってますが、これははてなダイアリーからはてなブログの自動マイグレーションに失敗してたものを復旧させたもので、書かれたのは2012年です。 - 最近流行っているGit初心者向け記事は、「僕らが本当に知りたかったこと」が欠けているようにしか思えません。 そこで、本当のGitの使い方を僕が皆さんに伝授しようと思いました。 なにはともかく使ってみよう 前提として、皆様のお手元にはすでにGitがインストールされているものとします。 今回はエディタとしてDungeonCrawl StoneSoupを使います。 Downloads « Dungeon Crawl Stone Soup http://crawl.develz.org/wordpress/downloads Dungeon Crwal Stone Soup は今一番ホットなオープンソースのローグライクです。風来のシレンやトルネコ

最近ではWebサイトを構築する際にWordPressなどのCMS（コンテンツ管理システム）を利用することが多いが、今日でも静的なHTMLファイルを使ったサイト構築には多くのメリットがある。今回は、こうしたHTMLファイルベースのサイト構築を支援するHTMLファイル生成ツール「Hugo」を紹介する。 静的ファイルでサイトを作るための支援ツール「Hugo」 コンテンツの作成や編集の容易さから、昨今ではWebサイトを構築する際にCMSを利用する例が多い。ただ、CMSを使用するにはCMS自体のインストールや設定、データベースの準備などが必要であるため、更新頻度の低いサイトやページ数の少ないサイトでは静的なHTMLファイルを使って構築したほうがコストが低くなる場合がある。 とはいえ、HTMLファイルをいちいち手動で作成するのは楽ではない。そのため、HTMLファイルを半自動生成するようなツールが数多く