Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog
記事執筆中に動かなくなった開発環境 Repro でサーバーサイドの開発をお手伝いしているうなすけと申します。 前回の記事を最後の脚注まで読んでくださった方はご存知でしょうが、記事執筆中にmergeされた変更によって、M1 Mac での開発環境は動かなくなってしまいました。 tech.repro.io この記事では、一体何が原因で動かなくなってしまったのか、回避のために試したことと、結局撤退する判断をした経緯について書きます。 Repro のアーキテクチャについて まず、なぜ動かなくなってしまったのかですが、これには Repro というサービスのアーキテクチャが関係してきます。 Repro では、ユーザーの端末やWebブラウザから送信されてくる大量のデータを取り扱うために、Kafka を使用してデータの処理を行っています。これに関しては、チーフアーキテクトによる以下の記事及びスライドにて K
A jump-host SSH server that starts machines on-demand
LazySSH LazySSH is an SSH server that acts as a jump host only, and dynamically starts temporary virtual machines. If you find yourself briefly starting a virtual machine just to SSH into it and try something out, LazySSH is an attempt to automate that flow via just the ssh command. LazySSH starts the machine for you when you connect, and shuts it down (some time after) you disconnect. Another pos
コンテナ・Docker・Kubernetesについて初心者にも分かりやすく解説するとこうなる
DockerやKubernetesなどのコンテナ技術は多くのシステムで用いられていますが、初心者が概要を理解するのは難しいもの。そんなコンテナ技術の概要について、クラウドストレージサービスを運営するBackblazeが分かりやすくまとめています。 What Are Containers? https://www.backblaze.com/blog/what-are-containers/ ・目次 ◆コンテナとは何か？ ◆コンテナと仮想マシンの違いは？ ◆コンテナのメリットは？ ◆コンテナの用途は？ ◆Dockerとは何か？ ◆Kubernetesとは何か？ ◆コンテナとは何か？ 物流の世界における「コンテナ」は、形状やサイズを規格化し、異なるメーカーが製造した船舶・電車・トラックなどの移動手段や、世界中の港などの「異なる環境」でも同じように物を運んだり保管したりできるようにしたものです。
Dockerコンテナをサーバレス化する「Google Cloud Run」で、非同期処理やバックグラウンドタスクなどが実行可能に
Googleは、Dockerコンテナをサーバレスで実行するサービス「Cloud Run」の新機能として、非同期処理などを可能にする「CPU allocation on Cloud Run」機能をプレビューとして発表しました。 非同期処理などが難しかったCloud Run サーバレスコンピューティングでは一般に、何らかのイベントやリクエストをトリガーにインスタンスが起動し、処理が終わるとインスタンスが終了します。 Google CloudのCloud Runではこうした処理をDockerコンテナで実現するサービスです。HTTPやgRPCなどによるリクエストによってあらかじめ用意されていたDockerコンテナが起動し、レスポンスを返したところでDockerコンテナが終了してCPUの割り当てが解放されるようになっています。 そのため、Cloud Runでは処理を非同期にしてレスポンスを先に返し、
Dockerのコンテナ間の名前解決方法が気になったので確認してみた | DevelopersIO
AWS Fargateを利用することが最近多く、コンテナ間の名前解決にはECS Service Discoveryをよく利用しています。ECS Service Discoveryは平たく言えばRoute53を利用してコンテナ間の名前解決できる仕組みです。 ふと手元に見るとローカルでコンテナ起動しているときはコンテナ間の名前解決をどこで行っているのか？を今まで気にしたことがありませんでした。気にしたことがなかったことに気づけたことは幸いです。手を動かして確認してみましょう。 まとめ Dockerはコンテナ間名前解決に利用できるService Discovery機能がある コンテナが指定するDNSサーバはループバック用のアドレス範囲にある127.0.0.11 ユーザ定義のネットワークを使用している場合に限り利用できる機能 デフォルトのネットワーク（bridge）はService Discove
Unsecured Kubernetes Instances Could Be Vulnerable to Exploitation
Unsecured Kubernetes Instances Could Be Vulnerable to Exploitation This post is also available in: 日本語 (Japanese) Executive Summary Between October 2020 and February 2021, Unit 42 researchers periodically scanned and analyzed unsecured Kubernetes (also known as k8s) clusters on the internet. Kubernetes clusters can and should be configured for greater security, but when left unsecured, these clust
SREチームに入ってからの2年間にチームでやってきたこと - クラウドワークス エンジニアブログ
この記事はクラウドワークス アドベントカレンダー6日目の記事です。 前日の記事は@bugfireのgithub-script は便利でした。GitHub Actionsでのちょっとした作業が捗りますね！ SREチームの@kangaechuです。 気がつくと入社から2年が経ちました。2年前のAdvent Calendarでは ぴよぴよSREという記事を書くくらい何もわかっていませんでしたが、ようやく自分なりに動けるようになってきました。 この記事ではcrowdworks.jpのSREチームで、この2年間でどのようなことをやっていたのかを振り返ります。 SREチームの範囲は幅広く、いろいろなことをやっていました。今回はDocker化とTerraformの2つの取り組みについてご紹介します。 なんで1年じゃなく2年かって？去年はaws-vault についてのあれこれを書いたからだよ。 Docke
ローカル開発環境のために外部サービスをモック化する - BASEプロダクトチームブログ
BASE の Service Dev にて主に決済周りのバックエンド開発をしている翠川（@midori44）です。 昨年は PayPal決済の導入 のプロジェクトでメインエンジニアとして携わらせていただきました。 今回は決済周りの開発をしていく中で、社内の開発環境を整えた話をします。 ローカル開発環境での課題 BASEでは現在、BASEかんたん決済 として6つの決済方法を提供しています。 日々の機能開発をしていく中で、すべての決済方法において各機能が正しく動作するかを確認するために、ステージング環境や社内検証用のQA環境だけでなく開発者のローカル環境でも決済をテストできるようになっています。 新機能のリリース時にはもちろん本番環境で実際の決済を通して動作確認するわけですが、開発中のテストの度に本番相当の決済をするわけにはいかないので、各決済代行会社様のほうで用意していただいている検証用サー
VSCodeでリモートサーバのDockerコンテナに引きこもる for Windows10 - Qiita
背景 TwitterのTLに流れてきたVS Code Meetup #6をなんとなく見ていたんですが、 Shion Tanakaさん(@tnk4on)の発表に触発されました。 Remote-Containersの接続先ホストにFedora CoreOSを使う やりたいこと ローカルのWindowsマシンからリモートサーバにあるDockerコンテナへアクセスしたい Docker for Windows + VSCodeのようにVSCodeで直接コンテナにアタッチしたい(引きこもりたい) 検証環境 リモートサーバ Ubuntu 20.04 LTS(ESXi上のVM) Docker version 19.03.12, build 48a66213fe dockeradminというdockerコマンドを実行できるユーザを作成済み ローカルマシン Windows10 Pro 2004 VSCode
AWS上のコンテナはネットワークをどう利用するのか？ ポート番号の扱いとDNSの仕組みを中心に｜ハイクラス転職・求人情報サイト AMBI（アンビ）
AWS上のコンテナはネットワークをどう利用するのか？ ポート番号の扱いとDNSの仕組みを中心に AWS、そしてネットワークの基礎知識は、なんらかのサービスを開発する際に不可欠なものです。本稿では、コンテナを利用してWebアプリケーションを開発するとき、Webアクセスはどのような技術を用いて成り立っており、どういったことに注意する必要があるのか、といった入門的情報をAWSに務める菊池之裕さんに説明してもらいました。 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン株式会社でシニアソリューションアーキテクト ネットワークスペシャリストを務めております、菊池之裕と申します。私は普段、ネットワークに関連したお客さまの技術的な導入支援や課題解決などの業務に従事しています。 読者のみなさんは、ネットワークについての基礎知識をどれくらい持っていらっしゃるでしょうか？ 普段、主にWebアプリケー
Mailu - Dockerで立てられるメールサーバ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました メールサーバを立てるのはとても面倒なイメージがあります。安定して動かしておかないとメールが受信できない、なんて問題にもなりかねません。メールがビジネスの根幹を担っている場合にはなおさらです。 そこで紹介したいのがMailuです。Dockerで簡単に立ち上げられるメールサーバです。 Mailuの使い方 ログインします。 縦並びの3カラム構成です。左にボックス、中央がメール一覧、右側にメール本文が出ます。 メール作成画面です。 ファイルを添付すると右側に一覧が出ます。 設定画面です。 もちろんDockerだから安定する訳ではないですが、立ち上げが簡単なのはメリットが大きそうです。IMAPやSMTPはもちろん、Let’s encryptを使ったSSL/TLS、アンチウィルススキャナ、スパ
WebAssemblyとRustが作るサーバーレスの未来
注目を集めるWebAssemblyとRustそしてサーバーレスに結びつく未来を、Cloudflareのエンジニアが解説する。 JavaScriptの登場によって、Webブラウザーはスタティック（静的）なWebページを表示するだけの存在から、より動的なアプリケーションを実行するプラットフォームに進化した。そしてそれをさらに進化させるために登場したのがWebAssemblyだ。WebAssemblyは2015年にMozilla Foundationによって発表され、その後2019年12月にW3Cのレコメンデーションとして採択されたブラウザーで実行されるコードのバイナリーフォーマットの標準だ。 HTML、CSS、そしてJavaScriptに続く進化のための要素の一つとして紹介されるWebAssemblyは、動的型付けのインタープリター言語であるJavaScriptと比較してコードのサイズが小さく
複雑怪奇な nginx を Go と Docker でユニットテストする - Cybozu Inside Out | サイボウズエンジニアのブログ
全国の nginx 職人のみなさま、こんにちは。野島(@nojima)です。 私の所属するYakumoプロジェクトでは、nginx を Go と Docker によってユニットテスト1しています。 手元で簡単に実行でき、ブランチへのpushのたびにCIでテストされるので、非常に便利です。 この記事では、このnginxのユニットテストについて紹介してみたいと思います。 背景 nginx は極めて柔軟なロードバランサであり、プロダクション環境ではその柔軟さを生かして多彩な役割を担っています。 我々の nginx は、ユーザーからのリクエストを AP サーバーに振り分け、アクセス制限を行い、リクエストをリダイレクトし、HTTPヘッダを付与したり削ったりしています。 しかし、nginx は便利な反面、その設定は極めて複雑になり、読解したり変更したりするのが難しくなっています。 そこで、nginx
Jitsi Meet（ビデオ会議システム）のサーバを Docker Compose で起動する手順 - Qiita
Jitsi 概要 Jitsi Meet （ジッチ・ミート）とはオープンソース（Apache License 2.0）として開発・利用できるビデオ会議用のシステムです。利用者はブラウザから URL にアクセスするだけで、すぐにビデオ会議が利用できます。ブラウザ以外にも、iOS や Android 対応のアプリが公開されています。 この Jitsi Meet 用のサーバ環境は Docker に対応しています 。自分のドメイン名を使い、自分のサーバ上に Docker Compose で起動する手順をまとめました。 公式ドキュメント をベースに、自分が持つドメイン名のホストで Jitsi Meet を立ち上げるまでの手順です。（なお、ドメイン名を準備しているのは Let's Encrypt の HTTPS 通信にも対応させるためです。単なるセットアップ確認であれば、HTTPS は必須ではありません
プルリクに対して検証環境を自動で起動/終了するプログラムを作ったら、検証が捗った話 - Qiita
記事の概要 GitHub Flowでの開発、つまり単純なプルリク運用での開発を、営業も巻き込んで実践したいと思い、そのような環境を作りました。その際、いくつか足りない機能を補うウェブアプリを作って公開したので、それに関する様々な話を書きます。 （実際にこのウェブアプリを使えるかどうかというよりは、似たようなフローで開発を改善できるといいなというような目的の話です。） ウェブアプリのリポジトリ このウェブアプリの使い方と機能については、一応README.mdに書いていますが、この記事では少し背景的な話も含めて順番に書きます。 issue対応やその他追加開発などは絶賛募集中です。 背景 開発に関するよくある課題 これまで、既存のウェブアプリ（サービス）の機能追加開発において、以下のような課題がありました。 検証が十分にできていない機能がある 追加した機能の使い方を十分にレクチャーできていない/
【Intern CV Report】Trainsによる実験管理 - Sansan Tech Blog
こんにちは，DSOC 研究開発部 インターン生の内田です．先日プチ卒業旅行として伊豆の温泉旅館に行ってきました．伊豆といえば バナナワニ園 ですよね，異論は認めません．バナナワニ園のワニたちは基本的に動かないので思わず「休日の俺じゃん」って呟いてしまいました． さて，今回はCVとは直接関係ないですが，多くの人が頭を悩ませている実験管理に関する話題です． 機械学習と実験管理 機械学習，特に深層学習を用いたプロジェクトにおいては，精度を引き出すためにハイパーパラメータが非常に重要です．一口にハイパーパラメータといっても，モデルサイズや学習率，バッチサイズなど挙げるとキリがありません． 最適なハイパーパラメータを定めるには，Grid Searchなりでパラメータを探索し，精度などと共にロギングする必要があります．バナナワニ園のワニのように怠惰な私にとって，パラメータや結果をマメに記録しておくこと
個人で運用しているサーバーを Kubernetes に整理する - Unyablog.
個人で運用している VPS に Kubernetes を乗せて既存のシステム（Web アプリとか Slack Bot とか Cron ジョブとか）をガッと移行した。 もともとは itamae 使って Systemd でサービス立ち上げていたのだけど、ソフトウェア依存とか権限分離とか冪等性とか面倒になってきて、うおお Docker でデプロイするぞ！となっていた。 初めは Docker Compose で立てようと思っていたけど、k8s のほうが楽しそうなので k8s にした。実際楽しいので良いと思う。 何を使って Kubernetes を立てるか Microk8s メリット デメリット kubeadm メリット デメリット 他に考えたこと ネットワークプラグイン Volume 周り オブジェクト管理 アプリケーションの移行 感想・補足 何を使って Kubernetes を立てるか Micr
Google、Dockerコンテナをサーバレス化する「Cloud Run」をAnthosに搭載。オンプレミスを含むハイブリッドクラウド環境で実行可能に
Google、Dockerコンテナをサーバレス化する「Cloud Run」をAnthosに搭載。オンプレミスを含むハイブリッドクラウド環境で実行可能に Googleは、ハイブリッドクラウド環境を実現するAnthosの新機能として、Dockerコンテナをサーバレスで実行できる「Cloud Run for Anthos」や、サービスメッシュを実現する「Anthos Service Mesh」などを発表しました。 Cloud Runをパブリッククラウドだけでなくオンプレミスでも Anthosとは、Kubernetesをクラウド基盤の抽象化レイヤとして用いることで、コンテナ化したアプリケーションをオンプレミスとクラウドのどちらでも実行可能にする、ハイブリッドクラウドおよびマルチクラウドのためのプラットフォームです。 Google CloudやGoogleが認証したオンプレミス用のサーバ構成だけでな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナ監視って何見るの？～初心者編～
Docker でフロントエンドとAPIを開発してみた
