InfraStudy 2nd #2 の発表資料です
※この投稿は米国時間 2020 年 6 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 クラウド アーキテクトによく寄せられる質問の一つに、「2 つのエンドポイント間でリクエストとレスポンスをどの程度まで迅速に交換できるのですか?」というのがあります。ネットワークのラウンドトリップ レイテンシを測定するツールには ping、iperf、netperf などがありますが、すべてが同じように実装、構成されるわけではないため、ツールによって結果が異なる場合があります。ほとんどの場合、この質問に対する代表的な回答が得られるツールは、netperf であると考えられます。これからその詳細について説明していきます。 Google は、レイテンシ ベンチマークに関する実践的な経験を重ねてきました。このブログでは、Google とサザン メソジスト大学の AT&T Cen
CTOの川口 (id:dmnlk) です。 プロダクト開発組織を運営していく中で地味ながら無視できないものとして、「支給PCの選定」というものがあります。 PCスペックによって大きく作業効率が変わるので、なるべくで希望通りのものを支給していくというのが基本方針ではありますが同時に社内資産としての価値やチームでの伝達効率といった点は重要です。 それらを考えるなかで、1年ほど前に発売されたAppleのM1チップ搭載のMacについて解禁するまでの過程を紹介します。 この文章はもともと社内向けに公開予定でしたが、使用PCの選定基準を最も知りたいのはこれから入社される方ということに気づいたため入社前にアクセスしやすい文書として公開ブログとすることにしました。 今までのエンジニア/デザイナー向け支給PCの基準について BASEでのエンジニア/デザイナーに支給しているPCは現在下記の基準になっています。
クラウドサービスのインスタンスは用途に応じて「汎用」「メモリ特化」「GPU特化」といった具合で、さまざまなカスタマイズが可能。しかし、あまりにも選択肢が多すぎて比較検討が難しいのも事実です。そんなインスタンスの価格やスペック比較を簡単に行えるウェブサービス「EC2Instances.info」をVantageが公開しているので、実際に使ってみました。 Amazon EC2 Instance Comparison https://instances.vantage.sh/ EC2Instances.infoはAmazon EC2とAmazon RDSのインスタンスを比較検討できるサービス。さっそくアクセスしてみると、EC2インスタンスの名称やメモリ、仮想CPU(vCPU)数、ストレージ、ネットワーク性能、利用料金が表示されました。デフォルトでは利用可能なすべてのインスタンスが表示されている状
2020年12月に、Parallelsは、M1チップを搭載したMac用の仮想デスクトップ環境、Parallels Desktop for Mac with Apple M1 chipのテクニカルプレビュー版を発表した。今のところ、Parallelsのアカウントを持っている人なら無償で試用できる。現状では、ARM用にビルドされたOSのみをインストールして利用可能なもの。それでも、この動きと呼応するかのように、米マイクロソフト社はARM版のWindows 10のインサイダープレビュー版を公開している。こちらも、同社のインサイダープログラムに加入していれば、無償で試用できる。もちろん、ARM版のLinuxなら、もともと無料で利用可能となっている。 今回は、このParallels DesktopのM1版に、実際にARM版Windows 10とARM版Linux(Ubuntsu)をインストールして使
[2022年最新版]Lambdaの裏側教えます!!A closer look at AWS Lambda (SVS404-R) #reinvent Lambdaファン必見 Worker ManagerをAssignmentサービスに置き換えた話、SnapStartの裏側でSparse filesystemを利用している話など、Lambdaの裏側がどうアップデートされたのかが分かります CX事業本部@大阪の岩田です。今年のre:inventは現地参加できなかったのですが、毎年楽しみにしていたLambdaの裏側を解説するセッションSVS404(番号は年によって微妙に違います)の動画がYoutubeにアップされていたので、さっそく視聴しました。これまで言及されてきた内容に加えて新たな解説も増えているので改めてレポートをブログにまとめます。 セッション動画 セッション動画はこちらから確認可能です
Xenプロジェクトは、仮想化ハイパーバイザのXenがRaspbery Pi 4に移植されたことを発表しました。 Xen now runs on Raspberry Pi 4! Read this article from @stabellinist and @rhatr on how we got here and how you can run Xen on RPi 4, including an "easy button" with @LF_Edge's #ProjectEve https://t.co/rC2qLDt7wW — XenProject.org (@xen_org) September 29, 2020 XenのRaspberry Pi 4への移植はそれほど簡単ではなかったようで、Xenプロジェクトのブログ「Xen on Raspberry Pi 4 adventures
2020年12月13日、IT管理ソフトやリモート監視ツールの開発を行うSolarWindsは同社が開発するOrion Platformにバックドアが含まれていたことを公表しました。同社の製品は米国の多数の政府機関、企業で導入されていたため影響範囲が広く、またFireEyeが12月8日に発表した不正アクセス事案との関連があったことから米国を中心に大きな注目を浴びる事案となっています。ここでは関連する情報をまとめます。 1.何が起きたの? FireEyeが受けた不正アクセスの手口が明らかになり、米政府機関など多数の組織にも影響が及ぶキャンペーンであったことが判明。 SolarWinds社Orion Platformの正規のアップデートを通じてバックドアが仕込まれた。資格情報窃取による侵害の手口が報告されている。 2020年3月からバックドアを使ったキャンペーンが開始され、アジアを含む世界中の組
Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ ずっと安定して稼働していたシステムが、ある日突然エラーでクラッシュ。調べても原因が分からないので、「何らかのノイズや放射線などの影響でメモリエラーが起きたのでは?」という推測を顧客に報告した、なんて経験を持つベテランのITエンジニアは少なくないのではないでしょうか。 実際のところ、2009年のGoogleの調査では同社の本番システムにおいて、1年間で8%以上のDIMMモジュールにメモリエラーが発生していたと報告されています。想像以上にメモリエラーというのは起きているのですね。 ただし、現代のメモリとCPUなどではエラー訂正機能を備えているため、多くのメモリエラーは訂正され、システムの動作に影響を与えないようになっています。 しかし訂正しき
Vagrantが開発言語をRubyからGo言語へ切り替え、次のメジャーバージョンアップ「Vagrant 3.0」で。現バージョンとの互換性は維持 HashiCorpは、仮想環境をプログラミングできるツール「Vagrant」の開発言語を、これまでのRubyからGo言語切り替えることを明らかにしました。 Learn more about the new features, capabilities, and improvements we’re making on our journey toward Vagrant 3.0. https://t.co/49scP0FdqW — HashiCorp (@HashiCorp) June 11, 2021 時期未定ながら、今後約1年のあいだに登場するVagrant 2.3、Vagrant 2.4を経て、Vagrant 3.0でGo言語への移行が完了
PR 2020年もWSL Advent Calendar作りました。 WSL2をインストールして使うときの注意点もよろしくお願いします。 tl;dr WSL2はHyper-Vのコア機能であるHyper-Vアーキテクチャと、それを利用したHyper-Vコンテナーの上に実現されている。それらはWindows 10 Homeでも利用可能なので、WSL2にProは不要。 MSのFAQから引用 WSL 2 は Hyper-v を使用しますか? Windows 10 Home で使用できるようになりますか。 WSL 2 は、WSL が現在利用可能なすべての Sku (Windows 10 Home を含む) で利用できます。 最新バージョンの WSL は、Hyper-v アーキテクチャを使用して仮想化を有効にします。 このアーキテクチャは、"仮想マシンプラットフォーム" のオプションコンポーネントで使
Kubernetesを利用したクラウドネイティブな開発と運用とは何か? これまでと何が違うのか? サイバーエージェント青山氏が語る(前編) July Tech Festa 2019 Kubernetesを利用したクラウドネイティブな開発や運用は、これまでとどう違うのでしょうか、あるいはどのくらい進化したものなのでしょうか。 2019年12月8日に産業技術大学院大学で行われたイベント「July Tech Festa 2019」で、サイバーエージェントの青山真也氏が行ったセッション『「Kubernetes による Cloud Native な開発」と「VM 時代の開発」』で、VMを用いた従来の方法と比較しつつ、Kubernetesを前提としたクラウドネイティブのやり方が分かりやすく紹介されています。 その内容をダイジェストで紹介しましょう。本記事は前編と後編に分かれています。いまお読みの記事は
Image: Apple 1:45頃、ライブ配信のページがオープン! 地球の映像が流れていますが、光っている粒ひとつひとつがAnimojiになってる! Image: Appleおや、日本語字幕ありますね。どうやら録画したものが配信されるようです。 Image: Apple 宇宙から眺めていた光は、やっぱりAnimojiのユーザーたちでした。 Image: Apple 宇宙から円盤のような本社へ、そしてスティーブジョブスシアターへ。 Image: Apple 無観客のシアターのステージにティム・クックCEOが登場です。「大変なときだからこそ今年のWWDCをやることに意味がある。ここから、直接お家のみなさんにお届けします」 まず、ジョージ・フロイド事件を発端にした人種差別問題に触れるクックCEO。 Image: Apple 「理想の未来のために行動しなければならない」。医療従事者への感謝ととも
AppleはMac上でWindowsを動作させるために「Boot Camp」を提供していますが、このBoot CampはIntel製チップを搭載したMacにしか対応しておらず、Apple初のApple Siliconである「M1」チップを搭載したMacBook Air、Mac mini、MacBook Proには対応していません。しかし、このM1チップを搭載したMac上でWindowsを動作させることに開発者のAlexander Grafさんが成功しています。 ARM Windows M1 Mac virtualization demonstrated - 9to5Mac https://9to5mac.com/2020/11/27/arm-windows-virtualization-m1-mac/ Mac上でWindowsを動作させるためのBoot Campは、記事作成時点ではAppl
[速報]古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023 Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、生成AIを用いて多様なAIサービスを提供する「Amazon Q」を発表。Amazon Qの機能の一部として、古いJavaや.NETのコードを最新のJavaや.NET対応に自動変換する「Amazon Q Code Transformation」を合わせて発表しました。 参考:[速報]AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023 Amazon Q Code
Mac上に素早くDockerやLinuxマシンを作成&管理できる「OrbStack」がPublic Betaになったそうです。詳細は以下から。 Appleは2020年にリリースしたmacOS 11 Big Surから、開発者向けにより簡単にIntel/ARMベースのLinuxマシンをMac上に構築できるよう、Virtualizationフレームワークの提供を開始し、現在ではParallels DesktopやDocker Desktopなどが、このフレームワークを利用していますが、新たに、Mac上に素早くDockerコンテナやLinuxマシンを作成できる「OrbStack」という仮想化ユーティリティがPublic Betaで公開されています。 Say goodbye to slow, clunky containers and VMs Run Docker and Linux on you
Apple Silicon向けのDocker Desktop RC 2で、バックエンドを切り替えられるオプションが追加されました。 今までのqemuベースのバックエンド以外に、virtualization.frameworkを使ったバックエンドも追加されて、オプションのexperimentalのチェックボックスで有効化できます。 といっても、qemuも裏ではHypervisor.frameworkを利用していたので、Appleの提供する仕組みには乗っています。Virtualization.frameworkは高水準なAPIでLinuxに特化してます。VZLinuxBootLoaderというAPIが提供されています。 Virtualization.Frameworkも現在はおそらくはHypervisor.frameworkの上に構築されていると思います。実際、このオプションのON/OFFを切
Rust is a fast, reliable, and memory-efficient programming language. It's been voted the most loved programming language six years in a row (survey). Created by Mozilla, it's now used at Facebook, Apple, Amazon, Microsoft, and Google for systems infrastructure, encryption, virtualization, and more low-level programming. Why is Rust now being used to replace parts of the JavaScript web ecosystem li
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 47週目の記事です! 1年間連続達成まで 残り 6 週 となりました! はじめに ログラスのクラウド基盤でエンジニアをやっているゲイン🐰です。 ログラスではAWS上でアプリケーションを動かすためにIaCとしてTerraformを採用しています。 我々のTerraformの構成を紹介するとともに、現状の課題とリファクタリングの事例を共有できれば幸いです。 ログラスのTerraform構成 ざっくりログラスのアプリケーションにまつわるTerraform構成は以下のようになっています。 基本的にはterraform/usecaseディレクトリ配下にmoduleとして定義されています。 中身は比較的にベタでリソースが書かれており、それらをterraform/envディレクトリの各ディレクトリ内で呼
この記事は、JavaScript で Flash Player の実現を頑張った(もしくは現在進行系で頑張っている)人たちの集う Flash Advent Calendar 2020 に参加しております。 皆さん、JavaScript で VM を実装する経験をお持ちでしょうか?私は過去に Java VM と ActionScript VM を JavaScript で実装したことがあります。Flash Player において VM は最も重い場所になることが多く、ここの高速化は Engine 全体の性能に大きく寄与します。この記事では、私が Pex.js にて導入し、素晴らしい成果をあげた VM の高速化手法をご紹介しましょう。 とはいえ今更 ActionScript の VM の話をされても困ると思うので、この記事では簡単な Java VM のサブセットをターゲットにして説明をします。
このパターンには2つの背景があります。ひとつは、技術者がマイクロサービスアーキテクチャパターンを採用して、複数の(理想的には単一目的で、独立してデプロイ可能な)サービスで構成されるアプリケーションを開発するようになったことです。ふたつめは、企業がコンテナ(Dockerなど)、オーケストレータ(Kubernetesなど)、プロキシ/ゲートウェイ(Envoyなど)といった、クラウドネイティブなプラットフォームテクノロジを支持するようになったことです。 意図 サービスメッシュが解決しようとする問題は次のようなものです。 サービスディスカバリ、ルーティング、アプリケーションレベル(レイヤ7)の非機能通信要件を処理する言語対応の通信ライブラリを、個々のサービス用にコンパイルする必要性の排除 外部サービスのネットワークロケーション、セキュリティ認証、サービス品質(QoS)目標など、サービス通信設定の外
MicrosoftがParallels Desktopを利用しApple M1/M2 Mac上に構築した「Windows 11 on ARM」仮想マシンを正式に承認し、ライセンスを許可したと発表しています。詳細は以下から。 Appleが2020年より販売を開始したArmベースのApple Silicon搭載のMacでは、MacをWindows PCとして利用できるようにするBoot Campがサポートされなくなったものの、Parallelsが仮想化ソフトウェア「Parallels Desktop」を利用し、Apple M1/M2 MacでWindows 10/11 on ARM 仮想マシンを作成することが可能になっていました。 ただ、このWindows 10/11 on ARMはMicrosoftがOEM以外にライセンスを提供していなかったため、Apple M1/M2 Mac上の仮想マシン
完全に『マトリックス』。衛星データからバーチャル空間に「世界」を自動生成するAIができた2021.06.03 16:0041,896 岡本玄介 ネオやモーフィアスのいた仮想空間が、マジで現実のものに。 日本の株式会社スペースデータが、人工衛星で撮影した膨大な地上観測データをAIに学習させ、3DCG技術でバーチャル世界に地球を複製するアルゴリズムを開発しています。 このAIは、地上の静止画像と標高データから、構造物を自動で検出・分類・構造化し、石や鉄や植物、それにガラスなどの材質も自動で再現することが可能という凄いもの。しかも! 誰でも無料で使えるよう配布されるのだそうです。 衛星データからバーチャル空間に世界を自動生成するAIを作ってみた(動画は東京の一部地域の再現)。これからAIに全世界の3Dモデルを作らせて、誰でも無料で使えるように配布していく。非営利での研究になるけど、マトリックスや
世界最大のコンテナイメージ共有サービス「Docker Hub」が、無料ユーザーのイメージPull回数を制限すると発表しました。Docker Hubは先日、無料ユーザーに対するイメージ保存期間の制限も発表しており、引き続き無料でDocker Hubを利用する場合は注意が必要です。 Scaling Docker to Serve Millions More Developers: Network Egress - Docker Blog https://www.docker.com/blog/scaling-docker-to-serve-millions-more-developers-network-egress/ Scaling Docker’s Business to Serve Millions More Developers: Storage - Docker Blog https
AWS Open Source Blog Introducing Finch: An Open Source Client for Container Development Today we are happy to announce a new open source project, Finch. Finch is a new command line client for building, running, and publishing Linux containers. It provides for simple installation of a native macOS client, along with a curated set of de facto standard open source components including Lima, nerdctl,
Github actions はとても便利だ。テストやビルドを自動化するのに活用している。 パブリックリポジトリだと無料で実行環境が利用できるのがありがたい。 その無料の実行環境 Github-hosted runner では重すぎる処理を実行したくて Github actions の Self-hosted runner 環境を作った話は前回のエントリで書いた。 hero.hatenablog.jp 環境構築の動機となった目的は果たしたものの、作った環境はコスト性能比的にも良い選択だったのだろうか? と思ってちょっと調べてみた。 今回はそれについて記す。 レイヤ数の多い大きな Docker イメージのビルドをギリギリ Github-hosted runner で実行していたのだけど、マルチアーキテクチャビルドをしようとして遂に処理できなくなった。仕方がないので、Self-hosted r
Transcript コンテナエンジンの作り方 さくらの夕べ ~ ヤンジェネバトル ~ さくらインターネット 株式会社 技術本部 大西 和貴 (C) Copyright 1996-2016 SAKURA Internet Inc 2019/10/08 自己紹介 2 大西 和貴 (@_k_onishi_) 2017年度新卒 SVOPチーム(運用) → レンタルサーバチーム(開発) サービスのコントロールパネルやメールソフトの バックエンドやフロントエンドを担当( Go / Typescript ) Tech: Linux / Unix / Kernel / File System / 仮想化 / コンテナ エミュレータ / バイナリ Lang: C / Assembly / Perl Blog: レガシーガジェット研究所 Dock
Docker Desktop for Mac Docker Desktop for Macでは、仮想マシン上のLinuxでDockerを動かしている。仮想マシンにはhyperkitやQEMUが使われていた。が4.14.0からVirtualization frameworkがデフォルトで使われる。 Set Virtualization framework as the default hypervisor for macOS >= 12.5. Virtualization frameworkはmacOS内蔵の仕組みで、macOS 11で導入されてから、徐々に機能が拡張されている。Virtualization frameworkは高レベルなAPIで、より低レベルなAPIとしてmacOS 10.10から搭載されているHypervisor frameworkがあり、おそらくVirtualizati
Amazon Web Services ブログ [発表] Lambda 関数が VPC 環境で改善されます 本投稿は AWS サーバーレス アプリケーションのプリンシパルデベロッパーアドボケートであるChris Munnsによる寄稿です。 元の投稿からの更新情報: 2019年11月28日(PST): 次のリージョンに対して、元の投稿に記載されている改善を完全に展開しました:中東(バーレーン)。 2019年11月25日(PST):次のリージョン、米国東部(バージニア北部)、米国西部(オレゴン)、カナダ(中央)、EU(ロンドン)、EU(ストックホルム)、およびアジア太平洋(香港)に対して、これらのリージョンのすべてのAWSアカウントには、元の投稿で概説した改善を展開しました。 2019年11月6日(PST):次のリージョン、米国西部(北カリフォルニア)、EU(アイルランド)、EU(パリ)、ア
Back to blog WebVM: server-less x86 virtual machines in the browser TL;DR — We made a server-less virtual Linux environment that runs unmodified Debian binaries in the browser. This is powered by CheerpX, a WebAssembly virtualization platform. Feel free to play with it and report bugs: https://webvm.io WebVM — a server-less virtual Linux environment running fully client-side in HTML5/WebAssembly.
クラウド上で仮想デスクトップ環境を提供するAmazon WorkSpaces。 在宅勤務・リモートワークの必要性が高まる中、企業のリモート環境の選択肢のひとつとして挙げられると思いますが、私自身まだ触ったことがなかったのでこの機会に勉強して少し触ってみました。 目次 Amazon WorkSpacesとは 実際に触ってみた 最後に さらに詳しく知りたい方におすすめの参考リンク Amazon WorkSpacesとは 概要 クラウドで仮想デスクトップ環境を提供するAWSのフルマネージドサービス 従量課金制 Linux/Windows が使用可能 WindowsやOfficeのライセンスの持ち込みも可能 デスクトップ仮想化(VDI)の特徴・メリット ユーザーが使うPCをデータセンターやクラウドなど集約された環境で提供する リモートでフレキシブルに企業内のシステムにアクセス可能 端末にデータを保
Windows. Linux. Meet Apple Silicon. UTM employs Apple's Hypervisor virtualization framework to run ARM64 operating systems on Apple Silicon at near native speeds. On Intel Macs, x86/x64 operating system can be virtualized. In addition, lower performance emulation is available to run x86/x64 on Apple Silicon as well as ARM64 on Intel. For developers and enthusiasts, there are dozens of other emulat
PythonのウェブフレームワークDashを使って、京都の新型コロナアプリを作成しました。DashはFlask、React、Plotlyを使って作られたフレームワークで、ダッシュボードのようなアプリケーションを短時間で作成できます。またコールバックを使ってアプリケーションをインタラクティブに動作させられます。私のようにデータをこねるのは好きだけど、ReactもVueもいまいちよくわからないという人には、容易にダッシュボードを作れるフレームワークです。 作成したアプリケーションは以下のURLにあります。 PC向け スマホ向け コードはgithubを参照ください。 開発環境は以下の通りです。 Windows10 Pro Python3.7.5 dash 1.9.1 pandas 1.0.0 アプリの機能 アプリは京都府のサイトから取得したデータ(取得方法などは後述)をCSVファイルとして読み込
https://medium.com/google-cloud-jp から派生したGoogle Cloud Japan の Customer Engineer (CE) が 書く Advent Calendar 2019 です。CE 達が是非紹介したい機能、いままで培ってきたノウハウ、知っておくと便利なTipsなどを公開予定です。 google-cloud-jp はGoogle Cloud Platform 製品などに関連するコミュニティが記載したテクニカル記事集です。掲載された意見はすべて著者個人のものであり、必ずしも Google のものを反映するものではありません。 12/1Kubernetes とGCPの世界をつなぐアクセス管理のはなし (Hiroki Tanaka)12/2Apache Hadoop のデータを BigQuery で分析するための移行手順 ( Keiji Yosh
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く