はてなブックマーク

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第3回　M1/M2 Mac に対応！Docker 環境で実習環境を構築しよう (三雲 勇二) 2023年1月 みなさん、こんにちは。 エンジニアをしております、三雲と申します。 普段は初心者エンジニアに Web セキュリティについて教えることがあります。 ウェブセキュリティの分野は徳丸本（安全なWebアプリケーションの作り方 第2版）をオススメしております。 今回も初心者の気持ちで徳丸本を読んで、気になった部分について確認していきたいと思います。 第1回で実習環境を準備したのですが、M1/M2 Mac では実習環境が構築できないという点がありました。 ですが、なんと徳丸先生から M1/M2 Mac 対応 Docker 版の実習環境公開のアナウン

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第140回　オリジナル論文から学ぶ「JAX」の特徴とその役割 (中井悦司) 2022年11月 はじめに 今回は、2018年に公開された論文「Compiling machine learning programs via high-level tracing」を元にして、機械学習ライブラリーJAXの役割と、その基礎となる考え方を紹介します。 JAXのオリジナル論文 最近、機械学習に関連するオープソースとして、JAXの名前を耳にすることが増えてきました。たとえば、2022年6月に公開されたGoogle Cloudの公式ブログ「EvoJAX: あなたの課題をNeuroevolutionの力で解く」の冒頭には、次のような一節があります。 『JAXはユー

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第101回　Googleの分散ビルドシステムのアーキテクチャー（パート1） (中井悦司) 2021年3月 はじめに 今回からは、2020年に公開された論文「Scalable Build Service System with Smart Scheduling Service(PDF)」を紹介します。この論文では、Google社内で利用されている「分散ビルドシステム」のアーキテクチャーが解説されています。独立したいくつかのシステムが連携する分散型のアーキテクチャーになっており、マイクロサービスアーキテクチャーの設計例としても参考になります。 Google社内のビルド環境 第20回の記事でも紹介しましたが、Google社内では、すべてのソフトウェア

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第97回　インターネット上のロードバランサーの構成調査（パート1） (中井悦司) 2021年1月 はじめに 今回からは、2020年に公開された論文「Classification of load balancing in the Internet(PDF）」を紹介していきます。この中では、ネットワーク経路を調べる伝統的なツールである「traceroute」をロードバランサーを含む経路に対応するための拡張手法が提案されており、さらにこれを用いた実際の調査結果が示されています。 tracerouteの基本的な仕組み はじめに、一般的なtracerouteの仕組みを簡単に説明しておきます。IPネットワークでは、パケットを中継するルーターには、それぞれに

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第98回　インターネット上のロードバランサーの構成調査（パート2） (中井悦司) 2021年2月 はじめに 前回に続いて、2020年に公開された論文「Classification of load balancing in the Internet(PDF）」を紹介します。この中では、ネットワーク経路を調べる伝統的なツールである「traceroute」をロードバランサーを含む経路に対応するための拡張手法が提案されており、さらにこれを用いた実際の調査結果が示されています。今回は、調査結果の内容を紹介します。 データセット 冒頭の論文では、19,866種類のIPv4アドレス、および、16,674種類のIPv6アドレスに対して、特定の31地点からのネッ

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第22回　WSL2の新機能を試してみよう (宮崎悟) 2020年10月 前回は、WSL 2 と WSL2へ移行する手順について説明しました。今回は、4月に追加された新しいUbuntu20.04、WSLとWSL2を使用できるWindows Terminal 、WSL2でサービスを起動する方法を説明します。 Ubuntu 20.04 Ubuntu 20.04は、2020年4月にリリースされたUbuntuの新しいLTS(Long Term Support)になります。普段ユーザが使用する言語、ライブラリのバージョンアップなどが含まれています。 Ubuntu20.04のインストールは、Windows Storeから行ってください。インストール後の手順は

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第94回　Dremel：10年間の進化を振り返る（パート1） (中井悦司) 2020年11月 はじめに 今回からは、2020年に公開された論文「Dremel: A Decade of Interactive SQL Analysis at Web Scale」を紹介していきます。論文のタイトルある「Dremel」は、Google社内のデータ分析ツールの名称で、Google Cloud Platformで提供されているBigQueryは、このDremelが元になっています。 Dremelのアーキテクチャーの特徴 Dremelのアーキテクチャーは、2010年の論文「Dremel: Interactive Analysis of Web-Scale

2024年3月 第50回　Pythonの環境変数PATHを通す こんにちは、吉政創成　菱沼です。 今回も「きれいなPythonプログラミング（マイナビ出版）」という書籍を利用して学習します。 さて、いまは２章の「環境設定とコ... 2024年3月 第49回　コマンドプロンプトでよく使うコマンドを学んでみた。Part.2 こんにちは、吉政創成　菱沼です。 今回も「きれいなPythonプログラミング（マイナビ出版）」という書籍を利用して学習します。 さて、いまは２章の「環境設定とコ... 2024年1月 第48回　コマンドプロンプトでよく使うコマンドを学んでみた。Part.1 こんにちは、吉政創成　菱沼です。 今回も「きれいなPythonプログラミング（マイナビ出版）」という書籍を利用して学習します。 さて、いまは２章の「環境設定とコ... 2023年11月 第47回　Pythonのsubpr

CTC教育サービス・ホーム　＞　コラム　＞　Ruby on Rails 海外事情コラム　＞　第57回　なぜRails 6にはWebpackerとSprocketsの両方が含まれているのでしょうか？ [IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第57回　なぜRails 6にはWebpackerとSprocketsの両方が含まれているのでしょうか？ (野田貴子) 2020年6月 こんにちは。アプリケーションを作るときには、様々な技術の取捨選択を行いますよね。たとえば、フロントエンドの実現に使う技術（React、Vue、Angular、jQueryなど）の選択です。私も、これまでに何度も何度も類似技術の調査をして、比較表を作り、上司やチームメイトに提案してきました。その度に、「すでにどこかに要

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第83回　Borgクラスター稼働状況の最新データ (中井悦司) 2020年6月 はじめに 今回は、2020年に公開された論文「Borg: the Next Generation」を元にして、Googleのデータセンターにおけるサーバークラスター稼働状況の最新データを紹介します。Googleのデータセンターでは、Borgと呼ばれる独自のクラスター管理システムを使用していますが、オープンソースのコンテナ管理システムであるKubernetesは、Borgの仕組みがベースになっていることでもよく知られています。今回公開されたデータは、大規模な環境でKubernetesを活用する際のヒントにもなるでしょう。 Borgによるコンテナ実行環境 Kuberne

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第76回　2003年当時のサーバーアーキテクチャーを振り返る (中井悦司) 2020年2月 はじめに 今回は、2003年に公開された論文「Web Search for a Planet: The Google Cluster Architecture」を紹介します。これは、17年前に公開されたもので、当時のGoogleのサーバーインフラの情報が提供されています。現在のインフラとは異なる点も多いと想像されますが、論文のタイトルにもあるように「Planet」スケールのサービスを提供するための考え方が示されており、現代的なクラウドシステムのアーキテクチャーをあらためて見直すという意味でも興味深い内容になっています。 サーバーアーキテクチャーの特徴 こ

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第70回　機械学習パイプラインにおける学習データの異常検知システム（パート1） (中井悦司) 2019年11月 はじめに 今回からは、2019年に公開された論文「Data Validation for Machine Learning」を元にして、機械学習モデルの学習データに含まれる異常を検知するシステムについて解説します。このシステムは、機械学習を利用するGoogle社内のプロジェクトで標準的に利用されているもので、機械学習パイプラインを構築するためのオープンソースであるTFXを用いて構築されています。 機械学習パイプラインとは？ 第67回からのシリーズで取り上げたFederated Learningでは、モバイルデバイス上のデータを用いて、

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第67回　Federated Learning：モバイルデバイスを用いた分散学習技術（パート1） (中井悦司) 2019年10月 はじめに 今回からは、2019年に公開された論文「Applied Federated Learning: Improving Google Keyboard Query Suggestions」を元にして、モバイルデバイスを用いた分散学習技術である「Federated Learning」の適用事例を紹介します。モバイルデバイス上で生成されるデータをサーバーに送信せず、ユーザー情報を適切に保護した状態で、デバイス上で学習処理を行う技術になります。 Federated Learningの適用事例 冒頭の論文では、Fede

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第64回　サーチエンジンのロードバランシング・アルゴリズム（パート1） (中井悦司) 2019年8月 はじめに 今回からは、2019年に公開された論文「Cache-aware load balancing of data center applications」を元にして、サーチエンジンのロードバランシングに関するアルゴリズムを紹介します。検索対象の単語ごとに担当するサーバーを分けて、サーバー内部のキャッシュのヒット率を高めるというシンプルなアイデアですが、複数の単語を含む検索文に適用するには、すこしばかり数学的な考え方が必要になります。今回は、具体的なアルゴリズムを説明する準備として、システム全体のアーキテクチャーを整理しておきます。 サーチ

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第62回　仮想デスクトップシステムのGCP移行プロジェクト（パート1） (中井悦司) 2019年7月 はじめに 今回からは、2019年に公開されたエッセイ「From Corp to Cloud: Google's Virtual Desktops」を元にして、Google社内の仮想デスクトップ移行プロジェクトを紹介します。Google社内で使用するシステムを自社のパブリッククラウドサービスであるGoogle Cloud Platform（GCP）に移行するという、少しユニークなプロジェクトになります。 移行プロジェクトの背景 Google社内では、開発作業用のワークステーションとして、開発者のデスクに設置したタワー型サーバーの他に、クラウド上の

Amazon EKSの魅力を探る CTC教育サービス講師による旬な話題をお届けするコラム 2024年2月 第3回　Amazon EKSの機能 2023年10月 第2回　Amazon EKSの概要 2023年7月 第1回　コンテナとKubernetesを使用するメリット 「Amazon EKSの魅力を探る」コラム一覧 グーグルのクラウドを支えるテクノロジー グーグル・クラウド・ジャパン合同会社 中井悦司氏によるグーグルクラウドに関連する技術コラム 2024年5月 第174回　Protective ReRoute：サーバー側での経路変更による信頼性向上（パート2）  New! 2024年5月 第173回　Protective ReRoute：サーバー側での経路変更による信頼性向上（パート1）  New! 2024年4月 第172回　大規模言語モデルによるコードレビュー支援の適用事例（パート3）

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第57回　Testing on the Toilet ―― 「トイレ」を活用した情報共有の取り組み (中井悦司) 2019年4月 はじめに 今回は、2019年に公開された論文「Do Developers Learn New Tools On The Toilet?」を紹介します。直訳すると「開発者はトイレで新しいツールを学ぶか？」という奇妙なタイトルの論文ですが、これは、「TotT（Testing on the Toilet）」と呼ばれる、Google社内の情報共有の取り組みについて、その効果を分析した論文です。技術者間での情報共有には、さまざま方法や取り組みがありますが、世界のGoogleオフィスで行われている、少しユニークな取り組みを紹介し

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第15回　ストレージベンチマークツールを利用してストレージ性能を測定する (小塚大介) 2014年7月 前回はストレージの性能設計で必要になる基本的な情報についてお伝えしました。今回はストレージの性能を把握する必要性とそのためのベンチマークツールを幾つかご紹介します。 新しいシステムを構築する際にはOSをセットアップした後にCPUやストレージの性能をベンチマークツールなどで確認することをお勧めします。アプリケーションを一通り構築した後に性能の問題が判明した場合、ハードウェアの再設定などでOSから再構築になる場合もあります。特にストレージについてはRAIDの再構築やフォーマットなどが必要になることもあるので早い段階で性能評価をしておくことは重要で

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第5回　大規模構造化データに最適化された分散キーバリューストアBigtable（パート１） (中井悦司) 2016年11月 はじめに 今回から2回に分けて、2006年に公開された論文「Bigtable: A Distributed Storage System for Structured Data」をもとに、分散キーバリューストア「Bigtable」の構造を解説します。ご存知の方も多いかも知れませんが、オープンソースのNoSQLデータベースであるHBaseは、Bigtableをモデルに設計されており、ユーザーから見た利用方法には高い類似性があります。（実際、Google Cloud Platformで提供されるCloud Bigtableでは

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第83回　Docker/OpenShiftで実現する「プライベートPaaS」の全体像 (中井悦司) 2016年2月 はじめに 本コラムでは、これまでに何度か「Docker」の役割について触れてきました。たとえば、「第80回　OpenStackとDockerの未来像（その１）」では、アプリケーション実行環境をイメージ化することで、本番環境へのアプリケーションデプロイを安全かつ効率的に実施するという使い方を紹介しました。しかしながら、その一方で、開発したアプリケーションをイメージ化するという作業も考えておく必要があります。この際、アプリケーションの開発環境そのものをDockerで提供することにより、開発したアプリケーションをそのままイメージ化して本

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第42回　Googleのソフトウェア開発におけるコードレビューの役割 (中井悦司) 2018年7月 はじめに 今回は、2018年に公開された論文「Modern Code Review: A Case Study at Google」をもとにして、Googleのソフトウェア開発におけるコードレビューのプロセスを紹介したいと思います。Googleでは、オープンソースの開発で広く用いられる、変更リスト（Change List:CL）単位の軽量なコードレビュープロセスを採用しており、この論文では、1回のレビューにおけるコードの変更量や平均的なレビュアー数についての興味深い統計データも紹介されています。 コードレビュープロセスの概要 Googleのソフト

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第41回　データセンターにおける光ネットワーク技術の進化 (中井悦司) 2018年7月 はじめに 今回は、2017年に公開された論文「Datacenter Optics: Requirement, Technology and Trend」をもとにして、データセンター内部で用いられる光ネットワーク技術について説明します。この論文では、Googleのデータセンターにおける光ネットワーク技術の活用に加えて、今後の光ネットワーク技術の発展についても議論がなされています。 Googleのデータセンターにおける光ネットワーク 本連載の第13回からのシリーズで紹介したように、Googleのデータセンターでは、Closトポロジー型のネットワークが採用されてお

[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第53回　OpenStackを使ってみよう 2015年10月 近頃「OpenStack」という言葉をよく耳にするようになりました。OpenStackはクラウドOSとも呼ばれ、クラウド基盤を構築する為のソフトウェアです。 Amazon Web Services相当の機能をOSS実装することを目標としており、仮想サーバ（EC2に相当）や、ストレージ（S3に相当）を自分の好きな時に好きなだけ 調達できるクラウド環境を作ることが出来ます。AWSはその利便性からユーザーが増加していますが、法律やセキュリティ等の都合で残念ながら利用できないケースもあります。その為、AWSのようなクラウド環境を自社内で構築することができるOpenStackに注目が集まってい