2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成 実行 Webアプリを作成 Streamlitとは Webアプリを実装 Docker化 デプロイ ECRにイメージをプッシュ アプリケーション基盤 Circuitについて アプリのマニフェストを作成 研修終了後 終わりに 研修の目的 この研修の主な目的は、新卒社員がスムーズに業務に入れるようにすることです。 研究開発部にはさまざまなバックグラウンドを持つ研究員が入社するため、チーム開発の経験がない方もいます。 そのため、Gitの操作やプルリクエス
【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした | DevelopersIO
【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした このブログは、2021年9月16日に発刊された『Google Cloudのしくみと技術がしっかりわかる教科書』の書籍レビューの記事です。かなりの良著でしたので、良かった点などをまとめてご紹介できればと思います。 私は普段AWSを扱っていますが、GCPについてもざっくり理解したいという動機でこの本を購入しました。 オススメしたい人 この書籍は、以下が当てはまる方にオススメできます。 クラウド技術を学びたい初心者の方 他のクラウドに関する経験（AWSやAzureなど）がある方で、GCPの特徴もざっくりと理解したい方 テキストベースでなく、豊富な図や表を見てGCPのサービスをキャッチアップしたい方 また、私自身はGCPの認定資格を持っていないので何とも言えませんが、G
https://aws.amazon.com/jp/events/summits/online/japan/ AWS Summit Online Japan 2021 Appendixに参考となるアーキテクチャや実装パターンを追加
株式会社MIXIで『家族アルバム みてね』（以下みてね）のSREグループに所属している本間です。 みてねは現在、1,500万人を超えるユーザに175の国と地域でサービスを提供しています(2022年8月現在)。そこで、より高い信頼性と可用性を担保するためにみてねのSREグループではオンコールエンジニア制度を設けています。 今回はこの「みてねのSREグループにおけるオンコールエンジニア制度の取り組み」についてご紹介させて頂きます。 オンコールの定義 まず、どのような条件でアラートを設定しオンコールを実施するかの定義について簡単に触れておきます。 現在はさまざまなソースから多種多様な情報を収集することができます。 たとえば、みてねではKubernetes（Amazon EKS）を採用しています。Kubernetesだけでも非常に多くのメトリクスが収集できますが、それだけではなくアプリケーション
MackerelにおけるEC2からFargate移行の軌跡とFargateのメリットデメリットについて - Speaker Deck
発表タイトル: MackerelにおけるEC2からFargate移行の軌跡とFargateのメリットデメリットについて イベント名: そろそろマネージド、クラウドネイティブで行こう! コンテナサービスへの移行祭り https://pages.awscloud.com/JAPAN-event-OE-20210617-Cloud-native-reg-event.html
【暫定版】 Kubernetesの性能監視で必要なメトリクス一覧とPrometheusでのHowTo - kashinoki38 blog
2021/03/01 追記 記載していたリポジトリにあるマニフェスト系があまりに不親切だったので、ちゃんとまとめてみました。 後日、もうちょっとちゃんと記事書こうとは思いますが、大体はREADMEにあるので読んでみてください。 sock-shopをベースにObservability（Prometheus, Loki, Istio(Jaeger, Kiali)）とProgressive Delivery＆自動負荷試験スタック（Flagger, Jmeter, influxdb）をHelmとKustomizeで詰め込みました。 今回はちゃんと誰もが入れれるようにがんばってみたので、どうぞ。 github.com この内容でCloudNativeDaysOnline2021に登壇しています。 kashionki38.hatenablog.com 後、随分前ではありますが、本投稿に関連してKube
/dev/hardening - Hardening Drivers Conferences 2021 OWASP Evening 2021.08 - Container Security / Privacy by Design
はじめに みなさんは何か新しいスキルを得るときにどのように学習するでしょうか？ 私はプログラミングコーチングJISOUで多くのジュニアエンジニアとカウンセリングをする中で8割以上の人がUdemyで学習すると言っていることに気づきました。 そこで今回は私がいままでやってきた35個の講座の中でこれはやってよかったと今でも思えるものを紹介していきます。Udemyはその人が学習している技術や興味のある技術でないと参考にはしづらいと思いますが、おすすめを学習することは時間の観点でものすごい価値があると考えているので参考にしてみてください！ Udemyの怖いところ Udemyはとても恐ろしいサービスです 以前にも以下の記事を投稿して話題になりました。 ぜひ読んでほしいのですが、ざっくり解説すると 「Udemyは1本終わらせるのに数十時間単位で時間を使うので、その使い方を間違えると時間の損失が大きい」
インフラエンジニア向けの書籍を取り上げ、著者と出会い、楽しく本を知り、仲間を作る場所である「インフラエンジニアBooks」。ここで、『ユーザーの問題解決とプロダクトの成功を導く エンジニアのためのドキュメントライティング』の翻訳を担当した岩瀬氏が登壇。さらに、ドキュメントの具体的な書き方と、フィードバックの収集について話します。前回はこちらから。 ドキュメントは「書き始める」ことが大事 岩瀬義昌氏：3章にいきます。時間的にあと15分ぐらいしゃべっても大丈夫かな？ 10分ちょっとしゃべれると思うので。（スライドが）あと70枚あるので、すごく速くいきますね（笑）。 ドラフトの執筆です。みなさんもドキュメントを書くじゃないですか。ちょっと胸に手を当てて（考えて）みると、ドキュメントを書く上で、一番難しいことは何だと思いますか？ （スライドを示して）書ける人は良いんですが、最初の人が1文字目を書き
はじめに ZOZO研究所ディレクターの松谷です。 ZOZO研究所では、イェール大学の成田悠輔氏、東京工業大学の齋藤優太氏らとの共同プロジェクトとして機械学習に基づいて作られた意思決定の性能をオフライン評価するためのOff-Policy Evaluation（OPE）に関する共同研究とバンディットアルゴリズムの社会実装に取り組んでいます（共同研究に関するプレスリリース）。また取り組みの一環としてOPEの研究に適した大規模データセット（Open Bandit Dataset）とOSS（Open Bandit Pipeline）を公開しています。これらのオープンリソースの詳細は、こちらのブログ記事にまとめています。 techblog.zozo.com 本記事では、ZOZO研究所で社会実装を行ったバンディットアルゴリズムを活用した推薦システムの構成について解説します。バンディットアルゴリズムを用い
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築
「Docker Desktop 2.2」では、これまでSambaに依存していたDocker上で動作するLinuxファイルシステムとWindowsファイルシステムの相互管理をgRPC FUSEに置き換えている。 gRPC FUSEへの置き換えによって、キャッシュを利用してページ読み込み時間を短縮するとともに、Linux inotifyイベントをサポートし、ソースコードが変更されたときに自動再コンパイル／リロードのトリガーが可能になったほか、Windows認証とは切り離して利用できるようになった。また、VPNの接続／切断にかかわらず利用可能で、管理者として実行されるコード量を削減している。 さらに、ローカルで実行中のコンテナと、Composeアプリケーションを管理できるインタラクティブなダッシュボードUIが採用された。WindowsとmacOSで共通のインターフェースを実現する、新たなデスクト
この記事はRookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020 25日目の記事です。(過ぎてるけど…) こんにちは。レッドハットでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今日はOpenShiftをはじめとするコンテナ環境における…に限らずの一般的な環境でストレージがハマりやすいわけについての愚痴お話しをしたいと思います。 あんまりストレージ詳しくないかたに読んでもらって、へぇと思っていただければ嬉しいです。 コンテナ環境でハマるストレージの落とし穴 コンテナ環境におけるストレージは、CSI(Container Storage Interface)の仕組みができてから、使い始めるにはかなり簡単になりました。パブリッククラウドにしろオンプレにしろ、そこにあるストレージをコンテナストレージとして使えるようになったからです。 とは言
はじめにこれは、2021年11月4日から5日にかけて開催された、CloudNative Days Tokyo 2021 においての私の発表資料となります。 発表 こんにちは。今日は、OOParts というクラウドゲーミングプラットフォームを Kubernetes 基盤に移行した話をします。よろしくお願いします。 私は、うなすけといいます。フリーランスとして、Webアプリケーションを開発する仕事をしています。2019年から、Black で OOParts のクラウドインフラ周りを担当しています。 皆さん、OOParts というサービスをご存知でしょうか。OOParts は、年代を問わず名作とされるビジュアルノベルゲームを、Webブラウザだけで遊ぶことができるクラウドゲーミングプラットフォームです。ユーザーは、インターネット環境さえあれば、端末を問わずにいつでもゲームをプレイすることが可能です
OpenTelemetry を利用して PHP アプリケーションのテレメトリデータを計装する方法をまとめました。 本エントリのコードは下記で公開しています。 github.com OpenTelemetry とは 用語 PHP アプリケーションのマニュアル計装（手動計装） 構成 OTel Collector Jaeger 動作環境 必要なパッケージ PHP コード 設定 実行 PHP アプリケーションのゼロコード計装（自動計装） 必要な拡張とパッケージ 設定 PHP コード 実行 さいごに 参照 OpenTelemetry とは opentelemetry.io OpenTelemetry は、サービスやアプリケーションのテレメトリーデータ（トレース、メトリクス、ログなど）を計装、生成、収集、送信するためのオブザーバビリティフレームワークです。ベンダーニュートラルな OSS であり、CNC
フィードバックを送信 Google Meet REST API の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google Meet REST API を使用すると、Google Meet と Google Meet を使用したビデオ会議を アプリからユーザーに直接、エントリ ポイントを提供します。 Meet REST API を使用すると、次のことができます。 会議スペースを作成して、ビデオでユーザーをつなぐ。 会議室または会議をリソース名で取得します。 参加者と参加者セッションのリストを取得する。 会議のアーティファクト（録画、文字起こし、文字起こしのエントリ）を取得する。 Google Meet のカレンダーの招待状を使用して Google Workspace Events API。変更の通知を受け取るには、 指定したユーザーに属するすべて
順を追って学ぶKubernetesのキホン〜ローカル環境でKubernetesクラスターを作成してKubernetesの概念を理解する〜 - Qiita
順を追って学ぶKubernetesのキホン〜ローカル環境でKubernetesクラスターを作成してKubernetesの概念を理解する〜Dockerインフラkubernetescontainermicroservices こちらの記事は、Jonathan Natanael Siahaan 氏により2019年 10月に公開された『 Step by Step Introduction to Basic Concept of Kubernetes 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 Kubernetesを聞いたことがありますか？ 興味があることは間違いないはずです。 だからこそこの記事を開いたのでしょう。 この記事では、Kubernetesの基本概念とその使い方について説明します。 最終的には、Minikube上で動くKubernetesを使用してdocker
AWSエンジニアに必要な知識
はじめに 私は2024年1月からAWS設計構築のプロジェクトに入り、現在設計を進めている真っ只中なのですが、プロジェクトにアサインされてからの気づきについて書き留めてきたいと思いましたので本記事を執筆いたします。 まず、結論ファーストでお話させていただきますが、タイトルの「AWSエンジニアにとって必要な知識」についてはIT全般の知識を7割程度把握 しておくのが自分的ベストプラクティスかと思います。 ある知識に特化しているよりも、全体的に網羅されている方がことAWSにとっては必要な要素ではないかと考えています。 なぜなら、設計において任されるタスクは自分の得意としていない分野においても任されるからです。 ではその全体の知識って具体的にどんなことを知っておいたら良いの？について紹介していきます。 Linuxの知識 言わずもがな、Linuxの知識は必須になってきます。 前提として設計段階でEC2
GoogleもRPAに参入か。ノーコードでプロセスオートメーションを実現する「AppSheet Automation」を含む「Business Application Platform」を発表
GoogleもRPAに参入か。ノーコードでプロセスオートメーションを実現する「AppSheet Automation」を含む「Business Application Platform」を発表 Googleは、企業がクラウド上で簡単かつ迅速にビジネスアプリケーションを実現するためのプラットフォーム「Business Application Platform」を発表しました。 Business Application Platformはおもに、Google CloudのサービスをAPI経由で利用しやすくする「API Gateway」、ノーコード開発ツールのAppSheetのデータソースを拡張する「Apigee data source for AppSheet」、そしてAppSheetの新機能としてノーコードでプロセスオートメーションを実現する「AppSheet Automation」の3つか
Python 3.11から追加された標準パッケージtomllibの紹介 | IIJ Engineers Blog
2018年新卒入社し、SOCにてインフラ管理を担当。その後、マルウェア解析や検証業務などに従事。2022年度からは、社内のSREチームにて兼務を開始。主な保持資格は、CISSP, OSCP, GREM, GXPN, RISS, CKA, CKSなど。バイナリを読むのが好きで、一番好きな命令はx86の0x90（NOP命令）。 はじめに 私は、業務でマルウェア解析のようなリバースエンジニアリングをしており、業務効率化のために自作ツールを作ることがあります。皆さんは自作のツールの設定ファイルに、どのようなファイル形式を利用していますか。昨今は、KubernetesやAnsibleなどで用いられるYAMLや、フロントエンド界隈で頻繁に利用されるJSONなどが多い印象です。そんな中、今回はTOMLと呼ばれるファイル形式の紹介をします。プログラミング言語Rustのパッケージ管理ファイルに利用されていた
Go: A Documentary
Go: A Documentary by Changkun Ou <changkun.de> (and many inputs from contributors) This document collects many interesting (publicly observable) issues, discussions, proposals, CLs, and talks from the Go development process, which intends to offer a comprehensive reference of the Go history. Disclaimer Most of the texts are written as subjective understanding based on public sources Factual and ty
はじめに これは、ZOZOテクノロジーズ #4 Advent Calendar 2019 12日目のエントリーです。 今回はKubeConに参加して面白かったセッションの1つである「10 weird ways to blow up your Kubernetes(Kubernetesをぶち壊す10の奇妙な方法)」をご紹介します。 この他にも、「Airbnbの事例に学ぶKubernetesとマイクロサービスのあり方 @ KubeCon Seattle 2018」という記事も執筆しているので、合わせてご覧ください。 また、このセッションのスピーカーであるMelanie Cebulaは、CloudNative Days Tokyo 2019のキーノートスピーカーとしても来日し、登壇しています。 後編書きました！ セッションの背景 セッションスピーカーであるMelanieとBruceは、Airbn
書き手：@takegue (分析チーム) Rettyのデータ活用の多くにはBigQueryが現在利用されており、その活用の方法についてこれまでこのブログでもいくつかとりあげさせていただきました。 engineer.retty.me そのほか分析チームの記事一覧 これらの記事はおかげさまで好評いただいております。いつもありがとうございます。 しかしながら、我々が初期からこのようにBigQueryを使い続けてきかというと、実はそうではありません。 事業の成長とともにデータ基盤を変化させてきた経緯があり、今の成果は過去のトライアンドエラーの賜物であり、数多くの苦労を背景にしてできあがっています。 ほんのつい最近まで、Rettyで構築されていたデータ基盤は表立って見える実態よりもかなり複雑なパイプラインで構成されていました（以降で触れますが、4種類のデータパイプラインが共存しているカオスな状態でし
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
Kubesharkとは 図は公式 より抜粋 KubesharkはKubernetesのための観測性・監視ツールで、マイクロサービスの動的解析、異常の検出などを実現するツールです。 Wireshark、BPF Compiler Collection（BCC）ツールなどを組み合わせた、Kubernetesを意識したものとお考えください...と説明されています。 Kubesharkは、クラスタ内の一部またはすべてのTCPトラフィックをスニッフィングし、PCAPファイルに記録し、HTTP1.0, HTTP1.1, HTTP2, AMQP, Apache Kafka, Redisなどのアプリケーション層プロトコルを分析できるとのことです。 今回はHTTPに絞って実際に環境を動かしてみて、トラフィックを覗いてみたいと思います。 Kuberentesクラスターの用意 まず、Kuberentesクラスター
AWS環境をセキュアにセットアップする方法と、その運用方法を詳細に紹介します。秘伝のタレである具体的な設定も書いてます。みんな真似していいよ！ こんにちは、臼田です。 みなさん、安全にAWS使えていますか？(挨拶 今日は全てのAWSユーザーが安全にAWSを活用し、セキュアに運用できるようにナレッジを大量にダンプしたいと思います。 弊社サービスに関連させて書く部分もありますが、基本的にどのようなAWS環境でも適用できると思います。 ちょっと長い背景 クラスメソッドでは長いこと様々なAWSを利用するお客様を支援しています。私は特にセキュリティ周りについて支援させていただくことが多く、最近はAWSのセキュリティサービスが充実していることから、これらの初期導入や運用設計、あるいはインシデント対応やその後の組織としてのセキュリティ体制づくりなどいろんな関わり方をしてきました。 どのようにセキュリティ
![[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75550513d830c21b153b85859fb4fdabd295d23d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fsecurity-identity_Compliance.png)
ZOZOにおけるID基盤のk8sへのリプレイスとセキュリティの取り組み / Authentication service replacement and security efforts of zozotown(CNDT2020)
ZOZOにおけるID基盤のk8sへのリプレイスとセキュリティの取り組み / Authentication service replacement and security efforts of zozotown(CNDT2020)
｜DMM inside
[アップデート] AWSマネジメントコンソールにVPCエンドポイント経由でアクセスできるようになりました | DevelopersIO
VPCエンドポイントポリシーでマネジメントコンソールからサインインできるアカウントを制御できるぞ。なお、インターネットに抜けずに閉域網からマネジメントコンソールにアクセスを実現するものではない模様。 インターネットに抜けずに閉域網からマネジメントコンソールにアクセスしたいな こんにちは、のんピ(@non____97)です。 皆さんはインターネットに抜けずに閉域網からマネジメントコンソールにアクセスしたいなと思ったことはありますか? 私はあります。 世の中にはセキュリティルームなどインターネットへのルーティングがされていない / インターネットへのアクセスが許可されていないエリアがあったりします。 そして、システムの要件上、そのような場所から運用することが求められるケースがあります。 そのような環境でAWSの運用をするのはかなり大変です。何しろAWSマネジメントコンソールにアクセスするにはイ
![[アップデート] AWSマネジメントコンソールにVPCエンドポイント経由でアクセスできるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/46ad933779d759146e85686aa64fe5635983d564/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-management-console.png)
はじめに こんにちは。 2022年の4月から、さくらインターネット株式会社に新卒入社し、7月よりSRE室という部署に配属されました、菅原大和(@drumato)と申します。 本記事では、7月の配属から今日(記事執筆時点では2022/10/31)にかけての3ヶ月間、社内のKubernetesクラスタ運用状況を調査し、現状の課題を明確にした上で、社内のKubernetesクラスタ運用状況を改善する基盤の設計と開発に取り組んできましたので、その内容をご紹介します。 その過程で得られた知見や、今後必要になってくるであろう、不足している機能についても合わせて共有します。 また、本プロジェクトの背景として、SRE室という部門の目的や今後実現したい世界観についてもお話しできればと思います。 本記事の全体を通して、技術的な側面よりもプロジェクトの背景や目的を重点的にお伝えします。 本プロジェクトの概要 本
Google、マルチクラウド基盤「Anthos」のAWS正式対応を発表、Azure対応も作業中。サービスメッシュのVM対応も
Google、マルチクラウド基盤「Anthos」のAWS正式対応を発表、Azure対応も作業中。サービスメッシュのVM対応も Googleは、Kubernetesをベースにオンプレミスやマルチクラウドを実現する「Anthos」のAWS正式対応を発表しました。 Build resilient applications & manage them regardless of where they run with these new Anthos features: Multi-cloud support, starting with AWS Bare metal environments (preview) Deeper support for VMs Learn more https://t.co/STG1zcy8HV pic.twitter.com/zMmir3yxLy — Google
※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と
とても雑記 個人の成長は必須かなぁ？ よーはつのツイートを見て、古川さんのスライドを見て、「グループや会社は成長して欲しいなぁって思うけど、個人の成長はどうなんだろう？僕は『今、自分が持ってるチカラで会社の成長を支える』ぐらいがいいなぁ」みたいなことをぼやーっと考えた ここ数年、こういう組織の支援もやっているけど、ほんとに難しい… 開発組織の持続可能性について https://t.co/8HpulzqngQ pic.twitter.com/Jx9LFuH0p2— yoh nakamura (@yohhatu) July 12, 2022 意識低い 最近の自分は「成長しなきゃ！」「そして自分の成長で会社の成長を支えなきゃ！」みたいなのはあんまりなくて、意識は低い方かなぁと思う。「それはそれ、これはこれ」な気持ち 単純に、新しいことを学ぶのは楽しいし、昨日できなかったことが今日できるようになる
［速報］「Amazon Fargate for Amazon EKS」正式発表。Kubernetes上の分散アプリケーションをマネージドなサーバレスとして自動運用。AWS re:Invent 2019
Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演において、「Amazon Fargate for Amazon EKS」を正式発表しました。 発表と同時に会場からはこの日もっとも大きな拍手が聞こえました。このサービスへの期待の大きさが示されたようです。 Kubernetes上の分散アプリケーションを簡単にサーバレス化 Amazon Fargate for Amazon EKSには「AWS Fargate」と「Amazon EKS」の2つのサービス名が含まれています（上記スライドでは「Amazon Fargate」と表記されていますが、正式名称は「AWS Fargate」）。 Amazon EKS（Amazon Elastic Kubernetes Service）から先に説明すると、これはコンテナ群で構
Docker、これまでで最も深刻な cp コマンドの脆弱性CVE-2019-14271を修正
This post is also available in: English (英語) 概要 ここ数年、Docker、Podman、Kubernetesを含むさまざまなコンテナプラットフォームで、copyコマンド(cp)の脆弱性が複数確認されてきました。それらの中で最も深刻なものはこの7月というごく最近発見・開示されたものです。驚くべきことに、CVEの説明内容があいまいだったこと、公開されたエクスプロイトがなかったことなどの理由から、本脆弱性は公開直後にはほとんど注意を引きませんでした。 しかしながら、CVE-2019-14271が攻撃者に悪用された場合、Dockerの実装するcpコマンドは、完全なコンテナブレイクアウトにつながりうるセキュリティ上の問題を引き起こします。この脆弱性は、2月に発見されたrunC脆弱性以降で初めての完全なコンテナブレイクアウトです。 この脆弱性が悪用されるに
HERP における Nix 活用
HERP における開発では Nix が広く活用されている．Nix は非常に便利な代物なのだが，ドキュメントの貧弱さ，急峻な学習曲線，企業における採用事例の乏しさなどが相まって，広く普及しているとは言い難く，ましてや国内企業での採用事例を耳にする機会はほとんどない．しかし，Nix の利便性は，複数人での開発においてこそ，その本領が発揮されると考えている．この記事は，HERP における活用事例の紹介を通じて，Nix の利便性ならびに企業での活用可能性について紹介することを目的としている． Nix とは# Nix は "the purely functional package manager" と銘打たれたパケッジマネジャーである．GNU Linux および macOS 上で利用できる． ビルド# Nix は the purely functional "package manager" なの
Goとマルチコアスケール実装
マルチコア化の未来予測 半世紀前にSF映画「2001年宇宙の旅」に登場するコンピューターHAL-9000が並列コンピューティングの未来を示しました。マルチコアで構成されたコンピューターの物理コアを取り除いてもすぐにクラッシュせずに性能ダウンして処理が継続するという演出がありました。 当時ですらシングルコアコンピューティングの限界が予想されていて、現状のコンピューティングがマルチコア化しているという未来をしっかり予測できていたことがわかります。 演出はコア数に応じてコンピューティング性能がスケールしていることを表現しています。これはマルチコアスケールするソフトウェア実装の未来を示していたと思います。 シングルコア性能向上の頭打ち 2003年以降あたりはCPUの動作周波数が伸び悩み出したところ。 https://queue.acm.org/detail.cfm?id=2181798 より その
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
「VM 時代の開発とKubernetes による Cloud Native な開発のこれから」Infra Study Meetup #2 / infrastudy2-k8s
「VM 時代の開発とKubernetes による Cloud Native な開発のこれから」 Infra Study Meetup #2
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナ・サーバーレスを使えばモダンアプリケーションになりますか？
『家族アルバム みてね』を支えるオンコールエンジニア制度 | gihyo.jp
実践コンテナ & Kubernetes セキュリティ
やらないと後悔するUdemy８選 - Qiita
ユーザーはドキュメントを「読みにくるけれど読んでいない」 “流し読み”しやすいドキュメント作成のポイント
バンディットアルゴリズムを用いた推薦システムの構成について - ZOZO TECH BLOG
Chrome の User-Agent 文字列削減に関する最新情報
Dockerのログ収集方法の調査 - Qiita
「Docker Desktop 2.2」がリリース、WSL 2が利用可能なプレビュー版も
ストレージはつらいよ？ - 赤帽エンジニアブログ
なぜ我々はクラウドゲーミング基盤をKubernetesに移行したのか #CNDT2021｜うなすけ
PHP アプリケーションのトレース計装ではじめる OpenTelemetry 入門 - Shin x Blog
Google Meet REST API の概要 | Google for Developers
Kubernetesをぶち壊す10の奇妙な方法 (前編) - Qiita
Rettyのデータ基盤の歴史と統合 - Retty Tech Blog
KubernetesのモニタリングツールのKubesharkを触ってみた - 仮想化通信
[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO
社内で提供しているマイクロサービスの参考実装について - DMM inside
社内のKubernetesクラスタ運用を効率化する基盤について | さくらのナレッジ
TerraformモノレポCIのセキュア化 | メルカリエンジニアリング
意識低めの成長 - Mitsuyuki.Shiiba