新規のテーマより“自分が作りたいもの”を ―歴代卒業生とメンターが語る「サイボウズ・ラボユース」10年間の軌跡 サイボウズ・ラボ（株）が運営する若手エンジニア育成プログラム「サイボウズ・ラボユース」（以下ラボユース）が3月31日に設立10周年を迎えました。これを記念して、プログラム卒業生の秋田大学理工学部 助教 新屋良磨氏、LINE（株）シニアソフトウェアエンジニア 城倉弘樹氏、osdev-jpなどで活動するhikalium氏、そして設立からラボユースのメンターを務め続けるサイボウズ・ラボ（株） 光成滋生氏の計4名をお呼びし、ラボユースの魅力を語ってもらいました。 オンラインで行われた対談の模様、左から新屋良磨氏、hikalium氏、城倉弘樹氏 応募の決め手となったのはメンターの存在 最初にラボユース応募に至るまでの経緯、そして応募の決め手となった要素を伺いました。 新屋：学部
re:Inventセッションに見る、テクノロジー系英語イディオム・表現をまとめてみた #reinvent | DevelopersIO
re:Inventセッションに見る、テクノロジー系英語イディオム・表現をまとめてみた #reinvent データアナリティクス事業本部の川崎です。 re:Inventのセッションタイトルや概要に使われている、英語のイディオムや表現をピックアップしてみました。 なお、本記事をまとめるに当たり、こちらのQiitaのページを参考にさせていただきました。 【参考】 コンピュータ業界でよく出る英語 1. under the hood 車に由来する表現で、直訳だと「ボンネットの下」、転じて システムの裏側の仕組み、動作の仕組み、という意味になります。 タイトルに「under the hood」が使われているセッションは結構多くて、ざっと検索してみたところ、下記のセッションが該当するようでした。 CON423-R - [REPEAT] AWS Fargate under the hood CON323-
先日、縁あってオブザーバビリティ(可観測性)勉強会の講師を務める機会があった。普通に考えれば教壇に立つからにはその分野に大変詳しいことが期待されると思うが、恐るべきことに僕は講師を引き受けるまでオブザーバビリティについて何も知らなかった。 それで慌ててO'Reillyの『オブザーバビリティ・エンジニアリング』やCNCFのwhitepaperなどを熟読し、なんとか「完全に理解」して本番を好評で終えることができたので、記憶が揮発しないうちに肝と思われるポイントをメモしておく。マクロの思想的な側面にフォーカスして、OpenTelemetryなど個々の技術やツールのhowto的な話には触れない。 オブザーバビリティが注目される背景 現代のシステムは全ての構成要素を論理的/物理的に集約する設計（いわゆるモノリシック）から、分散されたコンポーネントの集合体で構成する設計（いわゆるマイクロサービス）へ移
分散ロック： Momentoでより簡単に
DynamoDB Lock ClientをMomentoに置き換える。 分散システムは魔法のようなものです。「どうしてこうなったのかわからない」というような魔法ではなく、常にそうだとは限りません。しかし、ひとたびその複雑さを理解し始めると、すべてが違って見えるようになります。数年前、オンラインでイベントのチケットを購入する際、「10分以内に購入手続きを完了すると座席を確保できます」というメッセージがよく目につきました。当時は何気なく肩をすくめたものだが、今では分散ロックのことを書いているときに、このメッセージを見て知ったような笑みを浮かべています。 分散システムでは、安定性を維持し、さまざまな障害シナリオに対処するために、さまざまなコンポーネントが効果的に協調する必要があります。この調整のための基本的なツールは、可用性が高く、ネットワーク・パーティションに強いロック・メカニズムです。例えば
先進の電子技術で車を変えたい 司会者：今日の登壇者の紹介をいたします。関沢さん、山田さん、鈴木さんになります。よろしくお願いいたします。 関沢省吾氏（以下、関沢）：今から説明をしていきますので、みなさんよろしくお願いします。我々からも上位のチャットを見ることができて、すごくおもしろいですね、これ。 司会者：そうなんです（笑）。 関沢：『TOYOTA Developers Night ～UX/UI設計 × ソフトウェア = クルマの運転席？～』ということで、進めます。 まず私の自己紹介です。関沢省吾と申します。トヨタ自動車で商品魅力・ビジネス強化推進室でグループ長をやっています。以前の僕の写真がちょっと暗めで、みんなから逆光感がハンパないとか、ラスボス感ハンパないみたいに言われていたので（笑）、（スライドを示し）この写真は自分の中でも爽やかなものを選んでみました。 私は入社してからレクサスの
Developers Summit 2022 登壇資料 アプリの世界観が変わり、分散システムが特別な選択肢では無い事も増えてきました。アプリをより小さな単位で構成する概念は広く認知されましたが、一方、データストアの分割、分割されたデータストア間での整合性の確保にはまだ多くの課題があります。 本セッションでは分散システムにおけるデータ整合性と、それを支えるApache Kafkaの役割についてご説明します。また将来のステップとして、ドメイン駆動化されたデータを"Data as a Product"として横断的に活用するData Meshの構想についてご説明します。
LINE流・リライアビリティエンジニアリングの考え方 膨大なトラフィック処理と高いサービスレベルを両立するための工夫 Reliability Engineering Behind The Most Trusted Kafka Platform #1/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Reliability Engineering Behind The Most Trusted Kafka Platform」に登壇したの
プロダクトオーナーの視座から見た信頼性とオブザーバビリティ@SRE NEXT 2023 - Chatwork Creator's Note
こんにちは。藤井 @yoshiyoshifujii です。 来る 2023/10/24(火) Chatwork株式会社 が主催するオンラインカンファレンス『Chatwork Product Day 2023』が開催されます 🎉 lp.chatwork.com カンファレンス応援の第一弾として、当記事は、 2023/09/29(金) に公開しております。 2023/09/29(金) といえば、 SRE NEXT 2023 が開催されます！ 今回、私、SRE NEXT初参加と同時に初登壇させていただきますので、どういった発表をする予定かを書かせていただくと共に、Chatwork Product Day 2023を応援させていただきます！ SRE NEXT 2023 で私が登壇させていただく概要は、以下となります。 プロダクトオーナーの視座から見た信頼性とオブザーバビリティ アジェンダは、以下
本稿ではマイクロサービスアーキテクチャでの利用が可能なワークフローエンジンのZeebeを紹介します。このZeebeを利用することによって、開発者はマイクロサービスにおけるサービス間の連携をグラフィカルに記述することができ、またアプリケーションの実行状態を監視することも可能になります。 はじめに 最近のシステム開発では、マイクロサービスアーキテクチャと呼ばれるアプリケーションを疎結合なサービスで構築するアーキテクチャを検討することが増えてきています。 マイクロサービスでは複数のサービスを組み合わせてアプリケーションが実現されるため、アプリケーションが複数のサービスを横断してどのように組み立てられているか、またそれぞれのサービスの状態をどのように監視していくかは重要なポイントとなっていくでしょう。 実際のマイクロサービスの現場でも、複数のチームをまたいで一連の取引を組み立てる場合には、全体でど
お詫びと訂正 おまけ２ の内容に関して誤りの情報を記載していたので、修正いたしました。(2020/6/6 22:55) またコメントで大変丁寧にご指摘&アドバイスをくださった@souchi00さん、ありがとうございます🙇♂️ 追記(コンテナについて)(2020/6/8 11:10) @inductorさんがコンテナに関するわかりやすい資料を紹介してくださいました！ https://www.slideshare.net/zembutsu/what-isdockerdoing コンテナについてより詳細を知りたい方は是非ご覧になってください ### 追追記(2020/6/8 12:30) 本記事で何点か誤った表記があったので、コメントで指摘くださった方々のアドバイスの元修正しております。(本文中でも修正しておりますが、コメント欄を見ていただければより詳細がわかると思います。) 以後このような
Bitcoinの革新性が導くWeb 3 ―cryptoeconomicsという方法論とトラストレス―, 情報処理, 2020年 2月
Bitcoinの革新性が導くWeb 3 ― cryptoeconomicsという方法論とトラストレス ― 首藤 一幸 首藤一幸: "Bitcoinの革新性が導くWeb 3 ―cryptoeconomicsという方法論とトラストレス―", 情報処理, Vol.61, No.2, pp.176-180, (一社)情報処理学会, 2020年 1月 15日 概要 暗号通貨Ethereum創始者の1人Vitalik Buterin氏は、 Bitcoinの発明はcryptoeconomics、 つまり、暗号と経済的動機付けを組み合わせる方法論であった、と述べました。 その通り、暗号通貨の価値やブロックチェーンの機能は、 お金を欲しがる皆の気持ちによって支えられています。 一方で、皮肉なことに、それはまたお金によって破られ得ます。 また、暗号通貨の価値が下がるとブロックチェーンの機能が危険にさらされる
概要 前回のRedisを使った分散ロックでは、正確なロックを取るためにはZookeeperやetcdを使うと良い、とまとめていました。 なので今回はetcdを用いて分散ロックを実現します。 環境 etcd v3.4.15 pkg.go.dev/go.etcd.io/etcd v3.5.0 go 1.16.0 事前知識 分散ロックに必要なもの 分散ロックマネージャには以下の機能が必要です。 自動リース機能 CAS フェンシングトークンを発行する機能 １つ１つ説明していきます。 自動リース機能 ロックを取得したクライアントが何らかの要因で落ちた時、そのロックが解放されないままだと他のクライアントは永遠にロックを取得することができません。 したがって、ロックを取得したとしても、自動的に解放されるようTTLを付ける必要があります。 またこのTTLの管理はクライアント側でなく分散ロックを提供する側の
10,000時間のプログラミングを振り返って
Matt Rickard Kubernetes開発者ツールの構築および保守していた元Googleのソフトウェアエンジニア この記事は、著者の許可を得て配信しています。 Reflections on 10,000 Hours of Programming どんな技術でも、世界レベルの専門知識を得るためには、正しい方法で、合計10,000時間ほど時間をかけることが重要である -マルコム・グラッドウェル『Outliers』より まあ、確かに私は世界的な専門家ではありませんが、プログラミングに10,000時間ほど費やしてきました。それで今回ここでは、私のプログラミングに関する31の考察を紹介したいと思います。 これらは純粋なコーディングについての考察であり、「プログラミングは人である」や「上級技術リーダーになるには」といった教訓めいたものは書いていません（そういったものは間違いなくキャリアにとって
システムを使う上で、障害を完全になくすことはできません。そして、いざ障害が発生し、システムが正常に動作しない状況に陥ると、多大な損害が発生することもあります。そのため、システム構築では障害に備えて冗長性を確保し、事前に障害検証を行い、障害が起きてもシステムが正常に動作することを確認します。 しかし、現在の主流である「分散システム」は、多数のサービスを組み合わせることで1つのシステムを実現させるため、規模が大きくなるにつれてシステムが複雑化していきます。それに伴い、障害検証の負荷も増えています。さらに、昨今コンテナを利用した「マイクロサービス化」によって、ますますサービスの数が増えて、システムの複雑化が一段と進んでいる状況です。既に人力だけでは障害検証を行っていくことが難しくなってきました。 そんな中、登場してきたのが今回お話する「カオスエンジニアリング」です。 Chaos Meshとは カ
DataSolution事業を支える技術
本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 ヤフーのData Solution事業（以下、DS事業）では、データの力で「日本全体を元気にしたい」という思いから、これまで自社サービス改善のために活用してきたビッグデータを使ったデータ分析サービスを展開しています。 （プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています） ビジネスの上流工程における商品企画のほか、物流の最適化など、さまざまな用途にご活用いただけるサービスです。具体的なプロダクトとしては、「DS.INSIGHT」「DS.API」「DS.DATASET」の三つのほか、アナリストが最適なソリューション提案を行う「DS.ANALYSIS」を合わせた
ＡＷＳ単語帳 - Qiita
AWSクラウドプラクティショナー試験の学習用にまとめた単語帳です。 https 「HyperText Transfer Protocol Secure」の略称で、インターネット上のHTTP (HyperText Transfer Protocol)通信が、SSLによって暗号化 SSL/TLS SSL（Secure Sockets Layer）とTLS（Transport Layer Security）は、いずれもインターネット上でデータを暗号化して送受信する仕組み。 ウェブサイトから情報を送信する際に、送信する情報を暗号化する為に利用。 SSH 「Secure Shell」の略で、ネットワークに接続された機器を遠隔操作し、管理するための手段です。ポイントはSecure（安全）に！で、そのために必要な仕組みが用意 Linux のEC2インスタンスを起動した後、アクセスして操作する際にSSHで
【要注目】Kindle技術書50%以上OFFセール7月5日まで開催（インプレスグループ10社合同フェア） - 仮想サーファーの日常
Amazonで、Kindle本が50％以上OFFになっているキャンペーンが開催されています！ 開催期間は2020年6月26日（金） ～2020年7月5日（日）で、 50%以上OFFは、自分の観測範囲では前回の開催がGWでしたが、その時にセールになっていなかった技術書が多数セール対象になっているので要注目ですね。 これだけ多くの技術書が50％OFFになる機会は多くないので、この機会にほしい本がないかチェックしておきたいところ。 【【最大50%OFF】2000冊以上対象 インプレスグループ10社合同フェア（6/26~7/5）】を見てみる この記事では、一気に技術書を読んで技術力を伸ばしたい方向けに、学びたい分野別にKIndleセール本をまとめました。 プログラミング言語を学ぶ HTML/CSSに入門したい 初心者からちゃんとしたプロになる HTML+CSS標準入門 おの れいこ (著)、エムデ
Elasticsearchは非常に柔軟で機能が豊富なアプリケーションであり、多数のさまざまな方法でデータをクエリできます。しかし、期待しているよりも実行速度の遅いクエリを経験したことはありませんか？Elasticsearchのような分散システムでは、ロードバランサーの設定、ネットワークレイテンシ（帯域幅、NICカード/ドライバー）など、さまざまな要素がクエリのパフォーマンスに影響を与える可能性があります。 このブログでは、クエリの実行速度の低下を引き起こす原因と、それらをElasticsearchのコンテキスト内で特定する方法を説明します。この記事では、Elasticsearchの一般的なトラブルシューティング方法を使用するため、ある程度Elasticsearchの仕組みに精通していることが必要になる場合があります。 Elasticsearchでのスロークエリの一般的な原因扱いが難しいケー
『データ指向アプリケーションデザイン』を読み始めた。本文だけで605ページという大著なので、少しずつ読み進めていきたい。 データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理 作者: Martin Kleppmann,斉藤太郎,玉川竜司出版社/メーカー: オライリージャパン発売日: 2019/07/18メディア: 単行本（ソフトカバー）この商品を含むブログを見る 第I部 データシステムの基礎（1〜154ページ） 1章 信頼性、スケーラビリティ、メンテナンス性に優れたアプリケーション（3〜27ページ） 2章 データモデルとクエリ言語（29〜71ページ） 3章 ストレージと抽出（72〜117ページ） 4章 エンコーディングと進化（119〜154ページ） 第II部 分散データ（155〜422ページ） 5章 レプリケーション（161〜213ページ） 6章 パーテ
Gartnerは2024年5月16日（米国時間）、2024年以降のソフトウェアエンジニアリングにおける戦略的テクノロジートレンドのトップ5を発表した。 Gartnerのバイス プレジデント アナリストのヨアヒム・ヘルシュマン氏は「Gartnerが発表したテクノロジートレンドは、アーリーアドプターがビジネス目標を達成する上で既に成果を挙げている。これらの革命的なツールやプラクティスにより、ソフトウェアエンジニアリングチームは、ソフトウェア開発ライフサイクル（SDLC）における労力やストレスを減らし、開発者体験や生産性を向上させながら、高品質でスケーラブルなAI（人工知能）搭載アプリケーションを提供できる」と述べている。 Gartnerが発表した戦略的テクノロジートレンドのトップ5は次の通り。 戦略的テクノロジートレンドトップ5 1.ソフトウェアエンジニアリングインテリジェンス 関連記事 20
1 マイクロサービスとは マイクロサービスは、小規模なサービス（機能）を疎結合で組み合わせて1つのアプリケーションを構成するアーキテクチャ（システムの構造）です。各機能はそれぞれ独立して動作し、ネットワークを介してタスクを処理します。 マイクロサービスはクラウド技術と相性が良く、機能変更や拡張に対する柔軟性の高さ、またユーザーのニーズに迅速に対応できる開発スピードの速さから、採用するシステムが増えています。 2 マイクロサービスの特徴 マイクロサービスには以下のような特徴があります。 2.1 サービスの自律性 各サービスはそれぞれ機能とデータを持っていて、他のサービスから独立して動作します。これにより、システム全体を小さな部品として分けて管理しやすくなります。 2.2 疎結合 サービス間の依存関係を最小限に抑えるように各サービスを設計することで、特定のサービスに対する変更や更新が他のサービ
Amazon Builders’ Library をご覧ください–これが私たちのやり方です！ | Amazon Web Services
Amazon Web Services ブログ Amazon Builders’ Library をご覧ください–これが私たちのやり方です！ Amazonのお客様は、私たちがビジネスをどのように構築し、運営しているかについてもっと知りたいとよく言っています。小売業では、Amazon Fulfillment Centerを視察し、倉庫の整理方法を確認します。法人のお客様は、しばしば当社のリーダーシップ原則について質問し、時には彼ら自身の使用のためにそれらを採用します（そしてそれから適応させます）。私は定期的に彼らを私たちのエグゼクティブ・ブリーフィング・センター（EBC）にお迎えし、長期的な成功の一環として失敗を受け入れる、考え方や、私たちの技術革新の軽いチャーなどについて話をしています。 私たちのビジネスを取り巻く同じ好奇心が開発文化を取り囲んでいます。Amazon.com、AWS、その他
「このブログはほぼ毎日更新しているという体裁だが、実際はリアルタイムに更新できていない、ある意味毎日更新という結果整合性だけが伴っている。」という話なんだけど、結果整合性ってなんだっけ、というのまっさらな話からざっくり理解するためのメモ 言葉の意味 分散データベースの文脈で使われることが多く、データの更新の一貫性を即時担保するものではなく、更新後に一定時間経過していれば正しく更新データを取得できるという整合性の考え方 英語を直訳すると『最終的な一貫性』となり、和訳では『結果整合性』という訳が当てられ、2つの意味を統合すると直感的にわかりすい。 解説 言葉としては分散システムで使われる事が多い。分散システムでは同一のデータを複数のコンピュータやシステムに分散して配置し、データそのものも複製して配置する。単一のシステムであればDBも単一なので問題ないが、分散化することによりDBも複製して配置す
【増枠しました】第53回情報科学若手の会 #wakate2020 【オンライン開催】 (2020/09/26 14:00〜)
2020/9/13 当日のメインセッション及びナイトセッションの配信環境について記載いたしました。 情報科学若手の会とは 情報科学若手の会とは、情報科学に携わる学生、若手研究者、エンジニアのディスカッションと交流の会です。幅広い分野から参加者を募り、互いの交流を深めることで新たな発想が生まれることを目指しています（前回の開催報告）。インフォーマルな雰囲気ですので、これから研究を始めるという方も是非ご参加下さい。 不明な点は info at wakate.org までご連絡下さい。 招待講演 登 大遊 様 1984年生まれ。博士(工学)。2003年筑波大に入学後、IPA未踏事業でSoftEther VPNを開発し、けしからん外国政府ファイアウォール貫通システム等を研究。2004年ソフトイーサ設立。2017年筑波大学産学連携准教授。2018年IPAサイバー技術研究室長。2020年NTT東日本特
Object-Oriented Conference概要 ※イベント及びセッションの概要は公式HPから引用しました。 2020.02.16 SUN 10:00 - 17:00 お茶の水女子大学 #ooc_2020 Object-Oriented Conference はオブジェクト指向をテーマに、あれこれ共有したり、セッションを聴講することで、みなさんの知見を深めるためのイベントです。 オブジェクト指向といっても、分析設計から、現場で活かすためのプラクティスなど様々なテーマがあります。セッションやラウンドテーブルなどを通じて、参加者の皆様が新たな発見を持ち帰っていただけるようなイベントを目指しています。 オブジェクト指向についてまったく知らない方やオブジェクト指向を完全に理解した方、そして普段オブジェクト指向以外のパラダイムを利用している方もお気軽にご参加ください！ 開会の挨拶 オブジェク
Istio、Cloud Native Computing Foundationの正式なプロジェクトとして採択されたと発表。これでクラウドネイティブの基盤ソフトウェアはほぼ全てCNCF傘下に
Istio、Cloud Native Computing Foundationの正式なプロジェクトとして採択されたと発表。これでクラウドネイティブの基盤ソフトウェアはほぼ全てCNCF傘下に Istioの開発チームとCloud Native Computing Foundation（CNCF）は、IstioがCNCFのインキュベーションプロジェクトとして正式に採択されたことを発表しました。 Welcome @IstioMesh into the CNCF Incubator!https://t.co/AhwgxUTvDs pic.twitter.com/PYQlvV808e — CNCF (@CloudNativeFdn) September 28, 2022 Istioは、Google、IBM、Lyftなどが中心となって2016年に開発が開始されました。特にGoogleはこのIstioをK
こんにちは。クラスメソッドグループの総務を担当しているアノテーションのozakiです。CLF取得のみ、AWSを触ったことがない状況からSAAを取得するまでの勉強方法についてまとめました。 受験のきっかけ 社内で資格取得が推奨されており、会社の資格取得支援制度も大変充実していてチャレンジできる環境が整っていることがAWSを学習するきっかけとなりました。 また、クラスメソッドグループの総務を担当していて直接AWSを業務で使用することはなくとも「どんな会社で働いているの？」と聞かれた時にうまく答えられずにいたので基本は学びたいと思うようになりました。 まずクラウドへの理解と基礎的な AWS の知識を習得するためにCLFを受験しました。学習していくうちに、AWSはインフラ構築が簡単にできるだけでなく様々な用途に応じたサービスを提供することで社会に貢献していて本当に便利なサービスであることに感動し、
Daprが提供する主要な機能について理解してみる - Daprの基本とService-to-service invocationについて
Daprが提供する主要な機能について理解してみる - Daprの基本とService-to-service invocationについて Daprとは？ 公式サイトリポジトリMicrosoftがオープンソースとして公開しているマイクロサービス/分散システム向けのランタイムです。 現在(2019/12)はまだアルファ段階です。 Note: Dapr is currently under community development in alpha phase. Dapr is not expected to be used for production workloads until its 1.0 stable release. 読みはyoutubeでMicrosoftの人が話してるのを聞くと「ダッパー」と聞こえます こちらの記事によると、もしくは「ダパァ」らしいです。 名前の由来はAzu
分散システムにおけるScalableな名前付けアルゴリズム「Chord Protocol」を実装してみた - Enjoy Architecting
概要 分散システムを学術的に学びたくて、 Chord Protocolというアルゴリズムが面白かったので実際に論文を読んで実装してみました。 この記事では、分散システムにおける名前付けの概念と、Chord Protocolの紹介、簡単な検証について言及していこうと思います。 実際に作ったサーバ 分散システムにおける名前付けとは？ 分散システムの分野には「名前」、「名前付け」、「アドレス」と呼ばれる概念があります。 それぞれどのような意味を持っているのでしょうか？ 名前付けと名前 分散システムはネットワークを通じてそれぞれのサーバ、プロセスが協調して動作しています。 この中で、各サーバ、プロセスはやり取りをする相手の「名前」を知らなければやり取りを行うことができません。 この名前の解決を行うことを「名前付け」と呼んでいます。 そして、あるリソース（特定のプロセス、サーバなど）を一意に特定する
[随時更新] re:Invent2019 SageMaker関連エントリーまとめ #reinvent | DevelopersIO
re:Invent2019では、SageMakerのアップデートがたくさん発表されました。 本記事では、SageMakerに関連したセッションレポートや新機能紹介記事をまとめていきます。 随時更新していきますので、ぜひブックマークしてご確認ください！ 目次 新機能、新サービス系 セッション系 新機能、新サービス系 SageMaker Studio（ブラウザベースのIDE） ブラウザベースで共同開発もできるIDEがリリースされました。 また、単にコードを書くだけではなく、「コードの実行」や「Amazon SageMaker Experiments」、「Amazon SageMaker Processing」、「Amazon SageMaker Debugger」等々のサービスと統合されているため、今後SageMakerで開発をする上でとてもお世話になりそうなサービスです。 こちらのサービス、
![[随時更新] re:Invent2019 SageMaker関連エントリーまとめ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ba8beebcc37b25dc7ff579a4dfe66d94571b792/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_eyecatch.jpg)
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その5(最後の翻訳)- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 blog.inductor.me 今回で翻訳は最後になります。前回のエントリーはこちらです。 blog.inductor.me 8. 教訓と今後の課題(Lessons and future work) このセクションでは、10年以上にわたって本番環境でBorgを運用してきたことから学んだ定性的な教訓のいくつかを説明し、Kubernetesの設計でこれらの考察がどのように活かされているかを説明します[53]。 8.1 学び: 失敗談 まずは、「訓話」として話すのにちょうど良いBorgが持ついくつかの機能から始め、Kubernetesではこれを避けるためにどのように設計したかも合わせてご紹介します。 ジョブは、タスクの唯一のグループ化メカニズムとして制限されています。Borgには、マルチジョブサービス全体を単一のエンティ
モノリスからマイクロサービスへ_読書メモ.md 必要十分なマイクロサービス マイクロサービスとは マイクロサービス とは、ビジネスドメインにもとづいてモデル化された、独立してデプロイ可能なサービス。 サービス同士はネットワークを介して相互に通信してシステムを形成する。 マイクロサービスは何らかの技術に依存しない。 マイクロサービスはデータの保存や検索をカプセル化し、適切に定義されたインタフェースを介してデータを公開する。 データベースはサービス境界の内側に隠されることになる。 独立デプロイ可能性 独立デプロイ可能性 とは、あるマイクロサービスに対する変更を、他のサービスに影響を与えることなく本番環境へデプロイできる、という考え方のこと。 独立デプロイ可能性を保証するには、サービス同士が疎結合である必要がある。 つまり、他の変更することなく、あるサービスを変更できなくてはならない。 そのため
キーワード 分散システム、一貫性モデル、CRDT、結果整合性 はじめに Atomエディタの共同編集機能を支える技術に関する論文1 2を読んでみました ざっくりメモを残そうと思います 理解が不十分な部分や省略があり、詳細は元ネタ要参照です Teletype (beta) for Atomとは Atom用の共同編集用プラグインです Google Docsのように、複数ユーザーが1つの文書をリアルタイムで編集できるようになります オンラインエディタの動作 オンラインエディタは内部的に下記のフェイズからなると思います 編集フェイズ ローカルでの挿入・削除 反映フェイズ リモート（別編集者のエディタ）へ反映 編集フェイズ Site1: 1が挿入され a1b に。 Site2: 2が挿入され a2b に。 各編集内容がネットワーク経由でやり取りされます 反映フェイズ Site1: 2 の挿入が反映され
Chaos Meshのメンテナは2020年9月25日（米国時間）、Kubernetes環境でカオスオーケストレーションを実行するオープンソースのクラウドネイティブなカオスエンジニアリングプラットフォーム「Chaos Mesh 1.0」の一般提供開始を発表した。 カオスエンジニアリングとは、小規模な異常（フォールト）を実システムに与え、複雑なシステムの脆弱（ぜいじゃく）性や弱点を発見する手法だ。 Chaos Meshは、Cloud Native Computing Foundation（CNCF）でホストされているサンドボックスプロジェクト。CNCFは、クラウドネイティブアプリケーションの開発運用関連のオープンソースプロジェクトをホストするなどの活動を進めている団体だ。 Chaos Meshは、分散データベース「TiDB」のテストフレームワークとして開発が始まっており、分散システムで発生する
運用の可視性を高めるために分散システムを装備する
大学卒業後に Amazon に入社したとき、最初のオンボーディングの練習の 1 つは、amazon.com ウェブサーバーを開発者のデスクトップで起動して実行することでした。最初の試行はうまくいきませんでした。何を間違えたのかすらわかりませんでした。親切な同僚が私に、ログを見て何が間違っているのかを確認するように提案しました。彼は、そのために「ログファイルを猫にする」べきだと言いました。 私は、彼らが何らかのいたずらをしているか、私には理解できない猫に関する冗談を言っているのだと確信しました。私は大学で Linux のみで、コンパイル、ソース管理、およびテキストエディタを使用しました。そのため、「cat」が実際に端末にファイルを出力するコマンドであり、別のプログラムにフィードしてパターンを探せるものだとは知りませんでした。 同僚に、cat、grep、sed、awk などのツールを教えてもら
2020/06/24 に公開された「Multi-Raft — Boost up write performance for Apache Hadoop-Ozone」の翻訳です。 関連リンク Apache Hadoop Ozone: Apache Hadoop 用のオブジェクトストアの紹介 Apache Hadoop Ozone: オブジェクトストアの概要 Apache Hadoop Ozone — オブジェクトストアのアーキテクチャー Ozoneのベンチマーク: CDP用Clouderaの次世代ストレージ Apache Hadoop Ozone セキュリティ — 認証 この記事は、Li Cheng, Software Engineer, Tencent Inc.による寄稿です 本番環境で Hadoop-Ozone を利用するApache Hadoop Ozone は、ビッグデータプラットフ
AWS Lambdaファンクションをトレースする正しい方法
それにもかかわらず、AWS Lambdaは依然として、クラウドネイティブの他のトピックの1つ(可観測性)の定義といささか対立しています。LambdaはメトリックスとログのCloudWatch、分散トレースのX-Rayと統合されていますが、プロダクション環境の関数の何が問題であるかを理解することは依然として大きな課題です。 分散トレースに重点を置いて、この記事では、AWS Lambdaが今日のコンピューティングランドスケープで活用されているユースケースに基づいて、可観測性を取得してAWS Lambda関数に活用するためのベストプラクティスについて説明します。 Lambdaはなぜこれほど成長しているのでしょうか？ AWS Lambdaを使用すると、ユーザは、たとえばHTTPリクエストを処理するために同期的に、または他のAWSサービスによって生成されたイベントに反応するために非同期的に実行される
Amazon Web Services ブログ AWS IoT を利用して IoT デバイスの証明書の更新を管理する方法 この記事は Ryan Dsouza と Lukasz Malinowski によって投稿された How to manage IoT device certificate rotation using AWS IoT を翻訳したものです。 はじめに IoT (Internet of Things) は、さまざまな業界でビジネスオペレーションやカスタマーエクスペリエンスを変化させています。この無限のチャンスはビジネスの変革を可能にしますが、正しく導入されなければ、セキュリティ、リスク、プライバシーの懸念をもたらし、データやブランドを危険にさらすことにもなります。産業設備では OT(Operational Technology) 環境は、生産高と効率を向上させるために、より多
WebのCache-Control - Qiita
はじめに Webは、HTTP通信による単なるクライアントサーバシステムではなく、受け取ったHTTP Responseをキャッシュして再利用することを、基盤に組み込んでいます。 HTTPのCache-Controlヘッダを使ってキャッシュ制御のヒントとなる情報を通信相手に提示し、ブラウザやWebサーバといった受け手それぞれがその情報をもとに自律的に振る舞うことで、Webでは分散システムとしてキャッシュ制御が成立しています。 このキャッシュ機構の存在によって、ブラウザからは通信なしでもハイパーリンク関係を処理できる状況が少なからず成立し、この結果、Webは通信効率の良いネットワークシステムとなっています。 この記事では、まず、Webでのキャッシュ制御が想定するモデルについてまとめ、そして、このモデルに対して、リクエストレスポンス双方のCache-Controlヘッダの値がどのようなキャッシュ制
開発効率、運用性、保守性のカギを握る「アーキテクチャ」選定ポイントとは？──ISIDの現役アーキテクトがアーキテクチャの学習ステップを解説 - TECH PLAY Magazine
アーキテクチャが不在のレガシーコードは、エンジニアを疲弊させ、ビジネスのスピードも遅延させてしまう。そんな事態を避けるためには、開発の開始段階から適切なアーキテクチャを導入することが重要だ。そもそもアーキテクチャとは何なのか。どのような種類があり、どれを選択すればよいのか。設計や実装における注意点なども含め、電通国際情報サービス（以下、ISID）の現役アーキテクトが解説する。 アーキテクチャの定義、プロジェクトにおける設計・実装を解説 株式会社電通国際情報サービス Xイノベーション本部 エンタープライズプラットフォームセンター チーフアーキテクト 米久保 剛氏 最初に登壇したのは、2008年にISIDにジョインした、米久保剛氏だ。米久保氏はアーキテクトとして複数の大型SI案件への参画を経験した後、現在は非IT部門の担当者でもノーコードで、社内の各種申請業務を電子化するワークフローシステム「
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新規のテーマより“自分が作りたいもの”を ―歴代卒業生とメンターが語る「サイボウズ・ラボユース」10年間の軌跡 | gihyo.jp
オブザーバビリティについて理解したこと - 流沙河鎮
表面的な観察で終わるな、現場でものを見よ トヨタ自動車が目指すユーザーファーストの設計
Microservice, Data, and Data Mesh
LINE流・リライアビリティエンジニアリングの考え方 膨大なトラフィック処理と高いサービスレベルを両立するための工夫
マイクロサービスオーケストレーションを助けるZeebe | オブジェクトの広場
Dockerとはどういったものなのか、めちゃくちゃ丁寧に説明してみる - Qiita
etcdを使った分散ロック - Carpe Diem
Chaos Meshによるラックのカオスエンジニアリング、あえて障害を起こす最新手法を検証 | LAC WATCH
高度な調整：Elasticsearchでのスロークエリの発見と修正
『データ指向アプリケーションデザイン』を読む（１）：タイトルについて - こまぶろ
Gartner、ソフトウェアエンジニアリングのテクノロジートレンドトップ5を発表
「マイクロサービス」の構成や特徴を、図とテキストで学ぼう
ざっくり知る「結果整合性（Eventual Consistency）」 - コード日進月歩
Object-Oriented Conference参加メモ - Qiita
【AWS認定試験】IT未経験総務のAWS認定SAA合格までの振り返り | DevelopersIO
モノリスからマイクロサービスへ_読書メモ
Atom の 共同編集機能 を支える技術について調べてみた - Qiita
Kubernetes向けカオスエンジニアリングプラットフォーム「Chaos Mesh 1.0」が公開
Multi-Raft: Apache Hadoop Ozoneの書き込みパフォーマンスを加速する
AWS IoT を利用して IoT デバイスの証明書の更新を管理する方法 | Amazon Web Services