前提 大学1年の終わり頃にプログラミング学習を始めて、ちょうど3年弱くらい経ちました。 数え切れないほどの技術書を読んできましたが、その中でも「これはよかったような気がする！」という書籍を載せておきます。 選出の観点は「面白さ」「わかりやすさ」「その知識が役に立ったか」の３つの観点から総合的に評価しています。 また、原則翻訳されたものがあればそちらを掲載しています。 ところが、僕はO'Reillyのサブスクを契約しているため、ほとんどのO'Reillyの書籍を原文で読んでいます。 そのため、翻訳の精度などについて評価することはできない点をご了承ください。 ※ リンクはアフィリエイトリンクではないので、気にせずご覧ください。 ネットワーク 3分間ネットワーク ネットワークのプロトコルとか以前の最低限の仕組みをトーク形式でわかりやすく話してくれている書籍です。 大学の授業とかを受ける前にこの本
AWSの推進する内製化のあり方について、内製化に向けたステップや人材育成について話す、「エンジニア育成とパートナー活用の両軸で進める内製化促進」。ここでアマゾンウェブサービスジャパン株式会社の相澤氏が登壇。AWSから見た企業の内製化と、エンジニア育成について紹介します。 自己紹介とアジェンダ 相澤恵奏氏（以下、相澤）：アマゾンウェブサービスジャパンでパートナーアライアンス統括本部テクニカルイネーブルメント部のリードをしている相澤と言います。 始めのセッションでは、今AWSから企業の内製化がどういうふうに見えているか。お客さま、パートナーさまからどういう声を頂いているかを15分ほどで説明します。よろしくお願いします。 私の部署では、国内のAWSコンサルティングパートナーの内、約300社に対して技術的なサポートをしています。もう1つ特徴的なのが、エンジニアのイネーブルメントもやっています。パー
Azure OpenAI Service で、Function calling を試してみる - Taste of Tech Topics
こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service（以下、Azure OpenAIと記載します）で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数（とその引数）を特定してくれる」ことにあります。 （名前が「Function calling」なのに、ややこしいですね） Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考
GitHub を使って個人用のタスク管理を開始して数週間がたったので現時点で落ち着いたやり方についてメモっておこうと思います。 注意事項として、クラウドに置いたらダメって言われてる情報は乗せないように注意してね。プライベートリポジトリだと他人には基本見えないけど、そもそも会社のルール的にダメになってるところもあるので、そこらへんは個々人で気を付けてください。 元々は Azure DevOps の Boards 使って管理していたのですが、GitHub の Issues とか Projects とかちゃんと使ったことなかったなと思い、とりあえず失敗しても一番痛くない個人タスク管理を GitHub の方にうつしてみました。 下準備 GitHub のリポジトリを作ります。そして以下のような感じでプロジェクトとマイルストーンとラベルを作ります。 マイルストーン 以下のような感じで 1 月単位で作り
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
この文章は自分のプロジェクトマネジメントとエンジニアリングに対する理解のダンプです。自分はソフトウェアエンジニアなので、ソフトウェア=プロダクトという前提です。なぜエンジニアリングがくっついてくるかと言えば自分はプロダクトマネジャーではないので、プロダクトマネジメントと関わり方としてはプロダクトマネジメントという世界観の中でエンジニアリングをするというスタイルが多いから。 なぜ書いたのだろう。なぜ書いたのでしょうね。多分プロダクトマネジメントが体系化されておらず一人一派な状況なので自分のメンタルモデル持っておきたかったんだと思う。1年後見たときずいぶん考え方変わったなとか実践した結果考えが精緻化されたなとか思えればいいと思ってる。関連: メンタルモデルを作り込むという遊び - 下林明正のブログ プロダクトマネジメントとはなにか プロダクトマネジメントとはなにか？に対する自分の理解は、プロダ
AWSの生成AIサービスである Amazon Bedrock がGAになったので早速使ってみた - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は2023年9月28日に GA となった Amazon Bedrock の紹介と使ってみた感触をお伝えします。 1. Amazon Bedrock とは 2. 利用可能なモデル 3. Anthropic Claude V2 を使ってみた 3.1. Claude とは 3.2. Playground 3.3. 追加設定 4. まとめ 1. Amazon Bedrock とは Amazon Bedrock （以下、 Bedrock ）は AWS 上で使える、大規模言語モデル（ LLM ）の基盤モデルを提供する完全マネージド型サービスです。 2023年9月28日に GA
【Team & Project】LINEのInfrastructure Securityに関わる業務を担当しているチームを紹介します
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEのInfrastructure Securityに関わる業務を担当しているInfra Protectionチームを紹介します。 Infra ProtectionチームのLee Jihoon、Jun Seungnam、Choi Wontae、Vestin Simonに話を聞きました。 Infra Protectionチームのzoom会議の様子 ――まず、自己紹介をお願いします。 Jihoon：LINEのSecurity CenterでI
筆者はよく次のような質問を受ける。「プログラミングプロジェクトで使う分散型バージョン管理システム（VCS）は、『GitHub』と『GitLab』のどちらがよいのか」 まず、社内プログラムを構築するだけの場合は、自社サーバー上で単独で使用できるローカルGitインスタンスがあれば十分だ。Gitは自社サーバーやクラウド上で集中型のVCSとして使用することもできる。VCSを自分で構築できるなら、VCSサービスのサブスクリプションは必要ない。このモデルでは、世界中に散在するチームやパートナーとともにプロジェクトを簡単に運営することができる。 しかし、ホスト型Gitサービスのさまざまな付加機能が必要な人もいるだろう。本記事では、ソフトウェアサービスの違いから、インターフェースと中核的な価値の類似点までを詳しく解説する。 主な違いは、GitLabに継続的インテグレーション／継続的デリバリー（CI/CD）
エンジニアリングマネジメントトライアングル エンジニアリングの話をする前に、プロダクトマネジメントトライアングルという言葉と聞いたことはありますか？ それは、プロダクトマネジメントという言葉の定義、責任をまとめたグラフィックモデルのことです。これはプロダクトマネジメントを探求するために作られました。 かたやエンジニアリングマネジメントも組織やフェーズによって役割が違う、責任もさまざまということから、プロダクトマネジメントトライアングルと同じように思考を整理できるのではないかと考えました。*1 では、このトライアングルをエンジニアリングマネジメントで作るとどうなるのか。Engineering Manager Meetup の有志が作ったので紹介します。 エンジニアリングマネジメントトライアングル 中心にエンジニアリングを置いて、テクノロジー、プロダクト、チームでトライアングルを構成しています
目次 はじめに 私について 私なりの資格取得の意味 AWS全冠を目指した理由 AWS認定について いろいろランキング 自身の軌跡 AWS未経験から推奨したいロードマップ AWS公式のロードマップ 初学者におすすめの一冊 勉強方法 最後に はじめに 先月、AWS認定資格(12種) を全て取得し、いわゆるAWS全冠を達成しました。 達成の軌跡や資格の個人ランキングなどを紹介しますので、AWS初学者や若手で全冠を目指したいという方などの参考になれば幸いです。 私について 記事投稿現在、社会人1年目 大学は情報系を専攻し、プログラミングやコンピュータサイエンスを学習 AWSに関しては、大学在籍中にCLF、SAA、SAPを取得 学部2年の終わりまでは、個人でゲーム作成やWebアプリ、スマホアプリの作成などに大半の時間を費やしており、自分でも引くくらいコード漬けの日々を過ごしていました。。 ひょんなこ
The Unix shell is pure wizardry. With the right incantation of shell spells, you can organise files, process text, compute data, and feed the output of any program to the input of any other. We might even say, paraphrasing Clarke’s Third Law: Any sufficiently clever shell one-liner is indistinguishable from magic. In this article we’ll explore a package called script that aims to sprinkle some Uni
Kubernetesを徹底解説する記事
はじめに 今回の記事では、PythonやRuby等の他の技術には触れているものの、Kubernetesについては初心者であるプログラマーを対象に、Kubernetesを徹底解説する。 Kubernetesとは Kubernetes(通称「k8s」)とは、コンテナ化したアプリケーションのデプロイ、スケーリングや管理を行うためのオープンソースのプラットフォームである。Dockerと同様にGo言語で開発されており、2023年現在において、Dockerと双璧をなすコンテナ技術として利用されている。 Kubernetesが開発された経緯 Kubernetesは、コンテナ化されたアプリケーションを大規模にデプロイし管理するという課題に対処するために開発された。Kubernetesが開発される以前は、コンテナを大規模にデプロイし管理することは、複雑で手動のプロセスであり、多くの労力と専門知識が必要だった
得意なことを突き詰めた結果、今がある。開発基盤エンジニアとして挑戦と成長を続けられた理由 - Findy Engineer Lab
こんにちは！@giginetです。主にiOS分野の基盤開発を行うエンジニアをしています。 この度、僕のキャリアについて語る機会をいただきました。 他の記事を見渡すと、著名なコミッターや、各社のCTOなど、そうそうたる面々が寄稿されており、僕の話などで良いのかなと恐縮しつつ、筆を執らせていただきます。 こんにちは、giginetです 改めまして、@giginetと申します。 2015年に新卒としてクックパッド株式会社に入社後、モバイル基盤部という全社のモバイル開発を横断的に見るチームで6年間、レシピアプリの開発の主導などで、iOSエンジニアとしてのキャリアを積みました。 今年7月よりLINE株式会社、ディベロッパーエクスペリエンス（DX）開発チームに所属しています。 要は、iOS開発者が快適にアプリ開発を行うお手伝いをする仕事です。 また、iOS領域では、株式会社マネーフォワード、チャット小
はじめに こんにちは。ZOZOTOWN開発本部アプリ部バックエンドの髙井です。普段は筋肉のビルドが趣味のエンジニアをやっています。私のチームではZOZOTOWNアプリのバックエンド全般の開発から運用までを行っています。 突然ですが、皆さんご存知でしょうか？ ZOZOTOWNはカスタマーサポートセンターの運営管理や従業員のマネジメント等を総合的に評価する「HDI五つ星認証プログラム」にて、五つ星認証を4回連続で取得しています。これは、CS（カスタマーサポート）対応をする弊社社員の皆さんの愛あるサポートの賜物で、同じサービスに携わる身としてもとても誇らしい気持ちです。 そんなCS対応ですが、問い合わせによっては原因調査をエンジニアが行っています。本記事では、CSからエンジニアに来たお問い合わせ（以後、CS問い合わせと呼ぶ）をまとめたレポート作成の自動化についての事例を紹介します。運用コストを抑
SRE チームをよりサステナブルにするために Vision/Mission/Values を作った話 - スタディサプリ Product Team Blog
小中高 SRE チームで Engineering Manager をやっている @yuya-takeyama です。 Quipper にはスタディサプリ ENGLISH の SRE である ENGLISH SRE チームと合わせて 2 つの SRE チームがありますが、この記事では自分たち小中高 SRE チームについての話です。 少し前の話になるんですが、小中高 SRE チームの Vision, Mission, Values というものをチームで作りました。 Quipper には会社としての Vision, Mission そして Quipper Identities というものがあります。 これらは策定から数年以上経っていますが、Quipper の社員にとって今も変わらず大事なものです。 が、SRE チームにとっては教育や学習に対して直接的に貢献しているとは言いづらい状況です。 そこで
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
日本において、5Gやエッジコンピューティングは過度な期待、DevOpsは幻滅期。ガートナー「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2020年」を発表
日本において、5Gやエッジコンピューティングは過度な期待、DevOpsは幻滅期。ガートナー「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2020年」を発表 ガートナー ジャパンは、「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2020年」を発表しました。 米調査会社のガートナーは、「先進テクノロジのハイプ・サイクル：2020年」など、グローバルな視点で先進テクノロジーの分類を行っていますが、今回発表されたのは日本において、インフラストラクチャのテクノロジーのうち、特に未来志向型と捉えられるものや、トレンドとなっている注目すべき重要なキーワードを取り上げたもの。 ハイプサイクルは、技術の登場から安定までを5つのステージに分けて説明したものです。5つのステージは、「黎明期」から始まり、「『過度な期待』のピーク期」「幻滅期」「啓蒙活動期」「生産性の安定期」まで
［速報］AWS、Docker Hubの代替を狙う「Amazon Elastic Container Registry Public」提供開始。AWS re:Invent 2020
Amazon Web Services（AWS）は、Dockerコンテナのイメージをパブリックに公開できるコンテナレジストリの新サービス「Amazon Elastic Container Registry Public」（ECR Public）の提供開始を発表しました。 現在、Dockerコンテナイメージのパブリックなレジストリとして事実上の標準となっているのは、Docker社が運営するDocker Hubでしょう。 しかしDocker Hubは、今年の11月からアノニマスユーザーからのプルは6時間で100回まで、認証済みユーザーからのプルは6時間に200回までなど、一部で制限を強化しつつあります。 参考：Docker Hub、6カ月使われていないコンテナイメージの削除計画を保留に。従量課金ベースの料金プランを検討へ AWSはこのDocker Hubの代替となるサービスの発表を予告していま
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
【CTO/EM100人に聞いた】約8割がエンジニア採用が難しくなっていると実感。独自性の高い人事制度運用や生産性向上に向けた定量データの利用も増加
【CTO/EM100人に聞いた】約8割がエンジニア採用が難しくなっていると実感。独自性の高い人事制度運用や生産性向上に向けた定量データの利用も増加 Findy代表の山田（@yuichiro826）です。 ハイスキルなエンジニアと企業をマッチングする転職サービス「Findy」、エンジニア組織支援SaaS「Findy Teams」を運営するFindyでは、2022年3月から2022年4月にかけてCTO/VPoE/エンジニアマネージャー向けに「ITエンジニア組織の経営・マネジメントに関する意識調査」を実施しました。 今回、アンケート結果をまとめましたのでご共有いたします。エンジニア組織の運営を担うCTO/VPoE/EM（エンジニアリングマネージャー）にとって参考になる情報となれば幸いです。 ※エンジニア15人以上企業のCTO・EM（n=104）の回答を分析。アンケート実施概要は文末をご参照くださ
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
自身のキャリアの棚卸しをしていると、前職でも現職でも情シスを創設しているということに気づきます。情シス作りがちな人生です。今回は情シスの業務範囲を整理し、経営層には情シスの認知を、既に情シスの人にはキャリアパスのヒントになればと思って書きました。 情シスの変遷 情シス。社内SEなどとも呼ばれたりはしますが、今となってはコーポレートエンジニアと呼称することも多くなってきました。 2000年代までは「社内のPCに詳しい人が担当する」職務でした。待遇もそんなに良くない時代が長いたのは情シスとしては辛いところです。 情シスの持つ役割が強くなったのは2004年頃ではないでしょうか。個人情報漏洩事件が増え始め、専門的な知識に基づいた管理が叫ばれ始めました。 2007年頃になると個人情報漏洩は企業の責任問題に発展するようになり、企業の上場における情報統制の比重が高まり、情シスの持つ管理面での意味合いも強
CISSP 勉強ノート
目次の表示 1. 情報セキュリティ環境 1-1. 職業倫理の理解、遵守、推進 職業倫理 (ISC)2 倫理規約 組織の倫理規約 エンロン事件とSOX法の策定 SOC (System and Organization Controls) レポート 1-2. セキュリティ概念の理解と適用 機密性、完全性、可用性 真正性、否認防止、プライバシー、安全性 デューケアとデューデリジェンス 1-3. セキュリティガバナンス原則の評価と適用 セキュリティ機能のビジネス戦略、目標、使命、目的との連携 組織のガバナンスプロセス 組織の役割と責任 1-4. 法的環境 法的環境 契約上の要件、法的要素、業界標準および規制要件 プライバシー保護 プライバシーシールド 忘れられる権利 データポータビリティ データのローカリゼーション 国と地域の例 米国の法律 [追加] サイバー犯罪とデータ侵害 知的財産保護 輸入と
New Network Provisioning System Leveraging Kubernetes and Cloud Native Open Source
Git15周年 - GitHubとGitLabに聞く
原文(投稿日：2020/04/07)へのリンク 2005年4月7日、今からちょうど15年前、Gitはセルフホストの可能な完成度に到達した。すなわち、コードをコミットするためにGit自身を使用できるようになったのだ。今日、Gitは最も広く使用される開発ツールのひとつとなり、開発者がコードを管理する方法を大きく変えている。InfoQは今回、GitHubの上級(Distinguished)ソフトウェアエンジニアであるJeff King氏、GitLabのシニアデベロッパエバンジェリストであるBrendan O'Leary氏と、Gitの持つ重要性について話す機会を得ることができた。 Gitは元々、LinuxカーネルのSCM問題に終止符を打つために、Linuxの作成者でメンテナであるLinus Torvalds氏の手によって生まれた。氏は当時のLinuxが使用していたSCMであるBitKeeperの代
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
サイトリライアビリティワークブック
既刊書『SRE サイトリライアビリティエンジニアリング』で、サイトリライアビリティエンジニアリング（SRE）はプロダクションサービスの稼働と信頼性の維持がサービス設計の基本であるとし、行動の基礎となる原則と理論を述べました。その実践編であり副読本でもある本書は、SREを組織やプロジェクトで導入するにあたり、必要となる具体的な方法や手順を解説します。またこれまでGoogle内部で得た技術的ノウハウを解説し、さらにEvernote、The Home Depot、New York Timesなどさまざまな企業での事例を紹介します。 クラウドなどの完全に制御できない環境で信頼性の高いサービスを実行する方法、サービスレベル目標に基づくサービスの作成・監視・実行、運用の過負荷を取り除き既存の運用チームをSREに変換する方法、新規開発またはすでに開発が終わったサービスでSREを始める方法などを解説します
2. 吉羽龍太郎 / Ryuzee.com ✤ アジャイル開発/DevOps/クラウドに関する 従量課金型コンサルティングサービスを提供 ✤ http://www.ryuzee.com @ryuzee 4. 時価総額ランキング 2016 2006 1. アップル (6091億ドル) 1. エクソンモービル (4470億ドル) 2. アルファベット (5434億ドル) 2. GE (3840億ドル) 3. マイクロソフト (4487億ドル) 3. マイクロソフト (2940億ドル) 4. Amazon (3969億ドル) 4. CITIグループ (2730億ドル) 5. Facebook (3683億ドル) 5. ガスプロム (3680億ドル) 5. 現在のビジネス状況 ✤ ビジネスの変化がどんどんはやくなっている ✤ VUCA => Volatility (不安定) / Uncertain
OpenAIのChat Completions APIの基本的な利用方法解説 - Taste of Tech Topics
昨年から育てていたバジルがもはや木になりつつある菅野です。 今注目を集めつつある文章生成AIである「ChatGPT」に関して、提供元のOpenAI社は2023/07/07に、「GPT-4」のAPIを有料ユーザー向けに一般公開したことを発表しました。 今回は、その「Chat Completions API」について紹介します。 例えば、自作のWebアプリでChatGPTライクなやりとりを実現したい、 それで入力された文章を加工したプロンプトでChatの応答を得たい、 といったときに、このAPIを使います。 この図のような動きですね。 openai.com Chat Completions API とは？ 「Chat Completions API」は、チャット補完に特化した言語モデルと、それを利用する専用のAPIです。 ChatGPTでも同じ言語モデルを利用しているため、このAPIを利用する
DevOps実装初期フェーズの組織がTerraformとecspressoで求めるAmazon ECS CICDの最適解/AWS ECS CICD with Terraform and ecspresso
Cloud Native Days Tokyo 2022
Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し
JFrog webinar 動画はこちら！: https://www.youtube.com/watch?v=l3AYycWpMqc&feature=youtu.be
さくらインターネット田中氏のサーバ運用経験 新野淳一氏（以下、新野）：本日モデレーターをさせていただきますPublickeyの新野と申します。 今日はCloud Native Talk Night 第4回、本当はリアルでやる予定だったんですが、今日はオンラインで、アイティメディアの会議室からお送りしております。 私が司会で、田中さん、藤原さん、青山さんの3名と一緒に、だいたい60分ぐらいディスカッションをして、そのあとみなさんからの質問を受けて答えていこうと思います。 というわけで、さっそくパネリストを紹介していきたいと思います。僕の横にいらっしゃるのがさくらインターネットの田中さんです。よろしくお願いします。 田中邦裕氏（以下、田中）：よろしくお願いします。 新野：さくらインターネット社長の田中さんは知っている人がたくさんいると思うんですけど、今日のテーマは「運用」ということで、簡単に今
歴史・年表でみるAWSサービス(Amazon EventBridge編) －機能一覧・概要・アップデートのまとめ・入門、Amazon CloudWatch Eventsとの違い－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まったAWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第5弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53について書きました)。 今回はAWSサービスのイベント検知、条件に応じた他のAWSサービスへのイベント連携、イベントの生成などをするAmazon EventBridge(旧Amazon CloudWatch Events)について歴史年表を作成してみました。 今回もAmazon EventBridgeの誕生から機能追加やアップデートを追いながら主要機能を現在のAmazon EventBridgeの機能一覧と概要としてまとめています。 これらが、各AWSサービス
今回は「ITインフラの運用は自動化が進む」という定説と、運用エンジニアのキャリアを再考する。 ここ数年、ITインフラ技術が進歩し、それに伴って運用エンジニアの仕事が様変わりしている。最も大きなITインフラの変化はパブリッククラウドの普及だ。仮想環境が当たり前のように使われるようになり、ITインフラの設定や管理をソフトウエアで定義できるようになった。例えば、仮想マシン（VM）の起動、ネットワークの設定などである。 設定作業をソフトで実行できるため、自動化できる運用作業が増えた。インフラストラクチャー・アズ・コード（Infrastructure as Code）と呼ばれるトレンドだ。以前のように、パスやコマンドを間違えないように注意しながら、手順書に沿って手作業で設定する仕事は大幅に減った。 運用業務がソフトで実行できるようになると、アプリケーション開発者が運用作業の一部を担当できるようになる
AWS Code サービス群を活用して、CI/CD のための構成を構築しよう！のハンズオンをやってみた | DevelopersIO
CI/CD入門ハンズオン AWS DevOps Engineer Professionalの勉強のためにCodeシリーズを触ろうと思ったら、ほどよいハンズオンを見つけたのでやってみました。 AWS Codeシリーズをまとめて学習できるハンズオン git pushからのS3とEC2上にファイルが自動的に配置されるCI/CDを体験 動画見ながら手を動かしても2時間で終わりました ハンズオン動画・資料 AWS Hands-on for Beginners AWS Code サービス群を活用して、CI/CD のための構成を構築しよう！ Agenda 1. 今回のハンズオンので構築する構成の紹介 + ハンズオンで登場するサービスの紹介 2. S3 をデプロイ先とした、CI/CD 環境を構築する【事前準備 + CodeCommit編】 3. S3 をデプロイ先とした、CI/CD 環境を構築する【Cod
【開発者必見】Codeシリーズに最適化された通知サービスNotificationsがリリースされました！ | DevelopersIO
DevOpsやCI/CDに必須なサービスとしてすっかりおなじみになったCodeシリーズですが、今般、そのCodeシリーズに特化した通知サービスがリリースされました。 Introducing notifications for AWS CodeCommit, AWS CodeBuild, AWS CodeDeploy, and AWS CodePipeline Codeシリーズはアプリケーション開発〜運用のライフサイクル全般に関わるものが多く、それらを使っている中でリポジトリに対するプルリクエストの連絡、ビルド結果やパイプラインの実行結果、デプロイ結果などを通知するシチュエーションは非常に多くあります。従来、通知にはCloudWatch Eventsの利用が必須でしたが、今回Notificationsサービスとしてリリースされることで、Codeシリーズの中だけでの設定が可能となっています。
検索アルゴリズム改善における機械学習の活用 〜MLOpsについて〜 - ぐるなびをちょっと良くするエンジニアブログ
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クラウドが好きな大学生が読んで良さげだった本を紹介する - Qiita
内製化のポイントはビジネスとITの密な連携 AWSが推進する、塩漬けにしないためのBizDevOps
GitHub を使って個人タスク管理 - Qiita
Spectre の影響を受けないウェブを作るための概念実証について
プロダクトマネジメントとソフトウェアエンジニアリングについての覚え書き - 角待ちは対空
「GitHub」と「GitLab」を比較--2大Git VCSの相違点と類似点
【EM必読】エンジニアリングマネジメントトライアングルの考察：序 - STEAM PLACE
新卒5か月で転職し、AWS全冠を達成した話 - Qiita
Scripting with Go — Bitfield Consulting
LookerStudioでDevOpsのレポーティングを自動化する - ZOZO TECH BLOG
ウェブ エコシステムの根本的なセキュリティ保護に向けて
情シスの業務範囲が広すぎてキャリアパス迷子になるので整理してみた話｜久松剛／IT百物語の蒐集家
内製DevOps基盤を大きく作り直してみた
ウェブのプライバシー強化: サードパーティ Cookie 廃止への道
基礎からわかるDevOps #devfesta
DevOpsって何だろう / What is DevOps?
クラウドネイティブ時代にOpsの役割はどう変わる？ これからのインフラエンジニアに求められるスキル
「運用エンジニア不要論」は誤り、グーグルが提唱した新概念に注目