2021年4月1日、サイバーエージェントに73名の新卒エンジニアが入社しました。今年のエンジニアコースの研修は、昨年同様にオンラインで実施。オンラインでも、技術はもちろんのこと、働く上で大切なチームワークや組織における役割についても学べるよう工夫を凝らしました。今回は、研修内容や工夫したポイントをお伝えするとともに、実際に使用した講義資料を公開します。 ■「チーム開発の準備ができていること」が研修の目標 約1ヶ月かけて行った研修では、６つの講義とチーム開発ワークを実施しました。研修のゴールとしていたのは、新卒エンジニア全員が「チーム開発の準備ができていること」。 サイバーエージェントでは、これから会社を牽引していくエンジニアに必要な要素として「チームワーク」を掲げています。当然ながら、個人でできることは限られています。チームがあることは、世の中を驚かすサービスをつくるためにプラスに働く。チ

開発本部 People Experienceチーム オンボーディング担当の久宗(@tignyax)です。 2023年もエンジニア新人研修を行いましたので、軽い紹介と、講義資料および一部講義動画を公開いたします。 2023年のエンジニア研修について コンセプト 今年のエンジニア研修のコンセプトは以下です。 （例年のコンセプトからアップデートを行いました。） 『新入社員メンバーに、"自信を持ってチームにジョインできた!" 』 コンセプトを実感できるように、以下のことを学んだり体験してもらえるようなエンジニア研修を設計していきました。 開発・運用本部のチーム/人や体制、風土/文化 これからのチーム活動となる前提、共通の知識 具体的な方法としては以下のコンテンツになります。各コンテンツにもそれぞれコンセプトを設定しました。 学習コンテンツ（リアル講義・動画視聴） チーム体験 配属面談 実践演習 ス

23新卒技術研修で実施しコンテナ研修の講義資料です。 動画：https://youtu.be/Dk0isJQ6a80 資料の続き（Kubernetes編）： https://speakerdeck.com/mixi_engineers/2023-container-training-num…

Python早見帳は、プログラムと実行例をカタログ的に提示しながら、Pythonの言語仕様やライブラリを紹介しています。Pythonの基礎を素早く習得したり、ライブラリやオブジェクトの使い方を確認することができます。

オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。

オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。

Word2vecやfastText、Gloveなど、Word Embeddingの方法は広く普及してきており、外部から学習済みのEmbeddingデータをインポートし、そのベクトルを手元のデータセットに適用し利用するケースも増えています。 学習済みEmbeddingを効果的に利用するためには、一般的な自然言語の前処理とは異なるアプローチが必要らしいです。次のKernelでは、ゴールデンルールとして紹介されていますので、このブログで触れたいと思います。 How to: Preprocessing when using embeddings | Kaggle 目次 そもそもEmbeddingとは 2つのゴールデンルール 利用するデータセット 適用先のデータセット データセットのVocabularyを作成 学習済みEmbeddingの読み込み vocabと外部Embeddingの単語の重複チェッ

こんにちは、２年目新卒入社の開発チーム、近藤です。 近年ChatGPTの登場により、生成AIの注目度が急激に高まっています。 ChatGPTの注目度が上がった要因として、今までのチャットボットとはくらべものにならないほどに柔軟なやりとりができるようになったことが挙げられます。 自然言語をコンピュータで扱う自然言語処理（NLP）の分野は、GPTの使用により大きく進歩しました。 ここで紹介するのはEmbeddingという手法です。 自然言語処理におけるEmbeddingとは、単語や文といった自然言語の情報を、その単語や文の意味を表現するベクトル空間に配置することです。 配置することで、その位置関係から要素同士の関係性を数値で扱える様になり、検索エンジンやレコメンド機能、チャットボットなど様々なものに利用できます。 例えば検索エンジンで利用する場合、キーワード検索では、キーワードが含まれている文

これは、自分が初学者であるので、間違いなどがあるかも知れません。 ご了承ください。 embeddingとは数次元のベクトル空間に文字をマッピングする手法で、よくtransformerとかstable diffusionの説明に使われていますが、よく分からない部分が多いので実際に学習してみました。 試しに１０個の果物の単語をembeddingしてみます。 # フルーツのリスト fruits = ['apple', 'banana', 'cherry', 'date', 'elderberry', 'fig', 'grape', 'honeydew', 'italian_lemon', 'jackfruit'] # フルーツと整数値をマッピングする辞書 fruit_to_int = {fruit: i for i, fruit in enumerate(fruits)} print(fruit

はじめに ベクトル検索の一連の流れを確認し、各プロセスの処理内容と登場する用語の意味を解説します。次に、各プロセスで使用される機械学習モデルやアルゴリズムの例を挙げ、それらの特徴について一覧化しました。 この記事の続きとして後日、紹介した機械学習モデルとアルゴリズムの一部を使った実験の結果を共有しようと思います。 ベクトル検索とは？ ベクトル検索はテキストや画像、音声などの非構造化データを分散表現（ベクトル）に変換することによって、関連性の高いコンテンツを探し出す検索手法の一つです。従来のキーワード検索ではその事柄を説明でき、理解していたとしても、語彙が分からない場合に検索精度が思うように出ない可能性があります。一方、ベクトル検索は意味内容からコンテンツを検索できることから、これらの制約を受けづらいという特徴があります。 ベクトル検索のフロー 非構造化データのベクトル化 テキストや画像、音

CDKを最初に試して見るには非常に便利なCDK Workshopの紹介です。ぜひこれでCDKの奥深い新鮮な世界に入門いただければ。 「俺もそろそろ乗らなくては、この、ビッグウェーブに！！」 皆さん、CDK触っていますか？DevelopersIOにも、CDK ｜ 特集カテゴリー で、既に20以上のブログがあがっていたり、その人気はうなぎのぼりです。 CDKとは一口で言えば「コードでインフラを定義する」ものです。「いやぁ、これ楽。素晴らしい」という声を同僚からよく聞くので、自分も早速試してみようとしたところ、CDK Workshopなるものを発見し、手を動かして学ぶには凄くわかりやすく良い教材だったので、その内容を紹介します。 CDK実行するための環境定義 LambdaとAPI Gatewayを利用した簡単なサービスの公開 モジュールの作り方 クラス構造の解説 デバッグ方法 モジュールの利用方

Amazon Web Services ブログ AWS CDK による AWS Lambda コードの管理 システムの規模が大きくなるにつれ、インフラストラクチャの状態管理は困難になります。このような場合に AWS CloudFormation などを用いて、インフラ定義をコードで管理する（Infrastructure as Code, IaC）ことは有用です。一方、アプリケーションコードの管理は IaC から外れ、独立して管理されることが多々あります。特に AWS Lambda はシステムの様々な箇所で利用されるため、一般的なアプリケーションコードに比べて散逸しがちで管理が困難です。これにはチームが異なる、ライフサイクルが異なる、などいくつか理由が考えられますが、インフラストラクチャ用コードとアプリケーションコードを統一して管理できるツールセットが不足していたという要因もあります。 本記

「AWS CDKで既存のASLファイルを使ってStepFunctionsをデプロイしたい」 「既存のASLファイルを活かしつつAWS　CDKでStep Functionsをデプロイしたいけど、L2 ConstructのStateMachineではファイルを渡せなさそう。」 ということがあり、少し調べたのでブログにします。 結論: L1 Construct(CfnStateMachine)を使えばできる。 // 結論部分の抜き出し // コード全文はブログ中にあります const file = fs.readFileSync('./step-functions/HelloWorld.asl.json') new stepfunctions.CfnStateMachine(this, 'HelloWorldStateMachine', { definitionString: file.toSt

AWS CDKはわたしにとってお初の対面でもないのですが、ガッツリ触って まあまあ壁にぶちあたりながらなんとか攻略できた（気がする）ので おばあちゃんになった時の自分のために解説していきます🧓 AWS CDK とは AWS Cloud Development Kit (AWS CDK) 開発者ガイドへようこそ。このドキュメントではAWS CDK、コードでクラウドインフラストラクチャを定義し、を通じてプロビジョニングするためのフレームワークについて説明しますAWS CloudFormation。 🫠 「AWS CDK を小学生に分かるように説明してください」 AWS CDK（Cloud Development Kit）は、コンピュータのお話と例えると、 「魔法のレゴブロック」みたいなものです。 みんながブロックを使って、自分だけのすごいお城やロボットを作るように、 CDKもAWSのサービ

🗓 AWS CDK Advent Calendar 2022 の 25 日目 🗓 🔰 はじめに 対象 AWS Cloud Development Kit (CDK) と AWS Serverless Application Model (SAM) を知っている方 やること CDK の aws-cdk-lib.aws_sam で SAM テンプレートの定義・出力ができることを利用して 全ての AWS リソース定義は CDK で統一する CDK ではテンプレートファイルの出力までを任せる Lambda 関数のパッケージング・デバッグ、そして AWS リソースのデプロイは SAM で実施する という手順で、コードによるリソース定義ができる CDK と Lambda 関数のパッケージングが便利な SAM のそれぞれ得意な部分を活かしながら AWS リソースを管理をします！ ※ こんなこともで

while read function; do echo "Backing up $function" aws lambda get-function --function-name $function --query 'Configuration' > $function-config.json aws lambda get-function --function-name $function --query 'Code.Location' --output text | xargs wget -O $function.zip done <lambda_functions.txt このスクリプトは lambda_functions.txtにリストアップされた各Lambda関数に対して以下の処理を行います。 関数の設定をJSON形式でダウンロードし、関数名をつけたJSONファイル($fun