GPT-4超えの日本語性能？ 話題のELYZA製LLMをBedrockにインポート！ サーバーレス化してみようAWSbedrockLLMELYZALlama3 Llama 3ベースの日本語LLMが登場！ なんと、日本語LLMで有名なELYZA（イライザ）社が、Llama 3ベースの新モデルを発表しました！ パラメーターサイズが2種類あり、70B版は同社のデモアプリ経由で使用可能。日本語性能ではGPT-4超えとの触れ込みです。 一方、軽量な8B版はHugging Faceで公開されています。こちらはGPT-3.5 Turbo相当の性能とのこと。 今回は後者の8B版をクローンして、AWSでサーバーレス化してみます。 AWSのBedrockにインポートしてみる クラウドサービスAWSの「Amazon Bedrock」には、任意のモデルをインポートして使える「カスタムモデルインポート」という新機能

GPT-4oを超えた？ Claudeの最新モデル3.5が登場！ AWSのBedrockで早速使ってみたbedrock生成AIAnthropicclaude Claude 3.5 Sonnetが出現!? Anthropic社の生成AIモデル「Claude」の最新版、Claude 3.5 Sonnetが登場しました。 有名なOpenAI社の最新モデル「GPT-4o」を上回る性能が計測されているようです。 Claude 3.5の特徴 もともと旧世代のClaude 3には性能順に、Opus > Sonnet > Haikuの3つのモデルラインナップがありました。今回はバージョンアップ版のClaude 3.5のうち、中位モデルのSonnetのみが先行リリースされています。 （画像：Anthropic公式サイトより引用） 旧世代の最高性能だったClaude 3 Opusや、他社の最新LLMとの比較が以

AWS認定 is 何？ 人気のクラウドサービス「アマゾンウェブサービス」が提供している認定資格試験です。パソコンで実施するタイプの選択式テストとなります。 時流に応じて資格数は増減しています。だいたい10件ちょいです。 2023年度：12資格 2024年度：10資格（→また12に増える予定） 何をやったの？ 昨年末、急に思い立って認定資格を2ヶ月でコンプ（全冠）しました。 すいません、ちょっと盛りました。登竜門の「SAA（ソリューションアーキテクト アソシエイト）」だけは3年前に取っていました。 残りは週に1〜2件のペースで取得していたことになります。 資格に挑戦した理由は？ 実は私、「資格を取ること」にあまり価値を感じていませんでした。 勉強に多くの時間を使う必要があり、他のことができなくなる 机上学習やるならハンズオンに時間を割く方が実務に活きやすい 数が多すぎて、全冠なんて自分とは別

昨日3/2(土)、AWSコミュニティ最大級のイベント「JAWS DAYS 2024」にてAWS Samurai 2023という栄えあるアワードに選出いただきました。 同イベントの参加レポートを含めて、直近の私の経験などを簡単に紹介させていただきたいと思います。 主催元のコミュニティであるJAWS-UGについては以下の記事も併せてご覧ください。 お前誰？ KDDI株式会社に所属しており、KDDIアジャイル開発センター株式会社（愛称KAG）へ兼務出向しています。 KAGではテックエバンジェリストというタイトルを頂いているのですが、主業務としてやっていることはクラウドや新技術を中心とした内製開発です。同時に、そこで得た技術ナレッジや社内の優秀なエンジニアを社外へ発信する活動をしています。 JAWS DAYS 2024では何してたの？ ありがたいことに登壇枠を3ついただいており、朝から夕方前までず

Bedrockに新たな仲間が登場！ AWSは先日、生成AIサービスAmazon BedrockにMistal AIのLLMを追加する予定があることを発表しました。 そもそもMistral AIとは？ 2023年4月にフランスで立ち上げられたAIベンチャーです。元DeepMind（Google系）や元Metaのメンバーらが共同創業しています。 GPT-4に迫る賢さ？ 最新のLargeモデルとは そんな話題の中、日本時間2/27（火）未明ごろに同社の最新モデル「Mistral Large」が発表されたようです。MMLUというベンチマークによると、なんとClaude 2を押さえてGPT-4に迫る第2位のスコアを叩き出しています。 （出典：上記ブログ記事より） 公言されていないが日本語も普通に使えそう！ このMistral Largeモデル、すでに同社の提供するWebチャット「Le Chat」で無

AWSのVPCに大きなアップデートが！ 今週10/26、AWSにこんな機能アップデートが発表され大変話題になりました。 簡単に言うと 「EC2インスタンスから複数のVPCに対してENI（NIC）を足出しできるようになった」 という大きなアップデートでした。 みんな戦々恐々？ しかし、Twitterのオンプレミス経験者たちは口を揃えて懸念を漏らしています。 「これ、クラウド初心者がオンプレからの移行で "監視セグメントVPC" みたいなものを作ってしまうんじゃなかろうか…」 今回のアプデを見て「ウッ…😅」と感じた方も、改めて何が問題なの？と聞かれると意外としっかり言語化できないかも知れません。これを機にAWSの代表的なサービスであるマネージド論理ネットワーク「VPC」の基本をおさらいしてみましょう。 オンプレ時代の基本を振り返る パブリッククラウド普及前のオンプレミス時代では、企業のシステ

首を長くしすぎてキリンになって待ってました OpenAIブームから待ち望むこと数ヶ月！！ ついにAWSから生成系AIサービス「Amazon Bedrock」が一般公開されたので宇宙最速で触ってみようと思います。 AWSマネジメントコンソールを覗く！！ シンガポールリージョンを確認すると…あれ？ 普通〜のAWSアカウントでマネジメントコンソールにサインインし、「Bedrock」で検索。実は（説明のみの）コンソール自体は少し前からあったのですが、クリックしてみましょう！ ローンチ直後にサポートされているのは下記の４リージョンのようです。日本だと一番ご近所はシンガポールリージョンですね。 おぉ、「Get started」が出現し、左カラムに具体的な機能メニューも出現しています。 まずは左カラムから「Base models」にアクセスしてみます。すると基盤モデルへのアクセスリクエストが必要なようで

日本時間 2023/9/1(金)の深夜、AWSより以下のアップデートが発表されました！ 土曜の朝からXで早速話題になっています。 ニュースリリース ブログ ※全体的にまだ日本語ドキュメントに反映されていない情報が多いので、リンク先にRDS Extended Supportに関する言及が見られない場合は言語設定をEnglishに切り替えて再確認することをお勧めします。 3行でまとめると？ AWSはAuroraおよびRDSのDBエンジンの所定サポート終了後、最大3年の延長サポートを有償提供する 対象のDBエンジンはMySQL 5.7 & PostgreSQL 11および、それ以降の主要バージョン 2023年12月から延長サポートへのオプトインが可能。実際の課金開始はバージョン依存。最速でも2024年3月1日以降となる クラウドにおける「DBバージョンアップ」の扱い AWSクラウドが提供するマネ

アウトプットはいいぞ ご存知、ITエンジニアは自分の学んだ技術知見を「アウトプット」としてブログや登壇という形で対外発信する文化があります。 インターネット上の叡智として学習者の助けになることも多く非常にありがたいことなのですが、一方で発信者側にとってはそれなりに労力がかかる作業となります。 業務時間中の実施が憚られてしまい業後や休日の貴重な時間を使ってアウトプットしているエンジニアもかなり多いのではないでしょうか。 なぜ大変なのに皆アウトプットしてくれるの？ もちろん発信者側にもメリットは多く、それがあるからこそアウトプットを継続しているエンジニアは多いのですが、世の中に存在するエンジニア人口に対して自発的な発信を行う人口割合は相当に少数です。 あなたの職場にもたくさんいる優秀なエンジニアを思い浮かべてみていただくと、そのうち何名が対外的なアウトプットを実施しているでしょうか？ 実は今回

LLM＆AI関連 AI Stack Observability LLMアプリケーションの開発、デプロイ、運用をサポートするモニタリング機能。 LLM Observability LLMアプリの問題をリアルタイムに検出できる。アラート確認、パフォーマンス監視、精度劣化検出など。ベータ版。 Bits AI 自然言語でDatadogへクエリー問い合わせを行うことができる。Datadog版のコパイロット。 ログ管理 Flex Logs 大量のログ保管＆検索ができる。アーカイブでもインデックスでもないデータに最適。 Live Search for Datadog Log Management 直近15分間のログをサンプリング間引きなしでライブ検索できる。プライベートベータ版。 Reference Tables ログ内のデータを（ログにはない）別の情報と紐づけて分析できる。 APM＆サービス管理 Pr

最近、嬉しいことに社内外の技術イベントでライトニングトーク等の登壇機会をいただけることが多く、毎週何かしらの勉強会で発表予定があるというスケジュールが恒常的になってきました。（本当にありがたい限りです） 必然的に常時「次のイベント登壇資料を作っている」状態が多いのですが、たくさんライトニングトーク（LT）資料を作っているうちに自分の「型」ができて効率化してきたので、ノウハウをみなさんにもご共有します。 最初からテーマを決めなくていい。ネタをリストアップする まずは何を喋るか考えてLTタイトルを決める方も多いと思うのですが、私は勉強会のテーマを眺めながら「何を喋ろうかな〜」と思い浮かぶネタを雑にメモ帳に書き殴ります。（Apple標準のメモ帳アプリを使っています） 断片的だったり具体的なバラバラのネタでもいいので、一部分でも喋れそうな経験や知識のキーワードを箇条書きにしていき、出し切ったところ

私は新卒のときから10年ほどIT業界、ときには会社を移りながらエンタープライズのSI（System Integration）のさまざまな現場で働いてきましたが、システム開発のチーム編成として「アプリケーション担当」と「インフラ担当」に分かれていることが長らく当たり前でした。 最近はAWSをはじめとするパブリッククラウドの台頭、特に抽象度の高いマネージドサービスの普及によって従来型の分業モデルが理に叶わなくなってきたのでは？と感じることが増えたので、ポエムを書いてみます。 みなさんの案件はどんなチーム分けですか？ 私がよくいた「エンタープライズの業務システム開発」はこんなフォーメーションが多かったです。 とある社内向けWebシステムの開発体制 ユーザー企業（発注元の会社スタッフ） アプリケーション担当：通称「業務」。要求定義と仕様調整。事業会社だとコードレビューまではしないところが多い印象

アウトプットはいいぞ 現代日本のITエンジニア界隈では、自分の学びや経験をブログや登壇で「アウトプット」することを奨励する風潮があります。 これはとても喜ばしいことで、インターネット上の叡智としてどんどんナレッジが蓄えられていき誰かの助けになってくれますし、アウトプットした本人にとっても発信行為によって学習効果が促進されます。 ↑ IT勉強会「ssmjp」では "アウトプットしないのは知的な便秘" という有名なスローガンが掲げられています。 軽率なアウトプットを忌避する声も 一方で、その技術分野の権威でもなんでもない一般人による技術アウトプットがインターネット上に増えてしまうことを良く思わない人々の声もたまに挙がります。 確かに、明らかに質の悪いアウトプットが増えると以下のような懸念事項が考えられます。 技術的に誤った内容が含まれていることにより、誤解が広まってしまう 完成度の高い情報源が

なんか最近、Slack使ってたら「canvas」ってのが出現しているのに気付いた方も多いのではないでしょうか？ これはSlackの新機能で、先月ごろからワークスペースごとに順次ロールアウトされているようです。かなり便利な機能だったので紹介したいと思います。 canvasとは？ チーム内での情報共有に便利なSlackの新機能です。 実は色々な機能があります。 ドキュメント管理（TeamsでいうWiki機能のようなもの） 業務を自動化できるワークフローの作成 JiraやFigmaなど外部アプリと統合してSlack内で操作を完結 中でも一番手軽に使えて、多くの人がすぐ活用できるのが一番上の「ドキュメント管理」機能だと思うので、サクッと試して画面イメージを紹介します。 とりあえず使ってみよう！ サイドバーから「canvas」を開き、「canvasを作成する」を押してみます。 するとウィンドウが開き

「アクセス制御」ってややこしいですよね。 AWSでもIAMが苦手！って方多そうですが、Kubernetesの世界でもアクセス制御を知っておかないとセキュリティ事故に繋がります。 今回はそれらの合わせ技となる、AWS上でKubernetesを使う際の両プラットフォーム間でのアクセス制御の組み合わせについてのお話です。 AWS上でKubernetesを使う際のセキュリティ課題 EKSを使ってKubernetesワークロードをAWS環境上でホストしてるよ！という方は多いんじゃないかと思います。 特にAWSでKubernetesを使っていると「PodからAWSリソースにアクセスさせたい」という要件が出てきます。 以下のようなプロダクトを例として想像してみましょう。 この例では同じEKSクラスター上でKubernetes Podを2種類がバックエンドアプリケーションとして稼働しています。 Pod①へ

この記事は AWS Advent Calendar 2022 11日目の記事です。 昨日は @ItsukiOnishi さんの AMIによるEC2インスタンスの起動からターゲットグループへの登録までを自動化した でした。 明日は @hayao_k さんです。 みなさん、AWSの秋祭り re:Invent 2022、今年も楽しめましたでしょうか。 いつも米国時間での開催のため夜更かししてまで見てないよという方や、今年はワールドカップの方を見てたよという方も多かったんじゃないかと思います。 日本語でもまとめ記事が色々と出ていますが、それでもアップデート多すぎて追いきれない方も多いのでは？ 今回はエンタープライズなインフラエンジニア目線で気になった新機能を 忙しい人向けに コンパクトに紹介します。 大注目の４サービス 〜インフラエンジニア不要な未来はすぐそこに!?〜 VPC Lattice La

※この記事はKDDI Engineer&Designer Advent Calendar 2022の3日目の記事です。 読者のみなさん、こんにちは。このQiita記事はすべてChatGPTというAIが執筆しています。 ChatGPTの紹介 ChatGPTは、文章生成を支援するWebアプリです。 アクセス方法 ChatGPTへは以下のURLからアクセスできます。 利用手順 上記URLにアクセスします。 入力したい文章を入力し、「Generate」ボタンをクリックします。 ChatGPTが文章を生成し、結果が表示されます。 ChatGPTの凄さ ChatGPTは、大量のテキストデータを元に学習したため、高品質な文章を生成することができます。また、ニューラルネットワークを用いることで、自然な文章を生成することができます。 SNSでの話題性 ChatGPTを使用して生成された文章は、SNSなどで広

この記事でCloudWatch Evidentlyについて調べていると、「機能フラグ」や「A/Bテスト」などインフラエンジニアには若干聞き慣れないリリース用語が出てきました。 アジャイル開発やCI/CDの台頭に伴い多数出現したこれらのリリース戦略用語をまとめて整理してみることにします。 インフラエンジニアやSREと呼ばれるロールの方々も、リリース戦略を知っておくとCI/CD環境の構築やIaC、はたまたミドルウェアのバージョンアップなどで役立つと思います。 以下ウェブサイトを参考に、各用語を「デプロイ戦略」と「テスト戦略」の大きく2つに分けて紹介します。 デプロイ戦略 従来型のデプロイ（インプレースデプロイ） システム本番環境が一種類のみ存在し、新バージョンの資材デプロイによって旧バージョンの資材を上書いてしまうパターンです。 環境の設計や管理、維持コストをシンプルに抑えられるメリットがあり