神奈川県ネット出願システムのGmailへのメール到達性問題は、不適切なサーバー設定、大量メール送信、DNSミス、バウンスメール処理不備、急激な送信量増加、準備不足、新ドメインの低信頼性が複合的に作用して発生したと推測されます。 2024年1月、神奈川県のネット出願システムでGmailにメールが届かないトラブルが発生しました。 身内が受験するため、出願システムのトラブルに巻き込まれた当事者として原因調査を試みていました。 先日『日経クロステック』より、本件について取材を受ける機会がありました。 取材協力した記事で取り上げられた問題について、さらに深堀り、詳細な分析を行った内容を以下に紹介いたします。 問題の概要 概要 志願者登録時、二次元コード読み取りと空メール送信が必要 "@gmail.com"アドレスへの返信メールが届かない不具合発生 原因 システムのメールサーバ設定が不十分 大量メール

今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 pip install tenacity 使い方 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!") else: retur

はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい

Azure OpenAI Service を利用するための申請内容やチーム内の利用ルールを検討するために調べたことや対応したことをまとめました。作成した利用ルールの説明会の内容についても記載します。 以前に Azure OpanAI Service を検証目的で利用するための準備をする機会があったため、利用申請前に確認したことや利用のためにルール化したことを本ブログにまとめたいと思います。また、実施した利用ルールの説明会の内容についても記載します。 前提条件 導入・導入の前提条件は下記でした。 Azure AD は社内で導入済み Azure サブスクリプションは社内で払い出されたものを利用 チームの複数人が検証用途で Azure OpenAI Service を利用 Azure OpenAI を利用するサブスクリプションと Azure AD ユーザーとの信頼関係が既にある状態です。 もし組

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention構造を持たない)なモデルです。 ライセンス形態がApache License 2.0かつ、シングルGPUでも動作する点が凄いところとなっています。 GitHub https://github.com/BlinkDL/RWKV-LM Huggin Face https://huggingface.co/BlinkDL Hugging Face側にモデルがいくつか公開されており、rwkv-4が付くものが最近よく話題で使用されているもので

tcpdumpではなくてWiresharkでパケットを確認したいな こんにちは、のんピ(@non____97)です。 皆さんはリモートのLinuxマシンをtcpdumpではなくて手元のマシンのWiresharkでパケットを確認したいなと思ったことはありますか? 私はあります。 tcpdumpで上手にフィルタリングをすれば良いのでしょうが、そうでなければ高速目grepすることとなり大変です。 そういった時は慣れ親しんだWiresharkが恋しくなるものです。 実はWiresharkでsshdumpを使えば、SSH越しにリモートコンピューターのパケットキャプチャーをすることはご存知でしょうか。 NAME sshdump - Provide interfaces to capture from a remote host through SSH using a remote capture bi

中山です trivyのv0.31.0でAWSアカウントのセキュリティスキャンができるようになりました。 feat: Add AWS Cloud scanning (#2493) Releases / v0.31.0 なお、v0.31.0でスキャンを実行するとクラッシュするバグがあり、すぐにv0.31.2がリリースされました。 Releases / v0.31.2 どんな感じか気になったので、軽く触っておこうと思います。 ドキュメントを確認 まずはドキュメントを確認します。 Amazon Web Services ポイントになると思った点をまとめます。 CIS AWS Foundations Benchmark standardに準拠したチェックが可能 認証方法はAWS CLIと同じ すべてのAWSリソースに対する参照権限が必要 (ReadOnlyAccess) サービス・リージョン・リソー

カーネルのバージョン Linuxカーネルのバージョンはcat /proc/versionで参照するか、uname -aにて確認が可能です。 $ cat /proc/version Linux version 5.10.130-118.517.amzn2.x86_64 (mockbuild@ip-10-0-43-203) (gcc10-gcc (GCC) 10.3.1 20210422 (Red Hat 10.3.1-1), GNU ld version 2.35-21.amzn2.0.1) #1 SMP Wed Jul 13 16:51:52 UTC 2022 $ uname -a Linux ip-xx-xx-xx-xx.ap-northeast-1.compute.internal 5.10.130-118.517.amzn2.x86_64 #1 SMP Wed Jul 13 16:5

「AWSアカウントのクリーンアップにaws-nuke + GithubActionsいいぞ」 aws-nukeとGithubActions組み合わせたAWSアカウントのクリーンアップの仕組みを作って、運用してみた話です。 会社や個人の検証用アカウントのクリーンアップに悩んでいる方の参考になると嬉しいです。 背景 クラスメソッドでは、選考プロセスに実技試験があるポジションもあります。 私の所属しているAWS事業本部 コンサルティング部では、実技試験でAWSアカウントを使用します。 AWSアカウントにリソースを色々立ててもらうのですが、放置するとコストが発生するため試験終了後はリソースは削除する必要があります。 今までは、実技試験後に削除スクリプト + 一部手動でクリーンアップを行なっていました。 削除スクリプトで対応していないリソースやCLIでしか消せないリソースがあるなど、クリーンアップ作

ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定（証跡の作成を行い、S3 に保管）をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です（無料利用枠もあります）。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl

はじめに lakeFSは、ざっくり言うとデータレイクをGitのようなリポジトリぽく取り扱うソフトウェア/サービスです。Gitライクなので、ブランチの作成、バージョン管理、ロールバックなどをCLIまたはGUIにて実行できます。 現在、クラウドストレージをデータレイクとして使う場合にはAWS S3/Google Cloud Storage/Azure Blob Storageなど複数の選択肢があるかと思いますが、lakeFSをインターフェースとして入れることで、実際のストレージがどこにあるかを意識することなくデータレイクを取り扱えるため、マルチクラウドなデータ分析基盤においてより力を発揮します。 lakeFSにはローカル環境に導入するオープンソース版と、SaaSとして提供されるlakeFS Cloudがあります。 今回はオープンソース版でクイックスタートをやってみます。環境はMacBook P

こんにちは。データアナリティクス事業本部 サービスソリューション部の北川です。 React Developer Toolsは、React用開発ツールです。Reactの開発元であるMetaが提供しています。 結構有名ですが、まだ使ったことがない人に向け、簡単に書いていきます。 React Developer Toolsの使い方 拡張機能を追加します。 https://chrome.google.com/webstore/detail/react-developer-tools/fmkadmapgofadopljbjfkapdkoienihi アイコンが追加されていることを確認します。通常のReactページで使用する場合、アイコンは青いですが、開発環境ではアイコンの色が赤くなります。 ローカル環境で使用するために、拡張機能の一覧から、React Developer Toolsの「拡張機能を管理

【新機能】Google Cloud 純正の構成図ツール Architecture Diagramming Tool が発表されました Google Cloud のアーキテクチャ図を書く純正のツール Architecture Diagramming Tool が発表されました。Google Cloud の構成図ツールの決定版になると思います。 ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程 Google Cloud 純正のアーキテクチャ図作成ツールである Google Cloud Architecture Diagramming Tool が発表されました。 Introducing a Google Cloud architecture diagramming tool Google Cloud Architecture Diagramming Tool 今まではGoogle S

S3 オブジェクトの中身をローカルにダウンロードせずに参照したい コンバンハ、千葉（幸）です。 aws s3 cat を実行したい、そんな風に思ったことはありませんか？つまりは S3 オブジェクトの中身を参照するためにいちいちローカルにダウンロードしたくない、ということです。 例えばこんなふうに aws s3 ls で S3 バケットの中身を参照して…… $ aws s3 ls chibayuki-hoge-hoge/chibayuki/ 2022-02-13 13:17:45 0 2022-02-13 13:19:15 17 test.txt 2022-02-13 13:19:16 17 test2.txt 2022-02-13 13:19:16 17 test3.txt そのまま aws s3 cat でオブジェクトの中身を表示させたい、ということです。 $ aws s3 cat ch

AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 AWS Valutとは AWSのアクセスキー/シークレットキーを安全に保存・利用するためのOSSソフトウェアです。 AWS CLIだけではなく、boto3等AWS SDKを用いた開発、 Terraform等のサードパーティアプリケーションでも利用することが出来ます。 AWS VaultはIAM認証情報をOSのキーストアに保存し、認証情報の利用時

VS Code の「スクリーンキャストモード」使ってますか？ スクリーンキャストモードとは 百聞は一見に如かず。 お分かりでしょうか。どのキーを入力したのかが一目瞭然です。マウスもクリック時には赤丸が表示されるのでどこをクリックしたかが分かりやすくなっています。（マウス押下時の黄色はスクリーンキャプチャソフトが付与したものです） スクリーンキャストモードは VS Code 1.31 January 2019 で搭載された機能ですが、意外と知らない人も多く、私自身この機能の名前がパッと出てこないこともあったので今回改めて紹介してみました。 https://code.visualstudio.com/updates/v1_31#_screencast-mode スクリーンキャストモードを有効にする デフォルトではショートカットキーは割り当てられていません。コマンドパレットから Develope

2014年から10倍に拡大したクラスメソッド。私達は急成長する中でいくつもの悩みや課題を抱えてきました。本記事では私達が抱えていた組織の悩みをお伝えし、またその解決策として私達が開発しているProfllyというサービスをご紹介します。 はじめに 私がクラスメソッドに入社したのは2014年1月。当時は社員数も50人程度で、オフィスは東京にしか無く、和気あいあいと仕事していました。しかしその後組織は急成長。2017年末には100人、2019年頭には200人と急増しました。現在では日本本社だけで350人、グループ全体で500人弱と、2014年から比べて10倍に成長しています。 多くの企業が経験することだと思いますが、クラスメソッドも急成長する中でいくつもの悩みや課題を抱えてきました。本記事では私達が抱えていた組織の悩みをお伝えし、またその解決策として私達が開発しているProfllyというサービス

はじめに 通常 Windows Sandbox は初期状態の Windows 10 を起動するため、普段使いするようなアプリケーションは起動後に手動で入れる作業を毎回行う必要があります。 ですが、Windows Sandbox には構成をファイルに記述し、その構成ファイルを元に Windows Sandbox を起動できる仕組みがあります。 今回はその Windows Sandbox 構成ファイルを設定して VS Code をプリインストールした状態の Windows Sandbox を起動できるように設定してみたいと思います。 Windows Sandbox とは Windows 10 May 2019 Update で導入された新機能です。使い捨て前提の仮想マシンで、毎回初期化された Windows 10 が立ち上がります。ホストとは独立しているため安全な環境が実現できます。 やってみ

はじめに 皆さんこんにちは！営業推進室の大森です。 クラスメソッド にJoinしてからそろそろ半年になります。弊社の理念は「オープンな発想と高い技術力によって全ての人々の創造活動に貢献する」と言うことですので多くのスペシャリストが在籍しております。そんな中私も最先端の技術を体感していないといけないと感じていました。 また弊社にはCLP（Classmethod Leadership Principle）と言う行動指針や価値観があります。リーダーシップ、パートナーシップ、ダイバーシティ、プロフェッショナル、感謝、顧客視点、フィードバック、情報発信、やってみる、楽しむの10項目です。 まずはやってみる 入社少し前から車の買い替えを検討していたのですが、そこで私は最先端のテクノロジーを体感すべく、またCLPの中の「やってみる」と言うことを忠実に実行するために行動に移しました。 やはり車業界の最新の

9/8 から始まりました AWS Japan Summit Online 2020。ライブ配信セッション AWS-24「アクセラレーテッドコンピューティング on Amazon EC2」を拝聴しましたのでレポートします。 GPU 搭載インスタンスくらいはまだなじみがあるものの、FPGA 搭載インスタンスや新顔の Inf1 などは、あまり知らないという方も多いのではないでしょうか。これら特定処理・用途向けのインスタンスのことを俯瞰的に学ぶのにうってつけのセッションでした。 概要 Amazon EC2 では GPU、FPGA の他、独自の ML 推論チップ AWS Inferentia を搭載するインスタンスが存在します。さらに EC2 にアタッチして利用する Amazon Elastic Graphics/Inference といった安価な特定アプリケーション向けのアクセラレーターオプション