【書評】Pythonによる時系列予測 | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 冬休みの個人的課題図書(自習)として「Pythonによる時系列予測」を読み終えましたので、感想と振り返りを書いておこうと思います。 書籍情報 以下の書籍になります。 Pythonによる時系列予測 | マイナビブックス 発売 : 2023年10月 翻訳本であり原著は以下となります Time Series Forecasting in Python 発売 : 2022年08月 概要 概要として本書に記載されていることと、記載されてないことを紹介します。 記載されていること（感想含む） 記載されていることは以下のようになっています。 時系列タスクの説明 トレンド、季節性、残差という3成分に分けられることの説明 ランダムウォークという解けない問題の定義 統計モデル MA、AR、ARMA、SARIMA、SA
Boto3でS3にオブジェクトをGet・Putする方法まとめ | DevelopersIO
AWS SDKのPython版であるBoto3を用いてS3にファイルをダウンロード（Get)・アップロード（Put)する方法について整理しました。どのようなインターフェイスが用意されているかや、どういった値ならば引数として適切なのかについてまとめました。 簡単まとめ Binary形式でデータはやり取りする BytesIOを使えばオンメモリで使える Boto3のS3オブジェクトの読み書き AWS SDKのPython版であるBoto3ではいくつかの方法でオブジェクトのアップロード・ダウンロードが可能です。 大きく分けて次の2つの方式があります。 ファイルの様な操作（cpコマンドに近い感じ） HTTPのような操作 ファイルのような操作は次のように書きます。 file like bucket.upload_file('/local/path/to/target', 'object/key') b
NumPyのブロードキャストを図で理解する | DevelopersIO
データアナリティクス事業本部機械学習チームの中村です。 今回は、tensorflowやpytorchなどでも良く使用する配列操作やブロードキャストなどを 図で理解していきたいと思います。 コードは簡単のため、NumPyで例示しますが考え方は他のライブラリにも応用可能です。 冒頭まとめ ブロードキャストが実行できる条件を列挙します。 多次元配列の構造をツリーで可視化して理解します。 ブロードキャストをツリーで可視化した上で理解します。 その後、例として画像データのような形状のものを使い、ブロードキャストの実例を示します。 またバグになりやすいreshapeとtransposeの違いについても説明します。 ブロードキャストの実行可否条件 ブロードキャストの実行ができるためのルールは以下です。 A,Bを演算したい場合に、shapeの次元数が同じだと、1の部分を複製して演算できます。 A,Bのsh
RcloneでGoogleドライブをローカルPCにマウント | DevelopersIO
以前S3をローカルPCにマウントしてみましたが、今回はGoogleドライブをマウントしてきます。 Rcloneでs3をローカルPCにマウントしてみる インストール方法は上記記事にも記載していますので、今回は割愛します。 セットアップ 以下のコマンドを実行して設定していきます。 rclone config インタラクティブなセットアッププロセスがガイドされますが、 初期設定では、ブラウザで行う必要のあるGoogleドライブのトークンを取得することができます。 設定例 Current remotes: Name Type ==== ==== s3 s3 e) Edit existing remote n) New remote d) Delete remote r) Rename remote c) Copy remote s) Set configuration password q) Qu
OpenAIの新機能 Assistants APIの動作をPlaygroundで試してみよう | DevelopersIO
OpenAI DevDay で発表された主要な新機能にAssistants APIというのもがありました。 これはまだベータ版ですが、APIを利用することにより独自のアプリケーション内でAIアシスタントを構築できる というものです。 特定の指示に従ったり、追加の知識を活用したり、モデルやツールと相互作用してさまざまなタスクを実行したりできる、目的に応じたAIアシスタントの作成を可能にすると説明されていて、 使用例は、自然言語ベースのデータ分析アプリ、コーディングアシスタント、AI搭載のバケーションプランナー、音声制御DJ、スマートなビジュアルキャンバスなど多岐にわたるとのことです。 独自のアプリケーション内でAIアシスタントを構築 ということなので、実際に組み込む際はコーディングが必要ですが、OpenAIのPlaygroundで作成から実行までを試せるのでちょっと遊んでみます。 assis
Amazon SESとAmazon Bedrockで問い合わせメールの一次対応を自動化する | DevelopersIO
「メールでのやり取りなんてレガシーだよね」？ いえいえ、生成AIを使えばまだまだ可能性が見えてきます。 みなさん、こんにちは！ 福岡オフィスの青柳です。 みなさん、生成AIを使って業務改善してますか？ (挨拶) 今回は、「改善したい業務」の上位にランクインしているであろう (俺調べ) 「問い合わせメール対応」を、生成AIを使って自動化・効率化してみたいと思います。 やりたいこと 「問い合わせメール」の対応窓口が抱える課題 利用者から問い合わせを受けた際、なるべく早く「あなたの問い合わせを認識していますよ」という点を利用者に知らせてあげると、利用者は安心しますし、問い合わせ窓口に対する信頼感も向上すると思います。 そのため、問い合わせ窓口では「できるだけ早く一次応答を返す」ことを目標にしている場合も多いかと思います。 しかし、多忙なサポート担当者にとっては様々な対応に追われて、どうしても一次
GitHub.com で複数アカウントの利用がサポートされ、簡単に切り替えできるようになりました | DevelopersIO
こんにちは、CX 事業本部 Delivery 部の若槻です。 このたびの GitHub.com のアップデートで、複数アカウントの利用がサポートされ、サインインをし直さずにアカウントを簡単に切り替えできるようになりました。 そもそも複数アカウントの利用が許容されているのかという問題については、下記ドキュメントによると OSS コントリビュートなどを行う個人アカウントと、所属組織が管理するアカウントを使い分けることに関しては少なくとも許容されているようです。 場合によっては、GitHub.com 上の複数のアカウントを使う必要があります。 たとえば、オープン ソース コントリビューションの個人アカウントがあり、雇用主が Enterprise 内でユーザー アカウントを作成および管理することもできます。 マネージド ユーザー アカウント を使って GitHub.com 上のパブリック プロジェ
【Pythonのパッケージ管理に悩む方へ】パッケージ管理ツールRyeを使ってみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はRyeを使ったPythonの実行環境構築についてご紹介します。 Ryeについて RyeはRustで実装された、Python環境をワンストップで管理できるツールとなっています 今まではpyenv + poetryやpyenv + pipenvなどpyenvとの組み合わせで構築が必要だったものが、RyeだけでPythonインタープリタ含めて管理することが可能です。 RyeはRustのrustupとcargoにインスパイアされた、Pythonの新しいパッケージング体験を構築する実験的な試みとなっており、作者により「Production Readyではない」と紹介されていますが、検証用等個人で使用するには使い勝手はかなり良かったのでご紹介致します。 公式ページは以下となります。 セットアップ インス
最新 Intel CPUを搭載した メモリ最適化(R7i)とCPU最適化(C7i) インスタンスがリリースされていました | DevelopersIO
最新第4世代の Intel Xeonプロセッサーを搭載したEC2のインスタンスタイプとして、メモリ最適化「R7i」と、CPU最適化「C7i」 が利用可能になりました。 第4世代 (Sapphire Rapids) Intel Xeon プロセッサーを搭載した EC2インスタンス、 2023年9月14日にCPU最適化インスタンスの「C7i」、 2023年10月15日にメモリ最適化インスタンスの「R7i」がリリースされました。 2023年10月時点で 「C7i」、「R7i」が利用可能な北米リージョン(オレゴン)で、 インスタンスの起動を確認する機会がありましたので、紹介させていただきます。 New – Seventh Generation Memory-optimized Amazon EC2 Instances (R7i) 新登場 – 第 7 世代メモリ最適化 Amazon EC2 インスタ
AWS Lambda でOpenAI の Whisper API を 認識精度の改善も含めて試してみた | DevelopersIO
はじめに AWS LambdaでOpenAIのWhisper APIを試してみました。 OpenAIには音声データから文字起こししてくれる「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び出すWhisper APIが存在します。日本語ももちろん対応してます。 今回は、AWS LambdaがS3バケットに保存された音声データを元にWhisper APIで文字起こしして、精度を確認してみたいと思います。 OpenAIアカウントAPIキーの発行 OpenAIアカウント作成後、APIキーの発行をします。 APIキーの発行は、アカウントの View API keys をクリックします。 Create new secret key をクリックすると、API keyが発行されますので、コピーしておきます。 S3バケット 拡張子がwavの音声ファイルをS3バケットに保存しました
mTLSで証明書いっぱい出てくるから整理してみた | DevelopersIO
どうも。CX事業本部Delivery部のえーたん（@eetann092）です。 mTLS（相互TLS認証）を設定する時に、いつ誰が何のために「〇〇証明書」「証明書〇〇」を作成・使用するのか分からなかったため、整理してみました。 mTLSとは？ mTLSは、サーバーとクライアントが相互に認証するしくみです。 相互TLS認証とも呼ばれています。 TLSでは、サーバーからクライアントに渡す「サーバー証明書」のみで認証します。 mTLSでは、サーバー証明書に加え、クライアントからサーバーに渡す「クライアント証明書」も使って認証します。 参考：mTLS（TLS相互認証 / 相互TLS認証）とは - IT用語辞典 e-Words 登場人物 mTLSの流れを説明する前に、登場する用語（と説明に使う図）を整理します。 認証局 説明
Appium + Android で ネイティブアプリの自動実行を試してみた | DevelopersIO
いわさです。 Appiumをご存知でしょうか。 モバイルプラットフォームの自動化ライブラリです。 先日、AWS Device Farm の記事を作成しました。 この記事ではリモートアクセスを試していますが、自動実行を行うためには自動化ライブラリを準備する必要があります。 AWS Device Farm では Appium に対応しています。 今回は前段階として、ローカル端末でAppiumの自動実行を試してみたいと思います。 テスト用にアプリを吐き出す場合、iOSだと証明書周りが面倒になるので、Androidで試します。 Appiumとは Appiumは、iOS/Android/Windowsデスクトッププラットフォームでアプリケーション操作を自動化するためのオープンソースツールです。 ネイティブアプリ、モバイルウェブアプリ、ハイブリッドアプリなど、様々なモバイルアプリをターゲットとした自動
Amazon ECS Anywhereを使ってAWS外でもコンテナが運用できるようになったので使ってみた | DevelopersIO
5月27日にECSの機能を利用してオンプレミスでもコンテナの実行、管理を可能にするAmazon ECS Anywhereが利用可能になりました。 今回はそれを使ってUbuntu上にECSからコンテナを起動させてみたいと思います。 Amazon ECS Anywhere ECSは従来EC2やAWS FargateなどAWSが提供するコンピュートリソース上でのみ実行可能でした。 しかし、今回提供されたAmazon ECS Anywhereを使用すればオンプレミスでも今までと近い操作でコンテナの実行、管理が可能となります。 AWSが提供しているECSのコントロールプレーンに自分で用意したインスタンスを接続すればクラスターに参加できます。 EC2のECSインスタンスをオンプレミスで立ち上げてるような状態です。 仕組みとしてはSystems Manager Agentがインスタンス内で実行され、それ
【速報】オンプレでもECSが動くAmazon ECS Anywhereが発表されました！#reinvent | DevelopersIO
「ECSって便利だけれど、どこまでいってもAWSのマネージドサービスだよなぁ」 コンテナオーケストレーションとしてkubernetesの地位は確立された感はありますが、AWS上でコンテナワークロードを展開するとき、各種AWSのマネージドサービスとの連携が優れているECSも有力な選択肢として挙げられます。2014年発表でその歴史は長く、機能も豊富でぶっちゃけハマコーECS大好きです。 そんなECSですが、re:Invent 2020のKeynoteにおいて、ECS Anywhereというものが突如発表されました。 Introducing Amazon ECS Anywhere | Containers オンプレミスなどの自社のデータセンターで、ECSのAPIを利用して、クラスターの管理、コンテナワークロードのスケジューリング、監視が可能。オンプレとAWSをまたいでECSをシームレスに利用が可
Azure ADのIDトークンを取得し、クレームを確認する | DevelopersIO
いわさです。 Azure ADはOpenID Connect(OIDC)に対応しています。 Azure ADのOAuth2, OIDCのトークン周りを少し調べる必要があったので、まずはOIDCにてIDトークンを取得するところから初めてみました。 Azure AD アプリの構成を設定する まず、Azure ADからIDトークンを取得するためには、アプリケーションIDが必要です。 そのために、Azure ADへアプリ登録を行う必要があります。 ここでいうアプリとはAzure ADトークンを使用するアプリケーションのことです。 実態としてWebアプリやクライアントアプリがこの時点で必須というわけではありません。 Azure ADにアプリの登録というメニューがあるのでそこから新規登録を行います。 表示名は任意で良いです。 サポートされているアカウントの種類はシングルテナントを選択します。 リダイレ
OpenCV（Python）でTemplate Matchingを使用して物体検出をしてみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 前回のエントリではOpenCV（Python）のHigh-level GUIを使用して画像をウィンドウで開いてみました。 OpenCV（Python）で画像をウィンドウで開いたり閉じたりする | DevelopersIO 今回は、OpenCVPython）でTemplate Matchingを使用して画像内の検索（物体検出）をしてみました。 環境 $ sw_vers ProductName: macOS ProductVersion: 11.6 BuildVersion: 20G165 $ python Python 3.9.6 (default, Jun 29 2021, 06:20:32) [Clang 12.0.0 (clang-1200.0.32.29)] on darwin Type "help", "copyright", "
RustからWebAssembly (wasm)を生成してJavaScriptとブリッジ通信してみる | DevelopersIO
Rustはじめました Rustイイですよね。Cと同程度のパフォーマンスで動作して、メモリリークを防止し、マルチスレッドも安全に記述できます。GC（ガベージコレクション）処理よりも高速にメモリーを開放します。今まで、より高速に動くプログラミング言語を求めるとC/C++等が必要になり、安全面で気をつけないところが増えてしまって手が出しづらく、一方で、Javaなどの安全面が確保された言語や、JavaScriptやPythonなどのスクリプトで記述できる言語は、nullやundefinedなどを気をつける必要があり、更に実行速度を上げるには課題がありました。（Javaは十分速いと思います） Rustは、C/C++と同程度のパフォーマンス（強い）を持ちつつ、型やメモリやスレッドに関する安全面を備えているため、今後、OSやミドルウェアの開発に使われることが増えるのではと思っています。一方で、JavaS
Lambdaの裏側を知りたい人にオススメ Firecrackerに関する論文「Firecracker: Lightweight Virtualization for Serverless Applications」の紹介 | DevelopersIO
Lambdaの裏側を知りたい人にオススメ Firecrackerに関する論文「Firecracker: Lightweight Virtualization for Serverless Applications」の紹介 CX事業本部＠大阪の岩田です。 Firecrackerに関する論文「Firecracker: Lightweight Virtualization for Serverless Applications」を読んだので、かいつまんで内容を紹介させて頂きます。 Firecracker: Lightweight Virtualization for Serverless Applications NSDI '20というイベントでこの論文の内容について発表しているセッションの動画がYoutubeに上がっていたので、興味のある方は是非こちらもご覧ください。 以下論文の概要です。 A
いつの日か、あなたがSSHキーを吹っ飛ばしても落ち着いて対応できる道しるべ 〜SSMの手順を添えて〜 | DevelopersIO
「あれ、GithubにPushできない。。。？？」 「サーバにSSHで入れなくなった。。。」 こんにちは(U・ω・U) AWS事業部の深澤です。 最近は認証方法が変わったり、コンテナ普及に伴ってちょっと前では常識だったSSHキーを使う機会も少なくなったなと思います。ですが、まだまだなくてはならないバリバリ現役の技術ですね。そんな大切なSSH秘密キー（以降、SSHキー）がある日吹っ飛んだらきっとあなたは焦ることでしょう。今回はSSHキーがある日なくなってしまっても全人類が落ち着いて行動できるようにと願いを込めてこのブログを書きます。 え、なんでこんなことを書こうと思ったかって？聞かないで下さい。ちょっと疲れてたんです…。 まずは落ち着きましょう。 いきなりポエムっぽいですが、お茶でも飲んで少し落ち着きましょう。慌ててもなくなったSSHキーは帰ってきません。障害対応と一緒でトラブル対応は落ち着
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
scriptコマンドで作業ログを記録 | DevelopersIO
