今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 インストール pip install tenacity 使い方 シンプルな例 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

背景 LLMは、膨大な量の公開データで学習することにより、幅広い一般知識推論タスクで著しい進歩を遂げてきました。一方で、LLMが特定の分野のタスクに用いられる場合、一般的な知識推論よりも、与えられた文書に対して正確であることが強く求められています。例えば最新のニュースや企業の非公開文書などに適応させることは課題になっています。 LLMを特定分野に適応させる際、検索拡張生成（RAG）を用いたコンテキスト学習と、教師あり微調整（supervised fine-tuning）の2つの手法が主に考えられます。 RAGベースの手法は、LLMが質問に答える際に文書を参照するものです。この手法では、モデルが事前に学習しているわけではありません。外部のナレッジベースから関連情報を取得することで問題解決能力を向上する（比較的リーズナブルな）アプローチです。 教師あり微調整は、文書からより一般的なパターンを学

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

welcome fintech communityのバナー。かっこいい！ こんにちは！ BASE BANK Divisionの松雪です。 今回、金融決済の技術領域を中心としたコミュニティを立ち上げ、6月20日にイベントを初開催しました。 その模様をお届けします。 Welcome Fintech Communityとは? 特定の技術や職能に関するコミュニティは数多くありますがfintechに関するコミュニティは少なく、fintech領域を盛り上げていくために知見やお悩みの共有ができるようもっとオープンなコミュニティがほしいなと感じていました。 そんなとき、EMゆるミートアップでスマートバンク社の三谷さんと出会い、「fintech界隈で集まってもっと色んな話したいよね？？？」と盛り上がった結果このコミュニティを立ち上げることにしました。 welcome-fintech.connpass.com

最新モデルの「Apple Watch Series 9」が過去最安。指のダブルタップ操作が便利すぎる #Amazonセール

この記事のポイント Google、デスクトップ版「Chrome」ブラウザに「@gemini」ショートカットを導入 「Chrome」のアドレスバーに［@gemini + プロンプト］を入力することで即座に「Gemini」の回答を得られるように ただし発表時点では「@gemini」ショートカットを利用できず Google は 2024 年 4 月 30 日（火）、最先端言語モデル「Gemini」を簡単に利用できるようになる新しい「@gemini」ショートカットを、デスクトップ版「Chrome」ブラウザに導入しました。 デスクトップ版「Chrome」に新たに導入された「@gemini」ショートカットでは、「Chrome」のアドレスバーに［@gemini + プロンプト］を入力することで、即座に「Gemini」の回答を得られるようになります。つまり、「Gemini」サイトを立ち上げる必要なく、表示

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

2023年11月29日に開催されたAWSのカンファレンスイベント「AWS re:Invent」で発表されたAIチャットサービス「Amazon Q」がついに2024年4月30日に一般公開されました。 AWS announces general availability of Amazon Q, generative AI-powered assistant https://www.aboutamazon.com/news/aws/amazon-q-generative-ai-assistant-aws Amazon Q Developer, now generally available, includes previews of new capabilities to reimagine developer experience | AWS News Blog https://aws.am

AIで生成した画像を使った漫画の著作権がアメリカで物議を醸したり、漫画の設定やあらすじを提案してくれるAIサービスが登場したりと、AIは絵やイラストの生成だけでなく漫画作品の制作にも活用されるようになってきています。中国のByteDanceと南開大学の研究チームが、ストーリーのある漫画を出力できるAIモデル「StoryDiffusion」を発表しました。 StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation https://storydiffusion.github.io/ StoryDiffusionは、統一感のある漫画キャラクターを出力することが可能です。例えば、以下は上からコマドリ、リス、ハリネズミのキャラクターを、左から順に「ベッドで起きる」「朝食を食べる」「道路にいる

4月13日にv1.9.0リリース！現在v1.9.3へAUTOMATIC 1111は、v 1.8.0を軽く確認した以降、AUTOMATIC1111 Forgeばかり使っていて、ご無沙汰だったのだが、4月13日、Xのタイムラインにv1.9.0の文字が流れてきた。これは！とアップデートの内容を確認すると、主な部分は以下の通り。 メインUIにSchedulerの項目を追加 SDXL-Lightningモデル用にSgm uniform scheduler追加 コールバックを並べ替えるためのUIを追加 ご覧の様に意外と少ない(もちろんパフォーマンス向上や細かい修正なども含まれる)。ただ1の「メインUIにSchedulerの項目を追加」は非常に大きい改良だ。 以前この連載でも指摘していたが、AUTOMATIC1111のSampling methodは、SamplerとSchedulerを一つにまとめてお

アマゾンは、AIスタートアップ「Anthropic」へ、同社史上最大の投資となる40億ドルの出資を完了したと発表しました。最近Anthropicは、強力な大規模言語モデル「Claude 3」ファミリーをリリースし、ライバルのOpenAIを上回る性能を示しています。アマゾンにとってAnthropicへの投資は、AWSにおける生成AIプラットフォーム「Amazon Bedrock」の魅力をさらに高めるものになり、競争上の優位性を強化することにつながります。BedrockではAnthropicに加えCohereなどのクローズドモデルや、MistralやMeta の「Llama 2」などのオープンソースモデルが利用できるようになっているだけでなく、これらのモデルを活用し、ユーザーは独自のアプリを開発することも可能に。本記事では、アマゾンのAnthropic投資の概要に触れつつ、これらの投資がBed

近年のAppleでは、オープンソースの言語モデル「OpenELM」やマルチモーダル大規模言語モデル「Ferret-UI」などのAI関連製品の開発が精力的に行われています。そんなAppleではGoogleから少なくとも36人ものAI専門家を引き抜き、スイス・チューリッヒにAIモデルや製品を開発する研究所を設立していることが報告されています。 Apple targets Google staff to build artificial intelligence team https://www.ft.com/content/87054a60-dc4d-4238-a4b9-93ab48f22f56 Apple Hired Dozens of AI Experts From Google for a Secretive Zurich Research Lab - MacRumors https:/