背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
What is a B-tree?The B-tree plays a foundational role in many pieces of software, especially database management systems (DBMS). MySQL, Postgres, MongoDB, Dynamo, and many others rely on B-trees to perform efficient data lookups via indexes. By the time you finish this article, you'll have learned how B-trees and B+trees work, why databases use them for indexes, and why using a UUID as your primar
こんにちは！技術部プラットフォームグループのharukin, pochyです。 この記事では、「ISUCON」を模したパフォーマンスチューニング研修を複数社合同で実施した概要と、そのための準備について紹介します。 研修について 目的 今回の研修の目的は次のものとしました。 パフォーマンスチューニングの問題を会社横断でチームを組成し取り組むことで、サーバサイドやインフラのパフォーマンス・チューニングを中心に幅広い知識を総動員して課題解決に望む。 課題解決過程のコミュニケーションを通じて、会社の枠を超えた同期作りを促進する。 概要 今回の研修では、チームごとにパフォーマンスチューニングの課題に挑戦しました。 実際のISUCONのように、各チームにwebサーバーを貸し出す形式です。各チームはそのアプリケーションを時間内にパフォーマンスチューニングし、最適化された度合いによってチームに点数をつけま
最近関わっているプロジェクトでは、大きなアプリケーションのリアーキテクチャを行っています。 そこではフルスクラッチでインフラの構成を書き直す機会がありました。 そのプロジェクトは社内では比較的複雑な構成になっていて、リアーキテクチャにあたっては、アプリケーション特有の事情により、考慮すべきポイントや難度が高いところがたくさんありました。 具体的には、複数のマイクロサービス間の協調性や独立性とそれに付随する認証/認可、クライアント証明書(mTLS認証)の管理、歴史的経緯による複雑性を正すためのawsアカウント移行などなど。 それらは別の機会で語る(or 同僚の誰かが語ってくれることに期待したい)として、この記事ではインフラをフルスクラッチで書き直すにあたって選択したCDKTFについて、紆余曲折を経つつも最終的に採用したディレクトリ構成について書きたいと思います。 タイトルには「ベストな」とあ
障害への不安をぶっ壊す！カオスエンジニアリングを運用しシステムとチームの耐障害性を高める - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの山本です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 我々のチームは、複数サービスを運用する中で障害対応の経験不足や知見共有の難しさといった課題に直面していました。そこで、半年ほど前にカオスエンジニアリングの導入を開始しました。 本記事では、カオスエンジニアリングを一過性のものではなくチームの文化として根付かせ、継続的な改善サイクルを生み出すための導入から運用まで、我々のチームでの実践から得られた具体的な方法をお伝えします。 これからカオスエンジニアリングを始めようとしている方はもちろん、すでに導入しているものの効果的な運用に悩んでいる方の参考になれば幸いです。 目次 はじめに 目次 背景・課題 カオスエンジニアリング導入の流れ 1. 目標とKPIの設定 1.1 目標
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering
2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは，IT 本部 IT 基盤部第一グループの大田です． IT 基盤部では，DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています． 今回は，横浜DeNAベイスターズ（以下，YDB）の HaMaMo! というサービスについて，IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します． HaMaMo! とは HaMaMo!（ハマスタモバイルオーダー）は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ
![ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b4ff31d50480362d641df055d98e3b11303ccf9/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F12%2Fydb-mobile-order-infra-arch%2Fcover.png)
フルチン済 超ジュラルミンおじさん(24)@ilovegrupan「労災ポルノ」と話題になってる動画を見に行ったら危険ポイントだらけで笑った THE MAKING （１８９）ふ菓子ができるまで https://t.co/2tit40yqyD https://t.co/Jo2r3KOFh5 2022/02/16 12:31:22 フルチン済 超ジュラルミンおじさん(24)@ilovegrupan〜見どころ〜 ・カッターが回転してる釜に素手を突っ込む ・高速回転ドリルのすぐ近くで素手で作業する ・巻き込まれそうな所に指を置く ・プレス機のすぐ近くで作業する ヨシ！！ 2022/02/16 12:45:39フルチン済 超ジュラルミンおじさん(24)@ilovegrupan「労災ポルノなら鉄筋回も中々だぞ！」って声があったので見に行ったら凄かった ヨシ！！ https://t.co/OCmjoVj
みなさん、こんにちは！ 今回は子供の靴について、選び方やサイズの測り方、いつ買い替えるの？など、大きくなっていく「子供の靴の選び方」についてブログにしたいと思います。 子供の靴をプレゼントしたい方にも参考になる、年齢や身長などから推測できる一般的な靴のサイズも掲載してきますので、是非ご覧ください！ 子供の成長は本当に早く、成長過程で足のサイズもどんどん、頻繁に変わっていきます。 子供の靴は適切なサイズを選ぶことで、健康面やと靴の履き心地などからくる快適さ、歩きやすさや姿勢にまで直結します。 このブログでは、子供の靴を選ぶ際の基準について詳しく解説します。 足のサイズの測り方、気を付けること、靴の安定性、通気性といった重要なポイントを網羅していきますので、最後までお付き合い下さい。 それでは、みていきましょう！ 子供の靴のサイズに関する課題 Amazon：スニーカー ダブルメッシュフライ織り
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
Database Fundamentals
About a year ago, I tried thinking which database I should choose for my next project, and came to the realization that I don't really know the differences of databases enough. I went to different database websites and saw mostly marketing and words I don't understand. This is when I decided to read the excellent books Database Internals by Alex Petrov and Designing Data-Intensive Applications by
昨年12月にCMUのソフトウェア工学修士を無事に修めました。主に昨年 秋学期の振り返りをしようかと思います。入学から秋～春ぐらいのお話は以下の過去記事を参照ください。 blog.pco2699.net blog.pco2699.net blog.pco2699.net 授業 今年の秋は、「Advanced Distributed And Operating Systems」という CSのPhD向けのクラスを取りました。 www.cs.cmu.edu 授業はCSの論文のディスカッション、グループプロジェクトで構成されます。学期前半はDynamoやMapReduce、Tenserflowなど著名な分散システムやオペレーティングシステムの論文を読んでディスカッションを行います。学期後半は、グループプロジェクトとして、3人グループで論文を書きます。 この授業の教授がシステム界隈では有名な方らしく、
AWS Support - Troubleshooting in the cloud Workshopをやってみた③
AWS Support - Troubleshooting in the cloudとは AWSが提供するWorkshopの一つで、現在(2024/5)は英語版が提供されています。(フィードバックが多ければ日本語化も対応したいとのこと) クラウドへの移行が進む中でアプリケーションの複雑性も増しています。このワークショップでは様々なワークロードに対応できるトラブルシューティングを学ぶことが出来ます。AWSだけでなく一般的なトラブルシューティングにも繋がる知識が得られるため、非常にためになるWorkshopかと思います。また、セクションごとに分かれているので、興味のある分野だけ実施するということも可能です。 学習できるコンテンツ・コンセプトとしては、CI/CD、IaC、Serverless、コンテナ、Network、Database等のシステムに関わる全てのレイヤが網羅されているので、ぜひ一度
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue- - Qiita
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue-AWSDatabaseglueETL生成AI 1. はじめに ※この記事は、慎重な検証を行った結果に基づくものではなく、参考情報として提供されています。そのため、内容を鵜呑みにせず、自身で確認や検証を行っていただくことをお勧めします。ご理解のほど、よろしくお願いいたします。 Amazon Q data integration in AWS Glueがプレビューされました(2024/01/30)。 Amazon Q とAWS Glueが統合されたことによって、ETLジョブ作成に関する学習時間や労力の削減が期待できます。具体的な機能としては以下の二つです。 i．生成AIに自然言語で質問すると、回答してくれる。 Bedrockベースの生成AIがAWSのドキュメントを参照してより専門的
[ワークショップ資料] コードを書かずにデジタルコンテンツを販売する仕組みをAWS上に構築してみよう - Qiita
この記事は、コードを書かずにオンライン決済の注文フローをAWS上に実装する方法を体験するワークショップ資料です。デジタルコンテンツを販売するサイトを例に、イベント駆動型のシステムを作る方法やAWSのサーバーレスな製品を組み合わせる方法などを体験できます。 ワークショップで体験できること このワークショップでは、「商品が注文された後」のワークフローにフォーカスして、業務フローの自動化に挑戦します。事前に用意されたStripeアカウントと、商品注文リンクを利用して、購入されたデジタルコンテンツの提供や社内への通知などを実装します。 プライベートベータ機能を利用します 本資料公開時点では、StripeとAmazon EventBridgeを連携させる機能は招待制のベータ機能です。ご自身のStripeアカウントで試されたい方は、以下のドキュメントにあるフォームから、ベータ版の参加申請を実施してくだ
![[ワークショップ資料] コードを書かずにデジタルコンテンツを販売する仕組みをAWS上に構築してみよう - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/094c2ac9d6968006d5eda1116f3c1b08b7ad4597/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUUzJTgzJUFGJUUzJTgzJUJDJUUzJTgyJUFGJUUzJTgyJUI3JUUzJTgzJUE3JUUzJTgzJTgzJUUzJTgzJTk3JUU4JUIzJTg3JUU2JTk2JTk5JTVEJTIwJUUzJTgyJUIzJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgyJTkyJUU2JTlCJUI4JUUzJTgxJThCJUUzJTgxJTlBJUUzJTgxJUFCJUUzJTgzJTg3JUUzJTgyJUI4JUUzJTgyJUJGJUUzJTgzJUFCJUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTg2JUUzJTgzJUIzJUUzJTgzJTg0JUUzJTgyJTkyJUU4JUIyJUE5JUU1JUEzJUIyJUUzJTgxJTk5JUUzJTgyJThCJUU0JUJCJTk1JUU3JUI1JTg0JUUzJTgxJUJGJUUzJTgyJTkyQVdTJUU0JUI4JThBJUUzJTgxJUFCJUU2JUE3JThCJUU3JUFGJTg5JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJTg4JUUzJTgxJTg2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz04YzAyMDBjMWI1Y2MyOGYxZjc5M2QwZWFhNjc2ZWVlYg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBoaWRlb2thbW90byZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NGQ1MTg2MTJmNDZmNmE1NTMxNWNjNDgxYTkwMmY0N2E%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da20e246851b537df7e727a68f1a32009)
EKS Pod Identity を活用して Terraform でプロビジョニングした EKS を Blue/Green アップグレードしてみた | DevelopersIO
EKS Pod Identity を活用して Terraform でプロビジョニングした EKS を Blue/Green アップグレードしてみた EKS Pod Identity とは？ EKS クラスター内の Pod に AWS 権限を与える新しい方式として EKS Pod Identity が発表されました。 Pod に Service Account 単位で細かく権限設定を行う際、 IRSA(IAM Roles for Service Accounts) を以前から利用できました。 こちらを使わずに EKS ノード単位で権限を付与すると Pod に必要以上の権限を付与してしまう可能性が高いため、IRSA はかなり一般的に利用されている機能かと思います。 Pod Identity も特定 Service Account 内の Pod から IAM ロールを利用可能にするための同じ目的
素早くアイデアを実験できるAWS Amplifyを試す(バックエンド編) 2022-01-18 2023-05-01 Backend Amplify, AWS, CI/CD, Node.js, Serverless 6883回 0件 環境概略図 それではバックエンドの構築/開発を始めます。フロントエンドと同様に、amplify-cliのガイドに従いながら進めます。順番としては、DynamoDB → API Gateway/Lambda → Cognitoの順です。 1. DynamoDBの構築 以下のコマンドでDBを構築します。 amplify add storage 下のキャプチャの通り、DynamoDBのテーブル名、パーティションキー、ソートキー、GSI、Streamsの構成を設定します。 amplify-cliのガイド内容から、必要なカラムを全て定義しなくてはいけないと感じるかもしれ
DynamoDB Table Creation: With CDK and TypeScript | DevelopersIO
In this blog, we'll create a simple DynamoDB table using the power of CDK and TypeScript. But before that, let's know about CDK, the Cloud Development Kit. It's an open-source framework that empowers developers to define their desired cloud resources within the familiar comfort of their preferred programming language. CDK offers a higher level of abstraction, allowing us to write concise and maint
株式会社ジェイテックジャパン CTOの高丘 @tomohisaです。この記事は私たちジェイテックジャパンの作成しているイベントソーシング・CQRSフレームワークがリリースされてしばらく経ったので開発に至るきっかけやこれまでの歴史をまとめてみました。 Sekiban開発に至る経緯 複雑さに対応するアーキテクチャの必要性 当初、私たちはシンプルなMVCで開発を行っておりました。しかしながら、Fatコントローラーが生じる問題や、モデルにビジネスロジックをまとめる難しさから、メンテナンスが困難なシステムへと変化してしまいました。 そこで、弊社ではDDDというドメイン駆動設計を導入しました。初期段階では「軽量DDD」もしくは「とりあえずレイヤー化したオニオンアーキテクチャ」でした。しかし、リポジトリの抽象化によって、コードのテストが劇的に書きやすくなりました。また、多くのビジネスロジックがドメインに
出戻り
今年のはじめから新しいチームに異動して働いていたのだが、仕事が肌に合わず進捗もはかどらず、すっかり意気消沈していた。 現実逃避に社内求人を眺めると、自分のもといたチームの穴埋め求人がまだ残っていた。一年近く経つのに埋まらなかったらしい。ポストレイオフで不景気な御時世に珍しい。 これも縁かと元上司に連絡し「新しいチームいまいちあわなかったんで帰ってもいいですか」と訊くと「いいよ」という。お言葉に甘え、すごすご出戻ることにした。 出戻りとかカッコ悪いし最後の手段だと昔は思っていたが、かつて出戻り先だと思っていた居場所も次々と顔の効く権力者がいなくなってしまい戻ろうにも道を失なった過去がある。今回は場所があるうちに帰ってみたい。 今いるチームに異動した動機の一つとして、大規模インターネットサービスを運用する巨大組織で仕事をしてみたい目論見があった。今後社内で異動するにせよ「大企業の方から来ました
寄稿：大阪ガス株式会社による生成 AI を使ったカーボンクレジット評価システムのご紹介（前半） | Amazon Web Services
Amazon Web Services ブログ 寄稿：大阪ガス株式会社による生成 AI を使ったカーボンクレジット評価システムのご紹介（前半） 本稿は、 大阪ガス株式会社による生成 AI を使ったカーボンクレジット評価システムの取り組みについて、未来価値開発部 カーボンクレジット開発ユニットリーダー 岡田 和也様より寄稿いただきました。前半、後半の 2 回に分けてご紹介いただきます。本稿は、その前半となります。 前半ではカーボンクレジットの評価を生成 AI で行う背景とその結果についてお伝えします。後半では今後 AWS 上でどのような開発を継続するのか、ビジネスにどのような影響があるかをご紹介致します。 後半の記事も公開されておりますので、ぜひご参照ください。 「大阪ガス株式会社による生成 AI を使ったカーボンクレジット評価システムのご紹介（後半）」 1. はじめに 大阪ガスは、2050
個人開発にTerraformは必要か否か? - 我思うIaCのはなし - Lean Baseball
仕事はともかくとして, 個人として趣味エンジニアリングと野球データ分析の人です. このブログは先日（2024/3/8）に開催された「第22回 酒とゲームとインフラとGCP」の発表および質疑応答から生まれたエントリーとなります. speakerdeck.com 現地も大変盛り上がりましたし, スライドも殊の外に反響を頂いて*1驚いています. この場を借りてお礼申し上げます🙏 発表後, 現地ではいくつかの質疑応答や会話, ディスカッションがありましてその中で最も印象に残った件がこちら. 何故Terraformを書いたのですか?シェルスクリプトでも良いのではないでしょうか? そうですよね, 単に個人開発（趣味）で作っているものでTerraformとGitHub ActionsでのCI/CD（この件は後日別に発表&ブログ書きます）まで頑張らなくても, shellでサクッとgcloudコマンド叩い
【ゲートウェイ VPC エンドポイント】EC2からプライベート経路でS3などのAWSサービスへアクセスする - サーバーワークスエンジニアブログ
こんにちは！イーゴリです。 EC2がパブリックサブネットにある場合、問題なくインターネットゲートウェイ経由でS3へアクセスができます。 なお、プライベートサブネットにあるEC2からS3にアクセスしたい場合、NATゲートウェイ経由でもS3にアクセスができますが、S3のためだけにNATゲートウェイを構築し、NATゲートウェイ経由でS3にアクセスしたい場合、デメリットとしては、NAT Gateway料金及びNAT Gatewayを経由する通信料がかかりますので、ご注意ください。 但し、パブリックサブネットにNATゲートウェイがない場合、プライベートサブネットにあるEC2からS3にアクセスはできません。 NATゲートウェイやインターネットゲートウェイへのアクセスがない場合、もしくは、プライベートサブネットからトラフィック料金などが発生しないようにS3にアクセスがしたい場合、S3 Endpoint
Introducing AuraFlow v0.1, an Open Exploration of Large Rectified Flow Models
Open-source AI is in jeopardy. As community interest in AI models skyrocketed over the past year, we noticed that development of new open-source foundational models came to a halt. Some even boldly announced that open-source AI is dead. Not so fast! We are excited to present you the first release of our AuraFlow model series, the largest yet completely open sourced flow-based generation model that
【Anthropic Prompt library】ITエンジニアのための生成AI活用ガイド - サーバーワークスエンジニアブログ
当記事ではAnthropic Prompt libraryのプロンプト集の中から、ITエンジニア視点で日常業務で役立つプロンプトを紹介します。 Anthropic Prompt libraryとは 注意点 前提 ちなみに 分類 文章処理系 Cite your sources - 情報源を引用する その他 Meeting scribe - 会議の書記 Prose polisher - 散文研磨者 Second grade simplifier - 2 年生の単純化子 Grading guru - 採点の第一人者 Grammar genie - 文法の魔神 PII purifier - PII 浄化装置 Adaptive editor - アダプティブエディター Memo maestro - メモマエストロ 分析系 Corporate clairvoyant - 企業の透視能力 Ethical
This article explains what event sourcing is, common use cases, considerations and examples. This document discusses an approach to building event sourced systems. The use cases, architecture patterns and implementation details using both AWS native services and open source options. Event Sourcing is an architecture pattern that stores an application’s state as an append-only log of events. As wel
定期的にDynamoDBのデータをS3バケットにCSV形式で保存するLambdaを作成してみた | DevelopersIO
はじめに Amazon DynamoDBのデータを毎日Amazon S3バケットへCSV形式で保存するAWS Lambdaを作成する機会がありましたので、紹介します。 構成としては以下のとおりです。 Amazon EventBridge Schedulerで毎日01:00にLambdaを呼出します Lambdaは、DynamoDBから前日に保存されたデータを取得します。 LambdaでCSV形式に変換し、S3バケットに保存します。 DynamoDBのテーブルは、属性としてデータを保存した日付が入っていれば、テーブルは何でもよいですが、今回は以下の記事で作成したテーブルを利用します。 本記事で使用するDynamoDBのテーブルには、start_date(保存した日付)の属性が必要です。存在しない場合は、新たに追加してください。 保存した日付:start_date（必須） 例：2024-04-
はじめに体調不良もあり、長らく更新しておらず申し訳ございませんでした。 前回は、LoRAについて基礎的なところを記事にしました。 今回は、その実践編になります。 本記事のお品書きとしては、前準備～基本的なLoRA学習までを取り扱おうと思います。 Contents 前準備（1）～コンセプトを決めよう～ 前準備（2）～教師画像を集めよう～ 前準備（3）～フォルダとファイルの下準備をしよう～ 前準備（4）～学習に必要な各種ツールを導入しよう～ 前準備（5）～キャプション付けを行おう～ 前準備（6）～学習パラメータを決定しよう～ 実践（1）～学習開始～ 実践（2）～実際に生成してみる～ 前準備 (1) ～コンセプトを決めよう～LoRAを作るぞー！！ってなっても、コンセプトが決まらなければ、データセットも用意することができません。 LoRAで出来ることは、基本的に「既知の情報に関連した新しい概念を追
基本的にはshスクリプトを叩くだけでOKという､神仕様です｡ Colabのサンプルコードも上がっていましたが､簡易バージョン(?)なので､回答は壊滅的でした｡ 2. GPT-NEOXでの構築 英語です｡ 実装1.を動かすことにしました｡ 以下､試してみた的な追試メモとなります｡ 動作環境A100x2 SSD 2 TB HDD 10TB Intel(R) Xeon(R) w5-3435X RAM 512 GB (DDR5) レポジトリ取得https://github.com/ce-lery/japanese-mistral-300m-recipe.git cd japanese-mistral-300m-recipeDockerの構築pip周りがかなり面倒そうなので､webサイトの説明通り､dockerを使ったほうが良さそうです｡ #install docker build -t cuda1
故障したエスティマの復活劇の一部始終！YGKサンガレージさんありがとう！ - urakatahero“B”log
「プロは凄い」 あらすじ 故障したエスティマの復活劇の一部始終 軒先で交換作業をしてもらった YGKサンガレージ あらすじ 出発した瞬間にうんともすんとも言わなくなって道をふさいでしまった20万km近いエスティマ(50形)。 JAFのかっこよさを再認識し、なんとか2m下がって駐車場へと戻る事が出来た。 「原因は多分オルタネーターっすねぇ」 車はバッテリー(電池)を消耗し続ける乗り物なのだが、ガソリン(燃料)を動力とするエンジンの余力を使用してバッテリーを充電する為の装置が、オルターネーターだ。 つまり、オルタネーターとは、バッテリーを充電する装置である。 筆者が直面していた問題は以下の４点。 道路が狭すぎてレッカーが入れない 自走が不可能な状態 車検が切れる直前であるから、廃車か修理かの早急な選択が迫られている 資産に余裕がない状態なので、修理も購入も厳しい 修理をするにも頼れる人(店)が
ラスベガスで開催されている「AWS re:Invent 2023」の初日は、恒例のピーター・デサントス氏による「Monday Night Live」が行なわれた。インフラやチップに関する内容の多いインフラ担当デサントス氏の講演だが、今年のテーマは「データベースのサーバーレス化への道」。最後には量子コンピューティングへのチャレンジも披露され、エンジニアにとって満足度の高い内容となった。 アプリケーションの苗床にRDBほど適切な場所はあるだろうか？ 登壇したデサントス氏は、まずサーバーレスへののメリットをひもとく。サーバーレスは弾力性があるため、膨大なインフラを数多くの顧客で共有するにあたって、余剰のリソースを効率的に利用できる。顧客としても使った分だけを支払えばよいし、サステイナビリティの観点でも優れている。「もっとも電力効率がよいのは電力を使わないことだ」とデサントス氏は指摘する。もちろん
Adam Selipsky, CEO of Amazon Web Services, shares his perspective on cloud transformation. He highlights innovations in data, infrastructure, and artificial intelligence and machine learning that are helping AWS customers achieve their goals faster, mine untapped potential, and create a better future. Featuring customer speakers: Dario Amodei, CEO and Co-Founder, Anthropic; Stephan Durach, Senior
'thicc' out now: https://shygirl.lnk.to/thiccyo Club Shy out now: https://shygirl.lnk.to/clubshyyo Subscribe to Shymail: https://shygirl.lnk.to/shymailyo Subscribe to my Youtube channel: https://shygirl.lnk.to/subscribeyo Follow Shygirl: https://shygirl.tv/ Spotify: https://shygirl.lnk.to/spotifyyo Apple Music: https://shygirl.lnk.to/applemusicyo Instagram: https://shygirl.lnk.to/instagramyo T
![Shygirl - thicc (ft. Cosha) [official music video]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b82a549c8ccf1dfab9243d1770540ad4a5925b1/height=288;version=1;width=512/https%3A%2F%2Fi.ytimg.com%2Fvi%2FteUaaZ4EVp4%2Fhqdefault.jpg)
Deno KV vs. Cloudflare Workers KV, Upstash Redis, AWS DynamoDB, and Google Firestore More developers are choosing to host stateful applications at the edge for a variety of reasons — higher availability with more points of presence, lower latencies due to being physically closer to users, controlling data residency for compliance, and more. Our managed Deno KV, now in open beta, is our key value s
351 足つぼマッサージの闇を暴く。 - 毎日靴ブログ＠元・靴設計士 兼 元・靴修理人 兼 現シューフィッター 兼 靴マニアの こまつです。
あー。 よくみるこの図、 日本でも中国でもなく アメリカ発祥って知ってた？ こんばんわコマツです。 ・・・・・・・・・・・・・・・・・・・ 一時期「足つぼ」、 はやったじゃないですか。 だいぶ衰退しましたが、 今でもユーチューバーとかが リアクション対決でよくやってますよね。 「ここ押して痛かったら 肝臓が悪い」とかね。 あれウソです。 あと、温泉とか スーパー銭湯に行くと、 脱衣室にかならず こんなのあるでしょ。 当然これもウソです。 説明しましょう・・・。 ・・・・・・・・・・・・・・・・・・ 結論から言いますが、 足のツボなど存在しないことは 1990年代にはわかってます。 （あとから説明しますね） 「足つぼ」＝「リフレクソロジー」 ともよく言います。 いかにも効きそうですよね。 「いや、でも足つぼマッサージやったら 気持ちよかったし・・・」というかた。 それ、カラクリがあります。
Iron snow can occur when cooling near the core-mantle boundary causes iron crystals to form. These crystals grow, then sink into the hot core and melt. Credits: Image by Ludovic Huguet and map texture from NASA/Johns Hopkins University Applied Physics Laboratory/Carnegie Institution of Washington Source: Geophysical Research Letters Just as snow crystals form in the upper atmosphere, then fall to
How to securely transfer files with presigned URLs | Amazon Web Services
AWS Security Blog How to securely transfer files with presigned URLs Securely sharing large files and providing controlled access to private data are strategic imperatives for modern organizations. In an era of distributed workforces and expanding digital landscapes, enabling efficient collaboration and information exchange is crucial for driving innovation, accelerating decision-making, and deliv
こんにちは、たねやつです。 今年に入ってAI関連技術が爆発的に広がってきていますが、自分もようやっと最近GPUを現代的なものに乗せ換えたのでローカル環境でいろいろ試してみました。手始めにVRoidで作成した推しキャラをLoRAを使用して好きに画像生成してみました。結果的にはかなり満足の行くものとなりましたので、備忘録等も兼ねて残しておきます。 PC環境 手順 stable-diffusion-webuiを導入 インストール LAN内の他の端末(スマホ等)からアクセスできるようにする kohya_ssを導入 インストール RTX 3000/4000系を使用している人は追加設定をすると学習が早くなります 起動確認 モデル取得 生成 VRoidからモデルを学習対象3Dキャラを作成 自分で作ったモデルを使用 面倒な場合はサンプルモデルを使用する 学習用画像を作成 学習準備 生成した学習用ファイルを
【Stable Diffusion】ローカル環境でLoRAを作成。SDXLにも対応！Kohya’s GUIの導入方法と使い方 - 画像生成ドットコム
今回はLoRAをローカル環境で訓練して学習させる方法について解説します。今最もメジャーでトラブルの少ないKohya’s GUIを使ってLoRAを作成していきます。Kohya’sはSDXLにも対応していて訓練時の設定を変更するだけでv1.5や2.0など簡単にバージョンの切り替えができるので本記事を読むことですべてのバージョンに対応したLoRAの作成方法について理解できることでしょう。 Kohya’s GUIとは？LoRAを訓練させるツール。SDXLにも対応！ Kohya’s GUIはLoRA学習用のツールです。LoRAの学習といえばKohyaさんというぐらいに著名な方が作ったツールです。ちなみにKohyaさんは日本人みたいです。Kohya’s GUIはStable Diffusion v1.5や2などの従来のStable Diffusion ModelだけではなくSDXLにも対応しています。
誰でもわかるStable Diffusion LoRAを作ってみよう(導入編) - 人工知能と親しくなるブログ
Stable Diffusionはそのままでも十分きれいな画像を描いてくれますが、自分の好みに合った画風の絵を描いてくれなかったり、特殊な構図を指定しても理解してくれなかったり、いまいちかゆいところに手が届かない、と思うことがあるでしょう。 そんな時、Stable Diffusionに新たな絵柄や構図を教えて、自分の好みに近い絵柄や構図の画像を生成させることができます。 その仕組みが「追加学習」です。 追加学習の方法はいくつかありますが、今回は、現在主流になっている「LoRA」という手法について簡単に解説し、LoRA学習を行うのに必要なプログラムを導入する方法を説明します。 注意： 今回の解説にあるKohya_ssのインストール手順はWindow向けです。Mac/Linuxと共通する部分もありますが、手順はWindowsマシンにインストールすることを想定しています。 Loraとは Lora
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
B-trees and database indexes — PlanetScale
日本CTO協会による合同ISUCON研修の紹介 - Pepabo Tech Portal
ベストなCDK for Terraform(CDKTF)のディレクトリ構成を探る
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
ふ菓子のメイキング動画が「労災ポルノ」だと話題に : くまニュース
子供の靴の選び方！年齢や身長から推測可能な靴のサイズと関係性！
A Distributed Systems Reading List
CMUのソフトウェア工学修士を修めた - pco2699’s blog
素早くアイデアを実験できるAWS Amplifyを試す(バックエンド編)
イベントソーシングフレームワーク、Sekibanの開発に至る経緯と開発中の試行錯誤
Event Sourcing | Event-driven Architecture on AWS
LoRAを作ってみよう！～実践編・基本～ ｜とーふのかけら
小さな大規模言語モデル(0.3B)をトレースで自家構築する際のメモ｜Kan Hatakeyama
AuroraはServerlessからLimitlessへ 量子チップのR&Dも披露 (1/4)
AWS re:Invent 2023 - CEO Keynote with Adam Selipsky
Shygirl - thicc (ft. Cosha) [official music video]
Deno KV vs. Cloudflare Workers KV, Upstash Redis, AWS DynamoDB, and Google Firestore
Iron Snow Ebb and Flow May Cause Magnetic Fields to Come and Go - Eos
VRoidで作成した3DキャラクターをLoRA学習に使用してAI画像生成する - たねやつの木