1. 第3次AIブームの到来 米Google DeepMindが開発した人工知能（AI）の囲碁プログラム「AlphaGo」が世界トップレベルの実力を持つ韓国のプロ棋士、李世ドル（イ・セドル）九段に4勝1敗と大きく勝ち越したことが着火剤となり、2015年より第3次AIブームへと突入した。(ちなみにAIが誕生したのは1950～1960年代で第1次AIブームの到来) 1.1 余談になるがAlphaGo(4億円の知能)はなぜすごいのか？ AlphaGoがそれ以前のチェスや将棋のAIと異なるのは、 畳み込みニューラルネットワーク（CNN） を応用している点だ。このCNNはさらに強化学習を行い、自分自身と対局を数千万回も繰り返した。 間違っていたらすみません、、、、 1.2 ChatGPTによる生成AIのブーム ChatGPTに代表されるLLMは以前から開発競争が繰り広げられていた。 GPT1は201
WebアプリケーションにGoの並行処理アーキテクチャを導入してSLOを改善し、WebAPIを100倍速くした話 - スタディサプリ Product Team Blog
こんにちは。スタディサプリの小中高プロダクト基盤開発グループでProduct Platform Engineer兼テックリードをやっている@tooooooooomyです。 今回は、WebアプリケーションにGoの並行処理機構を導入してSLOを改善し、WebAPIを100倍速くした話をしたいと思います。 前提条件 システムを0から作らない場合、アーキテクチャの改善の際には前提条件が付きものです。そこでまずは今回のシステムの前提条件をお話します。 対象となるシステムと、アーキテクチャ 今回対象とするシステムは、ここでは security-tracker と呼び、Webアプリケーション本体はGoで書かれています。 スタディサプリの各アプリケーションにおけるユーザーのログ1を、Amazon Kinesis Firehoseを通して、リクルート全体のセキュリティチームが管理するS3バケット(スタディサ
こんにちは, プロダクト開発部の今村です. ここ一年ほど, 主にグノシーのプッシュ通知基盤の部分的なリプレイスや機能追加をしていました. この記事ではプッシュ基盤の構成を紹介したいと思います. 概要 FCMのAPIを呼び出す部分 サーバーのスケーリング 送信対象の読み込み 送信の流れ その他の工夫 重複配信の防止 パフォーマンス調整 おわりに 概要 まずはプッシュ通知の種類を整理します. 今回扱うのは, 多数のユーザーに同じ内容を送るような通知です. 重要なニュースが発生したときに送る速報や, キャンペーン情報の通知などが該当します. 対照的に, ユーザーごとに異なる内容を送る通知もあります. 例えば社内で定時プッシュと呼ばれている機能では, ユーザーごとにパーソナライズされた記事を毎日決まった時間に送ります. このような通知はこの記事では (ほぼ) 扱いません. プッシュ通知基盤に求めら
Feature Flags の仕組みを整備して、デプロイとロールアウトの分離を加速させた - カミナシ エンジニアブログ
こんにちは、カミナシでソフトウェアエンジニアをしている 佐藤 と申します。 弊社で開発・提供しているノンデスクワーカー向けプラットフォーム「カミナシ」（以降「カミナシレポート」や「弊社アプリケーション」と呼びます）において、Feature Flags の仕組みを整備し、デプロイとロールアウトの分離を加速させたことについてご紹介したいと思います。 登場する技術 Amazon Elastic Container Service (ECS) AWS AppConfig AWS AppConfig agent 前提知識 後半の「技術的な話」以降の部分は、以下の技術についても触れています。 Feature Flags、Feature Toggles AWS AppConfig Amazon Elastic Container Service (ECS) Terraform 「背景」や「解決策」といっ
背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
最近関わっているプロジェクトでは、大きなアプリケーションのリアーキテクチャを行っています。 そこではフルスクラッチでインフラの構成を書き直す機会がありました。 そのプロジェクトは社内では比較的複雑な構成になっていて、リアーキテクチャにあたっては、アプリケーション特有の事情により、考慮すべきポイントや難度が高いところがたくさんありました。 具体的には、複数のマイクロサービス間の協調性や独立性とそれに付随する認証/認可、クライアント証明書(mTLS認証)の管理、歴史的経緯による複雑性を正すためのawsアカウント移行などなど。 それらは別の機会で語る(or 同僚の誰かが語ってくれることに期待したい)として、この記事ではインフラをフルスクラッチで書き直すにあたって選択したCDKTFについて、紆余曲折を経つつも最終的に採用したディレクトリ構成について書きたいと思います。 タイトルには「ベストな」とあ
こんにちは！技術部プラットフォームグループのharukin, pochyです。 この記事では、「ISUCON」を模したパフォーマンスチューニング研修を複数社合同で実施した概要と、そのための準備について紹介します。 研修について 目的 今回の研修の目的は次のものとしました。 パフォーマンスチューニングの問題を会社横断でチームを組成し取り組むことで、サーバサイドやインフラのパフォーマンス・チューニングを中心に幅広い知識を総動員して課題解決に望む。 課題解決過程のコミュニケーションを通じて、会社の枠を超えた同期作りを促進する。 概要 今回の研修では、チームごとにパフォーマンスチューニングの課題に挑戦しました。 実際のISUCONのように、各チームにwebサーバーを貸し出す形式です。各チームはそのアプリケーションを時間内にパフォーマンスチューニングし、最適化された度合いによってチームに点数をつけま
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
AST vs. Bytecode: Interpreters in the Age of Meta-Compilation
233 AST vs. Bytecode: Interpreters in the Age of Meta-Compilation OCTAVE LAROSE, University of Kent, UK SOPHIE KALEBA, University of Kent, UK HUMPHREY BURCHELL, University of Kent, UK STEFAN MARR, University of Kent, UK Thanks to partial evaluation and meta-tracing, it became practical to build language implementations that reach state-of-the-art peak performance by implementing only an interprete
ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering
2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは，IT 本部 IT 基盤部第一グループの大田です． IT 基盤部では，DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています． 今回は，横浜DeNAベイスターズ（以下，YDB）の HaMaMo! というサービスについて，IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します． HaMaMo! とは HaMaMo!（ハマスタモバイルオーダー）は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ
![ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b4ff31d50480362d641df055d98e3b11303ccf9/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F12%2Fydb-mobile-order-infra-arch%2Fcover.png)
Building and operating a pretty big storage system called S3
Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda
現時点ではまだ実際には触っていないため、あくまでも「こんなのあったよ～」くらいの温度感の記事だと思ってください どうもこんにちは、ちょっと前にこんな記事がバズったのを覚えている人も多いと思います もちろん1つのVPSの中にMySQLとNginxとRedisとRailsを突っ込んで動かせば月1000円で夢の全載せサーバーになるのですが管理がめんどくさいですし、AppサーバーとRDBサーバーとキャッシュサーバーをそれぞれ分離してそれぞれを独立管理するような感じで運用したいって人が多いのではないかと思われます そうなってくるとRDBサーバーの部分が比較的料金が高い場合が多い……と言うのが大体の趣旨でその内容については多くの人が「まあそうだよなー」と頷いたのではないでしょうか TiDB serverless良いかも さっそく本題ですが、そんな時に「TiDB」が採用できるかもしれません 厳密に言うと
フルチン済 超ジュラルミンおじさん(24)@ilovegrupan「労災ポルノ」と話題になってる動画を見に行ったら危険ポイントだらけで笑った THE MAKING （１８９）ふ菓子ができるまで https://t.co/2tit40yqyD https://t.co/Jo2r3KOFh5 2022/02/16 12:31:22 フルチン済 超ジュラルミンおじさん(24)@ilovegrupan〜見どころ〜 ・カッターが回転してる釜に素手を突っ込む ・高速回転ドリルのすぐ近くで素手で作業する ・巻き込まれそうな所に指を置く ・プレス機のすぐ近くで作業する ヨシ！！ 2022/02/16 12:45:39フルチン済 超ジュラルミンおじさん(24)@ilovegrupan「労災ポルノなら鉄筋回も中々だぞ！」って声があったので見に行ったら凄かった ヨシ！！ https://t.co/OCmjoVj
みなさん、こんにちは！ 今回は子供の靴について、選び方やサイズの測り方、いつ買い替えるの？など、大きくなっていく「子供の靴の選び方」についてブログにしたいと思います。 子供の靴をプレゼントしたい方にも参考になる、年齢や身長などから推測できる一般的な靴のサイズも掲載してきますので、是非ご覧ください！ 子供の成長は本当に早く、成長過程で足のサイズもどんどん、頻繁に変わっていきます。 子供の靴は適切なサイズを選ぶことで、健康面やと靴の履き心地などからくる快適さ、歩きやすさや姿勢にまで直結します。 このブログでは、子供の靴を選ぶ際の基準について詳しく解説します。 足のサイズの測り方、気を付けること、靴の安定性、通気性といった重要なポイントを網羅していきますので、最後までお付き合い下さい。 それでは、みていきましょう！ 子供の靴のサイズに関する課題 Amazon：スニーカー ダブルメッシュフライ織り
※Qiita初投稿故、見苦しい文となってしまっているがお許しいただきたい。 先日、AWSの認定試験、AWS Certified Solutions Architect - Associate (以下SAAと記載)を受験し、無事一発合格できた。AWSの中でも一、二を争うメジャーな試験故、既に先人たちのアドバイスが多く寄稿されているが、メモ程度に私も記載してみようと思う。試験当日まで追い込んでギリギリの合格だったため、どちらかというと失敗談の類だと思って反面教師にして頂ければ幸いである。 この記事を書いてる人 ・某通信インフラ企業でサーバ寄りのインフラエンジニア。新卒入社3～5年目(特定避けるためぼかしている)。 ・業務では主にLinux（RHEL）、MariaDBや、監視運用ツールとしてZabbix、Ansibleあたりの製品に触ることが多い。NWは正直疎い。 ・業務でのAWS経験は皆無。プ
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
Database Fundamentals
About a year ago, I tried thinking which database I should choose for my next project, and came to the realization that I don't really know the differences of databases enough. I went to different database websites and saw mostly marketing and words I don't understand. This is when I decided to read the excellent books Database Internals by Alex Petrov and Designing Data-Intensive Applications by
Snap、Google Cloud 上で KeyDB データベースを使用してレイテンシを 96 パーセント短縮 | Google Cloud 公式ブログ
Snap、Google Cloud 上で KeyDB データベースを使用してレイテンシを 96 パーセント短縮 ※この投稿は米国時間 2023 年 10 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。 モダンなアプリケーションは高度に分散化が進み、マイクロサービスや API がマルチクラウドのような多数の異なる環境で実行されるケースが多くなっています。このアプローチには、レジリエンスやスケーラビリティなどを向上させて、チームの共同作業を加速するメリットがある一方で、レイテンシの面では懸念があります。この投稿では、Google Cloud コンサルティング（GCC）と Snap が共同で Snap の「ユーザー サービス」マイクロサービスのレイテンシを 96% 短縮し、最終的には、パフォーマンスを許容範囲内に維持しながらマルチクラウド環境でデータ分析を行える
花冷え。が自身初となる東名阪ツアーのファイナル公演を、本日7月28日に東京・渋谷WWWにて開催した。 ◆ライブ写真 近年、口コミレベルで広まっていたバンドの評判は、今年1月に配信リリースした「お先に失礼します。」によって世界規模で爆発。すでに開催が発表されているヨーロッパツアーとアメリカツアーのうち、数公演がソールドアウトするという状況となった。 メジャーデビュー発表に伴い、ここ日本でも彼女たちの注目度は俄然高まり、本公演のチケットもあっという間に完売。客層は幅広く、外国人の姿もある。 一般的なメタルのライブとはちょっと異なる雰囲気があるのもこのバンドの特徴と言えるかもしれない。 SEが鳴り響く中、4人のメンバーが次々と登場し、フロアに向かって挨拶。そして、1曲目に演奏したのはメジャーデビューアルバム『来世は偉人！』から「超次元ギャラクシー」だった。 4人の演奏を聴いてすぐに、彼女たちが短
昨年12月にCMUのソフトウェア工学修士を無事に修めました。主に昨年 秋学期の振り返りをしようかと思います。入学から秋～春ぐらいのお話は以下の過去記事を参照ください。 blog.pco2699.net blog.pco2699.net blog.pco2699.net 授業 今年の秋は、「Advanced Distributed And Operating Systems」という CSのPhD向けのクラスを取りました。 www.cs.cmu.edu 授業はCSの論文のディスカッション、グループプロジェクトで構成されます。学期前半はDynamoやMapReduce、Tenserflowなど著名な分散システムやオペレーティングシステムの論文を読んでディスカッションを行います。学期後半は、グループプロジェクトとして、3人グループで論文を書きます。 この授業の教授がシステム界隈では有名な方らしく、
LoRA作成について（必要なものなど） 今回、LoRA作成はローカルで行なっていこうと思います。 高性能なグラフィックボードが必要になります。 参考までに、私が使っているWindowsノートPCには、GeForce RTX 4070 Laptop GPUを内蔵していますが、正常にLoRAを作ることができました。 方式について 学習の方式には以下の３つがあるとのことです。 DreamBooth、class+identifier方式 DreamBooth、キャプション方式 fine tuning方式 公式のREADMEによると、1の方式は学習データの要素のすべてを特徴と捉えてしまうので、プロンプトでキャラクターの服を変更できなかったりするそうです。 でも、3の方式はなんだかむずかしそうでした。 そんなわけで、今回は2の方式、「DreamBooth、キャプション方式」を使っていこうと思います。
AWS Support - Troubleshooting in the cloud Workshopをやってみた③
AWS Support - Troubleshooting in the cloudとは AWSが提供するWorkshopの一つで、現在(2024/5)は英語版が提供されています。(フィードバックが多ければ日本語化も対応したいとのこと) クラウドへの移行が進む中でアプリケーションの複雑性も増しています。このワークショップでは様々なワークロードに対応できるトラブルシューティングを学ぶことが出来ます。AWSだけでなく一般的なトラブルシューティングにも繋がる知識が得られるため、非常にためになるWorkshopかと思います。また、セクションごとに分かれているので、興味のある分野だけ実施するということも可能です。 学習できるコンテンツ・コンセプトとしては、CI/CD、IaC、Serverless、コンテナ、Network、Database等のシステムに関わる全てのレイヤが網羅されているので、ぜひ一度
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue- - Qiita
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue-AWSDatabaseglueETL生成AI 1. はじめに ※この記事は、慎重な検証を行った結果に基づくものではなく、参考情報として提供されています。そのため、内容を鵜呑みにせず、自身で確認や検証を行っていただくことをお勧めします。ご理解のほど、よろしくお願いいたします。 Amazon Q data integration in AWS Glueがプレビューされました(2024/01/30)。 Amazon Q とAWS Glueが統合されたことによって、ETLジョブ作成に関する学習時間や労力の削減が期待できます。具体的な機能としては以下の二つです。 i．生成AIに自然言語で質問すると、回答してくれる。 Bedrockベースの生成AIがAWSのドキュメントを参照してより専門的
EKS Pod Identity を活用して Terraform でプロビジョニングした EKS を Blue/Green アップグレードしてみた | DevelopersIO
EKS Pod Identity を活用して Terraform でプロビジョニングした EKS を Blue/Green アップグレードしてみた EKS Pod Identity とは？ EKS クラスター内の Pod に AWS 権限を与える新しい方式として EKS Pod Identity が発表されました。 Pod に Service Account 単位で細かく権限設定を行う際、 IRSA(IAM Roles for Service Accounts) を以前から利用できました。 こちらを使わずに EKS ノード単位で権限を付与すると Pod に必要以上の権限を付与してしまう可能性が高いため、IRSA はかなり一般的に利用されている機能かと思います。 Pod Identity も特定 Service Account 内の Pod から IAM ロールを利用可能にするための同じ目的
素早くアイデアを実験できるAWS Amplifyを試す(バックエンド編) 2022-01-18 2023-05-01 Backend Amplify, AWS, CI/CD, Node.js, Serverless 4337回 0件 環境概略図 それではバックエンドの構築/開発を始めます。フロントエンドと同様に、amplify-cliのガイドに従いながら進めます。順番としては、DynamoDB → API Gateway/Lambda → Cognitoの順です。 1. DynamoDBの構築 以下のコマンドでDBを構築します。 amplify add storage 下のキャプチャの通り、DynamoDBのテーブル名、パーティションキー、ソートキー、GSI、Streamsの構成を設定します。 amplify-cliのガイド内容から、必要なカラムを全て定義しなくてはいけないと感じるかもしれ
DynamoDB LocalからLocalStackへの移行とJestによる自動テストの並列実行 with dynamodb-toolbox - ROXX開発者ブログ
この記事は個人ブログと同じ内容です zenn.dev はじめに DynamoDB Localを使用してJestを介した自動テストの際に、並列実行時に予期しないエラーに直面しました。--runInBandオプションを使って回避していたのですが、テストの数が増えてきたため、直列で実行するのがしんどくなってきたので、解決策について模索してみました。 DynamoDB Localの制約と課題 Jestを使用してテストを並列実行すると、DynamoDB Localが競合状態になり、予期しないエラーが発生することがありました。どうやら、この記事によるとDynamoDB Localは、内部的にSQLiteを使用しているらしいので、同時書き込みが難しそう。。。 LocalStackへの移行 そこで、LocalStackへの移行を試してみました。LocalStackは、AWSのクローン環境を提供し、ローカル
DynamoDB Table Creation: With CDK and TypeScript | DevelopersIO
In this blog, we'll create a simple DynamoDB table using the power of CDK and TypeScript. But before that, let's know about CDK, the Cloud Development Kit. It's an open-source framework that empowers developers to define their desired cloud resources within the familiar comfort of their preferred programming language. CDK offers a higher level of abstraction, allowing us to write concise and maint
XML is the future
My first hype exposure was "use the Extensible Markup Language for everything". Learning from it allowed me to live through the front end stack explosion, the micro-service overdose and many, many more silly trends. It turns out Grandma was right. Eat vegetables, exercise, sleep well. And use the right tool for the right job. Well, she didn't say that last one. But she could have. When I started p
8月16日は舟っこ流し、西馬音内盆踊り、箱根強羅夏まつり大文字焼、京都五山送り火、備中たかはし松山踊り、売太神社の阿礼祭、月遅れ盆送り火、キップ パイロールの日、女子大生誕生の日、電子コミックの日、等の日 - 風に吹かれて旅するブログ (話題・記念日＆ハッピートーク)
おこしやす♪～ 8月15日は何の日? その時そして今日何してた? 2023年(令和5年) 8月16日は舟っこ流し、西馬音内盆踊り、箱根強羅夏まつり大文字焼、京都五山送り火、備中たかはし松山踊り、売太神社の阿礼祭、月遅れ盆送り火、キップ パイロールの日、女子大生誕生の日、電子コミックの日、＆毎月１６日は、エコの日、閻魔の縁日、トロの日、「堂島ロール」の日、十六茶の日、等の日です。 ■舟っこ流し【岩手県盛岡市】(諸事情要確認) www.youtube.com 盛岡市指定無形民俗文化財に指定されているのがこの盛岡舟っこ流しです。夕刻、提灯やお供え物などで飾り北上川に浮かべられた舟に、火が灯されます。水面に炎が照り映え、やがて静かに焼け落ちて流れのなかへ進んでいきます。 フィナーレでは約３，０００発の花火があがります。 灯籠流しとともに、先祖の霊をおくり無病息災を祈るこの地域の伝統行事です。 ※雨
huggingfaceのaccelerateを使って訓練時のCUDA out of memoryを回避する - Qiita
はじめに 学習スクリプトを実行しているときにGPUにメモリが乗り切らなくてCUDA out of memoryで処理が落ちてしまい、学習スクリプトを最初から実行し直すハメになることがよくあります。 特に自然言語処理とかだと、batch毎に最大系列長に合わせて短い系列をpaddingするような処理をしている場合、毎ステップで必要なGPUメモリが変化するため、バッチサイズを大きく設定していると1エポック終わるまで不安で仕方ありません。 さらにTransformerベースのアーキテクチャーを使っている場合は、消費メモリが系列長に対して2乗のオーダーなので、ちょっと長い系列長のデータがあったら想定以上にメモリを消費して溢れてしまうケースとかもよくあるんじゃないでしょうか。 huggingfaceのaccelerateというライブラリ内のfind_executable_batch_sizeという機能
出戻り
今年のはじめから新しいチームに異動して働いていたのだが、仕事が肌に合わず進捗もはかどらず、すっかり意気消沈していた。 現実逃避に社内求人を眺めると、自分のもといたチームの穴埋め求人がまだ残っていた。一年近く経つのに埋まらなかったらしい。ポストレイオフで不景気な御時世に珍しい。 これも縁かと元上司に連絡し「新しいチームいまいちあわなかったんで帰ってもいいですか」と訊くと「いいよ」という。お言葉に甘え、すごすご出戻ることにした。 出戻りとかカッコ悪いし最後の手段だと昔は思っていたが、かつて出戻り先だと思っていた居場所も次々と顔の効く権力者がいなくなってしまい戻ろうにも道を失なった過去がある。今回は場所があるうちに帰ってみたい。 今いるチームに異動した動機の一つとして、大規模インターネットサービスを運用する巨大組織で仕事をしてみたい目論見があった。今後社内で異動するにせよ「大企業の方から来ました
個人開発にTerraformは必要か否か? - 我思うIaCのはなし - Lean Baseball
仕事はともかくとして, 個人として趣味エンジニアリングと野球データ分析の人です. このブログは先日（2024/3/8）に開催された「第22回 酒とゲームとインフラとGCP」の発表および質疑応答から生まれたエントリーとなります. speakerdeck.com 現地も大変盛り上がりましたし, スライドも殊の外に反響を頂いて*1驚いています. この場を借りてお礼申し上げます🙏 発表後, 現地ではいくつかの質疑応答や会話, ディスカッションがありましてその中で最も印象に残った件がこちら. 何故Terraformを書いたのですか?シェルスクリプトでも良いのではないでしょうか? そうですよね, 単に個人開発（趣味）で作っているものでTerraformとGitHub ActionsでのCI/CD（この件は後日別に発表&ブログ書きます）まで頑張らなくても, shellでサクッとgcloudコマンド叩い
【Anthropic Prompt library】ITエンジニアのための生成AI活用ガイド - サーバーワークスエンジニアブログ
当記事ではAnthropic Prompt libraryのプロンプト集の中から、ITエンジニア視点で日常業務で役立つプロンプトを紹介します。 Anthropic Prompt libraryとは 注意点 前提 ちなみに 分類 文章処理系 Cite your sources - 情報源を引用する その他 Meeting scribe - 会議の書記 Prose polisher - 散文研磨者 Second grade simplifier - 2 年生の単純化子 Grading guru - 採点の第一人者 Grammar genie - 文法の魔神 PII purifier - PII 浄化装置 Adaptive editor - アダプティブエディター Memo maestro - メモマエストロ 分析系 Corporate clairvoyant - 企業の透視能力 Ethical
This article explains what event sourcing is, common use cases, considerations and examples. This document discusses an approach to building event sourced systems. The use cases, architecture patterns and implementation details using both AWS native services and open source options. Event Sourcing is an architecture pattern that stores an application’s state as an append-only log of events. As wel
ニンテンドーシステムズ株式会社 の全ての求人一覧
この職種では、任天堂株式会社が提供、管理するネットワークサービスに関する Android アプリケーションの開発および開発リードを担っていただける方を募集いたします。 ▼募集背景 任天堂株式会社では、さまざまなネットワークサービスに関連するスマートフォン向けアプリを提供しております。 それぞれのアプリの運用や、新機能の開発などを担っていただける方を広く募集いたします。 また、新たなネットワークサービスに関連するスマートフォン向けアプリの試作版開発を担っていただける方も併せて広く募集いたします。 ▼具体的な業務内容 任天堂株式会社 が提供する Android アプリケーションの開発・運用を担当します。 ここでいう Android アプリケーションはゲームそのもののアプリではなく、任天堂株式会社のネットワークサービスに関するアプリケーションになります。 機能の追加開発や新規アプリの開発では、試
定期的にDynamoDBのデータをS3バケットにCSV形式で保存するLambdaを作成してみた | DevelopersIO
はじめに Amazon DynamoDBのデータを毎日Amazon S3バケットへCSV形式で保存するAWS Lambdaを作成する機会がありましたので、紹介します。 構成としては以下のとおりです。 Amazon EventBridge Schedulerで毎日01:00にLambdaを呼出します Lambdaは、DynamoDBから前日に保存されたデータを取得します。 LambdaでCSV形式に変換し、S3バケットに保存します。 DynamoDBのテーブルは、属性としてデータを保存した日付が入っていれば、テーブルは何でもよいですが、今回は以下の記事で作成したテーブルを利用します。 本記事で使用するDynamoDBのテーブルには、start_date(保存した日付)の属性が必要です。存在しない場合は、新たに追加してください。 保存した日付:start_date（必須） 例：2024-04-
ラジオスイス／クラシック ロッシーニ - 弦楽ソナタ 第3番 ハ長調🎼(トーマス・フューリ指揮カカメラータ・ベルン) おはようございます。🌧️📻 役所印。☕ フルーツプロテイン(ホエイプロテインコンセントレート・塩・VC・重曹・クエン酸・スギナ・ブルーベリー・バナナ・オレンジ・りんご) pic.twitter.com/JnGkfQZu5w — りなも@mix (@shin16_dynamo) 2023年9月3日 朝、ラジオスイスで聴いたCDをアマゾンで買ってしまった。😀 Thomas Füri(1947-2017)はスイスのヴァイオリニストでバーゼル音楽大学の教師だったとか。 ロッシーニ:弦楽のためのソナタ集 https://t.co/DDTYuLFMtE @amazonより — りなも@mix (@shin16_dynamo) 2023年9月3日 徒歩で祐天寺。🌧️☁🚶 ドト
Developing with Java and Spring Boot using Amazon CodeWhisperer | Amazon Web Services
AWS DevOps Blog Developing with Java and Spring Boot using Amazon CodeWhisperer Developers often have to work with multiple programming languages depending on the task at hand. Sometimes, this is a result of choosing the right tool for a specific problem, or it is mandated by adhering to a specific technology adopted by a team. Within a specific programming language, developers may have to work
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonは_(アンダースコア)の使い方を理解するだけでプロフェッショナルになれる - Qiita
グノシーのプッシュ通知基盤を紹介します - Gunosy Tech Blog
大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
ベストなCDK for Terraform(CDKTF)のディレクトリ構成を探る
日本CTO協会による合同ISUCON研修の紹介 - Pepabo Tech Portal
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
個人開発者（Rails）が安くDBを使うにはTiDB serverlessがアリな気がする
ふ菓子のメイキング動画が「労災ポルノ」だと話題に : くまニュース
子供の靴の選び方！年齢や身長から推測可能な靴のサイズと関係性！
【SAA-C03】AWS未経験者が1か月で合格するためにやったことまとめ - Qiita
A Distributed Systems Reading List
花冷え。、初の東名阪ワンマンツアー完走。11月に日本凱旋ワンマンライブ決定 | BARKS
CMUのソフトウェア工学修士を修めた - pco2699’s blog
LoRAの作り方。イラストを学習させてAIで生成する方法（sd-scripts）
素早くアイデアを実験できるAWS Amplifyを試す(バックエンド編)
Event Sourcing | Event-driven Architecture on AWS
わかめそば・F&F・見逃していたトクサ・トーマス・フューリ・ヘーゲルとマルクス - 東京常備菜ライフ