並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 261件

新着順 人気順

dynamoの検索結果41 - 80 件 / 261件

  • コンテナサポートされたLambdaで湯婆婆実装してみた - dely Tech Blog

    こんにちは!初めまして!delySREの中鉢です。 今年の10月にjoinしたばかりで、今は主にクラシルのインフラ基盤拡充を行っています。 本記事はdely #1 Advent Calendarの12日目の記事です。熱量が伝わる素晴らしい記事ばかりで戦々恐々ですが、がんばって書いていこうと思います。 昨日はサーバサイドエンジニアのYuji Takahashiさんの"DynamoDBでサポートされたPartiQLをRubySDKで利用する"でした。 tech.dely.jp PartiQLでSQLライクにいじれるようになって、より手軽にDynamoのデータを取れるようになりましたね。アナウンスされたばかりの機能なので、今後も注目です! delyの他の記事は以下リンクから!是非見て行って下さい。 adventar.org adventar.org さて、kurashiruのバックボーンではAW

      コンテナサポートされたLambdaで湯婆婆実装してみた - dely Tech Blog
    • 実際に登録して分かったおすすめ転職エージェント3選!業界別おすすめの転職エージェントも紹介

      転職を考えた時に、より良い転職ができるように転職エージェントを利用したいと考えていませんか? ・実際にどの転職エージェントがおすすめなのか? ・今の転職事情はどうなっているのか? など、転職するにあたって様々な悩みや疑問が出てきます。 この記事では転職エージェントとして、3500名以上の経営者・11000名以上の個人のキャリアカウンセリングを行っている高野秀敏様にインタビューを行い、“転職”について詳しく解説していただいてます。 また、キャリアAで調査したおすすめの転職エージェントも年代・業種別にもご紹介していきます。 この記事を読んで上手に転職するコツを理解することで、あなたの転職活動の飛躍的な向上を目指してください! 転職エージェントの高野秀敏様にインタビュー 高野秀敏様 プロフィール 株式会社キープレイヤーズ 代表取締役 高野秀敏 キープレイヤーズではユーザーのニーズに合わせた転職支

        実際に登録して分かったおすすめ転職エージェント3選!業界別おすすめの転職エージェントも紹介
      • 「再現性」「純粋性」「モジュール性」が構成要素 AWS上で予測可能性を担保するための4段階の仕組み

        ソフトウェア開発、ITインフラ運用、そしてその境界線上にあるトピックをカバーし、特にDevOpsを実現するための自動化、テスト、セキュリティ、組織文化にフォーカスした「DevOpsDays」。ここでソフトウェアエンジニアのチェシャ猫氏が「Infrastructure as Code の静的テスト戦略」をテーマに登壇。続いて、AWS上で予測可能性を担保するための仕組みについて紹介します。前回はこちらから。 予測可能性の3要素 チェシャ猫氏:では、AWSにおいて予測可能性をどう担保するかを、もうちょっと具体的なところに寄せて考えてみましょう。予測可能性と言っていますが、もうちょっと分解して、どういう要素から成り立っているかを少し考えてみたいと思います。 私が立てたテーゼによれば、予測可能性は以下の3要素から作られています。1つ目は再現性、Reproducibility。同じ操作を誰がやっても、

          「再現性」「純粋性」「モジュール性」が構成要素 AWS上で予測可能性を担保するための4段階の仕組み
        • Rust の新しい HTTP サーバーのクレート Axum をフルに活用してサーバーサイドアプリケーション開発をしてみる - Don't Repeat Yourself

          この記事は Rust Advent Calendar 25日目の記事です。Merry Christmas! 今年の Web バックエンド開発関連で一番大きかったなと思っているイベントに、Axum のリリースがあります。2021年の夏頃に tokio チームからリリースされた Web アプリケーション用のライブラリです。 基本的なデザインは actix-web 等とそこまで変わらないものの、マクロレスなのが大きな特徴かなと思います。tokio 上に直接載るアプリケーションになり、独自のランタイムをもたないため、tokio のバージョン管理に悩まされずに済むのも大きなメリットかも知れません。私はあまり重要ではないと思っていますが、明示的に #![forbid(unsafe_code)] をしているのでライブラリ内部に unsafe がないのも特徴かもしれません。 github.com 現在のん

            Rust の新しい HTTP サーバーのクレート Axum をフルに活用してサーバーサイドアプリケーション開発をしてみる - Don't Repeat Yourself
          • LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ

            はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン

              LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
            • 論文DynamoDB 2022に関するいくつかのメモ

              PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理(HTAP)データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され

                論文DynamoDB 2022に関するいくつかのメモ
              • Introducing new features for the aws-sdk-rails gem | Amazon Web Services

                AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation

                  Introducing new features for the aws-sdk-rails gem | Amazon Web Services
                • なぜ日本企業から活力が失われたのか もう優秀な人材はいらない

                  イノベーション物語や企業変革を推進する人材には、利他的な目的を掲げ、できない理由よりもできる可能性に着目し、圧倒的熱量と行動力を伝染させながら人を巻き込む力がある。本著では、これらの人材を「ダイナモ」(dynamo:直接には「発電機」の意)と呼んでいる。 ダイナモは、一言で言えば「元気なヤツ」。著者が会ってきた変革リーダーやイノベーション物語の先頭に立つ人は、ほぼ例外なくダイナモ人材である。彼らの話は面白く、自然とひきつけられる。明るい未来に向かい、できると信じて疑わず、本気度を基に一人称で語り、行動を伴う。聞いている側に直接関係のない話でも、ついつい「お供します!」と言いたくなるような伝染力が、ダイナモにはあるのだ。目的に突き動かされ、分析よりも主観(思い)を大切にし、証明(確かめる)よりも実験(やってみる)を好む。決められたことを決められた通りに実行することは、必ずしも得意ではなかった

                    なぜ日本企業から活力が失われたのか もう優秀な人材はいらない
                  • 【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO

                    テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは? そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL

                      【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
                    • [レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO

                      PUBG’s architecture (with focus on back end infra) on AWS 2019年11月20日(水)にアマゾン目黒オフィスでアマゾンウェブサービス社の自社イベント「Amazon Game Developers Conference」が開催されました。 Amazon Game Developers Conference 本記事は、セッション「PUBG’s architecture (with focus on back end infra) on AWS」をレポートします。 スピーカー PUBG Corporation DevOps Engineer Kim JungHun 氏 セッション概要 PUBG Corporationは、世界で50万本以上販売されている PLAYERUNKNOWN'S BATTLEGROUNDS の開発および運営をしていま

                        [レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO
                      • You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB

                        You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e

                          You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
                        • Amazon’s DynamoDB — 10 years later

                          Ten years ago, Amazon Web Services (AWS) launched Amazon DynamoDB, a fast, flexible NoSQL database service that offers single-digit millisecond performance at any scale. In an online post on Jan. 18, 2012, Werner Vogels, chief technical officer at Amazon.com, wrote: “Today is a very exciting day as we release Amazon DynamoDB, a fast, highly reliable and cost-effective NoSQL database service design

                            Amazon’s DynamoDB — 10 years later
                          • AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers

                            NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び

                              AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
                            • 開発はたった一人——ブラウザで動く3DCGツール「nodi 」が持つ可能性|fabcross

                              「Nodi」はプロシージャルモデリング(Procedural Modeling)と呼ばれる手法を用いたWebブラウザー上で操作する3D CGツールである。現在はβ版で完全無償公開ながら、商用ソフト並の機能を備えている。にも関わらず、開発しているのはプログラマーの中村将達氏たった一人。聞けば個人的に開発しているプロジェクトだという。 中村氏はもともと社会学を専攻していた大学生でプログラムをしたこともなかったという。それがどうしてプログラムを習得し、プログラマーとなり、やがて3D CGツールを自分で作るに至ったのか。中村氏に、Nodiの機能や開発の経緯について話を聞いた。(撮影:川島彩水) プロシージャルモデリングとは? プロシージャルモデリング方式のツールとしては、3D CGツール「Revit」や「Maya」のプラグインとしても知られる「Dynamo」や、サーフェスモデラー「Rhinocer

                                開発はたった一人——ブラウザで動く3DCGツール「nodi 」が持つ可能性|fabcross
                              • トルコでのサッカー試合で「プーチン」連呼 対ウクライナ戦で

                                ドイツでウクライナ支援を目的に開催された、独ボルシア・ドルトムントとウクライナのディナモ・キーウとの慈善試合(2022年4月26日撮影、資料写真)。(c)Sascha Schuermann / AFP 【7月28日 AFP】欧州チャンピオンズリーグ(UEFA Champions League)予選で、トルコ・イスタンブールで同国のフェネルバフチェ(Fenerbahce)とウクライナのディナモ・キーウ(Dynamo Kyiv)が27日に対戦した際、先制点を取られたフェネルバフチェのサポーターが「ウラジーミル・プーチン(Vladimir Putin)」とロシア大統領の名前を連呼する不規則な言動があった。 ロシア軍の侵攻を受けているウクライナのバシル・ボドナル(Vasyl Bodnar)駐トルコ大使は28日、「フェネルバフチェのファンから、われわれの国を爆撃しているロシアの殺人者であり侵略者を支

                                  トルコでのサッカー試合で「プーチン」連呼 対ウクライナ戦で
                                • Stable Diffusion (Diffusers)でLoRA~理論と実践~ | Shikoan's ML Blog

                                  Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、LoRAにおけるData Augmentationの有効性など興味深い点が確認できました。 はじめに 前々から気になっていたStable DiffusionのLoRAを使ってみました。3DモデルからスクショをとってLoRAで学習させるという「何番煎じだお前」って手法ですが、なかなかおもしろい結果になりました。 公式ドキュメント:https://huggingface.co/docs/diffusers/training/lora LoRAとは LoRAってよく使われる割には原著論文がそこまで解説されない気はします笑 (自分はNLPの専門家ではないので、この論文はさーっとしか読んでいませんが、 )原著論文はこちらで、

                                    Stable Diffusion (Diffusers)でLoRA~理論と実践~ | Shikoan's ML Blog
                                  • Security-JAWS 第17回レポート #secjaws #secjaws17 #jawsug | DevelopersIO

                                    Security JAWS 第17回のレポートです。AWSを使うときに最初にやる初心者向けの話もあり、ガッツリ深い話もありな回でした! こんにちは、臼田です。 Security JAWS 第17回が開催されましたのでレポート致します。 Security-JAWS 【第17回】 勉強会 2020年5月29日(金) - Security-JAWS | Doorkeeper レポート Session0: アマゾン ウェブ サービス ジャパン株式会社 沼口 繁さん「本日のライブ配信環境ざっくりと」 JAWSといえばオフラインだった 最初はセミナールームで 第2形態としてセミナールームを使ってAmazon Chimeを利用して配信 第3形態では人数制限を超えるためにTwitchを使った 2019年1月からはAWSJのエキスパートのオンライン配信をやっていた 第4形態OBS Studio + Twit

                                      Security-JAWS 第17回レポート #secjaws #secjaws17 #jawsug | DevelopersIO
                                    • Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO

                                      こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl

                                        Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
                                      • ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog

                                        はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン:アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン:コアドメインを支援す

                                          ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog
                                        • AST vs. Bytecode: Interpreters in the Age of Meta-Compilation

                                          233 AST vs. Bytecode: Interpreters in the Age of Meta-Compilation OCTAVE LAROSE, University of Kent, UK SOPHIE KALEBA, University of Kent, UK HUMPHREY BURCHELL, University of Kent, UK STEFAN MARR, University of Kent, UK Thanks to partial evaluation and meta-tracing, it became practical to build language implementations that reach state-of-the-art peak performance by implementing only an interprete

                                          • クラフトビールレストランを作って1年が経とうとしている今。|Sotaro Karasawa

                                            P2B Haus というクラフトビールレストランを吉祥寺につくってからの1年をまとめようと思います。(craft beer Advent Calendar に参加しています) ビールがすきすぎてビール屋さんを作ったのですが、当初の予想に反して(笑)、大変な1年だったので、色々綴っておこうと思います。 そこそこ生々しい話と、生ビールの話があります🍺 2019/12・プレオープン!! 友人限定でオープン ・オープンに向けて、棚作ったりなんだり、色々やることあったのを友人にたくさん手伝ってもらいなんとかオープンにこぎつける ・めちゃくちゃ棚作った ・バイトちゃんが1名、1日だけ出て音信不通に。飲食バイトを思い知るw ・ブルワーさんにビールサーバーの洗浄やメンテナンスについてたくさん教えてもらい、無知を思い知る。でもこれがあったからこそ、いま「おいしいビール」を提供できている。本当に感謝しかない

                                              クラフトビールレストランを作って1年が経とうとしている今。|Sotaro Karasawa
                                            • VFXでここまで世界を作り出せるという比較映像&実際のBlenderを使った圧巻のメイキングムービーが公開中

                                              映像作家のイアン・ヒューバート氏がインディーズ映画でもここまでのビジュアルエフェクトを作り出せる、というメイキングや解説ムービーを公開しています。小さなスタジオで撮影されたグリーンバックの撮影映像から、壮大な世界観のSF映像が作り出せるという比較ムービーや、実際に3DCGソフトのBlenderを使ってあっという間に映像を完成させるまでを見ることが可能です。 VFX Breakdown - Dynamo Dream Teaser - YouTube 以下は上がグリーンバッグで撮影している様子で、下がVFX後の完成映像を切り取ったもの。2回に分けて撮影された2人の人物が、窓から見える部屋の中で1つの映像として合成されています。 VFX処理中は以下の上の画像のような感じ。 建物の扉から出て…… エレベーターに乗り込みます。撮影セットの右側に男性がいますが、完成映像では全く男性は写りません。 エレ

                                                VFXでここまで世界を作り出せるという比較映像&実際のBlenderを使った圧巻のメイキングムービーが公開中
                                              • ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例)[DeNA インフラ SRE] | BLOG - DeNA Engineering

                                                2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例)[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは,IT 本部 IT 基盤部第一グループの大田です. IT 基盤部では,DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています. 今回は,横浜DeNAベイスターズ(以下,YDB)の HaMaMo! というサービスについて,IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します. HaMaMo! とは HaMaMo!(ハマスタモバイルオーダー)は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ

                                                  ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例)[DeNA インフラ SRE] | BLOG - DeNA Engineering
                                                • 週刊Railsウォッチ(20201221前編)aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか|TechRacho by BPS株式会社

                                                  2020.12.21 週刊Railsウォッチ(20201221前編)aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか こんにちは、hachi8833です。約400年ぶりという木星と土星の超大接近は12/21(月)なので今夜ですね。と思ったらもう西の空に沈んでしまったようです。 参考: 【特集】2020年12月 木星と土星の超大接近 - アストロアーツ 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを(鍋のように)社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ⚓Rails: 先週の改修(Rails公式ニュースより) 今

                                                    週刊Railsウォッチ(20201221前編)aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか|TechRacho by BPS株式会社
                                                  • Building and operating a pretty big storage system called S3

                                                    Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda

                                                      Building and operating a pretty big storage system called S3
                                                    • WEARにおけるPUSH通知システムのリプレイス - ZOZO TECH BLOG

                                                      こんにちは、WEARバックエンドブロックの天春(@AmagA001)です。バックエンドの運用・開発に携わっています。WEARはサービス開始から10年ほどの古いVBScriptを使った環境からRuby on Rails環境にシステムリプレイスを行なっています。本記事では、リプレイスの中でも既存環境が複雑で問題や課題が多くあったPUSH通知システムのリプレイスについてご紹介します。 目次 目次 PUSH通知システムとは リプレイス前のPUSH通知システム リプレイス前のPUSH通知システムの問題点 通知送信バッチのスケールアウトが出来ない 障害対応・運用が難しい状況 複数の開発言語による運用・改修コストが高い ステージング環境で通知確認ができない リプレイスの背景 リプレイス後のPUSH通知システム 非同期システム・EKS導入 既存システムの問題解決 バッチのスケールアウトが出来ない 障害対応

                                                        WEARにおけるPUSH通知システムのリプレイス - ZOZO TECH BLOG
                                                      • Go, Clojure, マイクロサービス…コロナを技術で乗り越えろ!飲食スタートアップの挑戦

                                                        テックカンパニーをテックカンパニーたらしめているものはなにか?技術か、人か、それともチームなのか。 連載「Technology Company Internals」では、テックカンパニーの内側で働くエンジニアに、技術に精通したエキスパートが対面で話を聞き、テックカンパニーとは何か?を探るだけでなく、テックカンパニーを目指す企業の指針となることを目指します。 コロナ禍は飲食業界のDXを促進する 白石: 本日はよろしくお願いします。自己紹介からお願いします。 鄧: 鄧 皓亢(デン ハオカン)と申します。CTOを務めています。普段の仕事は、一言でいうと「なんでも屋」ですね。アーキテクト的な役割を担うこともあれば、お客様に価値を少しでも早くお届けするためにソリューションをチームに提案したり、場合によっては自分でもコードを書いたりします。 北川: 北川 真理(キタガワ マコト)です。フロントエンドエ

                                                          Go, Clojure, マイクロサービス…コロナを技術で乗り越えろ!飲食スタートアップの挑戦
                                                        • Query any data source with Amazon Athena’s new federated query | Amazon Web Services

                                                          AWS Big Data Blog Query any data source with Amazon Athena’s new federated query April 2024: This post was reviewed for accuracy. Organizations today use data stores that are the best fit for the applications they build. For example, for an organization building a social network, a graph database such as Amazon Neptune is likely the best fit when compared to a relational database. Similarly, for w

                                                            Query any data source with Amazon Athena’s new federated query | Amazon Web Services
                                                          • 大規模言語モデルの学習コードまとめ|npaka

                                                            大規模言語モデルの学習コードをまとめました。 1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。 「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。 以下は、FSDP full_shard モードで 4つの A100 80G GPU を搭載したマシン上のデータセットで「LLaMA-7B」をファインチューニングするコマンドです。 torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \ --model_name_or_path <your_path_to_hf_conv

                                                              大規模言語モデルの学習コードまとめ|npaka
                                                            • Google Colab ではじめる LoRA|npaka

                                                              Google Colab で LoRA を試したのでまとめました。 1. LoRA「LoRA」(Low-rank Adaptation)は、数枚の被写体画像と対応するテキストを元にファインチューニングを行うことで、Text-to-Imageモデルに新たな被写体を学習させる手法です。 特徴は、次のとおりです。 ・Dreamboothより高速 ・VRAM 8GBでも動作 ・学習データだけ抽出して他モデルとマージできる ・学習結果のサイズが小さい (Unet のみで3MB、Unet+Clipで6MB) ・UnetとCLIPの両方をファインチューニング可能。 2. ファインチューニングの実行Colabでのファインチューニングの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) Googleドライブのマウント。 #

                                                                Google Colab ではじめる LoRA|npaka
                                                              • [AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO

                                                                AWS CDK とは AWS Cloud Development Kit (AWS CDK)は AWS のリソースを Typescript や Python 等のコードで定義するフレームワークです。コードで定義したリソースは CloudFormation テンプレートに変換され、デプロイされます。 CDK の対応言語は以下の5つです。(2020 年 5 月 現在) Typescript JavaScript Python Java C# AWS CDK のメリットとデメリット CDK を使うメリットとして主に上げられるのは以下です。 CloudFormation で書くよりもはるかに少量のコードの記述で済む 使い慣れたプログラミング言語が使える if 文やループなどのプログラミングロジックが使える ライブラリとして切り出し、共有できる テストが書ける デメリットとしては以下が挙げられます。

                                                                  [AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO
                                                                • AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog

                                                                  小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリューションアー

                                                                    AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
                                                                  • A Second Conversation with Werner Vogels – Communications of the ACM

                                                                    CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up When I joined Amazon in 1998, the company had a single U.S.-based website selling only books and running a monolithic C application on five servers, a handful of Berkeley DBs for key/va

                                                                    • 薔薇をPythonで描けますか? “オブジェクト指向”でデザインする新潮流「Grasshopper」

                                                                      薔薇をPythonで描けますか? “オブジェクト指向”でデザインする新潮流「Grasshopper」(1/4 ページ) 日本ではソフトウェアエンジニアであったがドイツに渡ってミュージシャンとして生計を立てている著者は、CADソフトウェアを使った業務もこなしている。そこで出会ったソフトウェアはデザインの新しい潮流を感じさせるものだった。このツール、「Grasshopper」(グラスホッパー)をドイツで活用している建築設計事務所へのインタビューを交えながら、その革新的な利用方法をお届けする。 1mmの描画の誤りが、全てを台無しにしてしまうこともある。描く、という仕事は大変な仕事だ。 建築設計におけるパース画、土木設計における橋梁や排水管設計図、機械設計のブループリント、アニメーション制作における高層ビル群などの背景画や、ロボット/戦艦などメカ細部の描画、漫画制作における女性のドレスや下着などへ

                                                                        薔薇をPythonで描けますか? “オブジェクト指向”でデザインする新潮流「Grasshopper」
                                                                      • 個人開発者(Rails)が安くDBを使うにはTiDB serverlessがアリな気がする

                                                                        現時点ではまだ実際には触っていないため、あくまでも「こんなのあったよ~」くらいの温度感の記事だと思ってください どうもこんにちは、ちょっと前にこんな記事がバズったのを覚えている人も多いと思います もちろん1つのVPSの中にMySQLとNginxとRedisとRailsを突っ込んで動かせば月1000円で夢の全載せサーバーになるのですが管理がめんどくさいですし、AppサーバーとRDBサーバーとキャッシュサーバーをそれぞれ分離してそれぞれを独立管理するような感じで運用したいって人が多いのではないかと思われます そうなってくるとRDBサーバーの部分が比較的料金が高い場合が多い……と言うのが大体の趣旨でその内容については多くの人が「まあそうだよなー」と頷いたのではないでしょうか TiDB serverless良いかも さっそく本題ですが、そんな時に「TiDB」が採用できるかもしれません 厳密に言うと

                                                                          個人開発者(Rails)が安くDBを使うにはTiDB serverlessがアリな気がする
                                                                        • An oral history of Bank Python

                                                                          An oral history of Bank Python November 2021 The strange world of Python, as used by big investment banks High finance is a foreign country; they do things differently there Today will I take you through the keyhole to look at a group of software systems not well known to the public, which I call "Bank Python". Bank Python implementations are effectively proprietary forks of the entire Python ecos

                                                                            An oral history of Bank Python
                                                                          • 個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた

                                                                            結論 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必要に応じてRESTも簡単に追加できるよ。 補足(2022/04/12) 最近個人開発しているこちらのWebサービスはこのアーキテクチャに沿って作られています。 このアーキテクチャでどんなものができるのよ、という視点で見ていただくと面白いかもしれません。 ↓ 背景 アーキテクチャに絶対の正解はない アーキテクチャには絶対の正解はありません。 なぜなら、プロダクトやフェーズによって求められる要件が異なり、それに適したアーキテクチャを考える必要があるからです。 例えば、先日障害で証券取引が1日休場になった東証の高速取引システムは、安定性や信頼の要件に全

                                                                              個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた
                                                                            • ブロックチェーンサービス徹底高速化 - Tech Do | メディアドゥの技術ブログ

                                                                              モチベーション メディアドゥでは、デジタルコンテンツをより安全かつ楽しみながら利用できる環境の実現のために、アクセス権管理やユーザアクティビティをブロックチェーンで管理することのできる基盤の開発を進めております。 最近では、そのブロックチェーン基盤にAmazon Managed Blockchainサービスを正式に採用し、サービス活用企業の1社として、サービスサイトにおいて会社ロゴの掲載も行っていただきました。 mediado.jp ブロックチェーンの特徴はいくつかのユースケースにおいて有用ですが、デジタルコンテンツ市場に基盤としてブロックチェーンを活用する上では、 少なくともピーク時2,000TPS(瞬間的にはその倍以上のスパイク)以上となるリクエストボリュームに対して十分に耐えられる設計が必要となります。 ここでは、我々がどのようにしてブロックチェーン基盤を実用可能なレベルまでパフォー

                                                                                ブロックチェーンサービス徹底高速化 - Tech Do | メディアドゥの技術ブログ 
                                                                              • The DynamoDB paper - Marc's Blog

                                                                                About Me My name is Marc Brooker. I've been writing code, reading code, and living vicariously through computers for as long as I can remember. I like to build things that work. I also dabble in machining, welding, cooking and skiing. I'm currently an engineer at Amazon Web Services (AWS) in Seattle, where I work on databases, serverless, and serverless databases. Before that, I worked on EC2 and

                                                                                • 【Serverless】写真のアップロード速度を爆速にした話 - Qiita

                                                                                  この記事はうるる Advent Calendar 2019 17日目の記事です。 はじめに この記事では、私が働いている会社、株式会社うるるで運営しているサービス幼稚園・保育園向け写真販売サービス えんフォトにおいて、写真アップロードの速度を爆速にするためにAWSのServerlessアーキテクチャを導入したお話をします。 サービスの内容や、導入に至った経緯などもお話ししたいところですが 話がとても長くなってしまいそうなので、アーキテクチャ導入にあたって考えたことや、細かい処理の説明にのみフォーカスし、記事を書きたいと思います。 ※社内のエンジニア向けにLTした際のスライドも活用していますのでご了承ください。 対象の読者 AWS(特にサーバーレス)について興味がある人/これから学びたいと思っている人 画像のアップロード速度に困っている人 画像を扱うサービスの開発を担当している人 注意点 か

                                                                                    【Serverless】写真のアップロード速度を爆速にした話 - Qiita