こんにちは！技術部プラットフォームグループのharukin, pochyです。 この記事では、「ISUCON」を模したパフォーマンスチューニング研修を複数社合同で実施した概要と、そのための準備について紹介します。 研修について 目的 今回の研修の目的は次のものとしました。 パフォーマンスチューニングの問題を会社横断でチームを組成し取り組むことで、サーバサイドやインフラのパフォーマンス・チューニングを中心に幅広い知識を総動員して課題解決に望む。 課題解決過程のコミュニケーションを通じて、会社の枠を超えた同期作りを促進する。 概要 今回の研修では、チームごとにパフォーマンスチューニングの課題に挑戦しました。 実際のISUCONのように、各チームにwebサーバーを貸し出す形式です。各チームはそのアプリケーションを時間内にパフォーマンスチューニングし、最適化された度合いによってチームに点数をつけま
AWS IoTとLambdaとDynamoDBでオフィス環境を可視化してみた - SMARTCAMP Engineer Blog
スマートキャンプエンジニアの今川(@ug23_)です。 10月中旬に、スマートキャンプのエンジニアチームで開発合宿にいってきました。合宿のテーマは、スマートキャンプのミッションテクノロジーで社会の非効率を無くすになぞらえて、テクノロジーでSMARTCAMPの非効率を無くすでした。合宿を楽しんでいるメンバーの様子は来週のブログでお届けする予定なので、このエントリでは作ったものについて触れます。 解決する課題 できたもの - bony システム構成 オフィスのヒートマップ AWS IoT Coreを使ってみて ふりかえり さいごに 解決する課題 合宿のチーム分けが決まり、合宿のためのプロダクトを検討し始めた頃、我々はちょうどオフィス移転から2ヶ月後ぐらいの真夏の時期でした。チームで社内の課題を出し合ったところ、オフィス移転してから風邪引いてるひと増えたかも、空調が効き過ぎていて寒いって言ってる
2021年2月19日8:00 IDと決済基盤を集約した次世代のシステムを構築 ミクシィのID・ペイメント事業部では、IDや決済を活用するシーンがあると見込み、AmazonのAWS（アマゾンウェブサービス）を活用してサーバレスアーキテクチャを活用した決済システム、アプリケーション基盤を構築している。すでにPCI DSSに準拠したシステムとして、イシュイングではウォレットサービス「6gram」、プロバイダ事業ではスポーツギフティングサービス「Unlim」と競輪ライブエンターテインメント「TIPSTAR」で同システムを活用しており、新規のプロダクトを中心に順次利用を拡大している。 左からミクシィ 次世代エンターテインメント事業本部 ID・ペイメント事業部 システムグループ マネージャー 田岡文利氏、同部 橋本広大氏 決済とIDを軸とした基盤を構築 イシュイングとプロセッシング事業で準拠 ミクシィ
2021年12月のクリスマスに2日間行われたライブで「一生バンド宣言」なるものが飛び出して、2021年のうちに出ると思ってた新作アルバムの発売日も決定して、遂に装いも新たに動き出すムーンライダーズ！2022年3月には日比谷野音でライブということで、いつか行きたいと思ってたライブを観に行こうと、チケットの抽選に申し込んだところです。 それで今回は、実に1976年から始まり、2011年に一度活動を休止しつつも、今年の3月に新たな一章が追加されていく彼らの長大な歴史の、その中で生み出されてきたアルバムその数22枚*1を、それぞれを見ていこう、というやや無茶な記事になります。 なお、筆者は2019年にムーンライダーズをやっとちゃんと聴き始めた新参者なので、以下の記述には、極力正確に書こうとは思ってますが、事実誤認だとか、「こいつ何も分かってねえな…」的な記述があるかもしれません。適宜コメント等でご
Amplify Studioでチームポータルページを作ってみた - KAKEHASHI Tech Blog
はじめに こんにちは、LINE上で動くおくすり連絡帳 Pocket Musubi というサービスを開発している種岡です 早いもので入社してから3年が経ちました 会社の成長と共に取り扱うサービスも増え、今では12以上の開発グループが存在しています 誰がどのチームなのかを把握するのが非常に難しい、また、どのチームがどのサービスを担当するのか把握できないという声が寄せられ、チーム間のコミュニケーションの障害になっているという課題感が浮かび上がりました この課題に対して、チーム毎のポータルページを社内Wikiで作成するという運動が始まりました そこで、チームポータルページを社内WikiではなくAmplify Studioを使って作れたら面白そうだなと思い立ち筆をとりました ゴール チームポータルとしては以下のようなReactベースのウェブページを作成することができました 準備 Amplify St
こんにちは！初めまして！delySREの中鉢です。 今年の10月にjoinしたばかりで、今は主にクラシルのインフラ基盤拡充を行っています。 本記事はdely #1 Advent Calendarの12日目の記事です。熱量が伝わる素晴らしい記事ばかりで戦々恐々ですが、がんばって書いていこうと思います。 昨日はサーバサイドエンジニアのYuji Takahashiさんの"DynamoDBでサポートされたPartiQLをRubySDKで利用する"でした。 tech.dely.jp PartiQLでSQLライクにいじれるようになって、より手軽にDynamoのデータを取れるようになりましたね。アナウンスされたばかりの機能なので、今後も注目です！ delyの他の記事は以下リンクから！是非見て行って下さい。 adventar.org adventar.org さて、kurashiruのバックボーンではAW
SlackのサーバーレスBOT – リモートワークの開始と終了宣言をSlackのリアクションで済ませたい | DevelopersIO
今回は Slack で出勤、退勤を連絡するときにちょっと便利なリアクション投稿BOTをサーバーレスで作りました。背景にフレックスタイム制、リモートワーク可としているクラスメソッドの勤務体系があります。詳しくはこちら。 クラスメソッドの社内制度と社風をご紹介します ｜ DevelopersIO Slack に出勤・退勤を書き込むけど...ちょっと面倒 私が所属するCX事業本部は、開発をメイン業務に据えるメンバーも多く、またチームでの作業が基本です。拠点、労働時間のばらばらなメンバーが連携するのは思ったよりたいへんです。そこで一部のメンバーが、簡単に出退勤を知らせる目的で、出勤／退勤時、Slackへ投稿する試みを行いました。 しかしすぐに課題が出ます。チャンネルが、出勤・退勤の連絡で埋まってしまい、とても見通しが悪いのです。そこで、Slackに平日投稿のリマインダを設定し、そのスレッドにリプラ
ソフトウェア開発、ITインフラ運用、そしてその境界線上にあるトピックをカバーし、特にDevOpsを実現するための自動化、テスト、セキュリティ、組織文化にフォーカスした「DevOpsDays」。ここでソフトウェアエンジニアのチェシャ猫氏が「Infrastructure as Code の静的テスト戦略」をテーマに登壇。続いて、AWS上で予測可能性を担保するための仕組みについて紹介します。前回はこちらから。 予測可能性の3要素 チェシャ猫氏：では、AWSにおいて予測可能性をどう担保するかを、もうちょっと具体的なところに寄せて考えてみましょう。予測可能性と言っていますが、もうちょっと分解して、どういう要素から成り立っているかを少し考えてみたいと思います。 私が立てたテーゼによれば、予測可能性は以下の3要素から作られています。1つ目は再現性、Reproducibility。同じ操作を誰がやっても、
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
Rust の新しい HTTP サーバーのクレート Axum をフルに活用してサーバーサイドアプリケーション開発をしてみる - Don't Repeat Yourself
この記事は Rust Advent Calendar 25日目の記事です。Merry Christmas! 今年の Web バックエンド開発関連で一番大きかったなと思っているイベントに、Axum のリリースがあります。2021年の夏頃に tokio チームからリリースされた Web アプリケーション用のライブラリです。 基本的なデザインは actix-web 等とそこまで変わらないものの、マクロレスなのが大きな特徴かなと思います。tokio 上に直接載るアプリケーションになり、独自のランタイムをもたないため、tokio のバージョン管理に悩まされずに済むのも大きなメリットかも知れません。私はあまり重要ではないと思っていますが、明示的に #![forbid(unsafe_code)] をしているのでライブラリ内部に unsafe がないのも特徴かもしれません。 github.com 現在のん
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
Introducing new features for the aws-sdk-rails gem | Amazon Web Services
AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation
イノベーション物語や企業変革を推進する人材には、利他的な目的を掲げ、できない理由よりもできる可能性に着目し、圧倒的熱量と行動力を伝染させながら人を巻き込む力がある。本著では、これらの人材を「ダイナモ」（dynamo：直接には「発電機」の意）と呼んでいる。 ダイナモは、一言で言えば「元気なヤツ」。著者が会ってきた変革リーダーやイノベーション物語の先頭に立つ人は、ほぼ例外なくダイナモ人材である。彼らの話は面白く、自然とひきつけられる。明るい未来に向かい、できると信じて疑わず、本気度を基に一人称で語り、行動を伴う。聞いている側に直接関係のない話でも、ついつい「お供します！」と言いたくなるような伝染力が、ダイナモにはあるのだ。目的に突き動かされ、分析よりも主観（思い）を大切にし、証明（確かめる）よりも実験（やってみる）を好む。決められたことを決められた通りに実行することは、必ずしも得意ではなかった
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
[レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO
PUBG’s architecture (with focus on back end infra) on AWS 2019年11月20日（水）にアマゾン目黒オフィスでアマゾンウェブサービス社の自社イベント「Amazon Game Developers Conference」が開催されました。 Amazon Game Developers Conference 本記事は、セッション「PUBG’s architecture (with focus on back end infra) on AWS」をレポートします。 スピーカー PUBG Corporation DevOps Engineer Kim JungHun 氏 セッション概要 PUBG Corporationは、世界で50万本以上販売されている PLAYERUNKNOWN'S BATTLEGROUNDS の開発および運営をしていま
![[レポート]PUBG’s architecture (with focus on back end infra) on AWS #AmazonGameTech #AmznGameTechJP | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3abd18c1510f93170e471a202936aa7de1225cfc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2F5faee5ae4b279bf5ab73a218090a1f69.png)
Ten years ago, Amazon Web Services (AWS) launched Amazon DynamoDB, a fast, flexible NoSQL database service that offers single-digit millisecond performance at any scale. In an online post on Jan. 18, 2012, Werner Vogels, chief technical officer at Amazon.com, wrote: “Today is a very exciting day as we release Amazon DynamoDB, a fast, highly reliable and cost-effective NoSQL database service design
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
「Nodi」はプロシージャルモデリング（Procedural Modeling）と呼ばれる手法を用いたWebブラウザー上で操作する3D CGツールである。現在はβ版で完全無償公開ながら、商用ソフト並の機能を備えている。にも関わらず、開発しているのはプログラマーの中村将達氏たった一人。聞けば個人的に開発しているプロジェクトだという。 中村氏はもともと社会学を専攻していた大学生でプログラムをしたこともなかったという。それがどうしてプログラムを習得し、プログラマーとなり、やがて3D CGツールを自分で作るに至ったのか。中村氏に、Nodiの機能や開発の経緯について話を聞いた。（撮影：川島彩水） プロシージャルモデリングとは？ プロシージャルモデリング方式のツールとしては、3D CGツール「Revit」や「Maya」のプラグインとしても知られる「Dynamo」や、サーフェスモデラー「Rhinocer
トルコでのサッカー試合で「プーチン」連呼 対ウクライナ戦で
ドイツでウクライナ支援を目的に開催された、独ボルシア・ドルトムントとウクライナのディナモ・キーウとの慈善試合（2022年4月26日撮影、資料写真）。(c)Sascha Schuermann / AFP 【7月28日 AFP】欧州チャンピオンズリーグ（UEFA Champions League）予選で、トルコ・イスタンブールで同国のフェネルバフチェ（Fenerbahce）とウクライナのディナモ・キーウ（Dynamo Kyiv）が27日に対戦した際、先制点を取られたフェネルバフチェのサポーターが「ウラジーミル・プーチン（Vladimir Putin）」とロシア大統領の名前を連呼する不規則な言動があった。 ロシア軍の侵攻を受けているウクライナのバシル・ボドナル（Vasyl Bodnar）駐トルコ大使は28日、「フェネルバフチェのファンから、われわれの国を爆撃しているロシアの殺人者であり侵略者を支
Stable Diffusion （Diffusers）でLoRA～理論と実践～ | Shikoan's ML Blog
Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、LoRAにおけるData Augmentationの有効性など興味深い点が確認できました。 はじめに 前々から気になっていたStable DiffusionのLoRAを使ってみました。3DモデルからスクショをとってLoRAで学習させるという「何番煎じだお前」って手法ですが、なかなかおもしろい結果になりました。 公式ドキュメント：https://huggingface.co/docs/diffusers/training/lora LoRAとは LoRAってよく使われる割には原著論文がそこまで解説されない気はします笑 （自分はNLPの専門家ではないので、この論文はさーっとしか読んでいませんが、 ）原著論文はこちらで、
Security-JAWS 第17回レポート #secjaws #secjaws17 #jawsug | DevelopersIO
Security JAWS 第17回のレポートです。AWSを使うときに最初にやる初心者向けの話もあり、ガッツリ深い話もありな回でした！ こんにちは、臼田です。 Security JAWS 第17回が開催されましたのでレポート致します。 Security-JAWS 【第17回】 勉強会 2020年5月29日(金) - Security-JAWS | Doorkeeper レポート Session0: アマゾン ウェブ サービス ジャパン株式会社 沼口 繁さん「本日のライブ配信環境ざっくりと」 JAWSといえばオフラインだった 最初はセミナールームで 第2形態としてセミナールームを使ってAmazon Chimeを利用して配信 第3形態では人数制限を超えるためにTwitchを使った 2019年1月からはAWSJのエキスパートのオンライン配信をやっていた 第4形態OBS Studio + Twit
ウェブブラウザ「Brave」の始まりとは？
ページ内の広告を自動ブロックするオープンソースのウェブブラウザ「Brave」はどのようにして生まれたのか、開発メンバーが集まったところから、実際に開発が進められていくまでの過程を、共同創業者で最高技術責任者(CTO)のブライアン・ボンディ氏が明かしています。 The road to Brave 1.0 https://brave.com/the-road-to-brave-one-dot-zero/ 目次： ◆「Brave」の始まり ◆ブラウザ名「Brave」はどのようにして決まったのか？ ◆ロゴの考案 ◆ブラウザの構築 ◆BATの理念 ◆「Brave」の始まり もともとMozillaに勤務していたボンディ氏は、2013年10月に開催されたMozillaサミットで、カーンアカデミーでの新しいプロジェクトに誘われました。この仕事に興味を持ったボンディ氏は、Mozillaを去ることを決意します
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン：アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン：コアドメインを支援す
AST vs. Bytecode: Interpreters in the Age of Meta-Compilation
233 AST vs. Bytecode: Interpreters in the Age of Meta-Compilation OCTAVE LAROSE, University of Kent, UK SOPHIE KALEBA, University of Kent, UK HUMPHREY BURCHELL, University of Kent, UK STEFAN MARR, University of Kent, UK Thanks to partial evaluation and meta-tracing, it became practical to build language implementations that reach state-of-the-art peak performance by implementing only an interprete
P2B Haus というクラフトビールレストランを吉祥寺につくってからの1年をまとめようと思います。(craft beer Advent Calendar に参加しています) ビールがすきすぎてビール屋さんを作ったのですが、当初の予想に反して(笑)、大変な1年だったので、色々綴っておこうと思います。 そこそこ生々しい話と、生ビールの話があります🍺 2019/12・プレオープン!! 友人限定でオープン ・オープンに向けて、棚作ったりなんだり、色々やることあったのを友人にたくさん手伝ってもらいなんとかオープンにこぎつける ・めちゃくちゃ棚作った ・バイトちゃんが1名、1日だけ出て音信不通に。飲食バイトを思い知るw ・ブルワーさんにビールサーバーの洗浄やメンテナンスについてたくさん教えてもらい、無知を思い知る。でもこれがあったからこそ、いま「おいしいビール」を提供できている。本当に感謝しかない
こんにちは、WEARバックエンドブロックの天春（@AmagA001）です。バックエンドの運用・開発に携わっています。WEARはサービス開始から10年ほどの古いVBScriptを使った環境からRuby on Rails環境にシステムリプレイスを行なっています。本記事では、リプレイスの中でも既存環境が複雑で問題や課題が多くあったPUSH通知システムのリプレイスについてご紹介します。 目次 目次 PUSH通知システムとは リプレイス前のPUSH通知システム リプレイス前のPUSH通知システムの問題点 通知送信バッチのスケールアウトが出来ない 障害対応・運用が難しい状況 複数の開発言語による運用・改修コストが高い ステージング環境で通知確認ができない リプレイスの背景 リプレイス後のPUSH通知システム 非同期システム・EKS導入 既存システムの問題解決 バッチのスケールアウトが出来ない 障害対応
映像作家のイアン・ヒューバート氏がインディーズ映画でもここまでのビジュアルエフェクトを作り出せる、というメイキングや解説ムービーを公開しています。小さなスタジオで撮影されたグリーンバックの撮影映像から、壮大な世界観のSF映像が作り出せるという比較ムービーや、実際に3DCGソフトのBlenderを使ってあっという間に映像を完成させるまでを見ることが可能です。 VFX Breakdown - Dynamo Dream Teaser - YouTube 以下は上がグリーンバッグで撮影している様子で、下がVFX後の完成映像を切り取ったもの。2回に分けて撮影された2人の人物が、窓から見える部屋の中で1つの映像として合成されています。 VFX処理中は以下の上の画像のような感じ。 建物の扉から出て…… エレベーターに乗り込みます。撮影セットの右側に男性がいますが、完成映像では全く男性は写りません。 エレ
ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering
2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは，IT 本部 IT 基盤部第一グループの大田です． IT 基盤部では，DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています． 今回は，横浜DeNAベイスターズ（以下，YDB）の HaMaMo! というサービスについて，IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します． HaMaMo! とは HaMaMo!（ハマスタモバイルオーダー）は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ
![ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b4ff31d50480362d641df055d98e3b11303ccf9/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F12%2Fydb-mobile-order-infra-arch%2Fcover.png)
週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか｜TechRacho by BPS株式会社
2020.12.21 週刊Railsウォッチ（20201221前編）aws-sdk-rails gemの機能をチェック、RubyWorld Conference 2020のDHHインタビューほか こんにちは、hachi8833です。約400年ぶりという木星と土星の超大接近は12/21（月）なので今夜ですね。と思ったらもう西の空に沈んでしまったようです。 参考: 【特集】2020年12月 木星と土星の超大接近 - アストロアーツ 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙇 ⚓Rails: 先週の改修（Rails公式ニュースより） 今
テックカンパニーをテックカンパニーたらしめているものはなにか？技術か、人か、それともチームなのか。 連載「Technology Company Internals」では、テックカンパニーの内側で働くエンジニアに、技術に精通したエキスパートが対面で話を聞き、テックカンパニーとは何か？を探るだけでなく、テックカンパニーを目指す企業の指針となることを目指します。 コロナ禍は飲食業界のDXを促進する 白石: 本日はよろしくお願いします。自己紹介からお願いします。 鄧: 鄧 皓亢（デン ハオカン）と申します。CTOを務めています。普段の仕事は、一言でいうと「なんでも屋」ですね。アーキテクト的な役割を担うこともあれば、お客様に価値を少しでも早くお届けするためにソリューションをチームに提案したり、場合によっては自分でもコードを書いたりします。 北川: 北川 真理（キタガワ マコト）です。フロントエンドエ
Building and operating a pretty big storage system called S3
Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda
Query any data source with Amazon Athena’s new federated query | Amazon Web Services
AWS Big Data Blog Query any data source with Amazon Athena’s new federated query April 2024: This post was reviewed for accuracy. Organizations today use data stores that are the best fit for the applications they build. For example, for an organization building a social network, a graph database such as Amazon Neptune is likely the best fit when compared to a relational database. Similarly, for w
OSS（オープンソースソフトウエア）ビジネスの潮流は「Kubernetes」によって一変してしまった。そのことを改めて感じさせる出来事があった。OSSビジネスを営む米メソスフィア（Mesosphere）が、社名と事業モデルを変更すると発表したのだ。 メソスフィアは2019年8月5日（米国時間）に社名を「D2iQ」に変更したと発表した。同社はOSSである「Apache Mesos」の主要開発元であり、Mesosの商用版である「Mesosphere」や「DC/OS」を販売していた。MesosやDC/OSが何なのかを分かりやすく言うと「Kubernetesのようなもの」である。 MesosやKubernetesはいずれも「コンテナオーケストレーション」のソフトウエアだ。サーバーやストレージからなるリソースプールを構築して、その上でコンテナ化したアプリケーションを自動運用するのに使う。 Mesos
大規模言語モデルの学習コードまとめ｜npaka
大規模言語モデルの学習コードをまとめました。 1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。 「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。 以下は、FSDP full_shard モードで 4つの A100 80G GPU を搭載したマシン上のデータセットで「LLaMA-7B」をファインチューニングするコマンドです。 torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \ --model_name_or_path <your_path_to_hf_conv
Google Colab で LoRA を試したのでまとめました。 1. LoRA「LoRA」(Low-rank Adaptation)は、数枚の被写体画像と対応するテキストを元にファインチューニングを行うことで、Text-to-Imageモデルに新たな被写体を学習させる手法です。 特徴は、次のとおりです。 ・Dreamboothより高速 ・VRAM 8GBでも動作 ・学習データだけ抽出して他モデルとマージできる ・学習結果のサイズが小さい (Unet のみで3MB、Unet+Clipで6MB) ・UnetとCLIPの両方をファインチューニング可能。 2. ファインチューニングの実行Colabでのファインチューニングの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) Googleドライブのマウント。 #
AWS 構成図を PlantUML で描画できる『AWS-PlantUML』の紹介 - サーバーワークスエンジニアブログ
技術4課の多田です. AWS 環境の構成図を書く機会で PowerPoint や Cacoo 等のサービスを使うことがあると思います.作図もコードで制御する方法もないかと思い調べてみたら,「AWS-PlantUML」というツールがありました.今回はこのツールを使って作図する方法と所感を書いていきます. milo-minderbinder/AWS-PlantUML 「AWS-PlantUML」とは 「AWS-PlantUML」とは,PlantUML 形式で AWS 構成図を書くためのツールになります.PlantUML の実行環境は調べればたくさん出てきますが,僕は普段 Visual Studio Code(以下,vscode)を使うため vscode で使う環境をセットアップしました. 参考URL PlantUML qjebbs/vscode-plantuml 「AWS-PlantUML」を
[AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO
AWS CDK とは AWS Cloud Development Kit (AWS CDK)は AWS のリソースを Typescript や Python 等のコードで定義するフレームワークです。コードで定義したリソースは CloudFormation テンプレートに変換され、デプロイされます。 CDK の対応言語は以下の５つです。(2020 年 5 月 現在) Typescript JavaScript Python Java C# AWS CDK のメリットとデメリット CDK を使うメリットとして主に上げられるのは以下です。 CloudFormation で書くよりもはるかに少量のコードの記述で済む 使い慣れたプログラミング言語が使える if 文やループなどのプログラミングロジックが使える ライブラリとして切り出し、共有できる テストが書ける デメリットとしては以下が挙げられます。
![[AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92a069de3c7b583973daaf530883535d2e2b3e5a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F08%2Faws-cloud-development-kit.png)
AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリューションアー
A Second Conversation with Werner Vogels – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up When I joined Amazon in 1998, the company had a single U.S.-based website selling only books and running a monolithic C application on five servers, a handful of Berkeley DBs for key/va
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本CTO協会による合同ISUCON研修の紹介 - Pepabo Tech Portal
ミクシィ、サーバレスでのPCI DSS準拠で運用コストと負荷を軽減 | ペイメントナビ
ムーンライダーズの全アルバム(2022.1.2現在：22枚) - ブンゲイブ・ケイオンガクブ
コンテナサポートされたLambdaで湯婆婆実装してみた - dely Tech Blog
「再現性」「純粋性」「モジュール性」が構成要素 AWS上で予測可能性を担保するための4段階の仕組み
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
なぜ日本企業から活力が失われたのか もう優秀な人材はいらない
Amazon’s DynamoDB — 10 years later
開発はたった一人——ブラウザで動く3DCGツール「nodi 」が持つ可能性｜fabcross
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog
クラフトビールレストランを作って1年が経とうとしている今。｜Sotaro Karasawa
WEARにおけるPUSH通知システムのリプレイス - ZOZO TECH BLOG
VFXでここまで世界を作り出せるという比較映像＆実際のBlenderを使った圧巻のメイキングムービーが公開中
Go, Clojure, マイクロサービス…コロナを技術で乗り越えろ！飲食スタートアップの挑戦
OSSの世界で「インスパイア系ラーメン屋」はもう不要なのか
Google Colab ではじめる LoRA｜npaka