皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL

この記事はグロースエクスパートナーズ Advent Calendar 2022の11日目です。 （補足追記：この記事は、一緒に働いている／働くことになる若い後輩たちへのメッセージです） 毎年、メンバーからお題をもらっているのですが「一緒に仕事する相手がこうだったら教えがいがある・やりやすいなと思う言動について書いてほしい」ということなので、僕のキャリア（もうちょっとで四半世紀...）の中で学んできたことも含めて、整理してみます。 心構え：作業ではなく、仕事をせよ まず、一緒に仕事をする上でお願いしたいのは「作業ではなく、仕事をしてほしい」ということです。ここでいう仕事と作業の定義は以下の通りです。 仕事というのは「ある目的を達成するための行動」 作業というのは「ある計画や手順のもとにおこなう行動」 仕事は作業を含んでいます。目的を達成する行動全般が「仕事」であり、仕事の中で具体的な手順を実

アソビューAdvent Calendar 2022の12日目のブログです。 本日の裏面はこちらになります。 tech.asoview.co.jp こんにちは！ アソビューでフロントエンドエンジニアをしている野口です。 今回は、Shopifyのテーマ上でReactのコンポーネントを描画する調査をしたのでその内容を紹介していきます。 はじめに 弊社では、アソビュー！に掲載されている遊びの中から厳選した体験を、家族や友人にプレゼントできるアソビュー！ギフトというサービスも展開しています。 そのアソビュー！ギフトはShopifyを利用してECサイトを構築しており、テーマはDawnを使っています。 アソビュー！ギフトのトップページ 今回、一部機能においてアソビューで管理している別のアプリケーションから情報を取得したいという要望が出てきました。 UIもテーマのスタイルを利用するのではなく独自でstyl

はじめに NewsPicks のプッシュ通知について プッシュ通知事前テストの導入 構築した基盤の概要 Braze の設定 導入結果 おわりに はじめに こんにちは、NewsPicks エンジニアの佐藤と申します。 NewsPicks Advent Calendar 2022 の11日目を書かせていただきます。 qiita.com 本記事では、2022年秋頃から導入しているプッシュ通知事前テストについてご紹介できればと思います。 NewsPicks のプッシュ通知について NewsPicks では、毎日決まったタイミングに配信する定時プッシュと緊急度の高い情報を含むコンテンツを不定期に配信する速報プッシュの2種類があります。記事の選定は編成チームが行っており、特に定時プッシュに関しては、毎回直前まで、どの記事を送るか吟味しています。 ユーザーのみなさまにいち早く重要な経済情報をお届けするた

document.querySelectorAll(".auto-adjust-sample-textarea").forEach((targetArea) => { // 初期値によってtextarea高さをadjust let lineHeight = Number(targetArea.rows); while (targetArea.scrollHeight > targetArea.offsetHeight){ lineHeight++; targetArea.rows = lineHeight; } // 入力値によってtextarea高さをadjust this.addEventListener('input', (e) => { e.srcElement.style.height = 0 e.srcElement.style.height = e.srcElement.sc

STORES フロントエンドエンジニアの wattanx です。 2022/11/16、ついに Nuxt 3 が正式リリースされましたね。 nuxt.com 私たちのプロダクトである STORES でも Nuxt を利用しており、絶賛 Nuxt 3 への移行中です。 本記事では、私たちのプロダクトにおいてどのようにNuxt 3 に移行しようとしているのか紹介します。 また、これは STORES Advent Calendar 2022 の 11日目の記事です。 移行の基本方針 Nuxt 2 を利用しているプロダクトを Nuxt 3 に移行する場合、以下の2とおりの方法が一般的だと思っています。 Nuxt 2 から Nuxt 3 に直接移行する。 Nuxt 2 から Nuxt Bridge に移行する。その後 Nuxt Bridge から Nuxt 3 に移行する。 Nuxt Bridge

前置き この記事は ANDPAD Advent Calendar 2022 の 12日目の記事です。 全力で身内ネタですがQCの冨士川さんの韻を踏む記事で大量に並ぶラップ音声ファイルを見て腹抱えて笑いました。果たして全部聞いた人はいるのか……！？この位のゆるさが好き。 お久しぶりです、バックエンドのtomtwinkleです。 ANDPADボードのバックエンドリードエンジニアをしております。 今回の記事は「ちょっと早めの忘年Goパーティ」で発表したLTの内容の解説コーナーです。レッツトランスフォーム！ voicy.connpass.com と、その話に入る前に 🎊 Go 1.20 Release Candidate 1 is released! 🏃‍♂️ Run it in dev! Run it in prod! File bugs! https://t.co/Ul1xGhvlkf

こんにちは。 (ニコニコ)プレミアム課金開発チームに所属しております @ingen084 です。 去年は ニコニコで13年運用された決済システムが移行されてからのその後の改善 を投稿させていただきましたが、この投稿は前座で、実際に環境が整ったところでシステム上でどのような変更を加えていったかなどを書いてみたいと思います。 (改めて)ニコニコプレミアムについて 入会ページ 退会ページ ご存じの方は多いと思いますが、ニコニコプレミアムは月額500円(税別)のニコニコのプレミアム会員サービスです。 これらのシステムは当時ニコニコ動画本体のコードに組み込まれていましたが、一昨年分離され身軽になり去年、今年と機能追加などと並行して改善を続けています。 決済の流れと課題 ニコニコプレミアムでは主に以下のフローで入会時の決済を行います。 これらのページ構成は2007年のプレミアム会員サービスの開始当時か

この記事は、アソビュー！ Advent Calendar 2022の12日目です。(裏面です) アソビューでSREユニットに所属をしている三森です。この記事では弊社のSREについて紹介をしようと思います。 アソビューでのSREとは？ SREの指針とは？ 信頼性 全体最適 DevSecOps こういうことやってるよ！ 最後に アソビューでのSREとは？ アソビューでのSREとはGoogleが提唱した「Site Reliability Engineering」の考え方を基本にしておりますが、インフラ／運用の上に乗るサービス、その先に居る顧客までを見据えて改善活動を積み上げるチームとしています。 www.wantedly.com SREの指針とは？ アソビューはビジョンとして、「2025年までに、4000万もの人々に遊びを通じて、素敵な思い出をお届けする」を掲げています。 このビジョンの実現する

はじめに フロントエンドのテスト手法の 1 つに Visual Regression Testing（以下、VRT）があります。 これは、アプリケーションの画面を画像として保存し、画像の差分比較をすることで意図せぬ変更が生じていないかテストする方法です。 ここ数年で広く普及し、用語としても一般的になったように思います。 私も以前、とある OSS に reg-suit & Storycap を使った VRT を導入したことがあるのですが、その後もいくつか VRT のためのライブラリが登場したもののキャッチアップできていませんでした。 そこで今回は知識のアップデートを目的として、ここ最近登場した（と思われる）VRT のライブラリをいくつかご紹介します。 なお、今回紹介するツールはすべてこちらのリポジトリで試しています。 具体的な設定ファイルや動作結果を確認できるようになっていますので、ご興味が

この記事はDeNA 23新卒内定者 Advent Calendar 2022の 10日目の記事です。 こんにちはgari8です。 今回は内定先のAdvent Calendarに参加させていただくため久しぶりに筆を取りました。 DeNA 23新卒内定者 Advent Calendar 2022ではこの記事の公開日（2022/12/10）以降もさまざまなジャンルの技術に関する記事が更新されるのでぜひご覧ください！ さて、早速本題に入りたいと思いますが、jqという言葉を耳にしたことがあるでしょうか。 jQueryではなくjqです。（余談ですが、jqを検索する時はjQueryが入ってきてしまうことが稀によくあるので-jQueryを後ろに入れて弾くことをお勧めいたします。） jqを使いこなすと、GitHubActionsやCircleCIで無双できる（個人的にはできていませんが…）ので知らなかった方

東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習Read less

AWS for Games Advent Calendar 2022 9日目の記事です。 Game Server Services(GS2) ではゲームに必要となるサーバー機能をマイクロサービス化し、皆さんに提供しています。 マイクロサービスには所持品の管理や、ゲーム内ストア、課金通貨の残高管理など30を超える機能を用意しており、これらを組み合わせながらゲーム内の仕様を実現できるようにしています。 さて、マイクロサービスの最も難しい課題はトランザクションにあると私は考えています。 今回は Game Server Services がどのようにこの課題に立ち向かい、そして問題を解決しているかお話ししたいと思います。 マイクロサービスとトランザクションの両立がなぜ難しいのか モノリシックなサーバーシステムは、大体の場合「所持品の所持数量」と「課金通貨の残高」は同じRDBに保存しています。 そし

オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re

本記事は Digital Identity技術勉強会 #iddance Advent Calendar 2022 の11日目の記事です。 最近いろいろ盛り上がってきているパスキーについて、実際にサービスに導入するときに気になりそうなポイントをまとめてみようと思います。 あくまでパスキー調べてる個人の意見です！それはちがくね？みたいなのあったら、コメントください 背景 既存の状況・問題点 今までのFIDO認証は、基本的にCredentialはAuthenticatorの外にはでない、Single-Device Credentialと呼ばれるものでした。そのため、セキュアではあるものの、Authenticatorを紛失した場合のリカバリが難しく、サービスの利用にあたってFIDO認証の利用を必須化することは難しい状態でした。 特にコンシューマー領域では、「Authenticatorを複数台持って

※この記事は、2022 Speee Advent Calendar11日目の記事です。 昨日の記事はこちら tech.speee.jp こんにちは、DX事業本部エンジニアのさとーる（@satotoru2000）です。 私は今年の6月から「イエウール」というプロダクトのSEOコンテンツ開発チームで開発をしています。今回はその中でやったことをまとめながら、 モノリシックRailsアプリの一部のドメイン領域を担当する状況下で、自信をもって変更できる領域をどうやって広げたか？ という話をしようと思います。 当初のイエウールの課題 イエウールは、アーキテクチャ的にはいわゆる一般的なモノリシックRailsアプリです。下の図のように、一つのRailsアプリケーションにほぼ全ての必要な機能が乗っているような状態です。 イエウールcoreに乗っているものたち また、サービスとしてもそれなりに歴史があるプロダ

Team82 Research {JS-ON: Security-OFF}: Abusing JSON-Based SQL to Bypass WAF Executive SummaryTeam82 has developed a generic bypass of industry-leading web application firewalls (WAF). The attack technique involves appending JSON syntax to SQL injection payloads that a WAF is unable to parse. Major WAF vendors lacked JSON support in their products, despite it being supported by most database engine

この記事は ANDPAD Advent Calendar 2022 の 11日目の記事です。 アンドパッドで EM (Engineering Manager) を担当している栗山です。現在、施工管理アプリチームというモバイルアプリの開発を専門に担当するチームに所属しています。前職では iOS エンジニアを担当していたことから、前職での経験を活かしながら日々改善を進めているところです。 今回は、入社から約半年が経過した今に至るまでに自分やメンバーが試した改善施策や、私が所属する施工管理アプリチームがスゴいと思う点について書いていきたいと思います。 これまで実施した施策について ここでは、2つに絞ってこれまでに実施した施策について紹介したいと思います。 なお、ここで紹介する施策は、いずれも自分一人で進めたものではなく、チームメンバーやチーム外の関係者の皆さんの協力なしには進められなかったものば

ABEJA Advent Calendar 2022 11日目の記事です。昨日は服部さんの夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話でした。 はじめに こんにちは、こんばんは、おはようございます、エンジニアの小笠原(@seiro-ogasawara)です。 去年の Advent Calendar で @toshitanian がオフィスDXを支える技術（バックエンド編）という記事を書いていましたが、本記事はそれの2022年版です。5日の記事で石川 (@ishikawa) がフロントエンド、というかネイティブアプリの機能紹介を行っているので、興味のある方はそちらもご覧ください。 この記事では、今年 Bizflex システムに追加した機能のうち、チャットツール連携機能、なかでも、(1) ゲスト来館時通知 (2) 勤怠サービス連携 についてご紹介します。 （ち

この記事はスターフェスティバル Advent Calendar 2022 11 日目の記事です qiita.com 昨日は @shota1995m の オブジェクト指向 UI デザインを読んだから図解してみる でした はじめに 僕は生粋(?)の PHPer なので、PHP 以外の技術はなんちゃってレベルでしか触ったことがないのですが 知らん言語(TypeScript)、知らんフレームワーク(Koa, NestJS, commander)、知らんミドルウェア(Apache Kafka)、知らんその他諸々(Protocol Buffers, Terraform)を使ってるチームに移動して難易度が高めな課題に取り組むことになったため、効率的に技術をキャッチアップできないと終わると思いヒィヒィ言いながらがんばったことを共有します やったこと 座学の時間をガッツリとる まずは手を動かす方が有効な場面

こんにちは、Gunosy Tech Lab DR&MLOps チームの楠です。 この記事は Gunosy Advent Calendar 2022 の 11 日目の記事です。 昨日の記事は UT@mocyuto さんの『RailsのフロントをReactへリファクタしたとき、スキーマをOpenAPIベースの自動生成にした話』でした。 この記事では、ELT パイプラインにおける Transformation ツールである dbt の snapshot という機能について紹介した後、snapshot の手法を一般化したディメンションモデリングにおける概念である Slowly Changing Dimension を包括的に紹介します。 はじめに dbt とは？ dbt についての参考資料 dbt snapshot とは？ どんなときに使える？ dbt snapshot のまとめ dbt snap

この記事は Money Forward Engineering 1 Advent Calendar 2022 11 日目の投稿です 🎄 昨日 10 日目は cabossoldir さんによる 『コードレビューのとき、私は何をレビューしているのか？』 でした。 🙈 TL;DR Fragment Colocation とは、コンポーネントが必要とするデータを Fragment にまとめてコンポーネントと同じ場所に配置 (co-locate) すること Fragment Colocation を導入することで、「Query や Mutation を実行するコンポーネント」と、「それらの結果を必要とするコンポーネント」との関心の分離ができる Query, Mutation, Fragment はそれを実行するあるいは必要とするコンポーネントと同じファイル内に宣言すると依存関係が見やすく、変更が

この記事は GMOアドマーケティング Advent Calendar 2022 11日目の記事です。 はじめに GMOアドマーケティングの吉岡です。 今回は BigQueryのみに存在するレポートテーブルのレコードをCloudSQLに同期する必要があったため、Google Cloud Workflowsというサービスを使って実装してみました。 バッチ実行が失敗した際に日付を指定して再実行できると便利なので、今回はこちらのやり方を紹介します。 Cloud Workflowsとは？ Cloud Workflowsとは、Google CloudとHTTPベースのAPIサービスをサーバーレスワークフローと統合するサービス。 詳細はこちら→ Cloud Workflows公式ページ つい先日、GoogleのProfessional Cloud Architect試験を受けたのですが、多くのサービスに

この記事は AWS Advent Calendar 2022 11日目の記事です。 昨日は @ItsukiOnishi さんの AMIによるEC2インスタンスの起動からターゲットグループへの登録までを自動化した でした。 明日は @hayao_k さんです。 みなさん、AWSの秋祭り re:Invent 2022、今年も楽しめましたでしょうか。 いつも米国時間での開催のため夜更かししてまで見てないよという方や、今年はワールドカップの方を見てたよという方も多かったんじゃないかと思います。 日本語でもまとめ記事が色々と出ていますが、それでもアップデート多すぎて追いきれない方も多いのでは？ 今回はエンタープライズなインフラエンジニア目線で気になった新機能を 忙しい人向けに コンパクトに紹介します。 大注目の４サービス 〜インフラエンジニア不要な未来はすぐそこに!?〜 VPC Lattice La

これは Engineering Manager Advent Calendar 2022 の10日目の記事です！ ビットキーというスタートアップにてエンジニアリングマネージャーをしております、佐藤正大と申します。”まさひろさん”と呼んでいただくことが多く、ハンドルネームは @m3hiro3です。 この記事は誰に向けた、何であるか？ 上司=EMと読み替えていただいた上1で、その存在や関係性にモヤッとした方に向けた記事です。 ”モヤッと”とは、「明瞭でない状態」「腑に落ちない状態」「わだかまりがある状態」のことです。私自身も歩んできたキャリアの中で、上司の行動や言動にモヤッとしたり、自分がリーダーやマネージャーとして周囲をモヤッとさせてしまったりという経験は多数あります。 また、そんな状況を抜け出すために、エンジニアリングやマネジメントの書籍を読んで感銘を受けたり、一方で矛盾を感じてしまったり

Ubie Discovery でエンジニアをしている @guchey です。 症状検索エンジン「ユビー」はiOS/Androidアプリ版も提供しており、リグレッションテストにMagicPodを導入しています。 今回はMagicPod導入の経緯とUbieでの活用事例についてお話しします。 MagicPodとは MagicPodは、モバイルアプリテスト、ブラウザ(ウェブアプリ)テストの両方に対応したAIテスト自動化クラウドサービスです。 個人的には以下の特徴が気に入っています。 テスト実行回数が無制限である テストシナリオの作成が直感的で簡単 PoC的に導入したのですが、1日程度で自動テストをCIで実行できる状態に持って行けたのでそのまま継続利用しています。 Ubieのアプリ開発の課題 Ubieではcapacitorjsを使って、症状検索エンジン「ユビー」を開発しています。Web/iOS/An

HRBrain Advent Calendar 2022 カレンダー2の11日目の記事です。 はじめに こんにちは。株式会社HRBrainでエンジニアリングマネージャーをしている山口です。 2022/08/01に入社してから5か月目、そろそろiDeCoの移管手続きをしようと思う今日この頃、皆様いかがお過ごしでしょうか？ 本記事では、15名程度のメンバーと毎週30分ずつ実施している1on1ミーティングでの工夫を紹介します。 1on1ミーティングで大切にしていること5選 1on1ミーティングに限らないと思いますが、個人的にはいつも5つの観点を大切にしようと心掛けています。 1. 議事録を書く メンバーの成長促進やモチベーションアップを主目的と考えているため、雑談重視で進めることが多いです。 とはいえ、いざという時に前回何を話したのか見返すことができると、ミーティングがスムーズに進むようになるた

この記事はNuco Advent Calendar 2022の11日目の記事です。 インフラに関わるエンジニアにとって必須の知識であるIaCについて書こうと思います。 IaCは、Infrastructure as Codeの略であり、「インフラのコード化」と言われたりします。 ここ最近はクラウドを使った開発では、IaCが当たり前になっていると感じています。 この記事で得られること IaCの基本知識（IaCとは？ なぜ使うのか？ どんなツールがあるか？） CloudForamtionの全体像・使い方・サンプルコード・実務での応用例 Terraformの全体像・使い方・サンプルコード・実務での応用例 IaC導入に関するtips 1. Infrastructure as Code (IaC)とは？ 1-1. 定義 WikipediaによるとIaCは下記のように定義されています。 Infrastr

この記事は、スクラムギャザリング＆スクラムフェス Advent Calendar 2022 - Adventarの二日目の記事です。サッカーワールドカップでスペインに逆転勝利して今日は休みにしようと皆さんが盛り上がっているときに誰が読んでくれるのか不安ではありますが、記念に公開いたします。サッカーにちなんでハッカー文化の話も出てきます。 adventar.org アドベントカレンダーなのに業務連絡っぽくなってしまって恐縮なのですが、最近ハラスメントポリシーへの対応についてみんなの思いを文章化する作業をやってましたので紹介させてくださーい。 ポリシー作ったのはいいんだけど、ポリシーの運用って実は地道に大変な作業だったりします ルールは作っただけでは何も効力を発揮しなくて、関係者全員が理解して、遵守に向けて動くという多数の行為があって効果を発揮する。プロセス全体を見ると相当なハイコストだと思う

この記事はNTTコミュニケーションズアドベントカレンダー12日目の記事です。 こちらの記事では、巷で話題の統計的因果探索の手法群を総合的に集めたlingamライブラリの紹介と、実際に利用した例を紹介します。この手法群の元祖かつ代表であるLiNGAMは様々なサイトで紹介されているので、今回は 未観測変数を考慮したBottomUpParceLiNGAM 非線形かつ未観測変数を考慮したCAM-UV の２種についてLiNGAMプロジェクトの公式チュートリアルを参考に紹介します。さらに、巷のオープンデータに適用してみて考察を行います。なお、この記事では各手法の性質については記述しますが、理論的な背景や式の導出の解説はしませんので、あらかじめご了承ください（ここから先は自分の目で（以下略）） 統計的因果探索とは 統計的因果探索は複数の仮定を基にデータから因果グラフを生成する手法のことです。主に離散変数

インターネットを支えるルーティングプロトコルであるBGP(Border Gateway Protocol)をRFCからRustで実装する方法を解説します。小さなプログラムから始め、Update Messageを交換しルーティングテーブルの更新まで、一歩ずつ実装・解説します。 関連サイト本書の関連ページが用意されています。 NextPublishingオフィシャルWebサイト内容紹介インターネットを支えるルーティングプロトコルであるBGP(Border Gateway Protocol)をRFCからRustで実装する方法を解説します。小さなプログラムから始め、Update Messageを交換しルーティングテーブルの更新まで、一歩ずつ実装・解説します。RFCで定義されているプロトコルを一度自分の手で実装することで、BGPに限らず、その他のプロトコルについてもRFCから実装することを目指します

この記事は、NTT Communications Advent Calendar 2022 12日目の記事です。 はじめに はじめまして、クラウド&ネットワークサービス部でデータマネジメントに関するサービス企画・販売企画を担当している古志将樹です。 今回はNTT Comで提供しているデータマネジメント基盤である「インフォマティカソリューション」について簡単に触ってみたので、その操作方法などを紹介したいと思います。 データ活用が必要とされる背景、課題 インフォマティカソリューションの紹介をする前に、データ利活用を進めるにあたってよくぶつかる壁を説明します。 近年、DX/データ分析の動きが盛り上がっていますが、そのために使用するデータは1つに集まっていることはまれで、クラウド、オンプレなど各所に散在してることがよくあります。そのため、以下のような課題をDX/データ分析を実施する前に解決する必要

マルチテナントKubernetes環境のKubernetes External Secrets が非推奨になるので External Secrets Operatorへ移行した話

この記事は、文を紡ぎ編む人たちの Advent Calendar 2022 - Adventarの12月9日担当分です。 今年出会ったツールの中ではCLOVA Noteがステキでした。 clovanote.line.me インタビューなどで録音した音声ファイルから、どうにかしてテキストに変換できないかいろいろ試していたのですが、うまく文字に起こすことができないので諦めていました。 そんなとき「CLOVA Note」をオススメしてもらったところ、圧倒的にテキスト起こしにかけていた時間が減りますね。精度はそれなりかもしれませんが、ここまでテキストにしてくれたら充分。大助かりです。 オープンベータ期間中は毎月300分が無料でとってもありがたい。そう。無料でとってもありがたい。 adventar.org

Deno アドベントカレンダー 11日目の記事です。 Deno には現在サブプロセスを実行・制御するための API として Deno.run / Deno.spawn系 / Deno.Command の3系統があり、どれを使って良いか分からないという疑問を聞くことが多いです。 結論から言うと、この3つの API のうち、Deno.Command を使うべきです。本記事ではその理由と、各 API が出来た経緯について解説します。 Deno.Command を使うべき理由 Deno.Command は Deno.run と Deno.spawn系の問題を解決した最終的なデザインの API という位置づけです。近い将来 (Deno v1.30 ぐらい) に安定化される可能性が高く、Deno.Command を使っておけばプログラムがそのまま動き続ける可能性が最も高いと考えられます。 ただし、De

最初に説明抜きで結論を CRuby のリポジトリを git で clone した working copy で以下を実行します。 git remote add ruby-trunk-changes https://github.com/nagachika/ruby.git git config --local remote.ruby-trunk-changes.fetch '+refs/notes/commits:refs/notes/ruby-trunk-changes' git config --local notes.displayRef '*' git fetch ruby-trunk-changes git の使いかたにはいろいろ個人の好みがあったりとか既存の設定との相性があると思うので、よりこまかく設定したい人や背景を知りたい人は以下の説明も読んでみてください。 背景 毎日 C

１．はじめに 私は普段、IT企業の企画系部門で仕事をしています。以前はアプリケーションエンジニアとして現場に入っていましたので、それなりの開発経験もあります。 これまで、業務に関する学習は当然のことながら、資格試験はIT/非ITに関わらず40以上の合格実績があり、継続的な「学び」についてはそれなりに実践してきたと思っています。 今回、「新人エンジニアにすすめたい勉強法」というアドベントカレンダーがありましたので、過去を振り返りながら「学び」や「勉強法」についての考え方などを、皆さまと共有させていただきたいと思います。どこまで共感いただけるかわかりませんが、皆様の取組みにおいて少しでもお役に立てば幸いです。 ２．なぜ学びが必要なのか？ 最初に「学び」の必要性について確認します。ここでは、ギャラップ社が提唱する次の方程式をお借りして考えてみたいと思います。 強み ＝ 才能 × 投資 社会人とし

[2022年最新版]Lambdaの裏側教えます！！A closer look at AWS Lambda (SVS404-R) #reinvent Lambdaファン必見 Worker ManagerをAssignmentサービスに置き換えた話、SnapStartの裏側でSparse filesystemを利用している話など、Lambdaの裏側がどうアップデートされたのかが分かります CX事業本部@大阪の岩田です。今年のre:inventは現地参加できなかったのですが、毎年楽しみにしていたLambdaの裏側を解説するセッションSVS404(番号は年によって微妙に違います)の動画がYoutubeにアップされていたので、さっそく視聴しました。これまで言及されてきた内容に加えて新たな解説も増えているので改めてレポートをブログにまとめます。 セッション動画 セッション動画はこちらから確認可能です

TL;DR 正しく設計するとキャパシティは常にカツカツになる これはpyspaアドベントカレンダーの8日目の記事です。前日はShibukawaさんです。 世はクラウド時代、ソフトウェアはひとたび作られたら何億回実行されても摩耗するものではないので、どんな間抜けなロジックであろうと動く以上は別のどこかで瑕疵が出てくるまで使い倒されるのは日常茶飯事である。 サービスを負荷の前提の上に定義する クラウドより前の時代においてサービスを支えるマシンは「ロードアベレージが1.0を超えてなければとりあえずOK、超えたらマシンを増やして負荷を分散する」というノリのベストプラクティスがよく言われていたがそれはサーバ資源の確保にそれなりに時間がかかる時代の常識であって、クラウド時代でサーバは分単位で確保できるようになった。 クラウドの利点としてその即時的なスケーラビリティが常套句として使われて久しいが、これは

Error Tolerant parserに関するアイデア 9月半ばに行われたRubyKaigi 2022以来、3ヶ月くらいError Tolerant parserについて調べたり考えたり実装をしたりしています。 途中でもいいからなにかにアウトプットしておくとよいというアドバイスをもらったので、今現在の状況や考えていることを書いておこうと思います。 Error Tolerant parserとは? どうしてそれが欲しいの? 通常parserはユーザーの入力を受け取り その入力がそのプログラミング言語にとって、validなものか否かをチェック validな場合、その後の工程にとって都合のいいデータ構造(例えばAST)に変換し、後工程に渡す invalidな場合、Syntax Errorをレポートする といった処理を行います。 しかしIDEやLSP(Language Server Proto

Webフロントエンド界隈の文献などにあたっていると、「コロケーション (co-location)」という考え方が時々登場します。 コロケーションを簡単に説明すると、関連するリソース同士を近くに置いておく、という考え方です。 FooComponent.tsx と同じディレクトリに FooComponent.test.tsx を置く GraphQL fragment は、クエリを発行するコンポーネントファイル (pages/user.tsx) ではなく、fragment を利用するコンポーネントファイル (components/UserInfo.tsx) の中で定義する pages/user.tsx からはサブコンポーネントのファイルで定義されている fragment を import してきて、クエリを組み立てて発行する API ドキュメントは API.md に書くのではなく、コードの中にド