Cloud FunctionsでNodeを上げたら、関係ない関数が一斉にメモリ不足になった話
はじめに Syncableエンジニアリングチームの山ｐです。 このテックブログでは、日々の開発や運用の中で出てきた、ちょっとした技術的なメモや気づきを共有しています。 今回は、Cloud Functions（Firebase Functions）でNode.js 20 → 24 のアップグレード後に、処理を一切変えていない関数たちが一斉にメモリ不足で落ちた、という話を書きます。原因をたどっていくと、たった1つの関数でしか使っていない依存ライブラリが node_modules 全体の約27%を占めていた、という構造的な問題に行き着きました。 TL;DR 長くなるので、先にまとめておきます。 Node.js 20 → 24 にアップグレードしただけで、ロジックを変えていない多数の関数が512MBの上限を超えてメモリ不足になった 直接の引き金はNodeのバージョンアップだが、本質的な原因はClo
Googleカレンダーの当日予定をGASでSlackに通知する - 山ｐの楽しいお勉強生活
はじめに Slackでまとめて当日の予定を送っていたのだが、使用していたGoogle Calendarアプリが2024/09/01で終了するらしいということを知った。 で、新しいGoogle Calendarでやり方を色々調べたがどうやら当日の予定を送る方法がみつからなかったので作った slack.com GASのコード ※わかる人向けにとりあえずコード /** * @param {string} calendarID * @param {Date} targetDate */ function getEvents_(calendarID, targetDate) { const events = CalendarApp.getCalendarById(calendarID).getEventsForDay(targetDate) return events } function crea
Jupyter Notebook上でDjangoを動かす - 山ｐの楽しいお勉強生活
はじめに ちょっとQuerySetの動きをみたいとか、特定のコードを動かしたいとかあるよね？Django Shellでもいいのだけど、色々試したいからちょっと面倒なのでJupyter Notebookで動かしたい。 前職でも似たようなことをやっていてその時のスニペットをメモしていなくて地味に困っていたのだけど、時間ができたので再度作成しました。 もっと短かった気もするのだけど、とりあえず動くのでOK コード import os import django # https://docs.djangoproject.com/en/3.2/topics/async/#envvar-DJANGO_ALLOW_ASYNC_UNSAFE os.environ["DJANGO_ALLOW_ASYNC_UNSAFE"] = "true" os.environ.setdefault("DJANGO_SETT
Dev ContainerでVS Codeの拡張機能がインストールされない場合に手動でインストールする - 山ｐの楽しいお勉強生活
はじめに VS CodeでDev Containerを使う場合、 .devcontainer/devcontainer.json に拡張機能を書いておくことで自動でインストールされます ただ、何らかの理由によりインストールされない場合が稀によくあります 割と長くDev Container使っていますが、理由は不明です。わかる人教えてください。 再度開いたりするとうまくいく場合もあるので、私の環境問題なのかもしれない 私の環境は大体Python入っているのでPythonで記載 Pythonコード import json import subprocess from pathlib import Path p = Path(".devcontainer/devcontainer.json") with open(p) as f: jsonc_data = f.read() json_data
転職して1年経ったまとめと2023年の振り返り - 山ｐの楽しいお勉強生活
2023年のイメージ はじめに この記事は2023年の振り返りをすることで2024年に気合を入れようという記事、ポエムです。40代のITエンジニアがどういうこと考えて日々を過ごしているのかは少しわかるかも。ITエンジニアチックな話は少なめです。 何日かに分けて書いていたら7000文字弱という文字数になってしまった。それだけ盛り盛りの1年だったということで良いことです。 ベンチャー企業への転職 2023年の1月から株式会社STYZへ転職しました。Syncable という非営利組織向けの寄付プラットフォームサービスを開発しています。創業8年目で40人くらいの会社です。メンバーの全体的に若く、経営陣含めても私が最年長です。転職したきっかけは一緒に働きたいと思っていた人に誘われたため。 今までの所属企業も大企業（従業員1000人以上）のみいうことではなかったですが、最低でも100人以上所属 OR
【無料】Minecraft統合版サーバーをOracle Cloudで作成する - 山ｐの楽しいお勉強生活
はじめに 内容の難しさ コンパートメントの作成 前置き 手順 インスタンスの作成 前置き 手順 固定IPを取得 インスタンスのIPを固定 インスタンスのポート開放 インスタンスへのSSH接続 インスタンスの設定 Minecraftをインストール 起動設定 Nintendo Switch から接続する はじめに 手順 未成年アカウントで外部サーバーに接続する場合 はじめに 手順 Minecraft設定 バックアップについて Minecraftバージョンアップについて はじめに スクリプト Minecraft のバックアップについて はじめに スクリプト はじめに Oracle Cloudは無料利用枠（Always Free）として他のCloudサービスと比べても比較的性能の良い仮想サーバーを提供しています 無料利用枠の中で、CPUがAMDの仮想サーバーを利用してMinecraft統合版のサー
Windowsで起動しているDev Container内からGitのリモートリポジトリに操作を行うと Permission denied が発生する場合の対処方法 - 山ｐの楽しいお勉強生活
事象 VS CodeでDev Containerを使用し、コンテナ内からsshアクセス（GitHub操作等）を行おうとした際に Permission denied が発生する git@github.com: Permission denied (publickey). 発生しうる環境 Windows ホストのssh-agentのバージョンが8.8以下 コンテナ内のssh-agentのバージョンが8.9以上 解決策 ホストのssh-agentのバージョンを上げる winget install Microsoft.OpenSSH.Beta 記事執筆時にはBetaしかなかったが winget search openssh で正式版が出ているか確認すること Dev Containerのドキュメントにも注意書きがある code.visualstudio.com 詳細の前置き Dev Containe
チームとして大切にしたいと思っている3つのこと - 山ｐの楽しいお勉強生活
はじめに リーダーとしての立場になり、どのようなチームを作り、どのように進んでいきたいのかをメンバーに明確に伝えなかったことが、一部のすれ違いの原因となりました。 今までも近いポジションを担っていたことはありますが、暗黙的な理解に助けられていたことを改めて知った次第です。 今まで一緒に働いていた方ありがとうございます。 そんなこともあって、私がチーム、組織の中心となる際に何を大切しているか、どういうチームを作っていきたいかというものを言語化して書いておこうと思った次第です。 今も昔も全てを実現できているかというと難しいところではありますが、意識していきたいなと思っております。 ただし、これは私の個人的な視点であり、会社全体や特定のチームの公式な目標やKPIとは異なることに注意してください。 ※なので、会社内に閉じるのではなく個人のblogに書いて公開しているわけです。 大事にしているもの
プログレッシヴ・ロックのベスト30曲：正典から選び抜いた必聴の名曲たち
プログレッシヴ・ロックの正典から選び抜いたベスト・ソングに目をやると、人生のあらゆる重要事項について歌われた曲が見つかるだろう。精神の旅、永遠の愛、高速レーシングカー、そして小便のかかった雪を避ける必要性。もちろん不滅のギター及びシンセサイザー・ソロ、そして、思わずスパンコールがあしらわれたケープを羽織ってしまいそうなほど多用されるトリッキーな拍子記号だ。 このジャンルの音楽を30曲に絞り込むのは簡単ではなかったが、少なくとも、かなり長めの曲をいくつか挙げている。さらには、大作と遜色のない4～5分の曲もいくつか加えている。 この記事は、長年の歴史の中で生まれたプログレッシヴ・ロック最高峰の楽曲を選んだものだ。多様性を考慮して、同じバンドを2回以上登場させることは避けた。さぁ、ヘッドフォンの音量を上げて、宇宙へと旅立とう。 楽曲はプレイリストでも展開中（Apple Music / Spoti
仕事はもっと適当にやればよい - 山ｐの楽しいお勉強生活
はじめに 本記事は社内報に寄稿した内容を転載したものです 許可済み 私がどのように考えてお仕事をしているかを書いた文章であり、一般的なものかどうか、他の人がどう思うかは意識しておりません こんな事を考えて仕事している人もいるのかーくらいに読んでいただければと思います 「適当」は「適切」、「適度」といった、ちょうど良いという意味と共に「いい加減」や「雑」といった意味もあります。タイトルはその両方を含みます 仕事は誰のためにやるのか 自分のために決まってる。これは大前提。 会社のためにやるということも、給料、経験、人脈、やりがいとか何でも良いですが、それが自分にとって得るものがあるからですよね。家族のため、子どものため？それは家族や子どもが喜んでいることが嬉しい、育っていることが嬉しいということがあるのではないかと思います。社会のためというのも同じでしょう。 難しいことは置いておいて自分は自分
Windows PCセットアップメモ - 山ｐの楽しいお勉強生活
はじめに 本記事はWindows PCを購入した際のセットアップメモです 個人的な設定がかなり含まれています キャプチャは異なる可能性があるので参考程度にしてください 随時更新していく予定 環境 Windows 11 Home 10.0.22621 ビルド 22621 2022/12/22時点ではProでも変わらないことは確認済み Thinkpad X1 Carbon Gen10 https://twitter.com/yamap_55/status/1574624141386600448 JIS配列 Windows初期設定 Microsoftアカウントでログイン 初期設定時にローカルアカウントを作る裏ワザもあるようだが、いつ塞がれるかわからないため、ここではMicrosoftアカウントで初期設定後にローカルアカウントを作成し、切り替える方法を使用する ローカルアカウントで初期設定する方法
44歳処女の末路という作品。
https://www.pixiv.net/artworks/72648745 この人の作品は本当に凄いな 可愛い絵柄で、不美人な女の性欲と承認欲求という誰もが直視したがらないテーマを生々しく描いている プロデビューしてメジャー媒体に載せられて、タコピーの原罪のように話題になってもいいレベルだと思う こういうふうに非モテ女性の性欲を描写した漫画には、私がモテないのはどう考えてもお前らが悪い!もあるが、 あれは途中からソフト百合漫画にシフトしていったし、当事者からの「本当の喪女はこんなんじゃない」という声が強かったからなー でも実際には女にも性欲はあるし、こういうふうにそれが満たされなくて異常行動をして周囲からもハブられる女性も絶対にいる筈なんだよ この漫画で凄いのは、主人公の性被害体験を、主人公にとって全面的な不幸としては描いていないところ。 そこが山岸凉子の天神唐草とも違い、現代的な深み
樋口円香の事、何も知りたくなかった──｜ED｜pixivFANBOX
在庫も残り40冊くらいになっていたのとひぐまど誕ということで公開します。
ユーザ認証でGoogleドライブ上のファイルをPythonで操作する - 山ｐの楽しいお勉強生活
はじめに コードはドキュメント通りだが、認証に1日かかったためメモ 本記事ではユーザ認証を使用する バッチ処理などで使用するためにはサービスアカウントを使用する キャプチャはないが、参考リンクは大目に貼っているので、解決しない場合でもリンクは見てみることを推奨 前提 ブラウザ上でファイルの取得は可能であることを確認 privateのファイル 認証あり。インターネットに大公開しているファイルではない 認証関連の設定が終わった後のコードは↓の通り https://developers.google.com/drive/api/guides/manage-downloads#python GCPへのアクセスが可能であること プロジェクトは作成済み gcloudコマンドを使用可能であること 手順 Google Driv APIを有効にする https://console.cloud.google.
npm install と npm ci をどのように使い分けるか - 山ｐの楽しいお勉強生活
※タイトルの npm install は引数なしを想定しています。 一言 引数なしの npm install は使わない 環境構築時には npm ci を使用する 詳細 npm install 引数なしの場合、package.json に沿った形で依存ライブラリをインストールする package-lock.jsonは見ない 依存ライブラリの依存ライブラリは最新版がインストールされる 依存ライブラリの指定の範囲での最新版 package-lock.jsonを更新する 用途 引数なしは使わない 新規ライブラリの追加、既にpackage.jsonに記載があるライブラリのバージョンアップを行う時 npm ci package-lock.jsonに沿った形で依存ライブラリをインストールする 依存ライブラリの依存ライブラリは package-locl.jsonに記載があるバージョンでインストールされる
PySparkでDataFrame.cacheはMEMORY_AND_DISKレベルキャッシュされる - 山ｐの楽しいお勉強生活
概要 タイトルが全て MEMORY_ONLYだと勘違いしていたためメモ persistも引数なしで呼び出すとMEMORY_AND_DISKなので同じ https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.cache.html https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.persist.html ※2021/12/17時点の最新版であるPySpark3.2.0の情報です 詳細 レベルの変更の歴史 pyspark.sql.DataFrame.cache がPySpark1.3.0で追加されたときは「MEMORY_ONLY_SER」レベル https://spark
Xiaomi Pad 5（MIUI12）を複数アカウント（ユーザー）で使用する - 山ｐの楽しいお勉強生活
はじめに Xiaomi Pad5を購入したものの、デフォルトでは複数ユーザーで使用ができない？ 端末というより、OSであるMIUIの仕様？ とりあえず複数ユーザーで使用できるようになったので手順をメモする ただし、色々制限はかかっているの注意。詳細は下記参照 他にも良い手順があったらコメントでもTwitterでも良いので教えて下さい わかる人向けの手順概要 ※よくわからない人は下記にキャプチャ付きの詳細手順あります。 設定 → デバイス情報 MIUIバージョンを10回タップ 開発者向けオプションを有効 追加設定 → 開発者向けオプション デフォルト値にリセット ※全然関係ない項目のように見えるがここが一番のハマりポイント 最下部のMIUI最適化をオフ 複数ユーザー → 追加 切り替え Google関連の設定はOFFにして初期設定をする よくわかっていないこと（困っていること） ログイン時に
モックは必要悪で、しないにこしたことはない - blog.8-p.info
Mockito や gomock が使いやすいせいか、単体テストというのはモックするものである、という思い込みがあるのか、人々がモックしすぎているのを時折みかける。 モックは必要悪で、しないにこしたことはない。外部の API サーバーとかはガンガン叩くわけにもいかないけれど、ファイル読み書きくらいは、実際にファイルを作ったり消したりしてしまっていい。/etc/passwd を消すとか、1GB のファイルを作るとかだと難しいかもしれないけれど、その場合でも、パスのプレフィックスを指定できるようにして、一時ディレクトリの中の etc/passwd を使うとか、ファイルサイズを指定できるようにするとか、逃げ道はいくつもある。そこを飛ばして「ファイル操作は一律モックしましょう」とか頑張りだすと辛いことになりがちだ。 モックの一番の問題は、本番とテストで違うコードが走ることで、これは自動テストの価値
GitHub ActionsでビルドしたドキュメントをGitHub Pagesで表示する - 山ｐの楽しいお勉強生活
まとめ GitHub Pagesは「GitHub Enterprise Cloud 」プランの場合privateで使用する事ができる 企業でお金払っていてオンプレのGitHubでなければこのプランのはず 追記: 有料プランでもTeamプランというのがありました。こちらではアクセス制御はできません Pricing · Plans for every developer · GitHub GitHub ActionsでbuildしたドキュメントをGitHub Pagesに簡単に反映可能 peaceiris/actions-gh-pagesというGitHub Actionsが便利すぎる ほぼ無料 はじめに GitHub Pagesの存在は知っていてもprivateリポジトリで使用できないと思っている方は多いと思いますが、2021/01/21より「GitHub Enterprise Cloud 」
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【IMO】コードレビューって難しいよね.pdf
