飲食店経営のなかで、 最も難しい問題の1つはシフト管理である。 賑わうと思って アルバイトをたくさん配置した月末・給料日後の 金曜日にお客様が一組しか来なかったり、平日だしなぁと思ってアルバイトを一人しか配置しなかった日に満席になったり。 そして、最も恐ろしいのは、予約が入っていて、あらかじめシフトをしっかり調整したにもかかわらず、 当日に突然くる病欠などの欠席報告である。 少し前になるが、P2B Haus で6月に起こった突然の事態は、そういった不安のすべてを突いてくる出来事だった。 元々のシフトは社員1 + アルバイト2名、予約が3組合計11名。ウォークインでの来店を想定しても十分な人員配置ではあったが、 前日にアルバイト1名から用事で欠員の報告、 当日朝もう1名のアルバイトから発熱による欠席の報告 他の社員はすでに予定がありどうしても出勤が難しい状況 これはピンチである。 ディナーの
せっかく10年以上かけて学んだプログラミングだが、人間がコード書くよりChatGPTにやらせた方が早いなということが度々あり、だんだん自分でプログラミングをやる時間が減ってきた。AIにコードを書かせてそれをGitHubにコピペして残りの時間は遊んでるだけで成果が出てお給料ももらえる日は近いし、段々会社もそのことがわかってきて失職する日も近い。 残念ながら現時点では全ての仕事がAIで上手くいくわけではないが、どういう時に使えるかを知っておくと楽をしやすくなるので、僕がどう使っているかをまとめておく。 失職できるケース 簡単なスクリプトを高速に書かせる 僕はRubyが全ての言語の中で一番慣れており、StackOverflowやドキュメントをほぼ見ずに大抵のプログラムを書き切れるため、Rubyを書いている時がプログラマとして一番生産性が高いのだが、それでも最近AIにRubyを書かせたことがあった
大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
2020年のパンデミックに伴ってさまざまな企業でリモートワークが普及しましたが、次第にオフィス勤務に回帰しようとする動きも強まっています。Dellも「リモートワーカーは昇進の対象外になる」という方針を打ち出し、従業員をオフィスに戻そうとしていますが、約半数の従業員が昇進を放棄してリモートワークを続ける選択をしたと報じられています。 Dell said return to the office or else—nearly half of workers chose “or else” | Ars Technica https://arstechnica.com/gadgets/2024/06/nearly-half-of-dells-workforce-refused-to-return-to-the-office/ Dellはこれまで、リモートワークを支持する立場を表明していました。マイ
スキマバイト｢タイミー｣が上場､27歳社長の素顔
スキマバイトアプリを運営する「タイミー」が本日7月26日、東証グロース市場へ上場する。公開価格ベースでの時価総額は1379億円。2018年8月のサービス開始にもかかわらず、「ユニコーン企業」となった。 創業者の小川嶺代表（以下、人物の敬称略）は27歳。立教大学生だった20歳のときにファッション事業を起業したが、事業存続に悩み自ら畳んだ。その後、残った借金30万円（うち20万円は親から）の返済のため、アルバイトに勤しむことになった。 「なんで応募にメールを使うんだろう。アプリで完結すればいいのに」。忙殺される中、ふと抱いた不満がきっかけとなった。そこからタイミーのアプリ開発とサービスの構築が始まった。 「すぐに働けて、すぐにお金がもらえる。コツコツがんばっている人が報われる世界を作る」。創業時から一貫して小川がこだわってきたことだ。 その言葉のとおり、タイミーのアプリは、仕事探しからマッチン
マイクロソフト、Webアプリのテスト自動化サービス「Microsoft Playwright Testing」プレビュー公開。クロスブラウザ／クロスプラットフォームのテストを並列実行
マイクロソフトは、Webアプリケーションのテスト自動化ライブラリ「Playwright」を用いた、Microsoft Azure上のテスト自動化サービス「Microsoft Playwright Testing」のプレビュー公開を発表しました。 Microsoft Playwright Testingに使われている「Playwright」は、マイクロソフトが中心となってオープンソースで開発しているWebアプリケーション向けテスト自動化ライブラリです。対応環境が幅広く柔軟で、精度の高いテストを特長としています。 具体的には、Chrome、Edge、Firefox、Safariの主要なWebブラウザのすべてを対象にしたテスト自動化が可能で、ヘッドレス、ヘッドありのいずれにも対応。モバイルエミュレーションを用いたAndroid版Google ChromeとMobile Safariのテストも、実
多忙であればあるほど猛烈にやる気が出て、驚くほどの集中力を発揮できるのに、納期や締め切りに余裕があるとついついだらけてしまう私。 オフィスでほかの人ががんばっている姿を見れば、影響されて集中できるのに、在宅ワーカーということもあってそれも叶わず困っていました。 友人とオンライン上で仮想のワーキングスペースをつくり、黙々と作業してみたりもしましたが、生活スタイルが合わない日もあります。 そこで頼ったのがChatGPT-4oの音声機能でした。
社内ChatGPTを使ったGASアプリ開発の完全解説！業務改善の高速化を実現 - MonotaRO Tech Blog
こんにちは。エンタープライズソリューショングループの石川です。大企業連携システムの基盤の開発や運用を担当していて、日々発生するエラーの監視や調査も行っています。今回は手間と時間がかかりがちだったエラー調査を、ChatGPTを使って改善した話をします。 エラー調査の背景 カタログサイトの概要とエラー発生時の影響 注文受付が影響を受ける理由とエラーの具体例 エラー発生時の調査手順 1. 注文受付へのリクエストがないか確認 2. 購買システムに注文情報を再送信する仕組みがあるか確認 3. 再送信の仕組みがない購買システムの場合は、社内の担当グループに対応依頼 MonoChatに聞きながらGASアプリケーションを作成 実現したかったこと 改善のためのアプリケーションを作成 改善の費用対効果 振り返り エラー調査の背景 カタログサイトの概要とエラー発生時の影響 大企業連携は、各企業様が持つ購買システ
Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
仕事や子育てに追われる日々の中で、「自分の時間」を持つことはなかなか難しいもの。趣味や好きなことを「時間がない」と諦めてしまう方は少なくないでしょう。 2児を育てるイラストレーターのてらいまきさんも、出産後、自分の時間がないことに悩んでいたそう。しかし、朝の時間を活用することで、自身にとっても家族にとってもポジティブな影響があったといいます。 ＊＊＊ こんにちは。京都在住のイラストレーター、てらいまきです。システムエンジニアの夫と共働きで、6歳の息子と4歳の娘を育てています。 幼児を育てている人あるあるだと思うのですが、本当にびっくりするくらい「自分の時間」がないですよね〜！ やることがぎゅうぎゅうで、1日があっという間に過ぎていく……。 私もフリーランスではありますが、子どもを保育園に預けながら朝から夕方までがっつり仕事をしています。そんな中でも「自分の時間」が欲しいと思い、以前は子ども
スタディサプリ最大のRailsアプリケーションにYJIT+pitchforkを導入してメモリ使用量を劇的に削減するまで - スタディサプリ Product Team Blog
こんにちは。SREのkyontanです。Rubyが大好きなのでRubyの話をします。ちなみにリクルートはRubyKaigi 2024へGold Sponsorとして協賛しています! *1。ぜひ沖縄でお会いしましょう。 これはあるアプリケーションのメモリ消費量を示すグラフなのですが、まさかgemを入れ替えるだけでこんなに嬉しい変化が見られるとは思っていませんでした。今日はそんなgemの話をします。 話は遡って2023年4月のある日、インターネットを眺めていたところ、ShopifyがpitchforkというOSSを公開したという情報が目に留まりました。 調べてみると、どうやら著名なRackサーバー実装の1つであるunicornの派生版であり、メモリ使用量の削減に特化しているらしいのです。 github.com これはスタディサプリ小中高のあのリソースドカ食いマイクロサービス第一位である api
とんでもないものが翻訳されて青天の霹靂。ハッシュタグ「#ガザ投稿翻訳」を、少なくとも私は、終わりにせざるを得ないことについて（次のハッシュタグもあるよ） - Hoarding Examples (英語例文等集積所)
このブログの管理画面にアクセスするのも久しぶりである。12月のうちに、時制の使い方がとても興味深い英文の実例に遭遇したので、それについて書くつもりだったが、なんだかんだと書かずに1月も終わろうとしている。 さて、今回は当ブログのテーマである英語・英文法は扱わない。久々の更新で、英文法目当てにフィード登録してくださっている方をがっかりさせてしまうかもしれないが、現実としては、英文法どころではない状況が2023年10月7日以降、苛烈さを増しながら続いている影響をもろに受けているので、何卒おゆるしいただきたい。 今回は、英語の話ではないが、「翻訳」に関連する話ではある。テクニカルな話ではなくて、実際にやっている翻訳に関連する話である。 【目次】 2023年10月7日 ハマスの凶行 巻きおこる二元論の中で 声を上げ行動を起こしたユダヤ人たち パレスチナからの声 パレスチナからの声を日本語にする人々
デカ猫 @GipI0dWNY7T73UE 人月単価ですか？400万円/人月ならSAPのバイリンガルのコンサルが僻地で週に3日オンサイトに入るくらい、まあまあもらえますね。800万円/人月はNT○中央研究所に土下座依頼されて常駐で入るくらいですね…合ってるよね？ twitter.com/baka_PhD/statu… NAGATANI Kentaro @EntaroNagatani 私も年収450万の一応エンジニアだが、正直800万の人ほどの働きはしていない。詳細設計から下流のワーカー仕事ばかりだし、いきなり「プロジェクトマネージャーをやってくれ」と言われても能力的に無理だ。言われたら退職する。 twitter.com/baka_PhD/statu…
日本共産党の経済再生プラン ３０年におよぶ経済停滞・暮らしの困難を打開するために 三つの改革で暮らしに希望を│くらし・社会保障・経済│日本共産党の政策│日本共産党中央委員会
HOME 日本共産党の政策 くらし・社会保障・経済 日本共産党の経済再生プラン ３０年におよぶ経済停滞・暮らしの困難を打開するために 三つの改革で暮らしに希望を 日本共産党の経済再生プラン ３０年におよぶ経済停滞・暮らしの困難を打開するために ――三つの改革で暮らしに希望を 2023年9月28日 日本共産党 全文（PDF） ミニリーフ（PDF） 目次 １、政治の責任で賃上げと待遇改善をすすめる――人間を大切にする働き方への改革 ２、消費税減税、社会保障充実、教育費軽減――暮らしを支え格差をただす税・財政改革 ３、気候危機打開、エネルギー・食料の自給率向上――持続可能な経済社会への改革 おわりに――「失われた３０年」からの脱却にむけ、国民的討論と合意を ３０年におよぶ経済停滞・暮らしの困難に、物価高騰が襲いかかっている 物価高騰に暮らしの悲鳴があがっています。今回の物価高騰がとりわけ国民生
Ruby 3.3がリリースされた。YJITには非常に多くの改善が含まれたリリースだったが、 NEWS解説記事やリリースパーティーでは 2点しか触れられなかったので、この記事ではRuby 3.3でYJITがどう改善されたかについて解説する。 YJITは既に実用段階 YJITはRuby 3.1で導入されたが、Ruby 3.2の時点でexperimentalのマークが外れ、実用段階となった。 Ruby 3.2では、以下のような企業で性能改善が報告された。 DeNA: 40% 高速化 GMOペバボ: 18% 高速化 STORES: 6.5-7.5% 高速化 Timee: 10% 高速化 メドピア: 2.8% 高速化 BOOK☆WALKER: 20-30% 高速化 Discourse: 15.8-19.6% 高速化 Lobsters: 26% 高速化 CompanyCam: 20-40% 高速化 弊
これはなんらかのアドベントカレンダーの何日目かの記事だったりしません。 KOBA789 です。仕事では人工衛星の搭載ソフトウェアを書いたり、人工衛星の管制システムのソフトウェアを書いたりしています。 先日、こういうツイ……ポストをしたらちょっとバズりました。意外と興味持ってくれる人が多かったので、それに関連するオタク早口記事でも書くかぁと思って筆を執っています。 うちの人工衛星の開発ツールはウェブ技術でできている 前述のポストは管制システムについてですが、開発用ツール（C2A DevTools）もまた React + TypeScript でできています。 まぁ画面見てもなにがなんだかという感じだと思いますが、UNIX サーバーで top コマンド叩いたときの内容と、サーバーのログが合体したみたいなものが表示されていると思ってください。 これらの数値は gRPC-web の Server-
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
この記事はデータベース・システム系 Advent Calendar 2023の3日目の記事である。昨日の記事も僕でした。 間接参照を巨大仮想メモリで飲み込む メインメモリはハードディスクやSSDより容量が小さく、この問題は当面は解決の目処が立たない。 そもそも今のDRAMより速くて安くて大きいストレージが仮に発明されてもそれがDRAMに取って代わるメインメモリの立ち位置になるだけであってその下のレイヤーには依然としてそのメインメモリより安くて大きなストレージが置かれる事になる。大局的な観点ではストレージの階層構造とは経済活動の鏡像でもある。 バッファプール さて、耳にタコができるほど繰り返しているが現代のデータベースはディスクなどの永続ストレージにデータの本尊が保存され、メインメモリはそれに対する読み書きを高速化するためのデータ一時置き場としての役割を担当している。 代表的なRDBMSは3
「働きやすさ」だけでは、エンゲージメントは高まらない――人材マネジメントの専門家に聞く、組織力向上のために必要なこと
PR提供：マイナビ 「働きやすさ」だけでは、エンゲージメントは高まらない――人材マネジメントの専門家に聞く、組織力向上のために必要なこと 急速にビジネス環境が変化する昨今、さらに労働力人口は減少局面を迎え、あらためて従業員のリテンションマネジメントや人材戦略強化の必要性が叫ばれている。こうした働き手＝人へ戦略的に投資する「人的資本経営」の観点において、従業員と組織のエンゲージメントを高めるための施策にはどんなものがあるのだろうか。 このテーマに詳しい学習院大学経済学部の守島基博教授に、「働きやすさ」と「働きがい」のバランス、働き手と企業とが価値観やパーパスを共有することの重要性、人的資本経営時代のコミュニケーションのあり方を再検討することで、働き手の定着や育成にどのような好循環が生まれるかなど、さまざまな観点から詳しくお話を伺った。 守島教授によると、企業は働き手に対してこれまで以上に自己
上司「あのねぇ…そういう見たこともない関数を使われると君しか出来ないから困るんだよね」→マクロとif関数も属人化するから禁止だな！
ひろみ@人事労務&複業ワーカー @8600hiromi @matudakta ピボットとテーブル使っただけで これ言われました。 つぎ上司に呼び出されたらグループチャットルームにこの画像貼ってメンバーと「呼び出し」を楽しめるようにします。 pic.twitter.com/aEsYq3O9l5
wemo ウェアラブルメモ【公式】 @CosmotecWemo ㈱コスモテックのwemo事業部公式アカウント。ウェモと読みます｜身につけて、ボールペンで書いて、消しゴムで消せます。｜覚えごとに不安のある方、現場で働く方のための商品です。｜ADHD、発達障害、医療現場の方にご愛用いただいています。｜GOOD DESIGN AWARD 2018、日本文具大賞2018 機能部門優秀賞 wemo.tokyo リンク wemo wemo | ウェアラブルメモ | Home 現場最前線のワーカーのためのウェアラブルメモ ―. 身に付けるメモ. Wearable Memo. 油性ボールペンで書けるバンドタイプ／シールタイプのウェアラブルメモです .... 肌に直接メモしている看護師さんの手をみかけたことが、wemo開発のきっかけです。 9 users 233
スキマバイト事業者に不正アクセス 個人情報など約50万件漏えいか 「情報転得した」と主張の人物がデータ入りUSBメモリ返還
スキマバイト事業者に不正アクセス 個人情報など約50万件漏えいか 「情報転得した」と主張の人物がデータ入りUSBメモリ返還 いわゆる“スキマバイト”募集プラットフォームを手掛けるネクストレベル社（大阪市）は5月24日、不正アクセスにより個人情報など50万件近くが漏えいした可能性があると発表した。なお事態の発覚後、「情報を転得した」と自称する人物から連絡があり、警察官立ち合いの下、情報を含むUSBメモリを受け取ったという。 漏えいした可能性がある情報は、プラットフォームに登録している個人ユーザーのID、氏名、性別、生年月日、住所、電話番号、メールアドレス、口座情報、勤務経歴や勤務条件、資格、緊急連絡先、同サービス上に登録されている身分証明書の写真にアクセスするためのURLなど49万6119件。 このうち、身分証明書の写真にアクセスするためのURLは変更済みという。情報の中にマイナンバーは含ま
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと
今までuWSGIをシングルスレッド、マルチプロセスで使っていたのだけれども、昔に比べて外部のAPI呼び出しが増えているのでマルチスレッド化を検討している。 uWSGI uWSGIでマルチスレッドを有効にした時は、各workerスレッドがacceptする形で動作する。スレッド数以上の接続をacceptすることがないので安心。 プロセス内のスレッド間ではmutexで排他されて、同時にacceptを実行するのは1スレッドのみに制限されている。つまりthendering herd問題はプロセス間でしか起こらない。マルチスレッド化でプロセス数はむしろCPUコア数まで減らせるので、thendering herd問題はむしろ今よりも軽減できる。（ちなみにプロセス間でもロックしてthendering herdを許さないオプションもあるけど、プロセス間同期は怖いので使っていなかった。） ただしuWSGIのマ
組織の文化において非アジャイルなものは？ アヴィ・シュナイアー氏（以下、シュナイアー）：みなさんにちょっと聞きたいと思います。組織の文化を考えた時に、非アジャイルなものとしてどういうものが考えられるでしょうか？ なにか言ってください（笑）。 （※会場から「承認を求める」の声） 承認を求める。もう1人、お願いします。 （※会場から「完璧な計画を求める」の声） 完璧な計画を求める。プロダクトの完璧じゃなくて、プランの完璧を求めるですね。 ほかにありますか？ 勇気を持ってください。 （※会場から「合意がないと進まない」の声） 合意がないと進まない。 （※会場から「それから、年功序列」の声） 多くの場合、問題ですよね。日本の文化においては、年上に対するリスペクトを持つことがあるから、年上、目上の人になにかお願いをされたら、断れませんよね。バックログが延々と長くなってしまいますよね。どんどん必要ない
はじめに 言語として高速だと謳われているRust。そのRustを使用してDynamoDBへのデータ登録処理を直列処理と複数の並列アルゴリズム処理で速度比較してみました。 DynamoDB DynamoDBは公式で以下のように謳われています。 Amazon DynamoDB の応答時間は 1 桁ミリ秒で、最も要求の厳しいアプリケーションでも一貫してこのパフォーマンスを発揮できます。例を挙げると、2022 年の Amazon プライムデーに Amazon DynamoDB は、1 桁ミリ秒のパフォーマンスで、数兆回の API コールに対して 1 秒あたり 1 億 520 万件のリクエストを確実に処理しました。 上記だけみると爆速のようにも思われますが、読み込みと書き込み双方に以下の制限があります。 BatchWriteItemのデータ投入は1回で25リクエストまで、Queryのデータ取得は1回
どこでもグッドノート コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 過去 2 年間、Goodnotes のエンジニアリング チームは、成功した iPad のメモ作成アプリを他のプラットフォームに導入するプロジェクトに取り組んできました。このケーススタディでは、2022 年の iPad アプリが、ウェブ テクノロジーを基盤とするウェブ、ChromeOS、Android、Windows に実装され、チームが 10 年以上にわたって取り組んできた同じ Swift コードを再利用した WebAssembly について説明します。 ウェブ、Android、Windows に Goodnotes が登場した理由 2021 年、Goodnotes は iOS と iPad 向けのアプリとしてのみ提供されていました。Goodnotes のエンジニアリング チームは、Go
共立出版さまより『Human-in-the-Loop 機械学習』をご恵贈いただきました。一通り読み終えたので感想を共有します。 映り込みが激しくて写真を撮るのが難しいことで有名な表紙 本書は機械学習モデルを訓練するためのデータを人間がどのように用意するかという問題を扱っています。本書の前半では能動学習というラベル付けデータの選び方の技法が、本書の後半では人間が付けたラベルの管理方法やラベル付けのための適切なインターフェースが紹介されています。 機械学習におけるデータをいかに作るかということは私自身とても注目している領域です。『Active Learning from the Web（能動学習を使ってウェブから機械学習データを収集する）』という論文を書いたこともありますし、PDF 翻訳サービスの Readable では能動学習に基づいたアノテーションを実際に行っています。そのため本書は非常に
皆さんこんにちは。この記事では、筆者が最近業務中に経験した恐るべき罠についてシェアしたいと思います。 CIでユニットテストを実行することは、とても多くのプロジェクトで行われています。ユニットテストは特に、既存のコードの変更を自信を持って行うために必要なものです。弊社でも、CI (GitHub Actions) でユニットテストを実行しています。 あるとき、CIの挙動が不安定になったことをきっかけに、CI上でのユニットテストの実行について調べてみました。その結果、とんでもないことが判明したのです。 不安定になったCI 時折、CIにすごく時間がかかり、30分経ったあたりでタイムアウトしてしまうことがありました。そのときのログを見てみると、jestによるユニットテストが実行されている最中に、何のログも出力せずに突然止まっているようでした。そのようなときはリトライするとそこそこの確率で成功します。
以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ
PostgreSQL 16がリリースされる、COPYの性能が最大300％向上などパフォーマンスの改善や論理レプリケーション機能の強化など盛りだくさんな内容
オープンソースのデータベース「PostgreSQL」のバージョン16がリリースされました。パフォーマンスの改善や論理レプリケーション機能の強化をはじめ、開発者のQOL向上やセキュリティ関連の更新など開発開始から35年経過しているとは思えない盛りだくさんな内容となっています。 PostgreSQL: PostgreSQL 16 Released! https://www.postgresql.org/about/news/postgresql-16-released-2715/ ◆クエリプランナーが改良される ・FULLおよびRIGHTのJOINを並列化可能に ・「DISTINCT」「ORDER BY」節と同時に集計関数を使用したクエリに対してより効率的なプランを生成 ・「SELECT DISTINCT」クエリに対してインクリメンタルソートを使用 ・ウィンドウ関数を最適化 ・RIGHTおよび
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回はメドピアで本番運用をしているアプリケーションの1つであるやくばと for Clinicにて、Ruby 3.2からRuby 3.3にアップデートを行った際のパフォーマンスの変化を計測しました。 Ruby 3.3ではYJITの大幅な改善が含まれているので、これによるアプリケーションへの影響を確認していきます。 www.ruby-lang.org gihyo.jp 前提 本記事に記載されたデータは以下の条件で計測をしています。 Rails: 7.1.3.4 YJIT有効化時のオプションは特に付与していない状態(Dockerfileから環境変数を与えて有効化) 3.2.4(+YJIT)から3.3.1(+YJIT)へのアップデート 有効化前後の1週間を比較 パフォーマンスの変化 やくばと for Clinicではモノレポのアプリケ
「2024年問題」が議論され始めた当初から、「現場が求めている声」と「国が打ち出す政策」の間にある「ズレ」が感じられた。 「働き方改革関連法」は2019年、他業種の殆どですでに施行されている。しかし、トラックドライバーを始めとする職業ドライバーは「長時間労働の是正に時間がかかる」という理由から施行が5年間猶予されていた。その期限が2024年4月1日に迫ってきた。運送事業者やトラックドライバー達は、その対応に追われてきた。 国の対策は「改革」どころか「改悪」 運送業界に従事しているトラックドライバーは約86万人になる。一般貨物自動車運送事業者の99％以上が中小零細企業で、10台以下で営業している運送事業者が2万9,751社と最も多い。 今回の「働き方改革」では、本来こうした立場が弱く、かつ管理が行き届きにくい小規模の運送事業者やトラックドライバー達の労働環境を変える必要がある。しかし、現在国
円安に負けない！共通バックエンドAPIサーバーARM対応プロジェクト - Uzabase for Engineers
こんにちは。ソーシャル経済メディア「NewsPicks」のSREチームの飯野です。 SREでは2023年から円安に負けないコスト削減を継続して行なっていますが、最近は圧倒的な円安におされ気味です。 2024年1月-6月の間に141→161円の変動はちょっと厳しすぎますよね。 今回は2024年1月から3月にかけて行なったNewsPicksの共通バックエンドAPIサーバーのARM対応プロジェクトについて話したいと思います。 ARM対応はコスト削減を目的とした施策です。適用範囲の見誤りがあり、当初の想定ほど大きなコスト削減は実現できませんでしたが、活発に変更が行われるプロダクトに段階的に変更を加えてリリースすることができました。 ARM対応をするにあたり、何を考えてどの順番で着手したかという情報は、今後ARM対応を行う開発者に参考になりそうなので紹介します。 ARM対応計画 ARMのコンテナイメ
Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
元子鉄の長男17歳に10年以上前と変わらない声かけをしてしまう母の図「新幹線だよ！」→「実家に帰ったら好物作ってくれる母ちゃんだ」
harumi @harumi_fourcats @ideaizo こんにちは。超分かりみ。特急ゆふいんの森にいつか乗りたいねぇと話したら「何それ。なんでそんなの知ってんの」とハタチ頃の息子に返されて絶句しました。お前に散々本やらビデオやら付き合わされたのに…お前は綺麗に忘れちまったんかい。 ひろみ@人事労務&複業ワーカー @8600hiromi @ideaizo 中学校1年の長男と小学校3年の次男に同じことをやります。 さすがに長男が高校生になる頃には私もやらなくなるだろうって思ってましたが… やっちまうんですね…
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
タイミーで、飲食店として凄まじい経験をした話｜Sotaro Karasawa
AIにプログラミング作業を奪われている - k0kubun's blog
「リモートワークをやめるか昇進を諦めるか」の2択を迫られたDell従業員の約半数が昇進を諦めたと報じられる
ChatGPT-4oを専属マネージャーにしてサボり癖を直してもらった | ライフハッカー・ジャパン
仕事と育児で忙しくても自分の時間を確保するため「朝時間」を活用するようになった話 - りっすん by イーアイデム
週に何日、出社するべき？ 指示されたくない日本人、働き方を明確に指示してほしい米国人 「命令的規範」の捉え方に違い、ハイブリッドワーカーへの調査で示唆～NTTと東工大
「400万のエンジニアと800万のエンジニアの差は何だと思いますか？」に対するこれ以上ない答えが提示された話
Ruby 3.3でYJITを今すぐ有効にすべき理由 - k0kubun's blog
リアルタイム通信用のコネクションをタブ間で共有してまとめる
【2024年】AWS全サービスまとめ | DevelopersIO
もう一度読むObservability Engineering - じゃあ、おうちで学べる
間接参照を巨大仮想メモリで飲み込む - Software Transactional Memo
油性ペンで書いても何度も消せるメモパッドに絶対消せない文字を書かれた…公式からも反応が「企業努力も砕かれる」
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
全社横断データ基盤へdbt導入を進めている話 - Sansan Tech Blog
PythonのマルチスレッドWSGIサーバーの選定 - methaneのブログ
この20年間、世界を変える日本企業が生まれないのはなぜ？ 企業の成功に必要な、日本のアジャイルにおける“マインドフルネス”のシフト
Rustによる並列処理でDynamoDBへのデータ投入を20倍高速化してみた
どこでもGoodnotes
『Human-in-the-Loop 機械学習』 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
そのテスト、最後まで実行されていますか？ jestとnpm-run-allの恐るべき罠
大規模モデルを単一GPUで効率的に学習する方法｜npaka
Ruby 3.3(+YJIT)へのアップデートによるパフォーマンス変化の計測 - メドピア開発者ブログ
もうトラックは降りる🚚 - Madenokoujiのブログ