横断組織として考える共通DBの課題解決 〜 桃園の誓いアーキテクチャ 〜 / Addressing Shared Database Challenges as Cross-Team: “Peach Garden Oath” Architecture

こんにちは。LINEヤフー株式会社でデータベースエンジニアをしている、松浦、中園、大塚、曽根、笠井です。 データベースはLINEヤフーのさまざまなサービスを支える重要なソフトウエアですが、その安定的な運用やトラブルシューティングには、データベースに関する専門的な知識が必要です。 一方で、データベース部門に配属される新卒のエンジニアは、全員が学生時代にデータベースを専門的に勉強しているわけではありません。このような新卒エンジニアは、データベース部門へ配属後、OJTや実際のデータベースの運用業務に携わりながら、データベースに関する専門知識を深めていきます。 今回のブログ記事では、データベースエンジニアとしての専門性を高めるために、部門内で実施している専門書の輪読会、そして、MySQLを題材としたデータベースカーネルのモブプログラミング（以下、モブプロ）の取り組みについてご紹介します。 1. 輪

はじめに エンジニアのみなさま、日々の学習本当にお疲れ様です！ また本記事まで足を運んでいただき本当に感謝です。 約3分程度で読めるので最後まで読んでもらえると幸いです。 先週、要件定義の記事の投稿をしました。時間あればぜひ読んでみてください。 今回は「非機能要件」の 可用性 性能・拡張性 運用・保守性 移行性 セキュリティ システム環境・エコロジー の6項目について理解を深めてアウトプットしようと思います。 非機能要件｜6項目について 1. 可用性 システムが継続して利用可能な状態を維持する能力を指します。『稼働率』 で表現されます。システムは定期メンテナンスや予期しない障害により、一時的に利用できなくなることがあります。可用性は、稼働している時間と停止から復旧までの時間の割合で決まります。たとえば、Amazonの「Amazon ECS」サービスは 『99.99%』 の稼働率を保証してお

データを利活用してカスタマー・クライアント双方の「不」の解消を目指してきたリクルートが、今注力する領域は「データを用いた意思決定の質向上」とそのための「データの整備」です。 そこにフルコミットするため、新たに生まれた職種がアナリティクスエンジニアです。例えば、図書館を作るのがデータエンジニアで、図書館に収納された本を使って価値を生み出すのがデータサイエンティストだとすれば、本の整理や目録の作成などを通じてさながら司書のような役割を果たすのがアナリティクスエンジニアです。言うなれば「データの整備人」。 リクルートにおいては、データを用いた意思決定を加速させるうえで、必要不可欠の存在です。 とはいえ、まだまだ一般的には知られていないアナリティクスエンジニアの仕事。彼らは組織のなかでどのような役割を果たし、どのように事業へ貢献しているのでしょうか。そしてどんなバックグラウンドを持っているのでしょ

# 参考資料 - https://gist.github.com/voluntas/9c1d9d51e86a853fed6889f743a12145 - https://amzn.to/4ewrbw7 - https://amzn.to/3XzYYh4 - https://www.ipa.go.…

AWS Lambda Web Adapter (LWA)は、AWS Lambda上で従来のウェブアプリフレームワークをそのまま動かすためのLambda Extensionです。このセッションでは、LWAの機能を取り上げ、それらが必要となる背景や従来実用が困難だった実装パターンをどのように実現できるのかを…

Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

「英文がスラスラ読めるようになりたい」私の切実な願いに、読書猿さんは言い放った 「まず2万語な！」 ――― 6年前の話 だ。 藁にもすがる思いで手を出したのがこれ。1127日かけて2回読んだ。結果は次の通り。 7870 words　始める前 9944 words 　1周目（610日）完了後 12509 words 　2周目（517日）完了後 語彙力は preply でテストした。 語彙力が増強されていることが数字で分かるが、あまり驚きはない。この『Merriam-Webster's Vocabulary Builder 』は、250もの語根や語幹をベースに単語を解説する単語帳で、私の英語力で背伸びして読めるレベルなので、そりゃ2回も読んだら強くなるわな、と思う。 それよりも、3年も続いたことに驚いている。 学校を卒業してから、英会話学校へ通ったり（1ヶ月で挫折）、通信講座を受けたり（2ヶ月

はじめに 会社員として働く上で評価は最も大きな関心事の1つでしょう。評価によって自身の職位や給料が決まるのでそれも当然です。 しかしながら、「納得感のある評価を受けられていますか？」と問うと明確にYesと答えられる人は稀でしょう。「成果を出したのに正しく評価されていない」と不満を持っていたり「評価は偉い人が勝手に決めるものだから…」と諦めている人もいるのではないでしょうか。少なくとも過去の私はそうでした。 そもそも、評価をどのように受けるべきか指導や研修を受けたことはありますか？私にはその記憶はなく、自身が評価者の立場になって初めて評価というシステムに真剣に向き合うことになりました。 評価の際に被評価者としてできることは、評価者に自分の成果や成長を適切にアピールすることです。そして、アピールの方法として最も確実かつ重要なのは伝わる自己評価を書くことです このエントリは、被評価者が評価者に正

「自分の手取り収入っていくらなんだろう」 「収入から所得税や住民税はどのくらい引かれているんだろう」 自分の年収や手取り収入が気になる瞬間ってありますよね。 年収と手取り収入の関係が分かれば、将来の出費や人生計画が立てやすくなると思います。 この記事では、年収と手取りに関する早見表を皆様にご覧いただけるようにしています。 また、年収から手取り額の目安を簡単に計算する方法をお伝えします。 そのうえで、年収から手取り収入までに引かれる4つの要素を解説し、なかでも所得税・住民税については、個別の条件に基づいて計算していただけるようにシミュレーションを用意しました。 自分の収入の姿を正確に把握するために、ぜひ利用してください。（令和5年4月現在の制度で記載しています） 1.年収と手取りの早見表 まずは「年収がいくらだと、手取りはいくらなのか？」という疑問に答えるために表を用意しました。 実際の年収

9月12日、OpenAIが新しい推論モデルのo1-previewとo1-miniを発表し、ChatGPT Plusなどの課金ユーザーは、即日、両モデルを利用できるようになりました。 これらのモデルは、応答前に時間をかけて考えるように設計されており、複雑なタスクを論理的に処理し、従来のモデルよりも科学、コーディング、数学における難しい問題を解決することができるとされています。 そこで、今回、新モデルのo1-previewとGPT-4oモデルの回答の性能を比較してみました。 👆僕の書いたGPTs解説書です。電子書籍版はAmazonポイント50％還元キャンペーン中です。（2024/9/13現在） １．OpenAI o1モデルの概要(1) o1モデルの推論の仕組みo1モデルには、推論トークンの仕組みが導入されており、この推論トークンを使用して思考し、プロンプトの理解をブレークダウンして、応答を生

これは私が普段いかに労働から逃げているかを示すものです。 前提となる考え方私は働きたくない。実際には仕事にやりがいを見出すこともあるので必ずしも働きたくないわけではないが、基本的には常に働きたくないと言っている。 ことプロダクト開発になるとこの傾向は顕著で、「何も作りたくない」「何も作らずにお金を稼ぎたい」などとよく言っている。プロダクトは作った瞬間に負債になる。世の中は絶えず変化・進化していくので、作った瞬間から陳腐化が始まる。それを防ぐために継続的なメンテナンスや改善が求められる。 通常、その負債が問題視されないのは、そのプロダクトが負債以上に大きな果実つまり価値をもたらすからである。アジャイルの名のもとに incremental delivery などと言うと聞こえはいいが、要するに負債より多くの価値を生み出すための自転車操業をかっこよく言っただけである。少しトゲのある表現になったが

以下の記事が面白かったので、簡単にまとめました。 ・Reasoning models 1. OpenAI o1「OpenAI o1」シリーズは、複雑な推論を行うために強化学習を用いて学習された新しい大規模言語モデルです。回答する前に考える特性があり、ユーザーに応答する前に長い内部思考の過程を生み出すことができます。これにより、科学的な推論に優れ、競技プログラミングの問題 (Codeforces) では89パーセンタイルにランクインし、米国数学オリンピック (AIME) の予選で全米の上位500人の学生に入る成績を収めています。また、物理学、生物学、化学の問題に関するベンチマーク (GPQA) では、人間の博士レベルの精度を上回る成績を達成しています。 APIでは、次の2つのモデルが提供されています。 ・o1-preview : o1モデルの早期プレビューモデル。世界に関する幅広い一般知識を

大量の業務に追われ、気づけば目の前の仕事をこなすだけの日々……。より質の高い仕事を求めたり、斬新なアイデアを生み出したい気持ちはあっても、なかなか時間と心の余裕を持てない人も多いはず。 そんな人におすすめなのが、物事を一つの上の視点から考える「メタ思考」のフレームワーク。『具体や抽象』などの著書で「メタ思考」の有用性を提唱してきた、ビジネスコンサルタントの細谷功さんは「一つ上の視点から考えることで『気づき』を得られ、知的な成長のための第一歩を踏み出すことができたり、思い込みや思考の癖から脱することによって発想が広がります」と言います。 高難度の仕事をこなしてキャリアアップを実現させたいビジネスパーソンにとっても非常に重要なメタ思考の基本的な考え方と、日々の仕事にメタ思考を取り入れる方法論について、細谷さんに伺いました。 細谷功（ほそや・いさお）さん。ビジネスコンサルタント、著述家。1964

2024年8月からやや円高に進む傾向があるとはいえ、依然として続く円安の影響で、AWSをはじめとした海外クラウドサービスの利用コスト増が多くの企業の負担となっています。 クラウドコストの削減が喫緊の課題となる中、当社にもコスト削減に関するご相談が多く寄せられています。 本セミナーでは、具体的な相…

これはなに ども、レバテック開発部のもりたです。 今回はMySQLでのスロークエリログについて調査してまとめました。 スロークエリログといえば古くからパフォーマンスチューニングの力強い味方といったふうに語られることも多いですが、最近はクラウドで使える便利なツールも生まれています。この記事ではスロークエリログの一般的な使い方を紹介するとともに、他のツールとの比較や、どんな場面でスロークエリログが役に立つのか、また役に立たない場合はどんなツールを利用することができるのかについてまとめました。 足りないところなどあればおおいにマサカリ投げていただけると幸いです。 記事の流れ 記事の流れ この記事はそこそこ長いので、初めに記事の流れを解説します。適宜読み飛ばしてください。 なぜスロークエリログなのか ここではそもそもスロークエリログをなぜ確認したいのかみたいなところを説明します スロークエリログの

チームでは､ケンカしない! 人を憎まない! 仲間にイヤな思いをさせない! 可能な範囲でよいですから｡ 自身にふりかかることになりますよ｡

はじめに こんにちは。コンシューマ事業部バックエンドエンジニアの高橋です。 今回は食事メニュー検索機能にOpenSearchを導入したことについて、お話しさせて頂こうと思います。 あすけんメニュー検索画面 なぜ導入しようと思ったのか あるデイリースクラムにて「『”水羊羹 とらや”』では検索できるのに、『”水ようかん とらや” 』では検索できない」という指摘がでてきました。確かにそれはユーザーにとって検索できない理由がわからず、ユーザビリティが低いと感じました。また、以前から「探したい食品がなかなか検索でヒットしない」という改善要望もありました。それらが今回の導入のきっかけです。 以前のメニュー検索 以前の検索ではデータベースに対しSQLの部分一致検索を行っていました。 OpenSearchで検索を行える状態にするためにはデータベースからOpenSearchへデータを同期する必要があり、また

プログラミングの勉強方法で最も効果がない方法は「写経」です。コードを記憶しても無駄です。実際のプログラミングでは記憶にないコードを作り出さなければいけないからです 「写経」はタイピング速度の向上やキーワードを覚える効果はあるかもしれませんが、肝心のプログラミングには役に立ちません — Koichi Nakashima (@ko1nksm) September 3, 2024 こういうエントリを見かけたので。 僕は1990年代からプログラミングを人に教える仕事をしています。最初は中学の時に技術家庭科の授業を先生から任されて同級生にプログラミングを教えることから始まりました。その後、色々な方法を試しましたが、結論としてプログラミング初心者は写経した方が結局は上達が速いと今は考えています。 それが特に強く感じられたのは2015年頃から色々な人にAI関連のプログラミングを教え始めた頃です。 AI関

2024/9/2 LayerX 全社週次定例 LayerX 部門執行役員 AI・LLM事業部長 中村龍矢 https://x.com/nrryuya_jp