00.はじめに そろそろマウス操作から脱却したいなぁ...ということで、Visual Studio Code（以下、VSCode）で個人的に重宝していたり、覚えたいけど中々定着しないキーボードショートカットを備忘録も兼ねて一覧にまとめました。 本記事ではWindowsでのショートカットキーを記載しています。 VSCodeのバージョンによっては異なる場合があるため、最新の情報は公式ドキュメントを参照してください。 公式ドキュメント：https://code.visualstudio.com/docs/getstarted/keybindings
１．はじめに UTF-8 の文字コードのファイルには、BOM (Byte Order Mark) がある場合とない場合がある。 Unicode の規格では、BOM は、推奨されないが、許容されている。 ja.wikipedia.org 今回、必要があり、色々な OS や言語で、UTF-8 の文字コードのファイルを作成した時、BOM が記録されるか、されないか、を調べた。 ２．色々な OS や言語での BOM 2.1 Windows 10, Visual Studio, C++, _wfopen (_tfopen), // Visual Studio 2005 以降 保存 FILE *fp = _wfopen(name, _ L"w, ccs=UTF-8"); if (fp == NULL) { // エラー処理 } fwprintf_s(fp, L"ABC漢字123\n"); fclose
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に
Googleの検索部門から大量に漏えいしたとされるAPIドキュメントについて、Googleが本物であると認めたとThe Vergeが報じている。これは、SEOの専門家である米SparktoroのRand Fishkin氏、米iPullRankのMike King氏によって存在が明らかにされたもので、当初Googleはこの資料についてコメントを拒否していたという。 報道によると、問題となっている文書には、Googleが追跡しているデータの詳細が記されており、その一部は同社が厳重に管理している検索ランキングのアルゴリズムに利用されている可能性があるという。 Googleの広報担当者であるDavis Thompson氏は、The Vergeの取材に対し「文脈を無視したり、時代遅れであったり、不完全な情報に基づいて検索について誤った仮定をすることには注意を促したいと思います」「私たちは検索の仕組み
『アジャイルを採用したソフトウェアプロジェクトの失敗率はその他の手法と比べて268％も高いことが判明』は不明瞭 ~書籍「Impact Engineering」を読んでみた感想 ~ - Qiita
『アジャイルを採用したソフトウェアプロジェクトの失敗率はその他の手法と比べて268％も高いことが判明』は不明瞭 ~書籍「Impact Engineering」を読んでみた感想 ~アジャイルポエムプロジェクト管理メンタルケアコミュニケーション 「アジャイルを採用したソフトウェアプロジェクトの失敗率はその他の手法と比べて268％も高いことが判明」 という記事が話題になっています。 言及している著書がCEOを務めているイギリスの調査・コンサル会社であるEngpraxが挙げている元の記事はこちら（その調査自体を行なったのもEngprax社） 記事に書かれていることの考察や要約は下記で分かりやすく纏めて下さっています。 記事への反応 記事への感想・反応はだいたい下記のパターンのどれかに該当すると思います。 失敗の定義は？ そもそもアジャイルできてなくね？ 下記が失敗するのはアジャイルかどうかとは関係
Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた | DevelopersIO
なおこの「Credits」という単位は serverless.yml ファイルのregion,stage,serviceパラメータの組み合わせによって定義されるようです。 したがって、例えば開発者やチケット毎の検証環境をstageで分けている場合は、その分Creditsが嵩むという形になります。 また、serviceもどのように分割するかで総Credit数が変わってきますので、この辺は見積りのし辛さに繋がってくるのかなと思います。 例えばregionとして東京, シンガポールを用意し、stageとしてprod, stg, dev, user1, user2があり、serviceとしてxxx, yyyがある場合、単純に掛け算をすると2x5x2の20 Creditsとなります。 また、Serverless Dashboardの機能を使うと、トレース50,000あたりで1 Credit、メトリク
はじめに どうもこんにちは。SODAでWebフロントエンドエンジニアをしているaokikenと申します。 今回は、社内向けに静的サイトホスティング環境をAmazon S3で構築した話になります。 構築に至るまで Webフロントエンドの開発をしていて、実際の開発環境に実装する前に、検証として別環境にプロトタイプを作成することがあります。 そのときに作ったものを、スピーディーに社内共有して、フィードバックを得たい。 そういった背景から、社内ネットワークに制限した静的サイトホスティング環境の構築することを検討をし始めました。 要件を整理 Webフロントエンド視点でプロトタイプを作成するにあたり、ブラウザでの動作検証が主なので、基本的には静的データをホスティングできればよさそうです。 弊社では既にAWSを広く利用しているため、今回はAmazon S3を利用する前提で要件を整理していきます。 Ama
Go, Ruby, Rust等の言語に存在した、Windows環境でコマンドインジェクションを引き起こす脆弱性"BatBadBut" - Flatt Security Blog
※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアkoyuriが日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK( @ryotkak )です。 先日、特定の条件を満たした場合に攻撃者がWindows上でコマンドインジェクションを実行できる、いくつかのプログラミング言語に対する複数の脆弱性を報告しました。 本日(2024/04/09(訳者注: これは英語版記事の公開日です))、影響を受けるベンダーがこれらの脆弱性に関するアドバイザリーを公表しました。 その影響は限定的なもののCVSSスコアは非常に高く、混乱が予想されるため、脆弱性に関する詳細を本記事にまとめます。 はじめに TL;DR CVSSスコア 技術詳解 根本原因 CreateProcessのラッパー cmd.exeのパース規則
求められるコミュニケーション能力ソフトウェア開発の業界に身をおいて10数年。「ソフトウェアエンジニア（以下、エンジニア）なら人と話さなくても仕事できていいな！」なんて思っていた私ですが、エンジニアとはいえコミュニケーション能力が求められる場面は少なくない、という事実と日々向き合っています。 エンジニアに求められるコミュニケーション能力には以下のようなものがあります。 技術的な内容を分かりやすく説明する力 チーム内での協力、情報共有 相互の建設的なフィードバック 問題解決のための議論、および調整 ドキュメント作成、メンテナンス 確かにこれらの能力は必要です。何かAPIを使いたいとおもったとき、API仕様書がfuncA,funcBといった名称だとどんなAPIかわからないですし、内容を知ろうとしたときにドキュメントがなければそのAPIを使いこなすことは難しいでしょう。わかりやすい説明ができず、ド
getとfindの使い分け - 日々常々
メソッド名の getXXX と findXXX どっちがいいの？みたいな話になることがある。 この手の話ができるだけでもいい感じだと思います。名前が記号化していないってことなので。 世の中には名前に力を割くのが無駄な文脈もあって、そう言うのに晒されて続けると当然そこに力をかけなくなります。 その文脈では最適解だけど、私は名前が重要だと思っているし、その価値観を土台に他のものを積み上げていきたい。 ということで話を戻す。 「得る」と「探す」のようなものを意図して使い分けるとコードが読みやすくなります。 使い分け方によって読みやすさは変わりはするのですが、「意図して使い分けている」だけでも十分変わります。 その意図に共感できたり汲み取れたりすればさらに読みやすくなりますが、その前段階として意図の有無が重要だと思ってます。 私の基本的な使い分け getHoge(条件): Hoge findHog
いかにして動的型付けのRubyに静的な型検査を持ち込むか？ SteepとRBSが目指すもの - Findy Engineer Lab
Rubyをはじめとする「動的型付け」のプログラミング言語は、ソースコード中に型に関する記述が陽に出てこないことが特徴で、プログラムの実行前に（静的に）型検査をすることはありません。しかし、このようなプログラミング言語においても、大規模な開発における品質の向上や開発体験の改善、実行の高速化のために、静的な解析を活用しようという試みは多くなされてきました。この記事では、動的型付けの言語のための型検査の歴史を簡単に振り返って、現在私が開発しているRuby向けの型検査器Steepとその基盤となっている型記述言語RBSについて説明し、今後の展望を議論します。 著者：松本宗太郎さん（@soutaro） Rubyコミッター。大学院でRubyプログラムの型検査の研究に取り組み、修了後はスタートアップでWebアプリケーションの開発に従事。2017年から型検査ツールSteepの開発を始め、2019年からはRu
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた
Laravel 11 アプリケーション構造移行ガイド
はじめにLaravel 11の新機能に 合理化したアプリケーション構造 “Streamlined Application Structure” というものがある: Laravel 11では、既存のアプリケーションに変更を加えることなく、新しいLaravelアプリケーション向けに合理化したアプリケーション構造を導入しました。新しいアプリケーション構造は、Laravel開発者がすでに慣れ親しんでいるコンセプトの多くを保持しながら、よりスリムでモダンなエクスペリエンスを提供することを目的としています。 https://readouble.com/laravel/11.x/ja/releases.html#structure 該当プルリクエスト で Slim skeleton と題されている通り、初期構造が大幅に簡略化されている。 一方、既存のアプリケーションをアップグレードする場合: Larav
こんにちは、JX通信社でシニアエンジニアをしているSirosuzumeです。 JX通信社の「FASTALERT」には、ユーザーが事前に設定した地域で発生した災害情報を、メールで受信する機能があります。 しかしテストする手順も複雑で、配信条件も多様化していったこともあって、手動でのテストを行うことに限界を感じていました。 設定画面の挙動確認など、ブラウザ上で完結するテストであればPlaywrightを使って自動化することもできていたのですが、実際にメールを受信するところのテストを自動化する方法についてのノウハウ不足が課題でした。 そこで、Amazon SESの機能を改めて確認していたところ、特定のメールアドレスで受信したメールをS3に保存する機能があることを知り、E2Eテスト内からS3にアクセスすることでメールの受信テストまで自動化でカバーできるのではないか、と考えたことが、今回のチャレンジ
はじめに こんにちは、IT戦略部システム基盤グループの酒井と申します。 システム基盤グループは2023年4月にIT基盤部からIT戦略部に所属部門が代わり、社内システムのインフラやGithubやJira/Confluenceなどの運用を担当しています。 このタイトルに見覚えがある方は熱心なDeNA Engineering blogの読者だと思います。 私の上長が過去に同じタイトルでblog投稿をしていました。 まだ見ていない方は今回の内容とも関連するため、以下からご覧ください！ VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜 VPN との終わりなき戦い 〜Cloud Journey 編〜 今回もタイトル通りVPNに関するお話となります。 DeNAのリモートワークの状況 本題に入る前に弊社のリモートワークの状況をご説明します。 DeNAではコロナが落ち着いてからもハイブリッドワークを継
Honoを使い倒したい2024
はじめに こんにちは、AI Shift バックエンドエンジニアの@sugar235711です。 この記事では、Honoの使い方をおさらいし、API開発を通じてHonoの実際の開発で役立つTipsを紹介します。 Honoの基本的なコンセプトや網羅的な実装例については、公式ドキュメントを参照してください。 基本編 この章では、Honoの基本的な使い方を紹介します。 App/Contextオブジェクトの使い方 Honoでは、プライマリオブジェクトであるHonoインスタンスを生成し、そのインスタンスをもとにAPIのエンドポイントを定義します。
基幹システム開発／刷新プロジェクトの「要件定義」の位置づけに、昔から違和感を持っている。たいていその作業はコンサルあたりの外部業者が担っている。彼らが半年くらいかけてユーザの要望をヒアリングして、パワポ紙芝居を含めた膨大な資料をまとめあげる。これにもとづいて、システム開発の専業会社によって基本設計がなされ、詳細設計、実装、テストと続く。とくにクライアントが大企業だったり、開発予算が潤沢な場合にこのパターンで進行しやすい。しかしこのやり方では失敗する公算が高い。 ここで言う「失敗」は、クライアント自身の評価とは関係ない。大幅なスケジュール遅延やコスト増加が生じ、かつ、以前よりも使いにくく維持費がかかるシステムが完成することだ。この結果は客観的には失敗以外のなにものでもない。数多くのプロジェクトの動向を30年以上眺めてきた経験から確信しているのだが、稼働後１年くらいたってから調査すれば、要件定
こんにちは。メルカリのQAエンジニアリングマネージャーの@____rina____ です。今回は、連載『Mercari Hallo, World! -メルカリ ハロ 開発の裏側-』の第4回を担当します。 本記事では、メルカリ ハロのサービスローンチまでのQAプロセスを通じて、私たちはどのようにして安心・安全なプロダクトを迅速にリリースするための戦略を実行したか、具体的な方法とともに詳述しています。 この記事を通じて、以下の点についての理解を深めていただけることを目指しています： QAの役割とプロジェクト概要 効率的なQAアサイン戦略 成果物の透明性と管理ツールの効果的な活用方法 また、この記事を書くにあたり、私自身が学んだことや得た教訓についても触れています。これらの経験は、今後のプロジェクトにおいて更なる品質向上と効率化を目指す上で非常に貴重なものとなりました。 プロジェクト概要とQAの
主要なJavaScriptエンジンのTest262を毎日実行して結果を載せているtest262.fyiというサイトがあります。 （Test262とは最新のECMAScriptを実装できているかどうかのテストです。） このサイトの、2024/6/5現在の実装率ランキングはこちらです。 test262.fyiの画面キャプチャ（2024/6/5） V8(ChromeやNode.js、Deno等)、JavaScriptCore（SafariやBun等）、SpiderMonkey（Firefox等）という、大手エンジンとほぼ横並びで4位に食い込んでいるBoaとは何者でしょうか。 Boaは公式曰く『Rustで書かれた実験的なJavascriptのレキサー、パーサー、コンパイラー』です。これだけ揃えば、JavaScriptエンジンと言って差し支えないと思います。RustアプリケーションにJavaScri
メルカリ ハロ Webフロントエンドの開発スピードと品質両立の取り組み | メルカリエンジニアリング
こんにちは。メルカリのSoftware Engineerの@tanashoです。連載：Mercari Hallo, world! -メルカリ ハロ 開発の裏側-の6回目を担当させていただきます。 メルカリ ハロのWebアプリケーションは複数存在し、Webフロントエンドチームが横断的に開発をしています。本記事では、その前提を踏まえ、スピードと品質をどのように両立させて開発しているかを紹介します。 プロジェクトの概要とWebフロントエンドの担当領域 メルカリ ハロは「あたらしい出会いを繋ぎ、信頼と機会をひろげる」がミッションで、いますぐ働き手が欲しいパートナー (事業者) と、いますぐ働きたいクルー(働き手)を繋げるサービスです。クルーは自身のスキルや時間を活用して働くことができます。 メルカリ ハロは複数のアプリケーションが存在し、そのなかでWebフロントエンドが関わる領域として以下の3つが
バックエンド視点で振り返るGraphQLを採用したプロダクト開発 - enechain Tech Blog
はじめに 技術スタック eScanチームにおけるGraphQLの使い方 開発フローの工夫 N+1問題の対応と注意点 エラーハンドリングの工夫 モニタリングの工夫 ドキュメンテーションを必須化するための工夫 その他の取り組み 振り返り 良かった点 難しかった点 今後の展望 最後に はじめに こんにちは、enechainでソフトウェアエンジニアをしている小沢です。 私が所属しているチーム(以降、eScanチーム)では、eScanという電力会社向けのリスクマネジメントシステムを開発・運用しており、その中でGraphQLを採用しています。すでにGraphQLを採用するメリット・デメリットについて様々なところで語られていますが、eScanチームでもオーバーフェッチが解消できる点、1リクエストで必要なデータをフェッチできる点などのメリットを享受するために採用しています。 今回は実際にGraphQLを採
はじめに 初めまして。プラットフォーム開発部にてデータ基盤の整備をしているazukiと申します。 今回はdbt(Data build tool)を導入した経緯と非中央集権的なdbtの使い方についてご紹介したいと思います。 今回は導入に関してまとめていますので、dbtの運用面の詳細は別記事で解説予定です。 データモデリングツール導入の背景 ピクシブではプロダクトの多さを理由に非中央集権データ組織を採用しています。 ドメインチームがメインでデータの取り組みやデータモデリングを行い、データ駆動推進室やデータ基盤チームはそのサポートや整備を担当しています。 その背景に関しては、【PIXIV MEETUP 2023】の方でお話していますのでぜひご覧下さい。 speakerdeck.com 今までBigQueryのデータ加工SQLは自社で開発したツールで管理していました。 pythonから変数埋め込み
PPRはアイランドアーキテクチャなのか
先日、Next.jsの新たなレンダリングモデルであるPartial Pre-Rendering(以降PPR)について記事を投稿しました。 この記事を書いてる時は意識してなかったのですが、感想でアイランドアーキテクチャに言及されるケースが散見されました。社内で上記記事の話題になった時も同様に、アイランドアーキテクチャとの違いについて問われました。 結論から言うと、PPRとアイランドアーキテクチャは全く異なるものです。本稿ではPPRとアイランドアーキテクチャの違いについて解説します。 PPR まずはPPRとアイランドアーキテクチャの概要を改めて整理しましょう。 PPRはページをstatic renderingとしつつ、部分的にdynamic renderingにすることが可能なレンダリングモデルです。具体的には、画面をbuild時(もしくはrevalidate後)に静的生成しつつ、リクエスト毎
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る また、過去ではなく未来方向、つまり Bell Lab で Unix の successor として生まれた Plan 9 や Inferno における tar についてはこちらで lufia 氏がまとめておられたので参考にどうぞ。Plan 9とInfernoにおけるtar(1)の変化 Introduction 前回の記事では、tar(1)が Unix v1 (1971) のtap(1)まで遡ること、 また、その引数は key というサブコマンドの原始的な姿のようなものだったことを調査した。 さて、実は Unix v1 Programmer's Manual の栄えある最初のページを飾るコマンドは今でもスタティックリンクライブラリの作成などで使われる ar(1) であり、 こち
Microsoft 365などソフトウェアをクラウドサーバーで動作させることでサービスのように扱えるシステムを「Software as a service」というように、「○○ as a service」というのは○○に入るものをサービスとして提供する行為の総称です。「Cat as a service」はいつでもネコを召喚できるシステムということなので、実際に多数のネコを召喚しまくってみました。 Cat as a service (CATAAS) https://cataas.com/ サイトのトップページはこんな感じ。記事作成時点で1640匹のネコが居るとのこと。「Give me a cat」をクリック。 「https://cataas.com/cat」が開き、マンチカンが登場しました。召喚されるネコは毎回ランダムで、リロードするたびに変化する模様。 ページをスクロールすると基本的なAP
【サーベイ論文まとめ】RAG(Retrieval-Augmented Generation) - Qiita
『Retrieval-Augmented Generation for Large Language Models: A Survey(以下、RAG Survey論文と表記)』の内容について以下、取りまとめました。 https://arxiv.org/abs/2312.10997v5 概要 RAG研究のまとめ RAG Survey論文 Fig.1 上記では、RAGの研究が「Fine-tuning」・「Pre-training」・「Inference」の3種類に分類されます。 RAG Survey論文の構成 Survey論文の構成は『Ⅰ. Introduction』に概要が記載されているので、以下に簡単にまとめました。 Abstract Ⅰ. Introduction -> Surveyの概要について取りまとめ Ⅱ. Overview of RAG -> RAGのメインのコンセプトと現在の枠
NotebookLMでドキュメントベースのAIアシスタントを手軽に試してみた - Taste of Tech Topics
はじめに 台風も過ぎ、少しずつ夏へ向けて暑さが増してくる中、皆様いかがお過ごしでしょうか。 そろそろ仕事にも慣れてきた新人エンジニアの木介です。 今回は先日Googleより発表のあった簡単にドキュメントベースのAIアシスタントが使えるNotebookLMの紹介をしていきます。 はじめに NotebookLMとは？ 使い方 日本語能力の検証 コードを生成出来るか試してみる まとめ NotebookLMとは？ まずNotebookLMとはGoogleが試験的に提供を開始した、個別にカスタマイズが可能なAI調査アシスタントです。 notebooklm.google 具体的なサービス内容としては、ドキュメントをアップロードすると、その情報を元にした回答、要約を行うAIアシスタントが利用できます。 こちらのサービス自体は2023年7月には英語版のみで提供が開始されていましたが、2024年6月6日より
こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では弊社 podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一つとして "Claude 3.5 Sonnet Model Card Addendum" を読んだので、その備忘を共有いたします。 なお概要については npaka 氏の以下の note 記事が参考になりますので、本記事の前にこちらを参照いただくことをおすすめします。 note.com おことわり 解釈や引用に誤りがありましたらご指摘いただけると幸いです。 本記事では詳細な解説を含みません。詳細な調査等は必ず参照元の論文等をご確認ください。 引用時の名称や図は原則として引用先の媒体で記述されているものに従っています。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本
チャットボットAI「Claude」を開発するAnthropicが新モデルとなる「Claude 3.5 Sonnet」を2024年6月21日に発表しました。これは今後リリースされるClaude 3.5ファミリーの最初となるモデルで、ベンチマーク結果はOpenAIのGPT-4oに匹敵するとのことです。 Introducing Claude 3.5 Sonnet \ Anthropic https://www.anthropic.com/news/claude-3-5-sonnet Anthropicによると、Claude 3.5 Sonnetは大学院レベルの推論力、大学学部レベルの知識とコーディング能力を持つとのこと。Claude 3 Opusなど従来のClaudeモデルと比較し、ニュアンスやユーモア、複雑な指示を理解する能力が著しく向上し、自然で親しみやすい口調で高品質のコンテンツを書く能力
まえがき こんにちは。AI・機械学習チームの三浦 (@mamo3gr) です。2024年5月30日、チーム横断で実施していた「実用Git 第3版」の輪読会が足掛け2ヶ月で大団円を迎えました。振り返ってみると、エムスリーのエンジニアが持つ資質であるリーダーシップ、スピード感、ギークさがにじみ出ていた会でした。本記事ではこの輪読会の様子をお伝えするとともに、エンジニアリンググループの雰囲気を知っていただければと思います。 まえがき きっかけ 課題図書 形式 ギークなところ まとめ We are hiring !! エンジニア採用ページはこちら カジュアル面談もお気軽にどうぞ インターンも常時募集しています きっかけ 皆さんも常日頃のコードベースへの変更はお互いにレビューしているかと思います。筆者の所属するAI・機械学習チームでも同様ですがMR *1 の出し方やコミットの積み方に特に厳格なルール
昨年の夏、Google は AI を活用したリサーチや執筆する際のアシスタントである NotebookLM を発表しました。そして本日より、 Google Labs で Gemini 1.5 Pro を搭載した更新版の NotebookLM を日本語を含む言語で 200 以上の国と地域に順次提供します。 私たちが NotebookLM で目指してきたのは、複雑な資料を理解して精査し、情報から新しい類似性を見つけ、下書きなどをすばやく作成するのに役立つツールの開発です。研究論文や取材記録、仕事でのドキュメントなどの参照文献（ソース）をアップロードすると、NotebookLM がそれらの重要な資料を理解し、必要なサポートを提供します。また、本日からお使いいただける NotebookLM では、英語で提供していたものから更新し、いくつかの新機能も導入します。 Google ドキュメント、PDF、
モノレポでマージキューと必須ステータスチェックを運用するためのTips - ROUTE06 Tech Blog
ROUTE06 でソフトウェアエンジニアをしている @MH4GF です。 GitHub のマージキュー(Merge Queue)を私のチームでの開発フローに取り入れてから数ヶ月経ちました。マージキューは非常に便利ですが、挙動の理解やセットアップに難しさがあると感じています。いくつかの課題の対処ができ安定した運用ができてきたので、この記事ではセットアップでつまづきがちな点を紹介します。 マージキューとは マージキューは 2023 年 7 月に一般公開された比較的新しい機能で、簡単に説明すると「プルリクエストのマージ前にマージ先ブランチを取り込んだ上で CI を実行し、通ることを確認してからマージする」機能です。 複数人で GitHub を利用した開発をしていると、main ブランチの取り込み漏れにより「プルリクエストでの CI は通るものの、マージ後の main ブランチの CI は失敗する
はじめに BASE Feature Dev1 Group の cureseven です。 Google と米Yahoo が定めた「メール送信者のガイドライン」が、2024/06/01に対応の最終締め切りを迎えました。 BASE から送信しているプロモーションメールも対応が完了しましたので、対応する過程で起こったトピックを紹介します。 「メール送信者のガイドライン」とはなにか簡単に説明 1回でも月あたり 5,000件以上個人メールにメールを送信したことがあるドメインを持つ「一括送信者」は、以下の規定に則ってメールを送信する必要があります。 DMARC の対応 プロモーションメールには、購読解除ヘッダーが挿入されていること 迷惑メール率が 0.3%を超えないこと AWS が出しているこちらの記事がスッキリしていて読みやすいです。 アプリケーション開発チームの私は、購読解除ヘッダーの挿入を主に担
Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
アメリカで発行されている日刊紙「The New York Times」の内部ソースコードがGitHubリポジトリから盗まれ、匿名掲示板の4chanに流出したことがわかりました。The New York Timesは事実を認め、適切な対策を講じたと伝えています。 New York Times source code stolen using exposed GitHub token https://www.bleepingcomputer.com/news/security/new-york-times-source-code-stolen-using-exposed-github-token/ Today on 4chan someone leaked the source code (?) to the New York Times. They leaked 270GB of data
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムでは一般的に、断片化されたテキストをEmbeddingによってベクトル化し、関連する情報を検索、そして質問に回答するという形式が採用されるかと思います。 しかし本来、RAGのデータソースは断片化されたテキストに限定はされていません。その一つとして、Knowledge Graph(知識グラフ)というものが存在します。 本記事では、そんなKnowledge Graphを利用した新しいRAGのシステム、GNN-RAGについて紹介します。 サマリー GNN-RAGは、Knowledge Graphから関連するデータの取得にGNNを使用します。この手法を利用することで、既存のKnowledge Gr
困っていること 夜間のアクセスが少ない時間帯などにインスタンスタイプを変更したいと考えています。 そのため、自動でインスタンスタイプ変更する方法を教えてください。 どう対応すればいいの? 方法は複数ございますが、EventBridge + SSM Automation runbook AWS-ResizeInstance で実現可能です。 やってみた 今回は SSM のマネージドノードにする方法は割愛させて頂きます。 EventBridge で SSM Automation runbook AWS-ResizeInstance を実行するために必要なロールを作成します。 ロール名は SSMAutomationResizeInstance-EventBridge-Role としました。 信頼関係 { "Version": "2012-10-17", "Statement": [ { "Eff
AWS Systems Manager Parameter Storeを便利に使うツール "ssmwrap" がv2になりました - KAYAC engineers' blog
SREチームの長田です。 今回はssmwrapという拙作CLIツールのはなしです。 ssmwrapとは ssmwrapは、AWS Systems Manager Parameter Store(以下SSM Params)から値を取得し、 環境変数またはファイルに出力した上でコマンドを実行するツールです。 secret類をSSM Paramsに保存している場合、アプリケーション実行時にSSM Paramsから必要な値を取得することになります。 AWSのサービスにアクセスするという操作は、それなりに手間がかかるものですが、 ssmwrapを使えば環境変数とファイルというより簡便な入出力インターフェイスを通してSSM Paramsの値を参照できます。 実装が簡潔になるだけでなく、アプリケーションからのAWS APIへの依存を排除することにもなります。 # SSM Paramsにこんな値が保存され
はじめに HRMOSプロダクト本部で人財活用システム「HRMOSタレントマネジメント」のプロダクト開発をしている輿水です。 私たちのチームには、プロダクト開発を進める上で次のような課題がありました。 プロダクトオーナー（以下、PO）の業務が多岐にわたり、ドキュメントの更新が大きな負担となっていた 要件や仕様について最新の情報を把握することが難しく、ステークホルダー間でのコミュニケーションコストが増大していた これらを解決するため、私たちのチームは「エピック主管」という仕組みを導入しました。これは、エンジニアがリードしてドキュメント管理を行い、プロジェクトマネジメントの役割も果たすことで、POやエンジニアリングマネージャー（以下、EM）の業務負担を削減するものです。 本記事では、エピック主管とは何か、そしてその役割や成果について深く掘り下げて紹介します。 この記事では、プロダクト開発において
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【VSCode】覚えておきたいキーボードショートカット一覧 - Qiita
UTF-8 の BOM について - 将棋プログラミング
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
RAGで人間の脳を再現。「HippoRAG」を理解する
流出した「Google検索」の社内文書、グーグルが本物と認める
社内ネットワークに制限した静的サイトホスティング環境をAmazon S3で構築する
なぜぼくらは「コミュニケーション能力が低い」と言われるのか？｜dora_e_m
最近の7B小型日本語LLMはエージェントになれるのか？
Playwrightでメール配信のテスト自動化にチャレンジ！ - JX通信社エンジニアブログ
VPN との終わりなき戦い 〜新VPN導入編〜 | BLOG - DeNA Engineering
外部業者による要件定義なんて要らない - 設計者の発言
メルカリ ハロ リリースのQA戦略 | メルカリエンジニアリング
Rust製JavaScriptエンジン『Boa JS』を試してみた
dbt導入におけるデータモデリング環境整備 - pixiv inside
API経由でいつでもネコを召喚できるサービス「Cat as a service」でいろんなネコを召喚しまくってみた
Claude 3.5 Sonnet の評価に関する備忘録 - Algomatic Tech Blog
AnthropicがClaude 3.5 Sonnetを突如発表、ベンチマーク結果はGPT-4oに匹敵
スピード感のあるギークな勉強会のリアル〜実用Git第3版の輪読会を題材に - エムスリーテックブログ
NotebookLM を日本語でも提供開始。ウェブサイトや Google スライドにもサポート
「メール送信者のガイドライン」に対応しました - BASEプロダクトチームブログ
The New York Timesの内部ソースコード合計約270GB・ファイル360万個が流出
GNN-RAGで7BモデルでもGPT-4と同等の性能を引き出す
自動でインスタンスタイプ変更する方法を教えてください | DevelopersIO
メンバー全員が開発リードになれる、「エピック主管」という仕組み