PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としてい
Reactベストプラクティス: react-hooks/exhaustive-depsのエラーを0にする - Hello Tech
javascripter です。ハローでは、プロダクトのローンチ前からAutoReserve の開発に関わっています。 今回は、筆者が社内で書いている技術ガイドラインについて紹介します。 はじめに ハローでは、高品質なコードを維持し、開発チームの技術レベル向上を図るため、社内で継続的に技術Tipsやガイドラインの整備・蓄積を行っています。 チーム横断的に、有用な技術Tips、ベストプラクティス・コーディングガイドラインなど情報をNotion上に集約し、自由にエンジニアが閲覧・編集できるようになっています。 この取り組みの目的は以下の通りです： コード品質の向上と統一 開発チームメンバーの技術スキル向上 「どう」直すかでではなく「なぜ」そう修正すべきかまで理解してる人を増やす 効率的な開発プロセスの確立 新メンバーのオンボーディング支援 今回紹介するドキュメント 今回は、その中から「reac
三菱電機が組み込みソフトウエア開発への生成AI（人工知能）活用を進めている。ソフトウエア開発に関連する過去数十年分のドキュメントの要約文を生成AIにより作成。これを検索用のインデックスとして使うことで、エンジニアの作業工数を最大40%削減できると見込む。 2024年6月20日に開催されたアマゾン ウェブ サービス ジャパン（AWSジャパン）の年次イベント「AWS Summit Japan」で、PoC（概念実証）の成果として明らかにした。今後は実用上必要最小の機能を備えたサービスであるMVP（Minimum Viable Product）として、従業員向けのアプリケーションを開発する予定だ。 三菱電機の組み込みソフトの開発部門では、製品開発部門から改修依頼を受けると、改修対象のソフトウエアの仕様書を検索して改修内容に関連する記述を確認。それを基にソフトウエアのソースコードを確認し、ソースコー
昨夜(6月21日）午後11時より、YouTube Live で「デジタル庁認証アプリ FIRST IMPRESSION」と題して配信を行いました。デジタル庁が同日発表したデジタル認証アプリについて、一緒にドキュメントを読んで、その内容や課題などを洗い出していきましょうという企画です。夕方にゆるい感じでアナウンスして、トークデッキの準備も間に合わず見切りで始めたにも関わらず、デジタル庁の幹部の方なども含めて、最大94名の方が同時アクセスしていただきました。ご参加いただいた方々に深く御礼申し上げます。アーカイブは以下から見ることができます。YouTubeに遷移してみること推奨です。チャットに多くの情報がありますので。以下、AI1によるまとめと、それに書き加えた覚えている限りのメモです。そのうち見返して追記するかも知れません。 しかし、こうして見返してみると、署名の話を飛ばしてしまいましたね。こ
社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤（所謂プラットフォーム） 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート：テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供（特にLinterを最初期に） 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar
プラットフォーム エンジニアリングに関する 5 つの誤解: プラットフォーム エンジニアリングとは一体なのか | Google Cloud 公式ブログ
Darren EvansEMEA Practice Solutions Lead, Application Platform ※この投稿は米国時間 2024 年 5 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 なぜ新しいトピックに対して否定的になってしまう人がいるのか、その理由は、群盲象を評すの寓話からわかります。その人自身の視点からのみで物事を見てしまうと、その全体像を見失ってしまうということです。プラットフォーム エンジニアリングはソフトウェア デリバリーの比較的新しい手法です。現在、IT 組織やソフトウェア エンジニアのチームの多くがプラットフォーム エンジニアリングについて検討している段階にあるのですが、プラットフォーム エンジニアリングとは何なのか、プラットフォーム エンジニアリングで何ができるのか、プラットフォーム エンジニアリングを導入す
国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開 | KARAKURI
トップ セミナー・お知らせ お知らせの記事一覧 国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開 ～6月20日・21日開催の AWS Summit 2024 で初披露～ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、6月20日に国産LLMの中で初めて※1Function callingとRAGに対応した「KARAKURI LM 8x7B Instruct v0.1」を公開いたします。本対応により、「KARAKURI LM 8x7B Instruct v0.1」は様々なアプリケーションを人間に代わって操作するAIエージェント※2としての活用が可能です。そのため生成AIをビジネス実装をする際に、従来の国産モデルであれば必要だった「業界・企業特有のタスクのプログラミ
#安野たかひろ 1ヶ月の都知事選挙戦を支えたチーム体制を公開&当日に向けた意気込みを聞いてみた！｜#安野たかひろ 事務所（公式）
いよいよ明日7月7日は、東京都知事選2024の運命の投開票日となりました。安野陣営もこれまで、東京全土での54回にわたる街頭演説や14,000箇所の看板の100%カバーするポスター貼りなど、チームの力で選挙戦を進めてまいりました。 この記事では、安野たかひろの1ヶ月に及ぶ選挙戦を支えてきたチーム体制をご紹介しようと思います（告示日前も事前運動にあたらない準備活動は認められています）。 チーム安野の全体像この選挙戦は、大小合わせて16個のチームで役割を分担し進めてきました。チームは大別すると「デジタル民主主義実現」「認知拡大」「専門性によるサポート」の3グループに分かれ、その中に個別チームがあるような形となっています。 チームあんのの構成図（安野本人が作成の図をベースに作成）とはいえ実際のコミュニケーションはグループのリーダーが全体を取りしきるわけではなく、安野の描くグランドデザインのもと、
先日The Registerを見ていたらアジャイル開発の失敗率は268%も高い Study finds 268% higher failure rates for Agile software projectsという記事が目に入りました。 The RegisterはITニュースサイトで、日本で言うところのITmediaやWIRED、GIGAZINEみたいなところですかね。 その記事は元記事を紹介しているもので、『元記事はImpact Engineeringの宣伝ではあるが、アジャイル開発は期待ほどうまくいかないという疑念を抱かせるのにも十分である』というようなまとめになっていました。 ではImpact Engineeringってなんなんだよと元記事268% Higher Failure Rates for Agile Software Projects, Study Findsを最後まで読
明日から始める持続可能なドキュメンテーション戦略 / Sustainable Documentation Strategies: Documentation as a Product
2024-07-09 Platform Engineering Kaigi 2024 https://www.cnia.io/pek2024/
Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に Microsoftは2024年7月2日、LLMが生成する出力の精度を向上させるために利用するRAG（検索拡張生成）の機能を拡張/強化した「GraphRAG」をGitHub上で公開した。 GraphRAG: New tool for complex data discovery now on GitHub -Microsoft Research Blog Welcome to GraphRAG RAG（Retrieval-Augmented Generation：検索拡張生成）は、ユーザーのクエリに基づいて特定の分野や組織の内部ナレッジベースの情報を検索し、その結果を参照してAIの回答に組み合わせる技術。モデルを再トレーニングすることなく、これらの情報を生成結果に即座に反映できる。 一方、通常のRAG
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、Python製の静的サイトジェネレーターSphinxを使用してWebサイトを構築し、テーマを適用、外部へ公開する流れについて紹介します。後半ではSphinxの便利な拡張機能を紹介し、Webサイトをより便利にしていきます。 Markdownでドキュメントを書くだけで、きれいなWebサイトが簡単に公開できるので、ライブラリのドキュメントなどでもよく使われています。 Sphinxとは SphinxはPython製の静的サイトジェネレーターです。静的サイトジェネレーターとは、Markdown等の軽量マークアップのテキストファイルから、静的なWebサイトを生成するアプリケーションのことを言います。Python製の静的サイトジェネレーターにはSphinxを含め以下のツールなどがあります。 Sphinx：h
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
開発者が知っておくべき Git コマンド12選
Author Kedasha Kerr 初心者のためのGitHub入門の最新版では、Gitを使いこなせるようになるために欠かせないGitコマンドを紹介します。 GitHub for Beginners へようこそ。このシリーズでは、初心者向けにリポジトリからプルリクエストまで、あらゆるものの基本を学べるようになっています。(これらが何なのかまだわからない？大丈夫です、そのために私たちはここにいるのですから！) 前回の記事ではGitの基礎について説明しましたが、今日はさらに一歩進んで、開発者なら知っておくべき最も重要なGitコマンドについて説明します。 毎日使うことになる Git コマンドのトップ 12 を紹介しましょう。 Git の設定 マシンにGitをインストールしたら、まず最初にすべきことは、Gitがあなたが誰であるかを理解できるようにGitを設定することです。git config コ
Google AI Studioを使ってみる
こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle Workspaceを使っている場合は、「早期アクセスアプリ」を有効にする必要がありました。システム管理者に相談してみましょう。 Google AI Studioの起動 Google AI Studioの公式ページから「Google AI Studioにログイン」ボタンを押せば、画面が開きます。 ログインするとGoogle AI Studioが開きます。 クイックスタート クイックスタートのドキュ
前回の記事『2024年版 HTMLで作るフォームバリデーション』ではHTMLの機能を駆使したフォームバリデーションの実装について解説しました。HTMLのみでも高機能なフォームを作成できるのは解説したとおりですが、HTMLに加えてJavaScriptを組み合わせることでより高機能なフォームを作成できます。それに加えて、開発者体験の向上も期待できます。 本記事では3つのライブラリを使用して実践的なフォームを作成する方法を解説します。 UIライブラリ「React」 フォーム向けライブラリ「React Hook Form」 型システムと相性の良いスキーマバリデーションライブラリ「Zod」 また、静的型付け言語であるTypeScriptもこれらのライブラリと同時に使用し、堅牢なフォームの実装を目指します。 本記事を読むことで以下の知識が身につきます。 フォーム画面のユーザー体験（UX）と、フォーム実
「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカス「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 2024年6月12日 プログラミングフォント制作者 たわら プログラミングフォント制作者。コーディングに適した欧文・英数字フォントと、日本語フォントを合成し、新たなフォントを生み出す手法に定評がある。2019年5月に「白源（HackGen）」を公開したのを皮切りに、毎年のペースで合成フォントを手がけている。本業ではインフラエンジニアやWebプログラマなどを経て、現在ではSaaS企業にてSREを担う。自身の息子に「プログラミングを教えて」と頼まれた時、まずはプログラミングフォントの重要性を説いた。 X GitHu
大規模言語モデルが「ハルシネーション（幻覚）」を生成することはよく知られている。ただ、その仕組みから明らかのように、LLMの出力は本質的にはすべてハルシネーションであり、間違いが発覚したものがそう呼ばれているだけだ。 by Will Douglas Heaven2024.06.24 58 25 この記事の3つのポイント チャットボットは間違った情報を提供することがある 大規模言語モデルは統計的確率に基づいてテキストを生成する ハルシネーションを完全に防ぐことは不可能である summarized by Claude 3 2024年4月2日、世界保健機関（WHO）の新しいチャットボットが「善意の意図」の下にリリースされた。 リリースされたのは、「GPT-3.5」が搭載された新顔のバーチャル・アバター「サラ（SARAH：Smart AI Resource Assistant for Health
シンプルなHTMLで、レスポンシブとライト・ダークモード対応のモダンなWebページを簡単に作成できる超軽量CSSライブラリ -matcha.css
シンプルなHTMLを使用して、レスポンシブ対応、ライト・ダークモード対応のモダンなWebページを簡単に作成できる超軽量CSSライブラリを紹介します。 シンプルなWebページやポートフォリオ、プロトタイプなどをすばやく作成したい時に便利で、ベースにしてリセットCSSの拡張版としても利用できます。 matcha.css matcha.css -GitHub matcha.cssの特徴 matcha.cssの使い方 matcha.cssのデモ matcha.cssの特徴 matcha.cssは、classレスでHTMLのあらゆる要素にシンプルで読みやすいスタイルを設定するように設計されたCSSライブラリです。ライト・ダークモード対応で、テキストはユーザー設定が尊重された適切なスペースで配置され、ナビゲーションやフォームなども非常に見栄えがします。 matcha.css HTMLで作成された静的ペ
拡張機能で Chrome DevTools に独自パネルを追加してトラブルシュートに役立てよう - Techtouch Developers Blog
こんにちは、カスタマーサクセスエンジニア（CSE）の komo です。 この記事では CSE の主業務の１つにテクニカルサポートがありまして、それを効率化するために作ったツールの話をします。 具体的には Google Chrome 拡張機能で DevTools に独自パネルを追加して、トラブルシュートに有用な情報を表示させるツールです。実物をそのまま紹介はできないため、ひな形を別途作りました。作り方を書くので、同じようなカスタマー系エンジニアの方々に真似してもらって、役立ててもらえると嬉しいです。 ツールの説明 ひな形からの発展形 作り方 ステップ1：最小の拡張機能を作る ステップ2：パネルを追加する ステップ3：パネルに機能を追加する おまけ：動作確認・キャプチャ取得用に作ったHTMLとJSON おわりに 参考資料 ツールの説明 別途作ったひな形はこんなものです。 通信を監視して、特定の
コンテナの仕組みを勉強したかったため、Goでコンテナランタイムを自作した。雑実装だし未実装の機能もたくさんあるが、ある程度形になってきたため現状をまとめる。 リポジトリ github.com kombu/dashi - 自作コンテナランタイム kombu/nimono - eBPFを利用したシステムコールロガー kombu/yaminabe - dashiとnimonoを利用したマルウェアサンドボックス プロジェクト名から和の雰囲気を感じるが、これはリポジトリ名をkombu（昆布）にしたかったため、せっかくなら今回は和風で固めようと思ったから。趣があっていいんじゃないでしょうか。 dashiが自作コンテナランタイムだが、nimonoとyaminabeは実験的な要素で、セキュキャン2023でコンテナを使ったマルウェアサンドボックスを実装した経験があり、今回はその再実装を自作コンテナランタイム
生成AIでメモアプリが進化？ 自分だけのチャットAIが作れる、Google「NotebookLM」を試してみた
米Googleは2023年夏、自分で入力したソースだけで使える生成AIサービス「NotebookLM」を発表したが、24年6月6日、日本を含む200以上の国や地域への提供を開始した。執筆時点（7日）で、すでに日本語で使えるようになっている。 リリース情報によれば、NotebookLM開発の目的は「複雑な資料を理解して精査し、情報から新しい類似性を見つけ、下書きなどを素早く作成するのに役立つツールの開発」であるという。「研究論文や取材記録、仕事でのドキュメントなどの参照文献（ソース）をアップロードすると、NotebookLMがそれらの重要な資料を理解し、必要なサポートを提供」する。 ベースとなるAIは最新のGemini 1.5 Proで、現在は試験的に無料で利用できる。今回の公開にあたり、Googleドキュメント、PDF、テキストファイルの他、GoogleスライドとURLがソースとして参照で
エンジニア運用工数40%削減！Bill One における運用改善のとりくみ - Sansan Tech Blog
Bill One Engineering Unitの田上です。運用改善と題したプロジェクトによって、エンジニアの運用工数を半年で40%削減することに成功したので、今回はその取り組みをご紹介します。 背景 Bill One のエンジニアリング組織では、フルサイクルエンジアリングで開発と運用を行っており、開発者自身が運用対応（本番環境で発生したエラーの調査・対応、ユーザからの依頼・問い合わせの対応など）を行っています。 エンジニアが自身の開発したプロダクトへのフィードバックを迅速かつダイレクトに受け取れる非常に良い方式ではあるのですが、その対応工数があまりにも多くなりすぎて開発工数が逼迫するようになっていました。 その状況をどうにかするため半年の期限付き特命チームとして運用改善チームを立ち上げることにしました。 立ち上げ 組織内のフラストレーションの高まりを背景に、2名のエンジニアが新たなチー
はじめに 「理解容易性」は「保守性」の観点の1つとして重視され、多くの原則や技法が紹介されているが、断片的かつ多様であり、全体像を理解することは難しい。 抽象度は高いが、体系的に観点を整理する事で、その理解の助けとなれば幸いである。 定義 「理解容易性」を簡単に言えば、「理解のしやすさ」であるが、その意味から掘り下げると、「思考する量」と言い換えることができる。 本記事では理解容易性を「思考量の少なさ」と定義し、7つの観点に整理した。 先に要約およびチェックリストを記載し、概略を記載した。 後に詳細で理解のため、各観点毎の説明と個別の原則や技法へのリンクを記載した。 要約 7つの観点の要約を先に示す。 （変数や関数の）名称は分かりやすくする （変数や関数の）役割は１つにする （変数や関数の）参照は狭くする （変数や関数の）状態は変えられなくする （関数やクラスの）面積は小さくする （関数や
APIリファレンス（民間事業者向け） | デジタル認証アプリ | ドキュメント | デジタル庁 開発者サイト
レスポンスタイプ OpenID Connect の通り。 デジタル認証アプリサービスは、code（認可コード）のみをサポートする。 固定値codeを設定する。 " class="sc-iJuWdM sc-cBNeRQ gpkGbA dujygE">レスポンスタイプ OpenID Connect の通り。 デジタル認証アプリサービスは、code（認可コード）のみをサポートする。 固定値codeを設定する。
Leaving Job and Entering Summer Vacation（退職して夏休みに入ります）
思えば日本に2004年に帰国してから一度も長期（2週間以上）の夏休みを取ったことはありませんでした。ということで今週をもってメルカリ最終出社とし、来週より夏休み開始となります。 7月中旬からまた社会人復帰する予定です。ではまた近いうちにお会いしましょう！ ～完～ もうちょっと欲しいですか。そうですね。ではやったこと、やれなかったことについてまとめてみます。以下全て私個人の視点、意見であることを踏まえ、会社としての発信ではないことにご注意ください。 YouTubeチャンネル開設から銀の盾まで在職中はやっぱりグループ全体のエンジニアリング部門の動画チャンネルを立ち上げられたのがよかったです。 それまで社内でYouTubeチャンネルを作ってもわりとすぐ更新しなくなってしまうという歴史があってそのなか他の人を説得して新しくチャンネルを開設するのはすっごくすっごくすっごくすっごく大変でした。開設に当
marketplace.visualstudio.com GitHub Copilot と直接会話できる Copilot Chat 、皆さん使ってますか？ 私は最近まともに使い始めました。 Copilot と言えば補完だけだと思っている人、以前ちょっとだけ触れて使えないと思った人(僕です)、いまのバージョンをもう一度触ってみてください、めっちゃ便利になっている。 www.youtube.com この動画が出来ることを追いかけるのに良さそうなので見てください。 ベースモデルがGPT-4に変わったりとかいろいろ変化はありますが、便利なのは Participant や Context の概念が入ったことだと思います。 Participantは @workspace みたいなやつで、Chat-GPTにおける GPTs みたいなやつ。例えば @workspace ならいま開いているプロジェクトについ
『アジャイルを採用したソフトウェアプロジェクトの失敗率はその他の手法と比べて268％も高いことが判明』は不明瞭 ~書籍「Impact Engineering」を読んでみた感想 ~ - Qiita
『アジャイルを採用したソフトウェアプロジェクトの失敗率はその他の手法と比べて268％も高いことが判明』は不明瞭 ~書籍「Impact Engineering」を読んでみた感想 ~アジャイルポエムプロジェクト管理メンタルケアコミュニケーション 「アジャイルを採用したソフトウェアプロジェクトの失敗率はその他の手法と比べて268％も高いことが判明」 という記事が話題になっています。 言及している著書がCEOを務めているイギリスの調査・コンサル会社であるEngpraxが挙げている元の記事はこちら（その調査自体を行なったのもEngprax社） 記事に書かれていることの考察や要約は下記で分かりやすく纏めて下さっています。 記事への反応 記事への感想・反応はだいたい下記のパターンのどれかに該当すると思います。 失敗の定義は？ そもそもアジャイルできてなくね？ 下記が失敗するのはアジャイルかどうかとは関係
１．はじめに UTF-8 の文字コードのファイルには、BOM (Byte Order Mark) がある場合とない場合がある。 Unicode の規格では、BOM は、推奨されないが、許容されている。 ja.wikipedia.org 今回、必要があり、色々な OS や言語で、UTF-8 の文字コードのファイルを作成した時、BOM が記録されるか、されないか、を調べた。 ２．色々な OS や言語での BOM 2.1 Windows 10, Visual Studio, C++, _wfopen (_tfopen), // Visual Studio 2005 以降 保存 FILE *fp = _wfopen(name, _ L"w, ccs=UTF-8"); if (fp == NULL) { // エラー処理 } fwprintf_s(fp, L"ABC漢字123\n"); fclose
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた | DevelopersIO
なおこの「Credits」という単位は serverless.yml ファイルのregion,stage,serviceパラメータの組み合わせによって定義されるようです。 したがって、例えば開発者やチケット毎の検証環境をstageで分けている場合は、その分Creditsが嵩むという形になります。 また、serviceもどのように分割するかで総Credit数が変わってきますので、この辺は見積りのし辛さに繋がってくるのかなと思います。 例えばregionとして東京, シンガポールを用意し、stageとしてprod, stg, dev, user1, user2があり、serviceとしてxxx, yyyがある場合、単純に掛け算をすると2x5x2の20 Creditsとなります。 また、Serverless Dashboardの機能を使うと、トレース50,000あたりで1 Credit、メトリク
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に
Go, Ruby, Rust等の言語に存在した、Windows環境でコマンドインジェクションを引き起こす脆弱性"BatBadBut" - Flatt Security Blog
※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアkoyuriが日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK( @ryotkak )です。 先日、特定の条件を満たした場合に攻撃者がWindows上でコマンドインジェクションを実行できる、いくつかのプログラミング言語に対する複数の脆弱性を報告しました。 本日(2024/04/09(訳者注: これは英語版記事の公開日です))、影響を受けるベンダーがこれらの脆弱性に関するアドバイザリーを公表しました。 その影響は限定的なもののCVSSスコアは非常に高く、混乱が予想されるため、脆弱性に関する詳細を本記事にまとめます。 はじめに TL;DR CVSSスコア 技術詳解 根本原因 CreateProcessのラッパー cmd.exeのパース規則
求められるコミュニケーション能力ソフトウェア開発の業界に身をおいて10数年。「ソフトウェアエンジニア（以下、エンジニア）なら人と話さなくても仕事できていいな！」なんて思っていた私ですが、エンジニアとはいえコミュニケーション能力が求められる場面は少なくない、という事実と日々向き合っています。 エンジニアに求められるコミュニケーション能力には以下のようなものがあります。 技術的な内容を分かりやすく説明する力 チーム内での協力、情報共有 相互の建設的なフィードバック 問題解決のための議論、および調整 ドキュメント作成、メンテナンス 確かにこれらの能力は必要です。何かAPIを使いたいとおもったとき、API仕様書がfuncA,funcBといった名称だとどんなAPIかわからないですし、内容を知ろうとしたときにドキュメントがなければそのAPIを使いこなすことは難しいでしょう。わかりやすい説明ができず、ド
こんにちは、JX通信社でシニアエンジニアをしているSirosuzumeです。 JX通信社の「FASTALERT」には、ユーザーが事前に設定した地域で発生した災害情報を、メールで受信する機能があります。 しかしテストする手順も複雑で、配信条件も多様化していったこともあって、手動でのテストを行うことに限界を感じていました。 設定画面の挙動確認など、ブラウザ上で完結するテストであればPlaywrightを使って自動化することもできていたのですが、実際にメールを受信するところのテストを自動化する方法についてのノウハウ不足が課題でした。 そこで、Amazon SESの機能を改めて確認していたところ、特定のメールアドレスで受信したメールをS3に保存する機能があることを知り、E2Eテスト内からS3にアクセスすることでメールの受信テストまで自動化でカバーできるのではないか、と考えたことが、今回のチャレンジ
はじめに こんにちは、IT戦略部システム基盤グループの酒井と申します。 システム基盤グループは2023年4月にIT基盤部からIT戦略部に所属部門が代わり、社内システムのインフラやGithubやJira/Confluenceなどの運用を担当しています。 このタイトルに見覚えがある方は熱心なDeNA Engineering blogの読者だと思います。 私の上長が過去に同じタイトルでblog投稿をしていました。 まだ見ていない方は今回の内容とも関連するため、以下からご覧ください！ VPN との終わりなき戦い 〜怒濤の全社テレワーク編〜 VPN との終わりなき戦い 〜Cloud Journey 編〜 今回もタイトル通りVPNに関するお話となります。 DeNAのリモートワークの状況 本題に入る前に弊社のリモートワークの状況をご説明します。 DeNAではコロナが落ち着いてからもハイブリッドワークを継
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、「RAG vs ファインチューニング」について、DSL（ドメイン固有言語）をコーディングする性能という観点から比較した論文を、ざっくりまとめます。 この記事は何 この記事は、RAG vs ファインチューニングに関する論文[1]を、日本語で簡単にまとめたものです。 「RAG vs ファインチューニング」の論文は、他にもあります。例えば、時事問題などのシンプルな知識の質疑応答であれば、RAGの方が優れています。[2] 今回の論文では、「ドメイン固有言語（DSL）をコーディングする性能」をに焦点を当てて比較しています。一見するとファインチューニングの方が有利そうなタスクについて比較しているのが面白い点です。 本題 ざっくりサマリー この論文では、RAGとファインチューニングの性能比較を
いかにして動的型付けのRubyに静的な型検査を持ち込むか？ SteepとRBSが目指すもの - Findy Engineer Lab
Rubyをはじめとする「動的型付け」のプログラミング言語は、ソースコード中に型に関する記述が陽に出てこないことが特徴で、プログラムの実行前に（静的に）型検査をすることはありません。しかし、このようなプログラミング言語においても、大規模な開発における品質の向上や開発体験の改善、実行の高速化のために、静的な解析を活用しようという試みは多くなされてきました。この記事では、動的型付けの言語のための型検査の歴史を簡単に振り返って、現在私が開発しているRuby向けの型検査器Steepとその基盤となっている型記述言語RBSについて説明し、今後の展望を議論します。 著者：松本宗太郎さん（@soutaro） Rubyコミッター。大学院でRubyプログラムの型検査の研究に取り組み、修了後はスタートアップでWebアプリケーションの開発に従事。2017年から型検査ツールSteepの開発を始め、2019年からはRu
本記事は マイグレーションウィーク 6日目の記事です。 💻🖥 5日目 ▶▶ 本記事 🖥💻 初めに ITの変遷と思想の変遷 新たな問題 作ってみた DARS 何と呼ぶ？？？ コードはこちら 機能紹介の前に 3つの機能 diff conf html バッチ編 課題 ユースケース 最後に 得られた副産物 人間は間違える 初めに こんにちは、上田です。 2024年5月にネットコムに入社したばかりで社内ネタを持ち合わせていないので、作ってみたシリーズに乗っかってみました。 また、今回のテーマはクラウドマイグレーションということなので、オンプレミスからクラウドへITリソースを移行するに伴って人間の考え方がどのように移り変わっていくのか、という観点も交えながら論じていこうと思います。 ITの変遷と思想の変遷 まず、オンプレミスからクラウドへなぜ移行するのかを考えてみます。 クラウドのメリットをい
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る また、過去ではなく未来方向、つまり Bell Lab で Unix の successor として生まれた Plan 9 や Inferno における tar についてはこちらで lufia 氏がまとめておられたので参考にどうぞ。Plan 9とInfernoにおけるtar(1)の変化 Introduction 前回の記事では、tar(1)が Unix v1 (1971) のtap(1)まで遡ること、 また、その引数は key というサブコマンドの原始的な姿のようなものだったことを調査した。 さて、実は Unix v1 Programmer's Manual の栄えある最初のページを飾るコマンドは今でもスタティックリンクライブラリの作成などで使われる ar(1) であり、 こち
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
三菱電機がClaude 3活用で「工数4割減」、仕様書の図表解析にマルチモーダルが威力
デジタル庁認証アプリ FIRST IMPRESSION まとめ
『アジャイル開発の失敗率は268%も高い』のコメント欄が面白かったので紹介するよ - Qiita
Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に | gihyo.jp
Python製静的サイトジェネレーターSphinxでWebサイトを構築して公開 | gihyo.jp
ReactとZodで作る堅牢なフォームバリデーション - ICS MEDIA
解説：生成AIのハルシネーションはなぜ起きるのか
コンテナランタイムを自作した - zebian.log
理解しやすいコードの書き方～理解容易性の7つの観点～ - Qiita
GitHub Copilot Chat 舐めていた - ちなみに
UTF-8 の BOM について - 将棋プログラミング
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
RAGで人間の脳を再現。「HippoRAG」を理解する
なぜぼくらは「コミュニケーション能力が低い」と言われるのか？｜dora_e_m
Playwrightでメール配信のテスト自動化にチャレンジ！ - JX通信社エンジニアブログ
VPN との終わりなき戦い 〜新VPN導入編〜 | BLOG - DeNA Engineering
RAG vs ファインチューニング（コーディング性能で比較）
AWSリソースの差分比較ツールを自作したのでご覧あれ - NRIネットコムBlog