生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ
【技術選定/OSS編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:
インボイス管理サービス「Bill One」の認証を内製認証基盤に置き換えて認証基盤のコストを削減した話 - Sansan Tech Blog
Bill One Engineering Unit 共通認証基盤チームの樋口です。 Bill Oneでは昨年までAuth0を認証基盤として利用してきましたが、認証基盤を内製化することでコストを大幅に削減しました。 この認証基盤は、昨年12月に無事リリースされ、Bill Oneの認証を支えています。 今回は認証基盤の内製化に至った経緯と設計、移行プロセスについて紹介します。 Bill Oneについて 認証基盤に関する課題 解決方法の検討 IDaaS（Identity as a Service）について 設計とシステム構成について 認証基盤の設計 システム構成 アカウントの移行について メールアドレス・パスワードでのログインを利用しているユーザーの移行 SSO（Single Sign-On）の移行 振り返りと今後 ドメイン変更による問い合わせの増加 内製化によって体験の改善がスムーズに Bil
New Recovery Tool to help with CrowdStrike issue impacting Windows endpoints
The Microsoft Recovery Tool was updated 7/22/2024 as version 3.1. While fundamentally there are no functional changes to the tool, for the Recover from WinPE option, we have expanded the logging, reattempt logic, and error handling. For the Recover from safe mode for USB delivery, we’ve added in better user awareness cues for when to run the repair command. 7/23/2024: Microsoft notes that CrowdStr
GitHub - linuxmint/timeshift: System restore tool for Linux. Creates filesystem snapshots using rsync+hardlinks, or BTRFS snapshots. Supports scheduled snapshots, multiple backup levels, and exclude filters. Snapshots can be restored while system is runni
Timeshift for Linux is an application that provides functionality similar to the System Restore feature in Windows and the Time Machine tool in Mac OS. Timeshift protects your system by taking incremental snapshots of the file system at regular intervals. These snapshots can be restored at a later date to undo all changes to the system. In RSYNC mode, snapshots are taken using rsync and hard-links
Anyone can Access Deleted and Private Repository Data on GitHub ◆ Truffle Security Co.
You can access data from deleted forks, deleted repositories and even private repositories on GitHub. And it is available forever. This is known by GitHub, and intentionally designed that way. This is such an enormous attack vector for all organizations that use GitHub that we’re introducing a new term: Cross Fork Object Reference (CFOR). A CFOR vulnerability occurs when one repository fork can ac
If you ever tried to learn guitar, chances are you are familiar with guitar tablatures. It is a simple way to visualize music for guitar, using ASCII characters to represent strings and frets as an alternative to sheet music. For instance, here are the first four measures of the song "Smoke on the Water" by Deep Purple: e|-----------------|-----------------|-----------------|-----------------| B|-
Awesome Rust checkers Table of contents Awesome Rust checkers Table of contents Linters Static Checkers Dynamic Checkers Verifiers1 Linters Name Description Working on Bug types Technology Maintenance clippy A bunch of lints to catch common mistakes and improve your Rust code. HIR Versatile Pattern matching ★★★★★ dylint Run Rust lints from dynamic libraries HIR Versatile Pattern matching ★★★★★ Sta
This document is distributed as TLP:CLEAR. Disclosure is not limited. Sources may use TLP:CLEAR when information carries minimal or no foreseeable risk of misuse, in accordance with applicable rules and procedures for public release. Subject to standard copyright rules. TLP:CLEAR information may be distributed without restrictions. For more information on the Traffic Light Protocol, see cisa.gov/t
Adobeが、IllustratorやPhotoshopに、デザイナーがビジョンを迅速に実現するため、クリエイティブワークフローを加速して作業に費やす時間を削減する新機能を搭載したことを発表しました。 Adobe - Adobe Unveils Powerful New Innovations in Illustrator and Photoshop Unlocking New Design Possibilities for Creative Pros https://news.adobe.com/news/news-details/2024/Adobe-Unveils-Powerful-New-Innovations-in-Illustrator-and-Photoshop-Unlocking-New-Design-Possibilities-for-Creative-Pros/def
Llama 3.1 の新機能と使い方｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Llama 3.1 - 405B, 70B & 8B with multilinguality and long context 1. Llama 3.1 の新機能「Llama 3.1」の新機能は、次のとおりです。 ・128Kトークンの大きなコンテキスト長 (元は8K) ・多言語 ・ツールの使用 ・4,050億パラメータの非常に大きな高密度モデル ・より寛容なライセンス 8B、70B、405Bの3つのサイズがあり、それぞれにベースモデルと指示モデルがあります。128Kトークンのコンテキスト長と、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語を含む8つの言語をサポートしています。「Llama 3.1」は、より長いコンテキストに役立つ効率的な表現である「Grouped-Query Attention」(
Microsoft points finger at the EU for not being able to lock down Windows
An article published by The Wall Street Journal today ended with an interesting point raised by a Microsoft spokesman regarding the security of the Windows operating system. The spokesman, while not quoted verbatim, is said to have told the WSJ that a 2009 deal with the European Commission is the reason why Microsoft can't lock down its operating system more to boost security. Following a complain
新しいビルドツールの Farm
新しいビルドツールの Farm 2024.07.21 Farm は Rust 製の新しいビルドツールです。パフォーマンスを重視して設計されており、Vite と互換性のある JavaScript プラグインをサポートしているという特徴があります。バンドルの戦略には Partial Bundling というものを採用しており、モジュールのネットワークリクエスト数を削減するため、20 ~ 30 のファイルにバンドルするという特徴があります。
GitHub - commandprompt/pgmanage: Web tool for database management
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
How do I recover AWS resources that were affected by the CrowdStrike Falcon agent? Short description On July 19th 2024 at 04:09 UTC, an update to the CrowdStrike Falcon agent (csagent.sys) caused Windows based devices to experience unplanned stop errors or blue screen. Affected devices include Amazon Elastic Compute Cloud (Amazon EC2) instances and Amazon WorkSpaces Personal virtual desktops. This
CrowdStrikeのエラーによるブルースクリーンループでPCが起動不能になる問題を解決するMicrosoft公式リカバリツールが登場
セキュリティソフトのCrowdStrikeのアップデートがきっかけになって850万台のWindowsデバイスがブルースクリーンを繰り返してシステムがクラッシュする不具合が発生した件について、MicrosoftがWindowsデバイス修復用の回復ツールを公式にリリースしました。 New Recovery Tool to help with CrowdStrike issue impacting Windows endpoints - Microsoft Community Hub https://techcommunity.microsoft.com/t5/intune-customer-success/new-recovery-tool-to-help-with-crowdstrike-issue-impacting/ba-p/4196959 Microsoft releases reco
LLM for 時系列分析の世界
以前、【LT大会#7】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれようで、時系列基盤モデルについてLTをさせて頂きました。 他発表者のLTも面白く、私自身も時系列基盤モデルについて理解を深める良いきっかけとなりましたが、心残りはLLMを絡めた手法については時間を割けなかったことです。 そこで今回はLLM for 時系列分析に関するアイディアを簡単にまとめてみます。 おことわり 学習目的で調査・作成した内容がベースとなっており、誤りや他に面白い論文・事例がありましたら、教えて頂けますと幸いです。 主に以下Survey論文・Collectionリポジトリで取り上げられている内容の一部を対象としています。より網羅的に知りたい方は下記リソースを直接ご参照ください。 Large Language Models for Time Series: A Survey Position: W
Overture Maps Foundation Releases General Availability of its Open Maps Datasets – Overture Maps Foundation
New data on 200 million+ addresses added in alpha release SAN FRANCISCO, Calif. —July, 24 2024 — The Overture Maps Foundation, a collaborative effort to enable current and next-generation interoperable open map services and products, today announced the General Availability (GA) of several of its global open maps datasets, paving the way for new and expanded use cases for a wide range of commercia
GitHub - igrek51/wat: Deep inspection of Python objects
Deep inspection of Python objects. WAT is a powerful inspection tool that allows you to delve into and examine unknown objects at runtime. "Wat" is a variant of the English word "what" that is often used to express confusion or disgust If you find yourself deep within the Python console, feeling dazed and confused, wondering "WAT? What's that thing?", that's where the wat inspector comes in handy.
Where Should Visual Programming Go? There’s a wonderful article by Sebastian Bensusan: “We need visual programming. No, not like that.” (the dot is part of the title ¯\_(ツ)_/¯). In it, Sebastian argues that we shouldn’t try to replace all code with visual programming but instead only add graphics where it makes sense: Most visual programming environments fail to get any usage. Why? They try to rep
概要Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirica
A critical review of Marketing Mix Modeling — From hype to reality
Context Most companies spend large chunks of their budget on marketing. Often, without knowing the return of that investment. Marketing Mix Modeling has been promoted as the one method to shed light on the effect of marketing. Not quite coincidentally, this is mainly supported by people that have a self-serving interest to advocate MMM. Opposing standpoints are few and far between. In this post, I
How not to use box shadows
So you think you know box shadows? Box shadows. I love them. Four years ago I found out my m1 can render a stupid number of these bad boys and so I set out to see just how far you can push them and boy did I. If you are looking for a how to use box shadows to get the look of the latest UX trend, this is not the right article for you. But if you like some janky creativity, stay tuned. I want to sha
先日Perplexityの有料プランを無料で使えることを記事にしました。20日ほど前です。 Perplexityの有料プランに入れたので、ChatGPTの課金プランはやめました。しかしやめると色々不都合が出てきましたので、また再加入を検討しています。 いま一度、両者の得意分野を比較してみたいと思います。本記事は、下書きに長らく入っていたので2週間前の情報になりますが、アップしておきたいと思います。 ChatGPTとPerplexity AIの有料プランを比較 料金: 主な機能: 特徴: 選択の基準: それぞれの良さがある 情報源 ChatGPTとPerplexity AIの有料プランを比較 ChatGPTとPerplexity AIの有料プランを比較すると、以下のような特徴があります: 料金: ChatGPT Plus: 月額20ドル (約3,000円)[1][15] Perplexity
Navigating New Constraints, Requirements, and Capabilities Like almost any question about AI, “How does AI impact software architecture?” has two sides to it: how AI changes the practice of software architecture and how AI changes the things we architect. These questions are coupled; one can’t really be discussed without the other. But to jump to the conclusion, we can say that AI hasn’t had a big
xc
xc - Simple, Convenient, Markdown based task runner. xc is a task runner similar to Make or npm run, that aims to be more discoverable and approachable. The problem xc is intended to solve is scripts maintained separately from their documentation. Often a Makefile or a package.json will contain some useful scripts for developing on a project, then the README.md will surface and describe these scri
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
事業計画を立てる上で必要なプロセスをシステム化し改善した話 - pixiv inside
Playing guitar tablatures in Rust
A curated list of awesome Rust checkers
Modern Approaches to Network Access Security
Adobeがビジョンを迅速に実現化する生成AI新機能をIllustratorやPhotoshopに搭載
Recover AWS resources affected by the CrowdStrike Falcon agent
Where Should Visual Programming Go? @ tonsky.me
The Llama 3 Herd of Models | Research - AI at Meta
ChatGPTからPerplexityへ。AI環境の乗り換えに伴い機能の比較をしてみた - 43号線を西へ東へ
Software Architecture in an AI World