はじめに 大規模言語モデル、LLM が大流行です。猫も杓子も LLM で、LLM および OpenAI にかなり入れ込んでいた Microsoft の勢いを見て Google が社内に保有していた LLM をサービスとして投入しようとしていたり、AWS が参入表明したり、大規模なテキストデータを擁する Twitter を手中に収めたイーロン・マスクが参入を表明したりと、提供者側プレイヤーはその数も面子もなかなかインパクトがあります。OSS の LLM も「数日おきに何か発表があるなぁ」という感じで日に日に増加しており、商用利用を見据えた使いやすいライセンスの下に開発された LLM も随分と増えてきました。使用者側の面子を見ても、個人ユーザーやベンチャー企業、その他一般企業はもとより、従来この手の新進気鋭のサービス導入がなかなか進まないイメージがあった大手金融機関や官公庁に至るまでかなり深く

3つの要点 ✔️ 大規模言語モデルが外部ツールをどの程度効果的に利用しているかを評価する新しいデータセットToolQAを開発。 ✔️ 大規模言語モデルはToolQAの難しい問題に対して限定的な性能を示し、エラー傾向を示す。 ✔️ 大規模言語モデルに外部ツールの使用法を学習させることで外部ツールの利用能力のさらなる向上を期待。 ToolQA: A Dataset for LLM Question Answering with External Tools written by Yuchen Zhuang, Yue Yu, Kuan Wang, Haotian Sun, Chao Zhang (Submitted on 23 Jun 2023) Comments: Published on arxiv. Subjects: Computation and Language (cs.CL); A

ChatGPTを使ったテキストの構造化を行うタスクをいくつか進めていく中で、どういうフォーマットが構造化に向いているのかというのは非常に重要な要件になるかと思っています。 よく聞くのはJSON形式にはなるのですが、果たしてLLMにおいて最適なのかを考え直した時に、TOML形式がベストなんじゃないかというのが現状の答えなのでそこに至った理由を紹介していきます。 本件は先日開催されたLLM Meetup Tokyo #2のLTで紹介させていただきました。 lu.ma 当時発表したスライドはこちら docs.google.com TOMLってなんだっけ？TOMLはTom's Obvious, Minimal Languageの略で、設定ファイルのフォーマットとして広く使用されています。この形式は、キーと値のペアを使用してデータを表現します。そのシンプルさと直感的な構造が特徴であり、人間が読み書き

今回は、RVC学習済データとVC Clientを使って、リアルタイムで自分の声を別の声に変える方法について解説します。 RVC（Retrieval-based-Voice-Conversionの略）は中国初のAIボイスチェンジャーで、精度と学習・変換速度がやばいです。 従来からあるMMVCと違いボイチェン感がなく、本当に違和感がなくなめらか。 まさにコナン君の蝶ネクタイのようにリアルタイムで声を変えてくれます。 大まかな流れは「RVC学習済データを用意する」ー「VC ClientでRVC音声データを読み込み」ー「リアルタイムでボイチェンして録音する」 すでに学習させているRVCデータを使うのでハイスペックなパソコンは必要ありませんし、お金もかかりません。 私の環境はWindowsですが、MACでも動くはずです。 今回は録音する方法になりますが、リアルタイムでボイチェンできるのでDiscod

SM7B、Compass、そしてevo 4という最高にデザイン性の高いマイク、マイクアーム、オーディオ・インターフェースを知ってしまい、思わず購入してしまいました。そんな衝動買いできる価格ではないのだけど、何かを始めるときは形から入るタイプなので… デザインが洗練されていて所有満足度が高い（3製品とも）音質がよい（SM7B）ケーブルを隠す機構があり見た目がよい（Compass）初心者にもわかりやすい操作性（evo 4）USB-C バスパワーで、ケーブル1本でパソコンやiPad Proと接続できる（evo 4）

Cognitoの USER_SRP_AUTHフロー や パスワード付きカスタム認証フローで必要な「SRP_A」を計算する (js, ts限定)JavaScriptAWSTypeScript認証cognito SRP_A ってなに？ Cognitoに用意されている認証フローのうち、下記で必要になるパラメータだよ。 USER_SRP_AUTHフロー パスワード検証付きカスタム認証フロー 上記フローでは、広く標準化された鍵交換プロトコルである Secure Remote Password プロトコル (SRP) を使っていて、 SRP_A はそれに関連する 「大きな整数」で生成された値 だよ。 Cognito使ったことあるけどSRP_Aなんて聞いたことない。これっていつ使うの？ Cognitoが用意してくれるログインエンドポイント＋トークンエンドポイントを使う構成や、Amplify UI にお任

SQLアタマアカデミー 第3回テーブル設計のグレーゾーン～毒と薬は紙一重　（1）単一参照テーブル～テーブルにポリモフィズムは必要か はじめに リレーショナルデータベースが関わる案件において、その開発効率と品質を最も大きく決定する要因は、テーブル設計です。テーブル設計は、工程のかなり初期の段階でなされますが、ここがまずいと、その後の開発全体を無駄に不効率で混乱したものにしてしまい、かつ容易に後戻りがきかないという重要なステップです。したがって、「⁠はじめにテーブルありき」は何にもまして重要な合言葉です。 しかし、この工程の難しいところは、往々にして一義的な正解を定められないことです。常に「これが正解」と呼べるような決まったアルゴリズムが存在しないのです。もちろん、数十年にわたる多くの人々の努力によって、いくつかの効果的な設計技法や、原則として踏み外してはいけない最低限のルール（可能な限り正規

2024 大賞の発表！ ITエンジニアのみなさんとおすすめの本を選ぶイベント「ITエンジニア本大賞2024」の第一弾のWeb投票、第二弾のプレゼン大会が無事に終了し、プレゼン大会会場にお越しの特別ゲスト・観覧席のみなさんによる最終投票で「技術書部門大賞」、「ビジネス書部門大賞」が決定しました。また、各特別ゲストによる「特別賞」も選出しました。ご参加いただいた皆さま、ありがとうございました！ 1冊ですべて身につくJavaScript入門講座 出版社：SBクリエイティブ 著者：Mana 投票した理由や感想などみなさんからのコメント 安心して失敗していい、というところと、コードの例などがわかりやすかったです！ 前作の「HTMLとCSS」も購入させていただきましたが、前回も本書も初学者でも見易く、見返したくなるつくりに仕上がっていました。絵や図解でも解説されているので、近年に多いプログラマーを目指

昨今、企業活動を行うには適切な情報管理とデータ保護が必要不可欠です。リモートワークが普及した環境下で「個人情報保護法改正」が全面施行されたことにより、その重要性は増しています。 この記事では、セキュリティ強度の高い暗号化方式である「AES256」について解説します。 AES256を「どのように企業活動に取り入れるか」「どのようなツールで暗号化することができるのか」など具体例をあげてご紹介します。 PC端末やUSBメモリの紛失・置き忘れ、盗難による情報漏えい対策を検討されている企業のご担当者は、参考にしていただければ幸いです。 目次 ： AES256とは 暗号化アルゴリズム「AES」とは AES256の暗号化強度 AES256の特徴 AESの暗号化と復号 AES256の変換処理 広く採用されるAES256 AES256の企業利用 AES256の有用性 企業の情報漏えいリスク AES256の信

2024 Feb. 25. 2022 Feb. 11. 2021 Nov. 21. 2021 Jun. 05. 2021 May 02. 2021 Apr. 27. 2021 Mar. 28. 2021 Jan. 31. 2020 Sep. 21. 参考元 Ubuntu Desktop 18.04でClamAVによるウィルスチェックを実行する！ Ubuntu 20.04 LTS : Clamav アンチウィルス : Server World https://www.hiroom2.com/2018/05/06/ubuntu-1804-clamav-ja/ 【Ubuntu 20.04/18.04 LTS Server】ClamAVで定期的にウイルスチェックし、メール通知する | The modern stone age. clamscanによるウイルススキャンは低速だが高機能。 clamdデ

Note: the performance scores shown in the table below have been updated to account for the new methodology introduced in November 2023, which added new benchmarks. More details in this post. Demo You can easily try the Big Llama 2 Model (70 billion parameters!) in this Space or in the playground embedded below: Under the hood, this playground uses Hugging Face's Text Generation Inference, the same

こんにちは、セキュリティエンジニアのkoboです。ピクシブには2018年4月に入社しており、セキュリティ観点でのアプリケーション開発や脆弱性報奨金制度の運用などを行っています。 本記事では、現在ピクシブの一部のサービスで取り組んでいるContent Security Policyについて知見を共有します。 概要 Content Security Policy (CSP) は、XSSを主としたウェブアプリケーションセキュリティの問題を軽減するために考案されたブラウザのセキュリティ機構です。 ウェブアプリケーションは、 Content-Security-Policy ヘッダをHTTPレスポンスに含めることで、意図していないJavaScriptの実行やリソースの読み込みをブラウザ側で制限することができます。 CSPは2012年頃よりブラウザに実装されていますが、2016年のGoogleの調査によ

異なるdocker-composeで動く環境に接続したくなったので調べてみました。 準備 まず、以下のようなdocker-compose.ymlで定義された2つの環境があるとします。 . ├── app_a │ ├── app/... │ └── docker-compose.yml └── app_b ├── app/... └── docker-compose.yml version: '3.7' services: app_a: image: golang:latest tty: true db_a: image: postgres:latest view raw multi-docker-compose-a-base hosted with ❤ by GitHub version: '3.7' services: app_b: image: golang:latest tty: t

Many organizations have invested in a central data lake and a data team with the expectation to drive their business based on data. However, after a few initial quick wins, they notice that the central data team often becomes a bottleneck. The team cannot handle all the analytical questions of management and product owners quickly enough. This is a massive problem because making timely data-driven