はじめに はじめまして、8月にコネヒトに入社したy.ikenoueです。 突然ですがみなさん、生成AIは使っておりますでしょうか？ ChatGPTやStable Diffusionといった代表的な生成AIの発表から約1年が経過し、そろそろブームも落ち着くかと思っていたのですが、つい先日もOpenAI DevDayにてChatGPTに関する様々なアップデートが発表されるなど、相変わらず目まぐるしい日々が続いていますね。 弊社における生成AIの活用状況はというと、以前に下記の記事にて、Slack上でChatGPTと会話できる環境を社内提供しているという取り組みをご紹介しました。 tech.connehito.com 本日は、上記の社内ツールに新たに追加した「社内文書の参照機能」についてご紹介します。 「社内文書の参照機能」の概要と開発動機 まずは「社内文書の参照機能」の概要と開発にいたった動機
0 issue "letsencrypt.org" 0 issuewild "letsencrypt.org" 0 iodef "mailto:yourmail@example.jp" §OS再インストール さくらVPSのコントロールパネルから、OSを再インストールするサーバを選ぶ。 www99999ui.vs.sakura.ne.jp §OSのインストール操作 Ubuntu 22.04 LTS を選ぶ。 OSインストール時のパケットフィルタ（ポート制限）を無効にして、ファイアウォールは手動で設定することにする。 初期ユーザのパスワードに使える文字が制限されているので、ここでは簡単なパスワードにしておき、後ですぐに複雑なパスワードに変更する。 公開鍵認証できるように公開鍵を登録しておく。 §秘密鍵と公開鍵の作成 クライアントマシン側で生成した公開鍵を ~/.ssh/authorized_k
法律のデータ構造と検索
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ：
ローグライクしかやったことがない人間が「Rogue」やってみた。見ろよこの冗談とすら思える，いとしき理不尽さを ライター：つきひ ローグライク。それはマップのランダム生成や，死ぬとイチからやり直しになる“パーマデス”を特徴とする，昨今の一大ジャンルだ。 日本では“不思議のダンジョン”シリーズ「トルネコの大冒険」や「風来のシレン」が有名で，近年ではデッキ構築型の「Slay the Spire」，サバイバー系の「Vampire Survivors」など，ローグライクと別ジャンルを組み合わせた路線が大ヒットしたのも記憶に新しい。 でも……ローグライクの“ローグ”とはなんなのか？ 「Rogueという作品をリスペクトしているからローグライク」という解説はいくらでも見聞きしてきたが，私はローグを知らずにライクを愛した。それと同じように，ローグのことを知らない人も多いはずだ。 だから，40年以上前のコン
タイタニック号探索潜水艇タイタン号で起きた悲劇は、「メートルとフィートを間違えて設計した」せいではないし、「CEOが多様性思想にかぶれて有能な人材を取らなかった」からでもない - Hoarding Examples (英語例文等集積所)
【追記】たくさんのブクマをありがとうございます。1つ前のエントリにある、The Syria Campaignの国連加盟国宛て請願文と署名も、よろしくお願いします。【追記ここまで】 ネットでは無根拠な憶測や事実に照らして正しくない誤情報がバズりすぎるということは今やただの常識、「ネットってそんなもんでしょ」と言って済ませればいいだけのことかもしれないが、それにしたって日本語圏はひどい、という事例に今朝接したので、そのことについて簡単に書いておくことにする。ついでに見つけた英語圏の事例についても。 111年前の1912年に氷山に衝突して大海の藻屑と消えた豪華客船タイタニック号の残骸を見物するために、海底3800メートルにまで行く潜水艇 （submersible*1, 略してsub*2） が音信不通になったことが伝えられたのは、6月18日（月）だった（北米東海岸の時間）。以降の数日間、BBC N
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
ナレッジベース共有ではなく､自分のためだけのクローズドなローカル環境で動作する点において差別化がされている｡何かを発信するのではなく自分自身のためにテキストをまとめるのです｡ このテキストも外出先で書いています｡ 金欠学生はもちろん格安を売りにしたプロバイダーと契約しているので3GB程度しか余裕がないはずです(私は月の半ばでなくなりました)｡しかしローカルで動作するので速度制限を恐れることなく使うことができるのです｡ Obsidianは単なるノートアプリではなくアイデアを書き溜め､思考をまとめ上げ､一つの思想を創り上げる､最強のセカンド･ブレインである｡ —私 メリット 日常的に使えばマークダウン記法に慣れて､サークルや研究室のesaの記事を書く心理的ハードルが下がる QiitaやZennなどの記事を公開するハードルも下がる 有名な使い方としてはドイツの社会学者が考案したツェッテルカステン
「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ
※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS
以下の文章は、コリイ・ドクトロウの「Capitalists Hate Capitalism」という記事を翻訳したものである。 Pluralistic 今週のポッドキャストでは、Locus Magazineに書いたコラム 「資本家は資本主義を嫌う」を読んだ: https://locusmag.com/2024/03/cory-doctorow-capitalists-hate-capitalism/ 「資本家は資本主義を嫌う」とはどういうことか？ それは、「利益」と 「レント」（rent: 一般的には地代や家賃、使用料を指すが、ここでは経済学の「超過利潤（企業が競争的市場で得られる以上に享受する利益）」を指す）の違いに尽きる。資本家は資本（お金、またはそれで買えるもの）を労働者の労働と組み合わせて、利益（資本家の取り分）と賃金（労働者の取り分）を生み出す。 一方、レントは、資本家が利益を生み
![資本家は資本主義を嫌う、そして「メタになれ」と言う | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/64b3e621b43c55ebf64a44f5dbad5936ac64f358/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fcapitalists-hate-capitalism.jpg)
長すぎたし読みづらかったので結論だけ先に書く。 （追記）それでも読みづらかったので改行を入れまくった。 結論 「国連平和賞」は賞ではない。普通に買えるし、コネがあると貰える。 「国連平和賞はマジで実績が必要」は完全な間違いであることが分かった。何故ならそのような賞がないので。 「国連平和賞が金で買えると思ってんの？」はジョークとして奇跡的な完成を見せている。United Nations Peace Medalはまさしく金で買えるものだった。インターン生も含めた国連職員には割引もあるよ！ 「池田大作は国連平和賞をもらえるほどの文化人だった」という主張には一考の余地がある。というのも、United Nations Peace Medalを「もらう」ことは一般人にとって極めて難しい。それを可能にする人脈と知名度、そして最低限与えても問題ないだけの外面が要求されるだろう（A級戦犯被疑者の岸信介と笹
チャット型ソフトウェアからAIアシスタント型ソフトウェアへの変化 OpenAIが発表したChatGPTの登場から、一年以上が経とうとしています。ChatGPT API公開後の初期段階では、人間とAI（特にここでは大規模言語モデル）との単純な対話を提供するソフトウェアが中心でした。しかし今では、OpenAI GPTs（以下GPTs）やMicrosoft Copilot（以下Copilot）を代表とする、AIによる外部データへのアクセスやAPI通信によって人間を支援する「AIアシスタント型」のソフトウェアが台頭してきています。 GPTsは、ユーザー自身が好みのAIアシスタントを制作できる仕組みです。ChatGPTは汎用的な仕組みのため、特定の業務を行わせようとすると、役割や前提を含んだ長々としたプロンプトを入力する必要がありました。その点でGPTsは、AIに対する指示だけでなく、AIが参照可能
大実験！ChatGPTは競プロの問題を解けるのか (2024年5月版) - E869120's Blog
1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の
Spring Boot 3の新機能を使ってみよう！ 2からアップグレードする手順、Observability機能、ネイティブイメージ化｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧Spring Boot 3の新機能を使ってみよう！ 2からアップグレードする手順、Observability機能、ネイティブイメージ化 Spring Boot 3の新機能を使ってみよう！ 2からアップグレードする手順、Observability機能、ネイティブイメージ化 Javaの開発フレームワークであるSpringの最新バージョンとして、Spring Boot 3が2022年11月にリリースされました。この記事ではSpring Boot 2で書かれたサンプルコードをSpring Boot 3にアップグレードしながら、考慮点や新機能を体感していただきます。ヴイエムウェア株式会社の星野真知さんによる解説です。 Javaのエコシステム、その中でも世界で一番の人気を誇るのが（JetBrains社の調査によると）Spring FrameworkおよびSpring B
[レベル: 中級] 個人サイトはたとえ実体験に基づいた記事を書いても、大手サイトが作成した実体験に基づかない記事に Google 検索で勝つことはできないのでしょうか？ 「大手サイトを Google は優遇している」という批判に Google はどのように反応したのでしょうか？ Google は独立系サイトを冷遇している 「How Google is killing independent sites like ours」（私たちのような独立系サイトをどのように Google は葬り去っているか）というタイトルで、Google を批判する記事を HouseFresh が投稿しました。 HouseFresh は、空気汚染物質への対策方法として、ハウツーガイドや製品レビュー、実用的アドバイスを実際の調査にもとづいて提供する独立系メディアです。 記事の概要は次のとおりです。 Google の検索
テクノロジー部門CTO室の笹田（ko1）と遠藤（mame）です。今年の 9 月から STORES 株式会社で Ruby (MRI: Matz Ruby Implementation、いわゆる ruby コマンド) の開発をしています（Rubyのこれからを STORES で作る。Rubyコミッター笹田さん、遠藤さんにCTOがきく「Fun」｜STORES People ）。お金をもらって Ruby を開発しているのでプロの Ruby コミッタです。 本日 12/25 に、恒例のクリスマスリリースとして、Ruby 3.3.0 がリリースされました（Ruby 3.3.0 リリース）。クックパッド開発者ブログで連載していたように、今年も STORES Product Blog にて Ruby 3.3 の NEWS.md ファイルの解説をします（ちなみに、STORES Advent Calendar
以下の文章は、コリイ・ドクトロウの「The specific process by which Google enshittified its search」という記事を翻訳したものである。 Pluralistic どんなデジタルビジネスでも、技術的には「メタクソ化」できる。つまり、ビジネスの根本的な機能をユーザごとにリアルタイムで変更できるため、ビジネス顧客、エンドユーザ、株主の間で価値を素早く移転できるのだ。 https://pluralistic.net/2023/02/19/twiddler/ このスレッドをエッセイ形式で読んだり共有したい方は、私の監視フリー、広告フリー、トラッキングフリーのブログ、pluralistic.netをチェックしてほしい（訳注：もともとのテキストはTwitter上のスレッドに書かれている）。 https://pluralistic.net/2024/0
![Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4daf0a0787400227544a080cbf566e75f4290bdf/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoogle-enshittifier.jpg)
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrieval) 2. 関連テキストをLLMのプロンプトに入れ込み、ユーザの入力文に回答する。 Retrieval時の課題 LangChainでの用意 Case1: それぞれの文章がRetrievalしにくい形で保存されている 対策案: ページ構造を意識した形で各文章を格納する 他の対策案 聞き方を明確にする 類似度を測るクエリ文章を置き換える 不要そうな文章をデータから削除する データ自体をLLMで整形し直す Case2: 未知の単語を含む 仮説: ニャオハ
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
Manningから出版予定の『AI-Powered Search』（AIを活用した情報検索の意）を冬休み中に読んでいたら、その中で意味的知識グラフ（Semantic Knowledge Graph）と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search（https://www.manning.com/books/ai-powered-search） 本記事の構成は以下のとおりです。 意味的知識グラフとは 意味的知識グラフを用いた関連語の計算 参考資料 意味的知識グラフとは 知識グラフと聞くと、固有表現認識や関係抽出、OpenIEを使って構築するグラフを思い浮かべる方もいると思うのですが、意味的知識
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
SQL/コマンドインジェクション、XSS等を横串で理解する - 「インジェクション」脆弱性への向き合い方 - Flatt Security Blog
こんにちは、@hamayanhamayan です。 本稿ではWebセキュリティに対する有用な文書として広く参照されているOWASP Top 10の1つ「インジェクション」について考えていきます。色々なインジェクションを例に挙げながら、どのようにインジェクションが起こるのかという発生原理から、どのようにインジェクションを捉え、より広くインジェクションの考え方を自身のプロダクト開発に適用していくかについて扱っていきます。 SQLインジェクションやコマンドインジェクション、XSSのようなインジェクションに関わる有名な手法について横断的に解説をしながら、インジェクションの概念を説明していきます。初めてインジェクションに触れる方にとっては、インジェクションの実例や基本的な考え方に触れることができ、その全体像を把握する助けになるかと思います。 また、既にいくつかのインジェクション手法を知っている方にと
Intro 2023 年の Web 技術を振り返る試験として、「Web 技術年末試験 2023」を実施した。 その問題と想定解答、平均点などを公開する。 Web 技術年末試験 この試験は、「去年の Web にはどんな変化があったか」「どんな新しい技術が出てきたか」などを、試験形式で振り返るコンテンツを作ってみたことに端を発している。 2022 年はこれを狭い範囲で実施したが、思った以上に評判が良かったため、 2023 は受験者を一般募集してみることにした。 試験形式であるため点数は出るが、目的は「今年はこんなことがあった」を振り返ることや、「こんなことがあったのは知らなかった」という取りこぼしに気づく機会になることである。 解答用紙/想定回答 [解答用紙]: Web 技術年末試験 2023 https://docs.google.com/document/d/1jdN0NsM-PAnYRl
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
2024年3月のGoogleコア アップデートが開始！影響や対策ってあるの？ Googleは2024年3月に コアアルゴリズムアップデート（March 2024 core update）の展開を開始しました。 今回のアップデートはいくつかのコアアルゴリズムに変更が加えられ、 大きな変動が起きることが予測されています。 前回の2023年11月のコア アップデートから、約4か月ぶりの実施となります。 Today we announced the March 2024 core update & new spam policies that, in combination, are designed to show less content made to attract clicks and more content that people find useful. Learn more: h
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう
ベクトルの準備 次にタイトル文章をベクトル化していきます。 OpenAIのアカウントを作成し、こちらからAPIキーを取得し、それを環境変数OPENAI_API_KEYに設定した後、次のコードを実行するだけで、入力文章のベクトルを取得できます。 import os import openai openai.api_key = os.environ["OPENAI_API_KEY"] client = openai.OpenAI() def get_embedding(text, model="text-embedding-ada-002"): text = text.replace("\n", " ") return client.embeddings.create(input=[text], model=model).data[0].embedding get_embedding("入力し
プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティ「ChatGPT Meetup」。3回目に登壇したのは、吉田真吾氏。HRテックのSaaS「CYDAS PEOPLE」における、ChatGPTを活用したチャット機能開発について発表しました。 HRテックのSaaS「CYDAS PEOPLE」のチャット機能にChatGPTを活用 吉田真吾氏：どうもみなさんこんばんは。今日私からは、本番リリースに向かってLLMアプリケーションを構築している話をしようかなと思います。 第0回（ChatGPT Meetup Tokyo #0）でもお話をしたのですが、私は現在、RAG（Retrieval-Augmented Generation）フローを使ったLLMアプリケーションを作っています。 サ
ChatGPTのセキュリティへの影響 | Cloud Security Alliance Japan
© Copyright 2023, Cloud Security Alliance.All rights reserved. 1 Acknowledgements Authors: Kurt Seifried Sean Heide Bogdan Filip Vishwa Manral Lars Ruddigkeit Walter Dula Eric E. Cohen Billy Toney Supro Ghose Marina Bregkou Additional Staff: Stephen Lumpe (Cover illustration, with assistance from Midjourney) This is a Release Candidate version and is subject to change. © 2023 Cloud Security Allian
「核抑止論者に問いたい。あなたは責任を負えるのか」 広島県知事あいさつ【全文】平和記念式典＜2023年＞ | 中国新聞デジタル
「核抑止論者に問いたい。あなたは責任を負えるのか」 広島県知事あいさつ【全文】平和記念式典＜2023年＞ 知事あいさつ（令和5年広島市平和記念式典） 本日、被爆78年を迎えるにあたり、原爆犠牲者の御霊(みたま)に、広島県民を代表して謹んで哀悼の誠(まこと)を捧げます。そして、今なお後遺症で苦しんでおられる被爆者や、御遺族の皆様に、心からお見舞いを申し上げます。 今、世界では、ロシアによる非道なウクライナ侵攻と核兵器による脅しが続き、北朝鮮は核及びミサイル開発を進め、一部の核保有国が核戦力の大幅な増強を図るなど、核兵器を巡る安全保障環境は厳しくなっています。日本においても、また世界においても、核戦力やその運用の強化を図るべしとの論が声高に叫ばれています。 そうした中、今年５月、ここ平和記念公園に、核兵器国３か国を含むＧ７首脳が集まり、資料館を訪問し、被爆者の声に耳を傾け、慰霊碑に献花して犠牲
「構造生物学なんもわからん」生物学者でもさわれるのが大事 AlphaFoldの吐く構造をわからんなりにぐりぐりしててわかってきたのは、生物学は完全に新しい章に入った。 thinkeroid.hateblo.jp いきなり大風呂敷広げるやんけ、と思うかもしれないが、こういう状況を私は密かに予見していたというわけではないけど、構造を予測し比較して検索する一連のラインが個人的に欲しい、と思っていた。それがAlphaFoldとその後にでたツールで実現したということだと考えている。 なぜそんなことを考えていたのか？ それは最近、2020年頃までに立て続けに、「配列的な類似性は低い（有意な類似性が見い出せない）が、構造はどう考えても似ている（そして機能的にも非常に似ている）」という研究発表が近い分野で続出したからである。 例えば典型的な例としては2017年にScience誌に掲載された研究だ。 Hol
こんにちは、LayerX CTOの@y_matsuwitterです。最近はパン作りにハマっています。無心に小麦と酵母の声を聞くことで精神の安寧を求めています。 この記事は LayerXテックアドカレ2023 19日目の記事です。前回は @shota_tech が「Go の linter 雰囲気で使っていたから調べ直した #LayerXテックアドカレ」を書いてくれました。次回はEMオフィスの@serimaより「Engineering Officeの話」がポストされる予定なのでご期待ください。 ISUCON13 昨日開催のISUCONに参加してきました。とても楽しい問題ですし、これだけの人数での開催を支えている運営の皆さんには頭が上がりません。個人でもLayerXとしてもスポンサーさせていただきました。ありがとうございます！ 10年近く一緒に出場している.datというチームで、私はプロンプトを
はじめに こんにちは、検索基盤部の広渡です。検索基盤部では、検索クエリのサジェスト（以下、サジェスト）の改善を行なっています。ここでサジェストは一般的に「Query Auto Completion」と呼ばれる、検索クエリを入力した際に入力の続きを補完したキーワードを提示する機能を指します。 ZOZOTOWNにおいては検索クエリを入力したとき、最大10件の検索クエリのサジェスト（以下、サジェストリスト）が表示されます（なお、ランキングを考慮しない場合はサジェスト集合と呼ぶこととします）。また、サジェストリストのランキングはユーザーの行動ログを用いて計算されたスコアによって決定されます。サジェストの具体的な説明や過去の改善事例は以下の記事を参照してください。 techblog.zozo.com techblog.zozo.com サジェストリストをチーム内で定性評価したところ、類似したサジェス
今年も開催されたMicrosoft Build 2024のキーノートを日本語でまとめをお届けします！今年は吉田が製品チームとして「Ask the Expert」ブース対応を現地で3日連続アサインされた上、夜は無謀にも48時間以内にPower Platform の発表について2時間にわたってお届けするイベントを開催した関係上、まとめが遅くなってしまいました。 Build 2024 のPower Automateブース その分、Satya Nadellaが登壇で利用したスライドを丸ごと日本語化し、より丁重なまとめ？（もはやフル原稿…）を作ることができました。このページの一番下にはスライド完全意訳版をダウンロードできるようにしてありますので、ぜひ読んでくださいね。 それでは以下、キーノートの情報をお伝えします！ 開発者会議は常に最もエキサイティングで、最も楽しい瞬間です。私は成人してからの人生を
Vertex AIとBigQueryでつくる、簡単ベクトル検索&テキスト分析システム | DevelopersIO
Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー
背景 結論 手法の検討 実験 実験概要 実験1 : 単純なPromptを投げる 実験2 : Promptを工夫してみる 実験3 : 間違った分類を回避するには？ まとめ 参考文献 補足 DROBEで機械学習エンジニアをしております、藤崎です。 背景 商品のトップ画像はユーザーへの最初のタッチポイントとして機能し、購入を促進します。そのため、適切なトップ画像の選定は重要です。しかしながら、この選定は現在、手動に依存しており、複数の商品画像から最も効果的なものを選ぶ作業は、多大な時間と労力を消費しています。 商品の品揃えが拡大する中で、この作業のコストは切実な課題となっています。そこで、機械学習技術を用いてトップ画像の選別を自動化するアプローチを検討しています。これにより、商品登録時間の削減や業務の効率向上が期待されます。 本記事では、商品のトップ画像の自動選別に焦点を当て、画像分類手法を調査
今年も始まりました、Microsoft Ignite 2023！本日発表された、CEOのSatya Nadella氏のキーノートを日本語でまとめました。ChatGPTが発表されてから1年が経過しました。 進化のペースは凄まじいものです。我々は新しい時代に入ろうとしています。ただの新しい技術に留まりません。 このAIの時代によって、製品を作ったり、安全性を考えたりと、実課題を解決しています。 Airbnb、Shopifyや、BTや電通などもMicrosoft Copilotを展開しています。そして、組織は独自のCopilotを作成しています。 そして、Copilotは非常に生産性を向上させています。より少ない時間で情報を集めたり、ミーティングを行ったりすることができます。 Copilot はタスクを素早くこなすことが可能になり、新しいUI（ユーザーインターフェース）として、世界のナレッジだけ
生成AI と Wikipedia記事 で 子供向けお仕事提案bot を作ってみよう(Azure OpenAI + RAG) - ENGINEERING BLOG ドコモ開発者ブログ
NTT コノキューに出向中の澤山です。 今年の7月にドコモから、コノキューにやってきました。 この記事は、NTTドコモ アドベントカレンダー2023 21日目の記事です。 この記事では、Wikipedia記事 と Azure OpenAI API、既存のモデルの3つを用い、RAG(Retrieval-Augmented Generation)のためのデータ作成と、RAGを活用した子ども向けお仕事提案botを作ります。 (記事の情報は2023/11月のものです。) 生成AI / ChatGPT の大流行 子供のための、生成AI活用方法、ってある？ 子供向けお仕事提案チャットボットを作ってみる 全体像 ステップ1 Wikipedia + Azure OpenAI service でお仕事情報をまとめよう Wikipedia 記事からのお仕事情報・概要の抽出 お仕事情報・概要に基づく、情報の整理
過去に起こった個人情報流出で、自分のメールアドレスやユーザー名から自分の個人情報が流出しているかどうかをチェックできるサイト「Have I Been Pwned?」が2023年で設立10周年を迎えたと、設立者のトロイ・ハント氏が明らかにしました。 Troy Hunt: A Decade of Have I Been Pwned https://www.troyhunt.com/a-decade-of-have-i-been-pwned/ 「Have I Been Pwned?」設立直後の2012年12月4日に投稿されたツイートが以下。 It's alive! "Have I been pwned?" by @troyhunt is now up and running. Search for your account across multiple breaches http://t.co
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ
Ubuntu 22.04 LTS サーバ構築手順書
ローグライクしかやったことがない人間が「Rogue」やってみた。見ろよこの冗談とすら思える，いとしき理不尽さを
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
Obsidianが大学生活を変える! 学生必見の活用術 - Qiita
資本家は資本主義を嫌う、そして「メタになれ」と言う | p2ptk[.]org
池田大作が授与された国連平和賞は特に実態のない賞だった
人間中心設計からAI中心設計へ ～AIエージェントによって変わるソフトウェアのパラダイム | gihyo.jp
Googleは大手サイトを検索で優遇している、個人サイトに勝ち目はない!?
プロと読み解くRuby 3.3 NEWS - STORES Product Blog
Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
外部データをRetrievalしてLLM活用する上での課題と対策案 - ABEJA Tech Blog
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
意味的知識グラフとApache Solrを使った関連語検索の実装 - Ahogrammer
Web 技術年末試験 2023 講評 #web_exam2023 | blog.jxck.io
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
2024年3月にGoogleコア アップデートが開始！個人ブロガーへの影響はあるのか。
RAGでの回答精度向上のためのテクニック集（応用編-B）
「“クールな”LLMアプリは簡単に作れるが、リリースレベルは難しい」 Azure OpenAIとCognitive Searchを使ったチャット機能開発
タンパク質構造予測・検索は生物学史に新たな章を開いた、かつてのBLASTのように - 殺シ屋鬼司令II
ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ
検索サジェストにおける多様性評価指標とゴール指標の相関について - ZOZO TECH BLOG
Microsoft Build 2024 キーノート完全日本語化まとめ・意訳 - 吉田の備忘録
Vision-Language Modelsを使った商品のトップ画像選定 - DROBEプロダクト開発ブログ
Microsoft Ignite 2023 キーノート日本語まとめ - 吉田の備忘録
個人情報が流出したかどうかをチェックできる「Have I Been Pwned?」が設立10周年を迎える