データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ―」を提供しています。 さて、サービスを成長させる上で、ユーザーの行動を理解することが不可欠です。ユーザーが何を求め、どのようにサービスを利用しているのかを知ることで、サービスの満足度を向上させるための改善策が見えてきます。 しかし、大規模なウェブサイトの場合、分析すべき検索クエリが膨大になっているという課題がありました。 今回は、ML.GENERATE_TEXTを用いてプロンプトベースのデータパイプラインを作り、ユーザーの検索意図分析を行ってみた事例を紹介します
Metaの大規模言語モデル「LLaMA」のトレーニングにも使用されたAIの学習用データセット「Books3」が削除される
デンマークの著作権侵害対策グループ「Rights Alliance」が、約20万冊にも上る書籍のデータセット「Books3」を削除するよう、ホストする「The Eye」に対して要請し、データセットの削除が行われました。Books3はMetaの開発する大規模言語モデル「LLaMA」のトレーニングにも使用されたデータセットです。 Anti-Piracy Group Takes Prominent AI Training Dataset ''Books3' Offline * TorrentFreak https://torrentfreak.com/anti-piracy-group-takes-prominent-ai-training-dataset-books3-offline-230816/ Revealed: The Authors Whose Pirated Books Are P
負荷テスト on AWS のすすめ ~ 第 1 回 : 負荷テストの全体像を理解しよう - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
みなさん、こんにちは。ソリューションアーキテクトの馬渕です。AWS 入社前は SIer で性能試験・性能問題解決に特化した部署におり、さまざまな業種のお客様のシステムに対する支援を実施していました。 さて、みなさんは AWS ソリューションライブラリ をご存知でしょうか。AWS ソリューションライブラリは、世界中のユーザーが直面する一般的な問題の解決策を提供するものとなっています。AWS CloudFormation のテンプレートと導入手順が用意されているため、すぐにデプロイしてお客様の課題に対応できます。また、アーキテクチャ図やその説明、コスト試算なども用意されています。 私がご紹介したいのが、その中でも人気のソリューションの一つである 分散負荷テスト ソリューションです。このソリューションは、負荷テストに必要な負荷クライアントを必要なタイミングで必要量だけ立ち上げて負荷掛けを実行し、
写真1枚から、動かせる着衣3D人体モデルを高精度に生成する技術「TeCH」 DreamBoothなどで「見えない裏側領域」をリアルに復元
TOPコラム海外最新IT事情写真1枚から、動かせる着衣3D人体モデルを高精度に生成する技術「TeCH」 DreamBoothなどで「見えない裏側領域」をリアルに復元【研究紹介】 写真1枚から、動かせる着衣3D人体モデルを高精度に生成する技術「TeCH」 DreamBoothなどで「見えない裏側領域」をリアルに復元【研究紹介】 2023年8月21日 中国の浙江大学やドイツのMax Planck Institute for Intelligent Systemsなどに所属する研究者らが発表した論文「TeCH: Text-guided Reconstruction of Lifelike Clothed Humans」は、全身が写る1枚の写真から高精度の3D着衣人体モデルを生成する手法を提案した研究報告である。背中や後頭部などの見えない領域も一貫したテクスチャとジオメトリを持つ、忠実度の高い仕上
アルゴリズム分析で「売れる本」量産、83億円調達のAI出版社日本上陸へ | Forbes JAPAN 公式サイト（フォーブス ジャパン）
Inkitt（インキット）はアマチュア作家が小説を投稿、公開できる無料プラットフォームを提供するスタートアップだ。同社はInkittに掲載された小説の「読者による読まれ方」をアルゴリズム分析し、「ヒットセラーになりそうな」小説を選択、別に運営する有料アプリ「Galatea（ガラテア）」で正式に公開するというシステムに乗せて刊行物を次々に世に問うている。また、ストーリー展開のABテストをして読者の反応をみる、といったAI編集機能も実装している。 「ハリー・ポッター」の刊行、出版社13社が断った つまりInkittは、読まれる小説の卵のデータを「読者から」収集、データ解析、選別したのち、有償で販売する、という、古い出版業界の度肝を抜くような新規のビジネスモデルで大成功している出版社なのだ。 同社のコミュニティにはこれまでに少なくとも、700万人の読者と30万人の作家が参加している。また、コロナ
OSはどうやってP-coreとE-coreを使い分けているのか - Blog posts by @retrage
Alder Lake以降のIntel CPUでは、P-coreとE-coreの2種類のコアが搭載されている。 P-coreは性能重視、E-coreは省電力重視という位置づけで、OSがうまくこれらのコアを使い分けることで、消費電力と性能の両立が図られている。 ここまでの話は広く知られているが、実際にどのようにしてOSに対してコアの使い分けをさせているのかの実装レベルでの解説は (少なくとも日本語では) ほぼ存在しないようなので調べてみた。 OSから見たP-coreとE-core OSの役割の一つとしてプロセススケジューリングがあり、どのプロセスをいつどれぐらいの期間どのCPUコアで実行するかを決める。OSができるだけ効率よくプロセスをスケジューリングするためには、CPUコアの性能や消費電力の違いを考慮したスケジューリングが必要になる。そこで、Intel CPUではOSに対して次の2つの情報を
数学の入門書を選ぶ3つのコツ - webエンジニアの日常
微分方程式をしっかりと学んだことが無く、何か手ごろな入門書はないかと本屋さんに出向いたあなたは、きっと驚くはずだ。 微分方程式の入門書はとても多いからだ。さらに、ぱらぱらとめくってみたり、目次を見てみても、中身はほとんど同じだったりする。 これは例え話ではなく、本当に驚くほど同じような書籍が連立している。 線形代数ともなると、さらに多い。 そこで、この記事では、似たような専門書・入門書の中からあなたが欲しいと思う一冊を見つけ出すための３つのコツを紹介する。 これは勉強マニアの私が常に実践しているコツで、この方法を使い始めてからほとんど本の購入に失敗したことが無い。（多くの失敗を重ねてできたノウハウだともいえる） もちろん、数学でなくても物理学の専門書・入門書を選ぶときでも使える。 【目次】 「はじめに」に注目 あなたが得たい知識は「練習問題」にある 最初の1割を理解できるか 最後に 「はじ
オープンソースの定義にこだわるのはもう無意味なのか？ - YAMDAS現更新履歴
[2023年8月22日追記]：松尾研究室の投稿にあるように、問題のプレスリリースは修正がなされ、「オープンソース」の記述は削除されている。 weblab.t.u-tokyo.ac.jp 東京大学松尾研究室が大規模言語モデル（LLM）を公開というニュースが先週話題となったが、「商用利用不可のオープンソース」という記述に「商業利用できない」のであれば、オープンソースではないという突っ込みがすかさずあがり、佐渡秀治さんも「座視することが難しい」と意見表明している。 ワタシもこれらの意見に賛成である（事実そうした声を受けて、ITmedia などは記事の記述を改めている）。ただ、この話題にすっぽり重なる文章を少し前に見て、居心地が悪い思いをしていたので、それを紹介しておきたい。 www.infoworld.com 「オープンソースのライセンス戦争は終わった」というタイトルだが、どういう文章なのか？
ブラウザから無料で簡単に証明書を発行できる ZeroSSL | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 最近ブラウザから簡単に証明書を発行できる ZeroSSL というサービスで証明書を発行したことがあったのでまとめてみます。 ZeroSSL （8月21日追記） ACME 経由であれば無制限に無料で証明書を発行できる旨を追記しました ZeroSSL 無料で SSL/TLS 証明書を発行できるサービスと言うと Let's Encrypt を利用されている方が多いと思います。2023年8月時点で Let's Encrypt が発行している有効な証明書は2億8000万を超えています1。Let’s Encrypt は素晴らしいサービスですが、単一障害点になっていることに警鐘を鳴らしているセキュリティ研究者もいます2。別の選択肢として ZeroSSL を紹介しています。 Let's Encrypt では certbot の様なコマンドを使用して S
グラフアルゴリズム実践活用術
情報オリンピック夏季セミナー 2023: https://jcioi-summer-seminar-2023.peatix.com/ での講演スライドです。 講義概要: アルゴリズムを勉強していると，グラフアルゴリズムにたくさん出会います．しかし，グラフアルゴリズムが現実世界でどのように活躍しているのかについては目に触れる機会はあまりありません．本講演では，実社会で登場するグラフデータについての問題と，どのようなグラフアルゴリズムがそれらの問題を解決しているかについてご紹介します． ノイズ除去のソースコード: https://colab.research.google.com/drive/1Mdr3KGrwuX9jAWHk5pVGH2HaUmLmR-jB?usp=sharing 背景除去のソースコード: https://colab.research.google.com/drive/1vm
世界に存在しない「架空の料理」をAIに画像生成してもらった - メシ通 | ホットペッパーグルメ
画像生成AIに試しに「ピクニック風景」を描いてもらったところ…… どうですかこの理想的なピクニック風景。実はこれ、画像生成AIに描いてもらったんですよ。 AIとは「Artificial Intelligence」、すなわち人工知能のこと。 人間の知能をコンピュータによって再現しようとする試みです。 そしてコンピュータが学習したデータをもとにしてさまざまなコンテンツを生成する技術。それが生成AI。Generative AI。 メールやアイデア出しなど、デスクワークの軽作業を自分の代わりにやってもらうこともできますが、自分にはできないこともやってもらえるのがGenerative AIの醍醐味（だいごみ）です。 たとえばフォトリアルなピクニック風景の絵を描くこととかね。 AIにはいい意味で常識がないので人間のように無意識に発想を制限したりしないし、昔のコンピュータみたいに「ソレハデキマセン（be
Obsidianを使って生産性を高める - Qiita
目次 1.はじめに 2.Obsidianとは 3.Obsidianのインストール 4.プラグインの導入 5.おすすめのプラグイン 6.Obsidian参考サイト 7.おわりに 1. はじめに 生産性を高めるツールは色々存在します。 タスク管理を例に挙げると、私はタスク管理にはカンバンツールが好きで、オフラインで使えるWekanやFocalBoardというツールを使ってきました。 しかし、タスク管理は〇〇、エディタは△△、作業記録は××といったように複数のツールを使うのは非常に面倒です。 機会があってマークダウンエディタであるObsidianを活用する方法を調べてみたところ、このツール1つで様々なツールの代替ができて非常に有用だと感じたので、Obsidianの導入方法とタスク管理機能を含めた個人的におすすめなプラグインを紹介し、Obsidianの活用方法を紹介していこうと思います。 まだまだ
strong, b, em, i, u, …、違いがわからんHTML要素の仕様を調べて「新しい見た目」を考えてみたら理解が深まった
「strongもbも太字になるのにどう違うんだ…？」 「emもiもイタリック体になるけど、そもそもイタリック体ってなんなんだよ…？」 「strongの重要と、emの強調って何が違うんだ…？」 などなど、使い方がよくわからなくなりがちな HTML 要素（主にテキストレベルセマンティックスに分類される要素）の違いを調べてみました。 長めの記事になっていますので、気になる要素だけつまみ食いしてもらうのもよいかと思います。 今回の調査対象はこちら span strong b em i dfn cite var mark u ins del s strike big small ブラウザのデフォルトの見た目確認用 CodePen 調査する内容 HTML Standard の仕様に書かれている説明 一部、HTML 4.01 から HTML 5 での変更が理解の助けになるものもあり、HTML 4.01
初めてDDDを使ってみて悩んだところ
研修でDDDを使ったサービスを作ってみることになったが、DDDを使うのが初めてなので同じような状況の人向けに悩んだところをメモしておこうと思う。 DDDとは DDD（Domain-Driven Design）とはドメイン駆動設計と呼ばれる設計方法の一種で、複雑なビジネスの要件をソフトウェアで上手く扱うためのアプローチとなっている。（DDDの詳しい説明などは以下を参照） DDDはドメイン（業界領域）の複雑さにフォーカスを当て、ドメインに精通しているドメインエキスパートと呼ぶ人の協力を得てシステム開発を行ってい行く。また、DDDではクリーンアーキテクチャ、ヘキサゴナルアーキテクチャなどのアーキテクチャと共に用いられることが多い。（今回作っているサービスではクリーンアーキテクチャを採用しているつもりだが、他のアーキテクチャとの違いが正直良く分かっていない） サービスの概要 ざっくりと説明すると、
Cloudflare Bot対策の全貌と回避方法 (参考コード Python)｜神瀬 来未｜note
まず、Cloudflareでよく見るBot対策が以下のスクリーンショットのようなクライアント側検出と呼ばれる対策方法になります。 クライアント側検出技術この方法では最初にアクセスされた時にCookiesにチャレンジを突破したことが証明される値(cf_clearance)が無い時に403ステータスコードとともにJavaScriptを実行させてその結果をPOSTさせてCloudflareサーバーでその値が正しいものかを検証して正しければサイト管理者が設定した期間有効なcf_clearanceというクッキーを返します。 これを認識することで再度チャレンジを表示させずに一定のサイト閲覧者のストレスを軽減します。 上記のクライアント側検出に大してサーバー側でリクエストを解析してBotである値(User-Agent等)を検出してブロック、もしくはクライアントサイド検出に回すことをします。 こちらの検出
ChromeDriver でよく使うオプションのチートシート - Qiita
はじめに 毎回、気になったときに調べているような気がするのでまとめる。 ついでにnavigator.webdriverの対策もできる。 メモのつもりで書いているので深くは考えていない 2023.11.20 ファイルのダウンロードに関するオプションを追加、細かな修正 2023.11.15 ヘッドレスモードで起動したとき、コンソールにエラーログが出ないように修正 2023.11.14 selenium 4 にオプションの内容を一新 2023.11.14 selenium 3 のオプションを折りたたみ表示へ 2022.06.03 コピペできるコードブロックに追記、並び替え 2022.04.28 投稿 selenium 4 環境 アイテム バージョン
Seleniumで偽装が無駄な理由 - Qiita
簡単に判明します 規約違反を犯してSeleniumでアクセスしている皆さん。 バレてますよ!!!!! UA偽装だとかIP偽装だとかがありますが、JavaScriptをもってすれば簡単に検出することができます。
近況報告：無職になりました - IT戦記
みなさんお元気ですか？僕は少しだけ元気ではありません。じんわりとした夏の暑さを感じながらブログを書いています。 実は、数ヶ月前にスマートニュースという会社を退職しました。 しばらく無職 しばらくは就職せずに無職でいようかなと思っています。 すぐに再就職した方がいいんだろうな〜。とは思うのですが少し疲れたかも。 いい時代になったものだ 最近は AI の進化も素晴らしく、昔ソフトウェアで出来なかったことがどんどんできるようになってるなって感じます。 Rust とか、ちょうど欲しかった感じのプログラミング言語もあるし、 ChatGPT は完璧ではないけど何か新しいことを始めるときに素晴らしい洞察を与えてくれる。 時代は確実に良くなってる。そんな時代に「自分は働いていないくていいのか」と少し不安になるけれど、自由気ままにコードを書く、そんな時間が今あってのもいいのかなって思ってます。 オフトピック
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
imgタグの変化 - 気づいたら時代遅れなHTMLを書いてた - Qiita
人が乗って操作できる4m級ロボット「アーカックス」、ついにお披露目。4億円で国内先行販売
【全体公開】AIイラストが理解る！StableDiffusion超入門｜スタジオ真榊【AIイラスト術解説】｜pixivFANBOX
AIが「理解」するから、API仕様書のコピペでアプリができあがるローコード開発環境「Flowise」を試す【イニシャルB】