OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
iCAST 2020 Invited Talk: Fairness in AI Service and Awareness for Computational Social Science
チームに新しく飛び込んだスクラムマスターが最初にやること - Money Forward Developers Blog
こんにちは、クラウド会計の開発チームでスクラムマスターをしているasatoです。 新しいチームにジョインするのって、ドキドキしますよね。新しい環境、新しい人々、そして新しい課題。それぞれのチームが直面している問題は異なりますが、スクラムマスターとして私たちが共有する目標は一つです。それは、チームの有効性を最大化し、素晴らしいプロダクトを生み出すこと。 私は今年の1月にマネーフォワードにジョインし、今のチームでスクラムマスターとして働くことになりました。事前に聞いていたチームの情報は以下の通りです。 プロダクトマネージャー、UI/UXデザイナー、複数のバックエンド/フロントエンド/QAエンジニアから成る 従来のプロジェクトの進め方に課題感があり、4ヶ月前からスクラムを実践中 ここで一つの質問です。もし、あなたがスクラムマスターとして新しいチームにジョインしたとしたら、最初に何をしますか？この
Speedometer 3.0: The Best Way Yet to Measure Browser Performance
As announced on browserbench.org today, in collaboration with other browser engine developers, Apple’s WebKit team is excited to introduce Speedometer 3.0, a major update that better reflects the Web of today. It’s built together by the developers of all major browser engines: Blink, Gecko, and WebKit with hundreds of contributions from companies like Apple, Google, Intel, Microsoft, and Mozilla.
はじめに こんにちは、データシステム部推薦基盤ブロックの寺崎（@f6wbl6）と佐藤（@rayuron）です。 私たちは2024年10月14〜18日にイタリアのバーリにて開催されたRecSys 2024(18th ACM Conference on Recommender Systems)に現地参加しました。本記事では現地でのワークショップやセッションの様子をお伝えすると共に、気になったトピックをいくつか取り上げてご紹介します。 RecSysとは RecSysとは米国計算機学会（ACM）が主催する推薦システムに関する国際的なカンファレンスです。今回で18回目の開催となるRecSys 2024は2024年10月14〜18日にイタリアのバーリで開催されました。 recsys.acm.org RecSysでは推薦システムに関わる各国の大学の研究チームや、Google、Amazon、Netflix
米司法省は3月21日（現地時間）、16の州とコロンビア特別区とともに、米Appleをスマートフォン市場の独占または独占未遂を理由に独占禁止法違反で提訴したと発表した。 ニュージャージー州連邦地裁への88ページにわたる訴状で、顧客をiPhoneに依存させ、競合する端末に乗り換える可能性を低くすることを目的とした行為でAppleが独禁法に違反していると主張した。 司法省は、Appleが競争を防ぐ手段として、開発者に契約上の制限を選択的に課し、iPhoneへの重要なアクセス方法を阻止しているとしている。「Apple 独占力を行使して、消費者、開発者、コンテンツ作成者、アーティスト、出版社、中小企業、販売者などからより多くの金を搾り取っている」。 司法省は、Appleの反競争的な行動として以下を挙げた。 革新的なスーパーアプリのブロック：競合するスマートフォンプラットフォーム間を簡単に切り替えるこ
UbisoftがX（旧Twitter）上の広告を一時取り下げ。イーロン・マスク氏の“陰謀論支持発言”が波紋を広げるなか、Appleやディズニーなどに続き - AUTOMATON
Ubisoftは、X（旧Twitter）上での『アサシン クリード ネクサスVR』の広告を一時取りやめることを決定したという。イーロン・マスク氏の発言を発端とする騒動も関係していると見られる。海外メディアAxiosなどが報じている。 Ubisoftは11月17日に『アサシン クリード ネクサスVR』をMeta Quest向けにリリースした。本作は同じくUbisoftが手がける『アサシンクリード』シリーズのスピンオフ作品だ。プレイヤーは3つの異なる時代をそれぞれ3人のアサシンとなってアブスターゴ社の野望を阻止する。またプレイヤーは一人称視点でアサシンとして探索、戦闘をおこなうことができる。 UbisoftはX上に本作の広告を掲載していた。Xにはヘッドマウントディスプレイを着用し『アサシン クリード ネクサスVR』をプレイする人物を収めた動画が投稿されていた。投稿のインプレッションによると、1
米国では、曲がラジオで流されてもパフォーマーにはラジオ使用料は入りません。ソングライターには入ります。つまり、ヒット曲が何度も流れても、曲を書いていない場合、そのミュージシャンにはラジオ使用料は何も入りません。「そんなのおかしい」とデヴィッド・バーン（David Byrne）は論説を米USAトゥデイ紙に寄稿しています。 「曲がラジオで流されることでミュージシャンが報酬を得られるようにする“アメリカン・ミュージック・フェアネス法（American Music Fairness Act）”のロビー活動のためにワシントンD.C.に行ったことを友人に話すと、彼らは一様にショックの表情を浮かべる。 “えっ、ラジオで流されてもお金をもらえないの？”“パフォーマーとしては何ももらってない”“誰かお金をもらっている人はいるの？”“ソングライターや音楽出版社（はもらっている）。でも、あなたが聴いているアーテ
近年発展を遂げているAI分野では、OpenAIの大規模言語モデル「GPT」がクローズドで開発されている一方、MetaのLLaMAやGoogleのGemmaなどの大規模言語モデルはオープンでの開発が進められています。しかし、「オープンソースで開発を進めている」と称する言語モデルであっても、どの程度オープンなのかは不透明です。そこで、ラドバウド大学の研究チームは、「オープンソース」を称する言語モデルのオープン度合いについて調査結果を報告しています。 Rethinking open source generative AI: open-washing and the EU AI Act | Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency https://dl.acm.org/
Notes from my reading in quest to answer questions like: How do I choose the right embedding model for a task? Will the same embedding model work for all my tasks? How can I evaluate an embedding model for a given task? How do I detect bias in embedding model? Is the model with higher number of dimensions always the best choice? What are Embeddings?Imagine trying to explain the taste of an apple t
イマネ・ケリフに関しIBAとIOCが声明：XY染色体を持つ性分化疾患=DSD？と女子ボクシングの公平性 - 事実を整える
競技の公平性・安全性の問題 ランキング参加中社会 アンジェラ・カリーニvsイマネ・ケリフ イタリアのメロー二首相「男性の遺伝的特徴を持つ」 国際ボクシング連盟＝IBAと国際オリンピック委員会＝IOCが声明 トランスジェンダー問題ではない：XY染色体を持つ性分化疾患=DSD？ IOCのルール上は適正：統括団体に任せていたがIBA排除で基準が不明 男性思春期のアドバンテージを得た者と女子ボクシング競技の公平性 まとめ：性分化疾患は日本では戸籍法113条による戸籍訂正が可能な例も アンジェラ・カリーニvsイマネ・ケリフ Female Italian boxer Angela Carini (blue) had to withdraw from the box match against Algeria‘s biological male Imane Khelif (red) at Olympic
「X(旧Twitter)が反ユダヤ的投稿にAppleなど有名企業の広告を表示している」と主張したメディアをXが提訴、ヤッカリーノCEOが主張を否定するも速攻で証拠が提示される
X(旧Twitter)は非営利団体のMedia Mattersによって「反ユダヤ的投稿の閲覧ページに有名企業の広告を表示している」と指摘されており、指摘を受けてIBMやAppleといった有名企業がXへの広告出稿を停止したことが報じられています。そんな中、Xが名誉毀損(きそん)や業務妨害を理由にMedia Mattersを提訴したことが明らかになりました。 Elon Musk Sues Media Matters for Misrepresenting How Much Antisemitic Content's on X https://www.thewrap.com/elon-musk-sues-media-matters-x-twitter/ Media Mattersは2023年11月16日に「Xが反ユダヤ的な投稿の近くに大企業の広告を表示している」と主張する記事を公開しました。 イ
日本人の道徳的価値観と分断の萌芽
＜大規模世論調査「スマートニュース・メディア価値観全国調査」が明らかにした日本の「分断」。連載第4弾では、日本人の道徳的な傾向は分断に結びついているのか、東京工業大学環境・社会理工学院准教授・笹原和俊氏が解説する＞ ■本連載の記事一覧はこちら 米国における分断を体感したのは、フェイクニュースが吹き荒れる中、トランプ大統領が誕生した2016年だった。その年、米国で研究をしていた私が目にしたのは、異なる政治的意見を持つ人々が敵意をむき出しにして対立する様だった。 社会心理学者のジョナサン・ハイトは「道徳的価値観」という観点から、このような分断に対する1つの説明を与えた。日本でも分断が深刻化していると報じられているが、その背景に米国と同様の理由があるのか、あるいは日本特有の道徳的価値観が異なる複雑性を生んでいるのかはまだ明らかになってはいない。そこで本稿では、「スマートニュース・メディア価値観全
Red Hatでソリューションアーキテクトをしている田中司恩(@tnk4on)です。 Podman v5.1.0がリリースされました！ github.com リリースノートの先頭にあるRosettaのサポートは私がPull Requestを書いて機能を実装したものです。 github.com 本記事ではこの「PodmanのRosettaのサポート」について紹介します。 （※本文の初出は執筆中のPodman Advanced Pod-02からの先出しで、そこから内容を抜粋したものとなります。） （2024年6月28日、追記）Podman Desktop v1.11でGUIからRosettaの設定ができるようになりました。 -目次- Rosettaとは Podmanにおけるエミュレーションの利用 PodmanにおけるRosettaサポートの概要 実行方法 動作確認 Rosettaの無効化 Ro
Machines of Loving Grace1 How AI Could Transform the World for the Better October 2024 I think and talk a lot about the risks of powerful AI. The company I’m the CEO of, Anthropic, does a lot of research on how to reduce these risks. Because of this, people sometimes draw the conclusion that I’m a pessimist or “doomer” who thinks AI will be mostly bad or dangerous. I don’t think that at all. In fa
というNBER論文が上がっている（ungated版）。原題は「Anti-social norms」で、著者はLeopoldo Fergusson（ロス・アンデス大）、José-Alberto Guerra（同）、James A. Robinson（シカゴ大）。 以下はその要旨。 Since formal rules can only partially reduce opportunistic behavior, third-party sanctioning to promote fairness is critical to achieving desirable social outcomes. Social norms may underpin such behavior, but they can also undermine it. We study one such norm
What We’ve Learned From A Year of Building with LLMs – Applied LLMs
A practical guide to building successful LLM products, covering the tactical, operational, and strategic. Also published on O’Reilly Media in three parts: Tactical, Operational, Strategic (podcast). Also translated to Japanese (by Kazuya Kanno) It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. And they’
Node.js Community Debate Intensifies Over Enabling Corepack by Default and Potentially Unbundling npm - Socket
Security News Node.js Community Debate Intensifies Over Enabling Corepack by Default and Potentially Unbundling npm The Node community is wrestling with the decision to enable Corepack by default, which has sparked a debate about the potential of removing npm from the Node.js binary. A heated debate is happening in the Node.js community over a proposal to enable Corepack by default that was opened
XY Athletes in Women’s Olympic Boxing: The Paris 2024 Controversy Explained
When we are told that 46, XY males with DSD who identify as female are simply “women with hyperandrogenism,” or “women with high T,” we aren’t fooled. Who are the boxers at the heart of the current storm? Imane Khelif is a 25-year-old welterweight from Algeria. Lin Yu-ting is a 28-year-old featherweight from Taiwan. Both have medalled at previous world championships in the female category, and bot
Intended Uses Primary use cases The model is intended for broad commercial and research use in English. The model provides uses for general purpose AI systems and applications with visual and text input capabilities which require memory/compute constrained environments; latency bound scenarios; general image understanding; OCR; chart and table understanding. Our model is designed to accelerate res
Security Best Practices for GenAI Applications (OpenAI) in Azure
Introduction GenAI applications are those that use large language models (LLMs) to generate natural language texts or perform natural language understanding tasks. LLMs are powerful tools that can enable various scenarios such as content creation, summarization, translation, question answering, and conversational agents. However, LLMs also pose significant security challenges that need to be addre
NeurIPS 2023 Tutorial: Reconsidering Overfitting in the Age of Overparameterized Models
NeurIPS 2023 Tutorial: Reconsidering Overfitting in the Age of Overparameterized Models ` Large, overparameterized models such as neural networks are now the workhorses of modern machine learning. These models are often trained to near-zero error on noisy datasets and simultaneously generalize well to unseen data, in contrast to the textbook intuition regarding the perils of overfitting. At the sa
6 On the Origin of Emacs in 1976 ¶ (Date: 23 Jul 2024) Summary: EMACS was developed at the MIT AI Lab in 1976. The specifics of the origin have been documented by different people in various places. There is an interesting thread which was discussed on the blog of the late Dan Weinreb, and preserved by archive.org. Ultimately, Guy Steele pulled up his records (in the form of printed emails). The b
RIETI - How Much of Merit is Due to Luck? Evidence on the butterfly effect of luck
進歩的な社会は、差別をなくし、機会均等と実力主義を推進することを目指している。しかし、機会均等と実力主義の追求は、本当に公正な社会をもたらすのだろうか？実力主義の公正さを検証するために、本稿では、個人特性の初期差がない場合の運の影響を定量的に分析する。本研究では、日本のボートレースを対象としたユニークな実験設定を利用する。参加者は各大会で性能の異なるモーターをランダムに割り当てられるため、レーサー間の確率的公平性は担保されるが、運のタイミングにばらつきが生じる。デビュー期に「ラッキーな」モーターを割り当てられたレーサーをトリートメント群として定義することで、彼らの成績の軌跡をたどり、1着回数や収入などの差を検証する。その結果、時間の経過とともに成績の格差が拡大し、それに伴ってチャンスが増え、リスク行動をとる傾向があることが明らかになった。4年間で、トリートメント群の当初のわずかな優位性は、
© 2023 Mizuho Bank, Ltd. All Rights Reserved. みずほフィナンシャルグループ リサーチ＆コンサルティングユニット みずほ銀行 産業調査部 生成AIの動向と産業影響 【総合編】 ～生成AIは産業をどのように変えるか～ （2023年12月） アンケートに ご協力をお願いします QR *日本産業の競争力強化や社会課題の解決に寄与しうる技術・イノベーション領域をとり上げるレポート バーコード未取得 みずほ産業調査74号 革新的技術シリーズ* 1 総合編目次 はじめに P2 1. 生成AIの概要と社会動向 P6 （1） 生成AIの概要～生成AIとは何か？ P6 （2） 生成AIをめぐる社会・市場動向 P13 （3） 主要国・地域の生成AI関連動向 P24 2. 生成AIが産業に及ぼす影響 P32 （1） 仕事の在り方の変化とビジネスへの影響 P32 （2）
38 論文03 高木 v1403 木.indd
■ 20 ■ 第一に治療の範疇を超えるものであること、そして 第二に、科学技術的手段によるものであることが決 定的なポイントであると言える。 さて、エンハンスメントは、身体的エンハンスメ ント・ムードエンハンスメント・認知的エンハンス メント・道徳的エンハンスメントに大別される。最 後の道徳的エンハンスメントについては、現実的な 見込みは小さいと考えられてきたが、近年様々な可 能性が議論されている。本稿はこの道徳的エンハン スメントを主題とする。 道徳的エンハンスメントを本格的に論じ始めたの は、イングマー・ピアソンとジュリアン・サバレス 科学の進歩は、多くの技術を生み出し、これまで 不可能とされてきた多くのものを可能としてきた。 しかし、科学の進歩は多くの倫理的問題を同時に生 み出してきた。応用倫理学においてはとりわけ「エ ンハンスメント技術」が近年議論の的となっている。 端的に定義する
What We Learned from a Year of Building with LLMs (Part II)
To hear directly from the authors on this topic, sign up for the upcoming virtual event on June 20th, and learn more from the Generative AI Success Stories Superstream on June 12th. Part I of this series can be found here and part III can be found here. A possibly apocryphal quote attributed to many leaders reads: “Amateurs talk strategy and tactics. Professionals talk operations.” Where the tacti
Table 4: Developer growth by total developers in 2023, % increase from 2022. Notably, the growth in France follows its government push to attract more tech startups. We’re also seeing an uptick in growth in Spain and Italy, which speaks to efforts in these two regions to bolster their domestic technology markets. The explosive growth of generative AI in 2023 While generative AI made a splash in ne
Hidradenitis Suppurativa Companies | Market Research Future
Positive Phase 3 results for bimekizumab (Sun Pharma): December 2023 saw promising news with BE HEARD I and II trials demonstrating significant improvements in pain and overall disease activity in HS patients treated with bimekizumab. This could lead to a new biologic option for moderate-to-severe HS. Secukinumab (Novartis) emerges as a leading treatment: October 2023 research confirms Secukinumab
Making standardized-test scores optional has harmed the disadvantaged applicants it was intended to help. In the past five weeks, Dartmouth, Yale, and Brown have all announced that they would once again require applicants to submit standardized-test scores, ending an experiment that began in 2020. Hundreds of colleges made test scores optional during the pandemic, when COVID forced the SAT and ACT
23 Nobel Prize-winning economists call Harris’ economic plan ‘vastly superior’ to Trump’s | CNN Politics
More than half of the living US recipients of the Nobel Prize for economics signed a letter that called Vice President Kamala Harris’ economic agenda “vastly superior” to the plans laid out by former President Donald Trump. Twenty-three Nobel Prize-winning economists signed onto the letter, including two of the three most recent recipients. “While each of us has different views on the particulars
Advanced RAG — Improving retrieval using Hypothetical Document Embeddings(HyDE)
Any SourceWhat is HyDE ?HyDE uses a Language Learning Model, like ChatGPT, to create a theoretical document when responding to a query, as opposed to using the query and its computed vector to directly seek in the vector database. It goes a step further by using an unsupervised encoder learned through contrastive methods. This encoder changes the theoretical document into an embedding vector to lo
後々読み返せるように、個人的な下訳をメモします。 プロジャーナリスト協会(SPJ) プロジャーナリスト協会(SPJ：Society of Professional Journalists)はジャーナリストを代表するアメリカの組織の一つです。言論の自由と報道の自由の保障を促進することを目的としており、同時に高い規範と倫理的行動を伴ったジャーナリズムの実践を推奨しています。 SPJはジャーナリストが仕事を遂行する際に高い行動基準と意思決定を遵守できるよう促すことを目的としたジャーナリストの倫理規定も定めています。 今回はその倫理規定を下訳します。 下訳 Preamble Members of the Society of Professional Journalists believe that public enlightenment is the forerunner of justice
Recently, a public dispute has emerged between WordPress co-founder Matt Mullenweg and hosting company WP Engine. Matt has accused WP Engine of misleading users through its branding and profiting from WordPress without adequately contributing back to the project. As the Founder and Project Lead of Drupal, another major open source Content Management System (CMS), I hesitated to weigh in on this de
GitHub - hatchet-dev/hatchet: A distributed, fault-tolerant task queue
Hatchet replaces difficult to manage legacy queues or pub/sub systems so you can design durable workloads that recover from failure and solve for problems like concurrency, fairness, and rate limiting. Instead of managing your own task queue or pub/sub system, you can use Hatchet to distribute your functions between a set of workers with minimal configuration or infrastructure: What Makes Hatchet
This blog post introduces sched_ext, a recently proposed extensible scheduler class. sched_ext allows you to write and run your custom process scheduler optimized for your target workloads and hardware architectures using BPF programs. In the rest of the post, I recap the concept of a scheduler at the high level and go over the default schedulers in Linux kernel. Then, I introduce why an extensibl
Some time ago I received an invitation to appear on a podcast. The team at Ruby Rogues had heard about my work on super_diff and shoulda-matchers (two of my most starred and most maintained repos), and wanted to know, would I like to come on the show and talk about it? After much deliberation, I decided to take the interview. On the scheduled day and time, I joined the call… and from the first mom
Scheduling Internals
A sneak peek to what's coming! I remember when I first learned that you can write a server handling millions of clients running on just a single thread, my mind was simply blown away 🤯 I used Node.js while knowing it is single threaded, I used async / await in Python, and I used threads, but never asked myself "How is any of this possible?". This post is written to spread the genius of concurrenc
[[toc]] It's not a secret that open-source projects are now a critical part of almost every software project. While most open-source projects are maintained by volunteers, the sustainability of these projects becomes a big concern. The recent xz/liblzma vulnerability accident is a great example that shows the importance of open-source projects and how severe the problem could be. There are multipl
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本ディープラーニング協会主催 NeurIPS 2023 技術報告会講演資料
RecSys 2024参加レポート - ZOZO TECH BLOG
Appleを米司法省がiPhoneでの市場独占で提訴 Appleは「積極的に抗弁する」
米国 曲がラジオで流されてもパフォーマーには使用料は入らない現状に「そんなのおかしい」とデヴィッド・バーンが論説を寄稿 - amass
「オープンソース」を称するAIモデルは実際どのくらいオープンなのか？
Embeddings: How to select the right one?
PodmanでRosettaを使う【Podman v5.1】 - 赤帽エンジニアブログ
Dario Amodei — Machines of Loving Grace
反社会規範 - himaginary’s diary
microsoft/Phi-3-vision-128k-instruct · Hugging Face
https://openai.com/index/evaluating-fairness-in-chatgpt/
On the Origin of Emacs in 1976 (Emacs blog articles)
生成AIの動向と産業影響【総合編】～生成AIは産業をどのように変えるか～（2023年12月）
Octoverse: The state of open source and rise of AI in 2023
The Worst Way to Do College Admissions
ジャーナリストの倫理規定：SPJ Code of Ethics - 忘れん坊の外部記憶域
Solving the Maker-Taker problem
sched_ext: a BPF-extensible scheduler class (Part 1)
Why I'm Retiring From Opensource | Elliot Winkler
Initiative on Sponsorship Forwarding