https://drecom.connpass.com/event/300236/presentation/
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
Ruby 3.3がリリースされた。YJITには非常に多くの改善が含まれたリリースだったが、 NEWS解説記事やリリースパーティーでは 2点しか触れられなかったので、この記事ではRuby 3.3でYJITがどう改善されたかについて解説する。 YJITは既に実用段階 YJITはRuby 3.1で導入されたが、Ruby 3.2の時点でexperimentalのマークが外れ、実用段階となった。 Ruby 3.2では、以下のような企業で性能改善が報告された。 DeNA: 40% 高速化 GMOペバボ: 18% 高速化 STORES: 6.5-7.5% 高速化 Timee: 10% 高速化 メドピア: 2.8% 高速化 BOOK☆WALKER: 20-30% 高速化 Discourse: 15.8-19.6% 高速化 Lobsters: 26% 高速化 CompanyCam: 20-40% 高速化 弊
知っていますか?Pandasをノーコーディングで高速化(CPU環境でも)できるらしい… FireDucks🔥🐦Pythonpandasデータサイエンス統計検定 はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか? なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下記のサイトを参照してください。 ベーター版ですが無償とは素晴らしいですね! 早速検証してみましょう。 環境 FireDucksの利用方法には、「インポートフック」、「明示的なインポート」の2種類があります。 「インポートフック」の場合は、pythonの起動時にオプションを指定することでコードの書き換え
⚡️ 25x faster — Switch from npm install to bun install in any Node.js project to make your installations up to 25x faster. https://bun.sh/docs/cli/install という記述を見かけて直感的に、そうはならんやろと思ったものの実際にベンチマークをしているのでどういうことなのかを気になって調べた。 A global install cache. bun installを実行すると ~/.bun/install/cache/ 以下にnpmレジストリからダウンロードされたファイルの実体が展開されキャッシュされる(--cache-dirでパスを変更できる)。 キャッシュにはパッケージのバージョンごとのディレクトリとlatestのシンボリックリンクがある。こ
THE FIRST TAKE is a YouTube Channel dedicated to filming musicians and singers performing in a single take. Episode 415 welcomes hip-hop unit Creepy Nuts, comprised of R-Shitei, 3-time consecutive champion of Japan’s UMB: Ultimate MC Battle, and “The World’s Number 1 DJ” Matsunaga. They will perform “Bling-Bang-Bang-Born,” the track that racked up over 100 million streams globally in just a month
RubyのJITコンパイラYJITを開発している弊社Shopifyでは、社内で最もトラフィックが多いストアフロントのアプリにRuby 3.3 (master) をデプロイして平均レスポンスタイムが16%高速化、社内で最も大きなアプリであるモノリスにRuby 3.2をデプロイして平均レスポンスタイムが9%高速化している。他の会社でも、YJITを本番で有効にしたら高速化したという事例をちらほら目にした。 一方で必ずしも良い報告ばかりではなく、YJITを有効化したらメモリを使い切ってしまったりだとか、遅くなったみたいな報告も目に入ることがある。こういった問題は我々も多かれ少なかれ経験しており、それぞれ適切に対処することで解決できたため、その知見を共有する。*1 メモリを使い切ってしまった時 zenn.dev YJITを有効化すると、YJITが生成する機械語に加えて、それに関するメタデータもメモリ
オラクルはJavaをサーバレス環境で実行するのに最適化した技術「GraalOS」を発表しました。 同時に、Oracle Cloudのサーバレス実行基盤である「Oracle Cloud Functions」でGraalOSの機能を提供することも発表されました。 Javaをコンパイルし、ネイティブバイナリを実行 GraalOSは名称にOSと付いているものの、LinuxやWindowsのようなOSではなく、Javaをデプロイする新たな技術とその基盤を指します。 具体的には、同社が提供しているJava実行環境である「GraalVM」のコンパイラを用いてJavaをコンパイルしてネイティブバイナリを生成し、それをサーバレス基盤にデプロイし実行することで、サーバレスアプリケーションの瞬時の起動と高速な実行などを実現するというものです。 参考:Javaのネイティブバイナリ生成可能なGraalVMの全機能が
Prompt: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy Announcing Stable Diffusion 3 in early preview, our most capable text-to-image model with greatly improved performance in multi-subject prompts, image quality, and spelling abilities. While the model is not yet broadly available, today,
理由 びっくりした。対話シェルで実行してパフォーマンス測定すると何故かめちゃくちゃ時間がかかる。これではデータにならない。 追記 よくよく考えたらパフォーマンス測定だけの問題ではなく実際に遅くなるのだから、対話シェルから「このようなコード」を実行してはいけないということを意味しています。「このようなコード」がどのようなコードなのか発生条件はまだ特定できていませんが、少なくともシェルスクリプトにしていれば問題は発生しません。また bash 以外のシェルでも問題は発生しません。 検証結果が気になった方は、ぜひ試してみて、この話を広めてください。 証拠 実行環境: Ubuntu 22.04.3 LTS、bash 5.1.16
はじめに UKIです。久しぶりの記事執筆となります。 本記事は、仮想通貨botter Advent Calendar 2023の1日目の記事となります。 本記事の目的 仮想通貨botterと言っても様々なスタイルがあります。 筆者のbotスタイルは、「主に流動性の高いCEXにおいて、価格の上下を予測してトレードする」というオーソドックスなスタイルです。価格予測には単純なルールベースを使うこともありますが、最近ではガッツリ機械学習を用いてこれを予測することが多くなってきています。 さて本題に入りますが、皆さんは機械学習で価格予測モデルを構築するとき、「回帰問題」とするか「分類問題」とするか悩んだことはないでしょうか。 本記事では、トレーディングの効用を最大化するために、機械学習の問題設定をどのようにすべきか論じます。 参考書籍・参考文献 評価指標入門〜データサイエンスとビジネスをつなぐ架け橋
今年のGAME OF THE YEARは「Baldur's Gate 3」に決定。「The Game Awards 2023」各賞が発表に 編集部:TeT その年にリリースされた優れたゲームを表彰する世界最大級のゲームアワード,「The Game Awards 2023」の各賞が本日(2023年12月8日)発表された。 今年は「Baldur's Gate 3」(PC / PlayStation 5)がGAME OF THE YEARを獲得。ちなみに同作は,BEST COMMUNITY SUPPORT,BEST RPG,BEST MULTIPLAYER,BEST PERFORMANCE,PLAYERS' VOICEと合わせて6冠となった。 また,「Alan Wake 2」(PC / PlayStation 5 / Xbox Series X|S)は,BEST GAME DIRECTION,B
「ほう? じゃ、きみは、プロレスのあれを何だと言うのかね。まさか、きみは、このわたしに、プロレスが何であるかを教えてくれようとしているのかな。わたしは、きみが、鼻たれのガキの時分から、空手もプロレスもやっていた男だよ。そのわたしに、きみはプロレスの講義をしようというんじゃないだろうね」 「──」 「わたしは、プロレスのあれを八百長とは言ったが、舐めてると言った覚えはないよ。プロレスの恐さは、わたしはよく承知しているさ。そこらの寸止めの空手家などよりもずっとね」 松尾象山 餓狼伝 : III (双葉文庫) 作者:夢枕獏双葉社Amazon この前、時間が無くて過去記事紹介でつないだ、「プロレス芸」とその謝罪騒動。 m-dojo.hatenadiary.com この話を、あらためて論じる時に……余談なんだが、計画が実は初手から狂ってな。自分の蔵書にあるはずの小説「餓狼伝(無印)」が見つからなかっ
nicolith @nicolith 遠星都市27λ、Playmeowパブリッシュ、Bunny Eats Tiger開発、Steamで3/26にリリースしたて。いまなら10%オフ1170円のSFデッキ構築ローグライトNTRで面白いのでおすすめです。Steamでは先日のアップデートでライブラリのゲームをフレンドから非表示にする機能もつきましたよ。 store.steampowered.com/app/2442410/27/ 2024-03-27 12:27:27 リンク store.steampowered.com Save 10% on Colony City 27λ on Steam Colony City 27λ is an adult Rougelite game that combines simple card and complax skill set. In the stor
Developers can now bring their own data to customize GPT-3.5 Turbo for their use cases. Fine-tuning for GPT-3.5 Turbo is now available, with fine-tuning for GPT-4 coming this fall. This update gives developers the ability to customize models that perform better for their use cases and run these custom models at scale. Early tests have shown a fine-tuned version of GPT-3.5 Turbo can match, or even
2023年は Vue.js および Nuxt のアップデートがとっても活発な一年でした。 これだけ多くの、そして多様な進展があると、1年を振り返っておかないと何があったか忘れてしまいそうです。 というわけで Nuxt, Vue.js, Vite 関連の情報をピックアップして🏃♂駆け足で振り返ってみます。 (数が多かったので、おもに公式周辺のアカウントから告知されたものが中心です。漏れがあったらすみません。教えていただければ追加します) 🗓2023年1月 2022年の春先に正式に Vue.js 3 がデフォルトのバージョンとなり、2022年11月に Nuxt 3.0 がリリースされました。 年が明けて2023年1月の主だった情報です。 🔼Nuxt 関連 2023年1月17日に公開された Daniel Roe @danielcroe氏による公式ブログ記事 Nuxt: A vision
Node.jsのメモリ制限については以下の記事に記述があります。 しかし、現在の挙動はやや異なるようです。 結論から言うと デフォルトでは、システム (cgroup等) から取得した制限があればそれがそのまま設定、そうでなければ32bit環境では700MiB, 64bit環境では1400MiBの制限が設定されます。 V8のメモリ制限 Node.jsはJavaScriptエンジンとしてV8を利用しています。 V8のGCは世代別GCになっています。ほとんどのオブジェクトは生成されてすぐに不要となるため、メモリ使用量にはそれほど貢献しません。メモリ使用量に貢献するような長命なオブジェクトは、数回のGCを生き抜いた後old generation領域に移されます。したがって、V8のメモリ使用量の制限は実質的にこのold generation領域のサイズ制限によって決まると考えてよいでしょう。 このo
xz-backdoor.md FAQ on the xz-utils backdoor (CVE-2024-3094) This is still a new situation. There is a lot we don't know. We don't know if there are more possible exploit paths. We only know about this one path. Please update your systems regardless. This is a living document. Everything in this document is made in good faith of being accurate, but like I just said; we don't yet know everything abo
HTML First is a set of principles that aims to make building web software easier, faster, more inclusive, and more maintainable by... Leveraging the default capabilities of modern web browsers. Leveraging the extreme simplicity of HTML's attribute syntax. Leveraging the web's ViewSource affordance. Goals The main goal of HTML First is to substantially widen the pool of people who can work on web s
Steam Deck OLEDは最高のポータブルゲーム機でした2023.11.18 12:0040,650 Jorge Jimenez - Gizmodo US [原文] ( satomi ) あ、これ、ずっと欲しかったSteam Deckだ。そう思いました。 Valveの新しいSteam Deck HDR OLED版は、ディスプレイもバッテリー持ちも軽さも、何もかもがよくなっています。一度触ってしまったら、もう暗くて狭い初代のSteam Deck(新名称「Steam Deck LCD」)には戻れません。全不満解消です。 これは何?:HDR OLEDディスプレイ搭載、長時間バッテリーの最新Steam Deck。価格:12GB SSDモデル 549ドル(税込8万4800円)、1TB SSDモデル 649ドル(9万9800円)、米カナダ限定の1TB SSDスペシャルエディション(透明ボディ)
初めに 本記事 『ゼロから始めるシステム障害対応フロー』 の内容について タイトルの「ゼロから始める」には二つの意味があります。プロダクトのリリースを間近に迎える中、チーム内での障害対応体制の枠組みがなかったこと。そして体制づくりを担当することとなった私の知識・知見が(ほぼ)ゼロだったこと。この二つです。 この状態から、リリース前〜リリース後の約2月間でなんとか形にすることができました。本記事ではその過程でぶつかった問題とそれに対する課題、それらにどう対応したのか、何を学んだのか、の紹介。 そして、障害対応体制の策定・構築や改善の流れの中で私が起こした失敗から、人としてリーダーとして何を心がけなければいけなかったのかの反省を共有させてもらいたいと思います。 本記事は以下の構成です。 0. 始まり ※ スクラムチームでの話。スクラムチームの登場人物は以下の三つ PO:プロダクトオーナー(Pd
GitHub、パブリックリポジトリのユーザーに4vCPU/16GBメモリ/150GBストレージのホステッドランナーを無償提供、従来よりも2倍のスペックに強化 GitHubは、コードのビルドやテスト環境などで使えるホステッドランナーを、パブリックリポジトリで開発をしているオープンソースの開発者向けに無償で提供しています。 今回、その無償のホステッドランナーが2倍のスペックに強化されたことが発表されました。 GitHub Hosted Runners for public repositories are now DOUBLE the size! Run your CI/CD Actions workflows with a 20% performance boost today. https://t.co/S9Dy9tHVB3 — GitHub (@github) January 17, 2
テクノロジー部門CTO室の笹田(ko1)と遠藤(mame)です。今年の 9 月から STORES 株式会社で Ruby (MRI: Matz Ruby Implementation、いわゆる ruby コマンド) の開発をしています(Rubyのこれからを STORES で作る。Rubyコミッター笹田さん、遠藤さんにCTOがきく「Fun」|STORES People )。お金をもらって Ruby を開発しているのでプロの Ruby コミッタです。 本日 12/25 に、恒例のクリスマスリリースとして、Ruby 3.3.0 がリリースされました(Ruby 3.3.0 リリース)。クックパッド開発者ブログで連載していたように、今年も STORES Product Blog にて Ruby 3.3 の NEWS.md ファイルの解説をします(ちなみに、STORES Advent Calendar
非伝統的金融政策の効果と副作用 「金融政策の多角的レビュー」に関するワークショップ(第1回) ―― 第4セッション 非伝統的金融政策 ―― 2023年12月4日 日本銀行 企画局 ここで示された見解は、必ずしも日本銀行の公式見解を示すものではありません。 多角的レビューシリーズ Broad Perspective Review 問題意識 2 (注)左図の政策金利は月末値(政策金利がない期間は当座預金への付利金利をプロット)、CPI(除く生鮮)は消費税率引き上げの影響 を除く。右表のフォワードガイダンスの導入時期はFilardo and Hofmann[2014]の整理に基づく。 (出所)総務省、日本銀行 主要国中銀における非伝統的政策導入史 わが国では、「物価の安定」が課題となる中、名目短期金利のゼロ 制約に直面し、1990年代後半に非伝統的金融政策が導入された。 海外中央銀行の多
Editor's Note: This is another installation of our guest blog posts highlighting interesting and novel use cases. This blog is written by Shroominic who built an open source implementation of the ChatGPT Code Interpreter. Important Links: GitHub RepoIn the world of open-source software, there are always exciting developments. Today, I am thrilled to announce a new project that I have been working
Next.js に対する Kent C. Dodds の批判と、Lee Robinson のアンサーの要約 はじめに 10 月 26 日に Next.js Conf が開催されましたが、それと前後して Kent C. Dodds (以下 kentcdodds と呼びます) と Lee Robinson (以下 leerob と呼びます) がそれぞれ という記事を公開しました。前者はタイトルの通り、Testing Library の作者であり、Remix の共同創業者の一人でもある開発者兼教育者 kentcdodds が、Next.js を使わない理由について述べたものです。そして後者は、Vercel の VP of Developer Experience である leerob が、主に前者に対する反論を述べたものです。筆者は両方の記事を公開後すぐに面白く読み、そしてどちらにも頷けるところ
MDNのWeb APIリストから、便利で、しかし普段のサービス開発ではあまり使われていない可能性のあるAPIを8個選びご紹介します。これらのAPIはあまり知られていないかもしれませんが、特定の状況や要件に対して非常に有効であることがあります。 Beacon API Beacon APIは、非同期でブロッキングしないリクエストをWebサーバーに送信するために使用されます。このリクエストはレスポンスを期待しないため、XMLHttpRequestやFetch APIを使ったリクエストとは異なりページがアンロード(ウェブページがユーザーによって閉じられるか、別のページに移動する際)される前にブラウザがビーコンリクエストを開始し、それを完了させることを保証します。 主な使用例としては、クライアント側のイベントやセッションデータをサーバーに送信するために使用されます。このAPIは、navigator.
Jonathan Amsterdam 22 August 2023 The new log/slog package in Go 1.21 brings structured logging to the standard library. Structured logs use key-value pairs so they can be parsed, filtered, searched, and analyzed quickly and reliably. For servers, logging is an important way for developers to observe the detailed behavior of the system, and often the first place they go to debug it. Logs therefore
市販電気自動車の実用的な電費性能を確かめる「東名300km電費検証」シリーズ企画を始めたい。第1回は、BYDが「コンパクトEVの決定版」と謳う『ドルフィン』の電費計測を行った。厳寒期である1月の計測となったため電費を伸ばすには厳しい状況だったのだが、果たしてその結果は!? 「東名300km電費検証」企画について 航続距離が「短い」とされる電気自動車の真の実力を炙り出すため、勾配もカーブもある高速道路で「生きた」電費を計り、読者の皆さんの参考になるデータや事実を導き出したいという試みだ。これから様々な車種で同様に検証していくが、まずは基本ルールを説明しておこう。 【計測方法】 高速道路でACC(アダプティブ・クルーズ・コントロール)を使用し、80km/h、100km/h、120km/hの各速度で巡航した電費を計測する。ACCを使用することで、誰でも一定速走行を実現しやすく、読者の皆さんの再現
2.3k{icon} {views} 複数のLLM(GPT/Claude3)とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題(TSP)が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成(RAG)したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題(TSP)を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
はじめに コマンドをパイプでつなげた時、各コマンドの間にはいくつかのバッファが存在します。そのバッファについてちゃんと意識しているでしょうか? バッファの存在によって各コマンドの実行には分かりづらい変化があります。そのバッファを知らないと罠にハマってしまう・・・かもしれません。 プロセス間のパイプ通信のバッファ まずプロセス間のパイプ通信に存在しているバッファです。多くのコマンドは行単位でデータを処理しますが、一般的にパイプでつなげた各コマンドはそれぞれ処理速度が異なります。処理がすぐに終わるコマンドもあれば時間がかかるコマンドもあります。各コマンドは並列で動作可能ですが必ずしも並列で動作するわけではありません。 一般論としてパイプライン全体の処理にかかる実時間はパイプでつながったコマンドの中で一番遅いコマンドに足を引っ張られます。いくら並列で動作可能と言ってもデータが到着しなければ処理す
スライド概要 GitHub Actions Meetup Tokyo #3 https://gaugt.connpass.com/event/317178/ このプレゼンテーションでは、サイボウズ社のGaroonのE2Eテストについて、GitHub Actions self-hosted runner 上で実行していたE2Eテストを高速化・安定化させるために取り組んだこと、E2Eテストワークフローの視点の改善アイディアについて話されます。GaroonのE2Eテストにおける実行時間とFlakyが問題となっており、その改善に取り組んだ内容が紹介されています。 おすすめタグ:GitHub Actions,E2Eテスト,self-hosted runner,Garoon,テストワークフロー
NVIDIAはAI開発に使われるGPUで大きなシェアを獲得しているほか、ソフトウェア開発および実行環境「CUDA」もAIの開発現場で広く採用されています。そんなNVIDIAの一人勝ち状態に対抗するべく、Intelや富士通、Google、Armなどのテクノロジー企業が参加する業界団体「Unified Acceleration Foundation(UXL Foundation)」がオープンなソフトウェア開発環境の構築を進めています。 UXL Foundation: Unified Acceleration https://uxlfoundation.org/ Unified Acceleration (UXL) Foundation https://www.intel.com/content/www/us/en/developer/articles/news/unified-accelera
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE(Database Reliability Engineering)チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合(ブロッキング)起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
Introducing Astro 3.0! Astro 3.0 is the first major web framework to support the View Transitions API. Fade, slide, morph, and even persist stateful elements across page navigation with ease. Until recently this had only been possible inside of JavaScript Single Page Applications (SPAs). But thanks to advances in the web platform, these features are now available for everyone in Astro 3.0. Other r
Development Division/Repro Team/Feature 1 Unit の Watsonです。Feature 1 Unit は Repro Tool の機能開発と保守を担っています。 弊社でも利用している Oj gem のパフォーマンス改善 PR を送った話と、その PR の内容について共有します。 ことのはじまり 以前、同僚が Ruby on Rails で JSON を返す REST API を作成した際、JSON のエンコード部分のパフォーマンス計測をしていました。JSON のエンコード方法は JSON.generate、ActiveSupport::JSON.encode、Oj gem を利用する方法など色々ありますが、私としては Oj gemの ほうがパフォーマンス的にいいだろうからそちらを利用したほうが良いのではと思っておりました。 計測結果を拝見したら確
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く