少し前のことですが、こんな話題がありました。 自分がこれまで現職で手がけた機械学習ソリューションでは 1. そもそも「予測」ではなく「説明（解釈）」をアウトプットにする 2. クラス分類確率の高いものだけアウトプットし、低いものは「未定」扱いにして捨てる などという形で実務の現場で使ってもらってます。精度勝負をしないのも一つの解かと https://t.co/NmZJCPnue2— TJO (@TJO_datasci) 2021年8月29日 実際問題として「ある目的のために機械学習システムを開発し、非常に高精度のものが出来上がったが、結局色々あって実戦投入されなかった」という話は、自分の身の回りでも業界内の伝聞でも事欠きません。 しかし、機械学習と言えばどちらかというと「より精度の高いモデルを追い求める」試み、もう少し下世話に言うと「精度勝負」によって、連綿と発展してきたという歴史がありま
ボタン一発でWindowsを必要最小限の構成に変更して軽快な動作を実現してくれるツール「Win Debloat Tools」レビュー
「Win Debloat Tools」は難しい設定を行わずともボタンを押すだけでWindowsから不要な機能を削除し、必要最小限の構成に変更して軽量化を実現してくれるツールです。実際に使ってどれくらい動作が改善されるのかを確かめてみました。 GitHub - LeDragoX/Win-Debloat-Tools: Re-imagining Windows like a minimal OS install, already debloated with minimal impact for most functionality. https://github.com/LeDragoX/Win-Debloat-Tools GitHubのページにアクセスし、「Download Latest Version」の項目にある「Main」をクリック。 zipファイルがダウンロードされるのでクリックして
AMDの新しいモバイル用CPUはヤバいくらい速い
AMDの新しいモバイル用CPUはヤバいくらい速い2021.01.31 21:0073,201 Joanna Nelius - Gizmodo US ［原文］ （ scheme_a ） M1に負けじとAMDも奮戦! 世間の話題がApple M1の驚異的な速さでもちきりな中、既にデスクトップの分野ではIntelと肩を並べ、追い越さんばかりの勢いのAMDが、実はラップトップでも背後に忍び寄っていたようです。 つい最近MacBook Proに目移りしそうだった米GizmodoのJoanna Nelius氏ですが、AMDの最新プロセッサで｢やっぱりWindows!｣となったようです。今回はそんな彼女によるRyzen 9 5980HSの比較テストを見てみましょう。 新しいMacBook Proの驚異的なプロセッサ速度に思わず目移りし始めたと思ったら、AMDがRyzen 9 5980HSで私をWindo
長いのでAIくんの代わりに要約します。言いたいことはタイトル通り。 「ハルシネーションを叩くな」終わり。 ①各種LLMの性能比較GPT系の今の性能はゴミクズ。マジで頭悪い。 例をあげよう。 簡単な論理クイズだ。 ###文章### Aさんは自身はCさんとは別人であると主張している。 Bさんは、Cさんの発言を記事でまとめ、プライバシー侵害をした。この記事をDと呼ぶ。 Aさんは、Dを、自身へのプライバシー侵害だと主張し、Bさんを訴えた。 ###質問### この文章に矛盾はありますか？ 簡単すぎる。もはや論理ですらない。 人間なら一瞬でわかるレベルの矛盾である。小学生でも分かると思う。難しい知識や思考は必要としない。 では、色々なLLMの回答がこちら。 Copilot（旧 bingai）この文章を読む限り、矛盾は存在しないように見えます。AさんはCさんとは別人であると主張しており、BさんはCさんの
Rust の DI を考える –– Part 2: Rust における DI の手法の整理 - paild tech blog
paild 社でお手伝いをしている yuki です。前回に引き続き Dependency Injection 略して DI の話題を書いていきたいと思います。今回は Rust における DI についていろいろと考えてみました。今回紹介する実装はかなり単純な例を用いたもので、この記事からさらにみなさんのアプリケーションの実装状況に合わせていくつか工夫は必要になるかもしれません。ただ、とっかかりとしては十分なものになっていると思うので、DI でお困りの方はぜひ参考にしてみてください。 今回実装したいアプリケーションのお題について 今回紹介する技法の種別について コンストラクタインジェクション 静的ディスパッチを用いたもの 動的ディスパッチを用いたもの 静的ディスパッチと動的ディスパッチの利点・欠点 shaku （DI コンテナ）を用いたインジェクション shaku の利点・欠点 余談: DI
米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや香港浸会大学に所属する研究者らが発表した論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告である。リポジトリはこちら。 コード生成に関連する課題に取り組むため、多数のCode LLMが提案されている。これらのCode LLMは、大量のコードデータを使用して事前学
効率的なGo
本書は、Goアプリケーションの効率やスケーリングに関する疑問に対して、実用的な答えを与えてくれる書籍です。 レイテンシー、CPU、メモリ資源についての知識、またOSやGoがそれらを抽象化している方法について、またソフトウェアの効率に関わるデータ駆動な意思決定を行う事の意味や、計算量解析の手法、最適化状況の例など、実用的なソフトウェアを開発する中での「効率」に関する知識を紹介します。 Goやその他のモダンな言語で書かれたプログラムを設計、作成、変更するソフトウェア開発者、また誰かが書いたソフトウェアを主に運用するDevOpsエンジニア、SRE、シスアド、プラットフォームチームなどの読者が、いつ、どのように効率最適化を適用するかという問いに答えるための知識を身に付けることができるでしょう。 関連ファイル 原著者による本書のサンプルリポジトリ 正誤表 ここで紹介する正誤表には、書籍発行後に気づい
第12世代Coreの最上位CPU「Core i9-12900K」レビュー。Alder Lake-Sはゲーム性能でRyzen 9 5950Xを上回れたのか？
Alder Lake-Sはゲーム性能でRyzen 9 5950Xを上回れたのか？ Intel Core i9-12900K Text by 米田 聡 2021年11月4日，IntelのデスクトップPC向け第12世代Coreプロセッサ（開発コードネーム Alder Lake-S）が発売となった。PC向けのCPUとしては初めて，高性能CPUコア（P-Core）と省電力CPUコア（E-Core）という2種類のCPUコアを搭載する「Hybrid Architecture」を採用するなど，PCの世界に大きな変化をもたらす可能性をもつ製品といえる。 本稿では第12世代Coreプロセッサの中から最上位製品となる「Core i9-12900K」（以下，i9-12900K）の性能をチェックしていく。i9-12900Kは，第12世代Coreプロセッサのフル実装版であり，8基のP-Coreと8基のE-Coreを
自宅の回線が時間によってめちゃくちゃ遅くなるのをMackerelとSpeedtest CLIで可視化した | DevelopersIO
結果 こうなりました（結論からさらすスタイル）。 いまの御時世の固定回線で 下り 3Mbps って何ですかね？？？ というのは実は本題ではなくて、このようなグラフを作ることがこの記事の本題です。 背景 状況については冒頭の概要に書いたとおりなのですが、とにかく自宅のネットワーク回線を定期的に測定して可視化することを試みました。 ちなみに我が家は古い賃貸集合住宅で VDSL なので、上限は 100Mbps になります。それでもそこそこ快適で、特に不満もなかったのですが1、今月に入った辺りから急に回線状況の悪い時間帯に出くわすようになってしまいました。 改善策をとるまえにまずは計測、ということで、今回の試みとなったわけです。 仕組み ざっくりいうと、 自宅の Windows PC に Hyper-V で Linux を動作させ その Ubuntu にmackerel-agentを導入し 10
高速な文字列探索：Daachorseの技術解説 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは現在、高速なパターンマッチングマシン Daachorse（ダークホース）を開発・運用しています。文字列処理の基礎である複数パターン検索を提供するRust製ライブラリです。以下のレポジトリで公開されています。 github.com 本記事はDaachorseの技術仕様を解説します。具体的には、 複数パターン検索に関係する基礎技術（トライ木・Aho–Corasick法・ダブル配列） Daachorseの実装の工夫と性能 を解説します。 以下のような方を読者として想定します。 文字列処理アルゴリズムやデータ構造に興味のある方 自然言語処理の要素技術に興味のある方 Rustライブラリに興味がある方 Daachorseについて 複数パターン検索の基
この記事はJX通信社 Advent Calendar 2019 2日目の記事です。 昨日は、たっちさんの「Kubernetes Admission Webhookでリソース作成を自在にコントロールする」でした。 こんにちは、サーバーサイドエンジニアの @kimihiro_n です。 今回は長年動かしてた Scala のマイクロサービスのリビルドを行った話をしようと思います。 TL;DR 新しい言語を投入するのにマイクロサービスは便利 Scala で感じていた問題点を解消しつつ Go へ移行できた 消費メモリが大きく減って安定稼働できるようになった 予防線を貼っておきますと、Scala より Go のほうがいいよね、といった本旨ではありません。 Scala で書いたマイクロサービス 弊社のマイクロサービスの一つにカテゴリ分類専用のサービスが存在します。 カテゴリやキーワードを登録しておくとル
『スクラムの拡張による組織づくり』を読んで、そもそも”組織をつくる”ってなんだろうなって考えた - Magnolia Tech
スクラムの拡張による組織づくり──複数のスクラムチームをScrum@Scaleで運用する WEB+DB PRESS plus 作者:粕谷 大輔技術評論社Amazon だいくしーさんこと、粕谷大輔さんの『スクラムの拡張による組織づくり』を読みました。 複数のスクラムチームを協業させていく手法として「Scrum@Scale」を軸に、スクラムという概念自体のおさらいから始まり、コミュニケーションを軸とした組織の作り方、運用の仕方を解説していく構成になっています。 第3章で出てくる「毎日45分で問題が解決する」というのはなかなかキャッチーな表現で、Daily Scrum -> Scaled Daily Scrum -> Executive Action Teamのそれぞれに15分という目安を作ることで、議論ではなく問題の確認と決定の場としてショートに実行するものである、という定義が明確で分かりやす
SaaSメトリクス解説｜Yuin Tei
SaaSのメトリクス（経営指標・KPI）を分かりやすく・詳しく解説します。 ・21個の重要なSaaSメトリクスを解説 ・92枚のスライドと22,000文字の説明 ・84の参考情報をメトリクスごとに整理 ・27の厳選リソース集（統計・レポート・SaaS Playbook） 想定する読者 1. SaaS企業の経営者（自社の現状分析、競合分析、経営指標として） 2. SaaS企業で働く方（事業への理解、チームのKPIとして） 3. SaaSで起業を考えている方（起業戦略の材料として） 4. ベンチャーキャピタリスト（投資検討の指標、リサーチの材料として） なぜ書くか SaaSは米国で誕生しました。そのメトリクスも米国で研究され、発展してきました。しかし、英語圏においても様々な解釈があり、日本語の情報も限られます。正解はどこにもありません。これでは理解するのに膨大な時間を要し、活用するのも困難です
はじめに こんにちは、技術本部SRE部ZOZOSREチームの堀口です。普段はZOZOTOWNのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 ZOZOTOWNではSQL Serverを中心とした各種DBMSが稼働しています。その中でZOZOTOWNサービスの根幹となるいわゆる基幹データベース（以下、基幹DBと呼ぶ）を5年ぶりにリプレースしました。 基幹DB群は、商品情報、在庫情報、注文情報、会員様情報、ブランド様情報、配送管理、キャンペーン情報、分析系情報などZOZOTOWNサービスにおけるほぼ全ての情報を管理しているものとなります。 リプレースのモチベーションは5年のハードウェア（以下、HWと呼ぶ）保守期限終了およびSQL ServerのEnd Of Life（以下、EOLと呼ぶ）を迎えるため、HW
KanmuでPoolを開発しているhataです。最近、ロボット掃除機を買いました。ロボと猫がじゃれている景色はいいですね。 今回はGoのユニットテストの並行化についての記事です。 TL;DR Goのテストは、並行化することでテスト実行時間の短縮やテスト対象の脆弱性の発見などのメリットがある 基本的にはそのままでも最適化されているが、テストコードにt.parallelを記述することでよりきめ細やかな最適化を施すことができる ただし、一定規模以上のアプリケーションへの導入・運用は大変 テストコードを一気に並行化するtparagenというツールや、並行化忘れを防ぐ静的解析ツールがあり、これらを使うことで無理なくテスト並行化の導入・運用ができる はじめに ユニットテスト並行化とは 本記事では、「並行」「並列」という用語を使用します。本記事におけるこれらの用語を定義します。 並行：複数の処理を独立に
なぜ？8年前のXperia Z4 tabletが今もなお中古市場にて1万5000円の高値で売られる理由は何なのか。 - はやぽんログ！
スマートフォンやタブレット端末には製品寿命があり、発売から年数を重ねればどのような機種でも、中古価格は安価になってくる。 特にAndroid端末では顕著に現れるが、その中でも8年前に発売された端末ながら、未だに中古流通価格が1万円を超える商品が存在する。数量限定などの希少さもなく、普通に販売されていた機種だ。 今回はそんな魅惑のタブレット「Xperia Z4 tablet」について少し考えてみよう。 ソニーが出した最後のAndroidタブレット。Xperia Z4 tablet 中古販売は1万5000円！買取も6000円！8年前の機種とは思えない高値での取り引きに驚く 今、Xperia Z4 tabletは実際どうなの？ ソニーが出した最後のAndroidタブレット。Xperia Z4 tablet まず「Xperia Z4 tablet」を簡単におさらいしてみよう。メーカーはソニー、発売
Cloudflare、分散SQLiteデータベース「Cloudflare D1」の性能を10倍以上高速に、ストレージバックエンド強化で。任意の状態にいつでも戻せる機能も
Cloudflare、分散SQLiteデータベース「Cloudflare D1」の性能を10倍以上高速に、ストレージバックエンド強化で。任意の状態にいつでも戻せる機能も Cloudflareは、同社のエッジロケーションでマネージドサービスのSQLiteを提供する「Cloudflare D1」をアップデートし、大幅な性能向上と機能向上を行ったことを発表しました。 We've been heads down iterating on D1, and we've just shipped a major new version that's substantially faster, more reliable, and introduces Time Travel: the ability to restore a D1 database to any point in time. Read
2023 年 4 月 18 日にリリースされた Node.js v20 の主な変更点を紹介します。 nodejs.org ファイルのアクセスやプロセスの起動を制限する新しいパーミッションモデル (experimental) --allow-fs-read でファイルの読み込みを許可する --allow-fs-write によるファイル書き込み許可 --allow-child-process による child_process の許可 --allow-worker による Worker Threads の許可 Permission Model の参考記事 V8 11.3 による新しい JavaScript の機能 テストランナー（node:test）が stable に昇格 Single Executable Application JSON の config を使った Blob が必要に
PostgreSQL 15正式リリース。ソートの改善で最大で400％高速に、SQL標準のMERGEコマンドサポートなど
オープンソースのリレーショナルデータベース「PostgreSQL 15」正式版がリリースされました（日本語版のプレスリリース）。 News: PostgreSQL 15 Released! https://t.co/af3E117bts — PostgreSQL (@PostgreSQL) October 13, 2022 ソートが最大で400％速度向上 PostgreSQL15ではインメモリとディスク上のソートアルゴリズムが改善され、どのデータ型をソートするかによって性能差はあるとされますが、ベンチマークでは25%から400%の速度向上が示されました。 count()、rank()、row_number()、dense_rank()などのウィンドウ関数でも速度が向上しています。 ライトアヘッドログ（WAL）ファイルでLZ4とZstandard (zstd) の圧縮をサポートを追加したこと
もともとは動的なWebサイト開発のために仕方なく(※もちろん人による)書かされていた感のあるJavaScriptですが、ES6以降の進化はめざましく、表現力の高さは他の言語に全く引けを取らないようになりました。 V8エンジンによるパフォーマンスの恩恵も相まって、私はWeb用途以外にもちょっとしたスクリプトを書く時などにも積極的にNode.jsを活用しています。 一方でかつてのJavaScriptのイメージから食わず嫌い的に避けてしまったり、そもそもJSや周辺エコシステムの進化に関心がない人も多く見られます。 そこで今回は「どうすればNode.jsの敷居を低くして、便利さを知ってもらえるか」の観点から役立ちそうな知見をまとめてみました。 動的型付けなのにかなり早い 詳しくは各ベンチマークの結果を見ていただければ分かりますが、Node.jsは動的型付け言語としてはかなり実行速度が早い部類に入り
「ChatGPT」「Copilot」「Gemini」「Claude」「Perplexity」の性能を日常的な会話で評価した結果が公開される
AIの精度向上に伴って、ChatGPTやCopilot、Geminiなど日常会話を違和感なくこなせるチャットAIが続々と登場しています。しかし、一般ユーザーからはどのチャットAIが高性能なのかは判断しにくいものです。そんな中、ウォール・ストリート・ジャーナルが5種のチャットAIを対象に「日常会話への応答性能を人間が評価するテスト」を実施し、テスト結果を公開しました。 The Great AI Chatbot Challenge: ChatGPT vs. Gemini vs. Copilot vs. Perplexity vs. Claude - WSJ https://www.wsj.com/tech/personal-tech/ai-chatbots-chatgpt-gemini-copilot-perplexity-claude-f9e40d26 AI企業やAI研究者が自身の開発したA
Generative AI for Everyoneから、古のNLPエンジニアの心に刺さったこと8選｜べいえりあ
Generative AI for Everyoneについてこちらの講義は機械学習やAI教育についての第一人者と言っても過言ではない、Andrew Ng先生のLLMの応用についての講義になります。 タイトルにはGenerative AIとありますが、画像生成AIなどはほぼほぼ登場せず、基本的にはLLMをどう使うのかについての講義となっています。また、Everyoneとあるように機械学習の専門家やエンジニア以外でも分かる内容になっているかと思います。Andrew Ngは言語化が非常に上手いので、機械学習の専門家が見ても知識を整理する上で有用なんじゃないかと思います。 古のNLPエンジニア？自分がNLPを始めたのは2013～2014年くらいのちょうど深層学習がNLP業界に本格的に入ってきた時期です。10年程度で古のNLPエンジニアを名乗って良いのかは諸説あると思うのですが、その辺は温かい目で見
東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時 当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp
技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。「技育祭2023【春】」に登壇したのは、Ruby開発者のまつもとゆきひろ氏。プログラミングの体験の中で実感した、ことわざや格言について話しました。全4回。2回目は、「推測するな、計測せよ」と「許可を求めるな、謝罪せよ」について。前回はこちら。 非機能要件に対しては「数字で話をすること」が重要 まつもとゆきひろ氏：2番目のことわざ、続いていきましょう。「推測するな、計測せよ」。これはちょっと誰が言い出したか調べられなかったんですが、わりと有名な言葉です。 なにかというと、プログラミングの中にはいわゆる非機能要件と言われているやつがあるんですね。 こんな機能があるとか、こういうことができる、というのは機能要件ですよね。そうじゃない要件があって、例えば、このプログラムをバッチプログラム
Intelの第13・14世代のCPUには欠陥がありクラッシュ・強制終了・エラーの原因となっているという指摘を証明する膨大な量のレポートデータが発見される
Intel第13世代～14世代CPUの不具合を報告する声が相次ぎ、ゲーム開発者やテクノロジー系メディアの間で「何が原因だったのか」を特定する動きが見られています。 Intel has a Pretty Big Problem - YouTube Complaints about crashing 13th, 14th Gen Intel CPUs now have data to back them up - The Verge https://www.theverge.com/2024/7/14/24198299/intel-13th-14th-gen-i9-cpu-crashes-telemetry-alderon-games-warframe Intel Core i9-13900K/14900K stability issues drive game server provider
アベノミクスは「正しいが欠陥もあった」、国葬を前に最後の総括
やまざき・はじめ／1958年、北海道生まれ。東京大学経済学部卒業。現在、楽天証券経済研究所客員研究員。株式会社マイベンチマーク代表取締役。東京大学を卒業後、三菱商事に入社。野村投信、住友生命、住友信託、メリルリンチ証券、パリバ証券、山一証券、明治生命、UFJ総研など、計12回の転職を経験。コンサルタントとして資産運用分野を専門に手掛けるほか、経済解説や資産運用を中心に、メディア出演、執筆、講演会、各種委員会委員等を務めた。2024年1月1日、永眠。 山崎元のマルチスコープ 旬のニュースをマクロからミクロまで、マルチな視点で山崎元氏が解説。経済・金融は言うに及ばず、世相・社会問題・事件まで、話題のネタを取り上げます。 バックナンバー一覧 安倍晋三元首相の国葬の前後では、国葬の是非を巡る論争と旧統一教会問題の再燃で紛糾するだろう。そこでこのタイミングであらためて、アベノミクスの総括をしたい。筆
OpenCVの新しい顔検出をブラウザでも試してみる
この記事はOpenCV Advent Calendar 2021の 23 日目の記事です。 はじめに 3 日目の記事で紹介されているように、OpenCV 4.5.4 では新しく顔検出/顔認識の API が実装されました。この記事ではこの顔検出 API をブラウザから呼んでみることにします。ブラウザから呼び出すにあたって、先にきちんとパフォーマンスを確認して使用する解像度を決めます。更に高速化のために SIMD とマルチスレッドを使った OpenCV の Wasm バイナリを作ります。その後、実用的な環境を想定して React のフロントエンドから呼び出すようにしてみます。ついでに WebRTC で実際に加工した画像が送信できることのデモまで行います。 OpenCV.js での新機能の扱い OpenCV.js で JavaScript から呼び出せる機能はホワイトリスト形式になっており、ビル
要点 非常に稀に現れる安定性（二重魔法数）が予測された酸素同位体（酸素28）を初めて観測。 酸素28では二重魔法性が消失していることが明らかになった。 世界初となる4個の中性子を同時に測定する技術により観測が初めて可能に。 中性子数が非常に過剰な極限原子核の構造、宇宙での元素合成過程や中性子星の構造の解明につながると期待。 概要 東京工業大学 理学院 物理学系の近藤洋介助教と中村隆司教授、理化学研究所 仁科加速器科学研究センターの笹野匡紀専任研究員、大津秀暁チームリーダー、上坂友洋部長、九州大学の緒方一介教授らの国際共同研究チーム※は、二重魔法数核[用語1a]の候補と考えられてきた酸素同位体[用語2]、酸素28の観測に初めて成功した。 原子核を構成する陽子や中性子の個数が魔法数[用語1b]（2、8、20、28、50、82、126）となっている場合、その原子核はより安定な性質を示す。特に陽子
こんにちは、株式会社ACESでインターンをしている篠田 (@shino__c) と申します。普段は博士課程の学生としてNLPの研究をしています。 ここ数ヶ月で ChatGPT に加えて GPT-4 等の大規模言語モデル (LLM) が次々とリリースされていますね。 ChatGPT (gpt-3.5-turbo) はAPIの使用料が安いことから、多くの人が気軽にLLMを使用できるようになり、AI、特にNLPを売りにしている多くの企業は技術的にどうやって競争優位性を築けばいいのか模索しているのではないでしょうか。 その問いに対する１つの答えになりそうなものに、Retriever というものがあります。 例えば、社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、ChatGPT のような LLM の訓練にはそのようなデータは使われていないため、prompt
AWS環境にセキュアなベースラインを提供するテンプレート「Baseline Environment on AWS」のご紹介 | Amazon Web Services
Amazon Web Services ブログ AWS環境にセキュアなベースラインを提供するテンプレート「Baseline Environment on AWS」のご紹介 みなさんこんにちは。ソリューションアーキテクトの大村です。 このブログでは、私たちAWS Japanのソリューションアーキテクトが AWS Samples に公開している 「Baseline Environment on AWS（BLEA）」について詳しくご紹介します。 これはAWSのセキュリティのベストプラクティスを実装した環境を、迅速に実現するためのテンプレートです。 セキュリティサービスだけでなく、よく利用されるアプリケーションの実装サンプルも含んでいます。これによって基本的なセキュリティを実現した状態をスタート地点としてシステム構築を開始できます。このテンプレートは単一のアカウントでも、また AWS Contro
こんにちは！虎の穴ラボのNSSです。 虎の穴ラボではオライリー・ジャパン社の定期購読サービスを利用しており、 毎月新刊をいち早く読めるようになっています。 今回は12/24に刊行された「Pythonによるファイナンス(第２版)」を読んだ感想を共有したいと思います。 www.oreilly.co.jp 読もうと思ったきっかけ 数年前から少しだけ投資をしていたので、タイトルから興味を惹かれました。 Pythonを使って自分の投資ポートフォリオを評価したり、自動取引ができたら楽しそうだと思いました。 目次 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタ
Surface Duoレビュー：これは革命の始まりだ
Surface Duoレビュー：これは革命の始まりだ2020.09.18 13:3050,563 Sam Rutherford - Gizmodo US ［原文］ （ 福田ミホ ） 今までは何だったんだと思わせる体験が、ここに。 Samsung Galaxy Z Fold 2とかHuawei Mate Xsとか、折りたたみスマホはもう次世代に突入してますが、Microsoft（マイクロソフト）も9月10日、折りたたみスマホなSurface Duoを発売しました。が、この折りたたみは他とはちょっと違うって前から言われてたように、Surface Duoは折りたたみというより、デュアルスクリーンをフル活用した強力マルチタスクを可能にするデバイスで、今までのスマホの概念からもはみ出す勢いかもしれません。いつもはクールキャラな米Gizmodoのモバイル番・Sam Rutherford記者も｢革命｣と
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。 高性能・高速・軽量 Hugging Faceのtra
ITエンジニアが不足している現在、エンジニアを目指すにはどうすれば良いのでしょうか？ プログラミング言語「Ruby」を作り出したまつもとゆきひろ氏に、クルーズ株式会社のエンジニアである館山遼氏と山口顕二氏が“エンジニアの心得”について聞きました。 まつもとゆきひろ氏の経歴 司会者：まずは、まつもとさんの簡単な経歴をよろしくお願いします。 まつもとゆきひろ氏（以下、まつもと）：まつもとゆきひろと言います。プログラミング言語のRubyというのが世にあって、そいつを作ったのが私ということになります。大学を卒業して新卒でソフトウェア開発者、ソフトウェアエンジニアとして就職したのが1990年で、その時は、今でいうとSESという言い方をするんですかね、受託開発する会社に勤めていました。 私の同期が中堅規模のソフトウェアハウスで働いていたので、200人ぐらい同期がいたんですけど。その中で経験があるという
Firefoxに搭載されている実行時コンパイラ(JIT)が、11月にリリース予定のバージョン83から大幅に高速化されることがわかりました。バージョン83は記事作成時点ではNightly版で提供されています。 Dogfooding Warp https://groups.google.com/g/mozilla.dev.platform/c/1PHhxBxSehQ Firefox's JIT is getting significantly faster | Hacker News https://news.ycombinator.com/item?id=24590174 JITとは、頻繁に実行するコードをあらかじめコンパイルしておくことで、コードの実行速度を向上させる技術のこと。ウェブブラウザはJITを備えることでJavaScriptを高速に実行し、快適なウェブブラウジングを実現しています
11月25日に開催されたISUCON13でチームNaruseJunとして参加し優勝しました。 メンバーはここ4年同じで、大学時代のサークル仲間の@sekai・@takashi・とーふとふの三人です。 昨年のISUCON12でも優勝したので、チームNaruseJunは二連覇となります。 最終スコアは468,006点でした。 スコアの推移は以下の通りです。 かなり順調にスコアを伸ばしていますね。後述しますが17時直後にめちゃくちゃ伸びているのは、ログを止めた結果です。 その他のスコアは↓ ISUCON13 受賞チームおよび全チームスコア : ISUCON公式Blog 事前準備 今年はチーム全員が忙しかったので、チームで最初に集まったのは11/14でした。 その日は30分くらいで今年の流れの確認と、素振りの日（11/18）を確定して解散しました。 ありがたいことに過去優勝チームとしてLodgeで
食料自給率37%の日本…持続可能な社会へ 進化続けるスマート農業「ベランダから宇宙基地まで使える土を」 | 東海テレビNEWS
あさい農園社長の浅井雄一郎さん： 「その当時（14年前の2008年）、僕らも何も技術もないし経験もなかったので、どこかベンチマークをする先生を探していた時に、オランダの技術に出会って。オランダだけではなく、イスラエルだとかスペインだとか、いろんな産地を回って、いろんな技術に触れて」 2008年、世界各地の農園を巡って目の当たりにしたのは、大規模な「スマート化」による効率的な生産。自身も導入を決意した。 その3年後の2011年に取材した時には…。 浅井社長（2011年）： 「このチューブから水と肥料が出るようになっていまして、ここからは（光合成のため）二酸化炭素が噴き出るようになっていまして。これがオランダから導入している複合環境制御装置と言いまして、トマトのハウスの中の温度とか、二酸化炭素とか、光の量とか、そういったものを全部コンピューターで制御しています」
gRPCが遅すぎる？eBPFでカーネル内で動かす！
gRPCの高速化への飽くなき追求（具体的な目標や目的なし）を続けてきましたが、まだ、遅すぎる！今回は、安全にLinuxカーネルに機能を追加できるeBPFという仕組みを使って、カーネル内で動作するgRPCサーバを実装しました。その結果、前回実装したRust版よりも2倍高速になりました！ eBPFで安全なユーザコード実行eBPFを使えば、システムコール、パケットの受信など、カーネルで発生する様々なイベントに対して、私たちユーザが実装したコードを、カーネル内部で実行することができます。同じようにカーネルに機能を追加できるカーネルモジュールと違って、eBPFは、データ破壊など、システムの安定性に深刻な影響を与える危険なコードの実行を防ぐことができます。 eBPFで検索すると、たくさんの日本語の情報が見つかるXDPは、ネットワークインターフェイスのドライバのパケット受信時に、ユーザコードを実行する仕
AI開発の新たなパラダイム「基盤モデル」とは
さて、視覚・言語を扱う基盤モデルとしては、2021年の CLIP がブレイクスルーでした。CLIPはテキストと画像を同じ特徴空間に写像する2つのエンコーダからなります。CLIPを使うと、次のようにして任意の画像分類問題を追加の学習なしで解くことができます。まず、各候補クラスを文章の形式（例：「犬の写真」）にした後、テキストエンコーダに入力します。次に、分類したい画像を画像エンコーダに入力します。最後に、画像から得られたベクトルと候補クラスたちから得られた複数のベクトルとのコサイン類似度を計算し、最も類似度が高いクラスを出力結果とします。 CLIPによるゼロショット画像分類の方法。OpenAI Blogより引用 CLIPは画像とテキストというモードの異なる情報を意味的な近さによって結びつけることを可能にしました。CLIPを教師のようにして使うことで、テキストから画像を生成するモデルを訓練する
ptrace、Syscall User Dispatch：カーネルが提供している ptrace や Syscall User Dispatch のような機能は、ユーザ空間でシステムコールのフックを実装するために利用できます。ですが、これらを利用すると、元のユーザ空間プログラム内部でのシステムコール呼び出しのコストが大きくなり、結果として、性能が大きく劣化してしまいます。（要件１を満たせない） eBPF ：eBPF のようなカーネル内の関数へフックを適用できる仕組みもありますが、eBPF は XDP のような場合を除くと、基本的にカーネルの挙動を変更するためには利用できないため、カーネル機能をユーザ空間でエミュレートする、といった用途には適していません。(要件５を満たせない) ライブラリ関数の置き換え：標準ライブラリ（libc 等）は、沢山のシステムコールのラッパーライブラリ関数を実装してお
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「あえて精度勝負をしない機械学習」という選択肢 - 渋谷駅前で働くデータサイエンティストのブログ
AIのハルシネーションを叩く奴は馬鹿。一生人工無能と会話してろ。
Scala で書いたマイクロサービスを Go で書き直した話 - JX通信社エンジニアブログ
ZOZOTOWNの基幹データベースをリプレースした話 - ZOZO TECH BLOG
無理なく始めるGoでのユニットテスト並行化 - カンムテックブログ
Node.js v20 の主な変更点 - 別にしんどくないブログ
Node.js(TypeScript)を食わず嫌いしてる人にオススメするときに役立ちそうな知見まとめ - Qiita
東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」
エンジニアは推測するな、計測せよ まつもとゆきひろ氏が説く、非機能要件で数字を重視すべき理由
極限原子核の謎を解く要となる新たな酸素同位体の発見 最後の二重魔法数核候補は二重魔法数核ではなかった
大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ
Pythonによるファイナンス(第２版)を読んだ感想 - 虎の穴開発室ブログ
高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました
「“楽しくないけどお金のためにやる人”はやはり伸びない」 まつもとゆきひろ氏が説く“プログラマーに向いている人”
FirefoxのJavaScriptエンジンが大幅に高速化される
ISUCON13で優勝しました(チーム NaruseJun)
システムコールを速く漏れなくフックする方法 | IIJ Engineers Blog