Amazon SageMaker を使用したメジャーリーグベースボールでの新しいスタッツの計算 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker を使用したメジャーリーグベースボールでの新しいスタッツの計算 ファンに沢山の新しい展開を見せてくれた爽快なレギュラーシーズンが終わり、2019 年のメジャーリーグベースボール (MLB) ポストシーズンがやってきました。MLB とアマゾン ウェブ サービス (AWS) は、MLB ゲームで盗塁成功確率、シフトの影響、およびピッチャーの類似点マッチアップ分析の 3 つの新しいリアルタイムの機械学習 (ML) スタッツを開発して実現するためにチームアップしました。これらの機能は、莫大な量の野球データを収集し、ファンが野球の試合を楽しむあらゆる面において、より多くの洞察、見解、および背景を提供するための MLB の最新鋭テクノロジー、Statcast Ai を通じて、ファンが野球をより深く理解できるようにしてく
スタンフォード大学の生物学者アンドリュー・ファイアー氏らにより、モデルナが作った新型コロナウイルスワクチン「mRNA-1273」のmRNA配列がGitHubに投稿されました。研究チームによると、RNAワクチンは標準的な方法で配列を容易に得ることができるとのこと。 Assemblies-of-putative-SARS-CoV2-spike-encoding-mRNA-sequences-for-vaccines-BNT-162b2-and-mRNA-1273/Assemblies of putative SARS-CoV2-spike-encoding mRNA sequences for vaccines BNT-162b2 and mRNA-1273.docx.pdf at main · NAalytics/Assemblies-of-putative-SARS-CoV2-spike-
CSV処理における共通処理をDecoratorパターンで実現する | フューチャー技術ブログ
はじめにTechnogoly Innovation Group 辻です。 システム間のデータ連携として、他システムが出力した CSV ファイルを Go で読み込んでリレーショナルデータベースにファイルのデータを保存する、という処理がありました。CSV の値をデコードしたあとに共通的な処理を差し込みたいユースケースで Decorator パターンを使って実装をしました。コードベースをシンプルに保ちつつ共通処理をフックできます。実用的なユースケースで Decorator パターンを紹介する記事は少ないと思ったので、本記事を書きました。 まず Decorator パターンが必要になった背景を説明したあとに具体的な Go の実装を見ていきます。 背景他システムが出力した CSV ファイルを Go でデコードして、PostgreSQL にデータを投入するような処理がありました。簡略化したイメージは以
yt-dlp オプション一覧及びそのメモ - †MASAYOSHI†のオンラインメモ帳
youtube-dlの開発が止まっておりfork版のyt-dlpに移る事にした。yt-dlpはyoutube-dlのforkであるyoutube-dlcのそのまたforkになる。オリジナルであるyoutube-dlのオプション解説はyoutube-dl オプション一覧及びそのメモ。 2022/06/19更新 2022/09/06更新 OPTIONS -h, --helpヘルプを表示する。 --versionプログラムのVerを表示する。 -U, --update --no-update (default)プログラムのupdateを実行するかどうか。 -i, --ignore-errorsダウンロードエラーを無視する。プレイリストごとダウンロードするような時に使う。エラーで失敗してもダウンロードは成功したとみなされる。 --no-abort-on-error (default) --abor
プログラミング演習 Python 2021( Version 2021/10/08 (コラム編) )
プログラミング演習 Python 2021 コラム編 京都大学 国際高等教育院 喜多 一 京都大学 情報環境機構 森村吉貴 京都大学 高等教育研究開発推進センター 岡本雅子 Version 2021/10/08 目次 Next Chapter Table of Contents 2 目次 目次 2 0. コラム 0 始まり ........................................................................................................4 0.1 Python は 0 ではじまる .................................................................................. 4 0.2 1 始まりではいけないのか .......
Pythonでプログラミングすれば、Excelを起動することなく、任意のセルのデータを抜き出したり、加工したりできます。「売上伝票（Excelデータ）の値をWeb販売管理システムに入力するため、CSVファイルに転記する」作業の自動化を通じて、具体的な方法を見ていきましょう。 前回、この作業を自動化するPythonのソースコード（sales_slip2csv.py）を紹介しました。 1 import pathlib # 標準ライブラリ 2 import openpyxl # 外部ライブラリ 3 import csv # 標準ライブラリ 4 5 6 lwb = openpyxl.Workbook() # 売上一覧のワークブックをlwbとして作成 7 lsh = lwb.active # デフォルトで作成されるワークシートを選択 8 list_row = 1 9 path = pathl
Firefox の通信キャプチャ シナリオ 1-1 の通信を確認します。 まずは最初の Web Browser → DoH リクエストです。 Host: TEST_SERVER Accept: application/dns-message Accept-Encoding: Content-Type: application/dns-message Content-Length: 128 Cache-Control: no-store, no-cache Connection: keep-alive Pragma: no-cache 0x00 0x00 0x01 0x00 0x00 0x01 0x00 0x00 | ....... 0x00 0x00 0x00 0x01 0x03 0x77 0x77 0x77 | ......ww 0x06 0x67 0x6f 0x6f 0x67 0x6c
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました | DevelopersIO
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか？調べてみました ChatGPT APIがリリースされて、すでにさまざまな試行錯誤が始まっていますね。 なかでも、「自社の独自のデータを使ってChatGPTに質問を答えさせたい」というのは興味を持っている方が多いのでは、と思います。しかしながら、この記事を書いている2023年3月12日現在では、最新のモデルであるgpt-3.5-turboに、標準機能で追加で独自のデータをユーザーが学習させることはできません。 この「独自のデータをChatGPTで使う」ことを簡単に実現させる手段の1つとして、LlamaIndex（旧GPT Index）に注目が集まっています。 このDevelopersIOでも、LlamaIndexを使ってブログ記事を読み込ませて質問してみる、という試みを紹介する記事がいくつか投稿されてい
Structured Field Values による Header Field の構造化 | blog.jxck.io
Token が文字列とは別に定義されているため、実装する言語によっては設計に悩む(JS 実装では Symbol を使っている)。 Parameter Parameter は Item に付与できるメタデータだ。 例えば以下は String の "abc" に対してパラメータを 2 つ付与している。 // "abc";a=1;b=2 { "value": "abc", "params": { "a": 1, "b": 2 } } データ表現には基本的に Key/Value/Metadata の 3 つがあることが望ましい。 例えば XML/HTML のようなフォーマットは Attribute がメタデータを担うが、これを再現可能になる。 <p id="foo" class="bar">hello</p> // p="hello world";id="foo";class="bar" { "p
最初に これは WebAssembly に GC が導入されるから紹介、という記事ではない。どちらかというと、WebAssembly GC の採用がどれだけ遠く、また GC がのればどんな言語でも wasm のコンパイルサイズが減って軽量になる、という夢を見ている人に、現実を見てもらうための記事になる。 WebAssembly GC Proposal (Team)は、それを実現するパーツを分割して仕様策定を進めていて、実際に GC が動き出すまでには数年かかるだろうし、自分の感覚的に、将来的に GC が採用されるかは五分五分といったところ。 ただ、 GC Proposal から派生した仕様郡は GC が採用されなかったとしても有意義なものばかりなので、本記事ではそれを紹介したい。 基本的にここを参照 Excuse 自分は低レベルプログラミングの経験が浅く、WebAssembly のために関
GNU Wgetの後継となる「GNU Wget2」の開発チームは9月26日、最新版となる「GNU Wget2 2.0」を公開した。 GNU Wget2はWebサーバーからコンテンツを取得するダウンローダーGNU Wgetの後継で、HTTP、HTTPS、FTP、FTPSを使ってファイルの取得を行う。libwgetを使ってラッピングするようスクラッチから設計し、マルチスレッド対応などの機能を加えた。HTTP2、HTTP圧縮、並列接続、If-Modified-Sinceヘッダ（HTTP）などにより、多くの場合でWget1系よりも高速にダウンロードできるという。ライセンスはGPL v3以上。 バージョン2では、HTTP2アップロードのサポートが加わった。HTML5 ‘download’属性が使用できる–download-attrオプションをサポートしたほか、HTMLダウンロード属性もサポートした。
Twitterへの投稿、1日30ツイートとか難しい。 せめて早朝とか深夜の分を自動化できないか。 Python使えばできるんじゃないだろうか。 Twitterで定期的に発信を行うために、投稿を自動化したいと考えたことはないだろうか。 半分手動の予約ツイートはWEB上のサービスを利用すれば可能だが、自動化できるサービスは無い。 しかしPythonを使えば自動化可能だ。 本記事ではTwitterの投稿自動化ついて、Pythonのサンプルコードを交えて紹介する。 PythonからTwitterを扱うにはアプリ登録が必要 PythonからTwitterを扱うにはアプリ登録が必要だ。 以下のページから「Create an app」をクリックしてアプリ登録を行おう。 https://apps.twitter.com/ 登録したら、「Keys and Access Tokens」のタブを選択して、 AP
野良 HTTP JSON API クライアントを作ってると、API が返してくる JSON の形に確信が持てないし、「これ何に使うんだろ」みたいなフィールドもあったりして struct にエンコードするのをサボったりする。 そういったコードがライブラリとして使われる余地を残すとすると、struct で表現されていないデータにも何らかの方法でアクセスできるようにしておきたい。こういうパターンあるんじゃないかと思うが、みんなどうやってるのか分からなかったのでメモ。 まあ素直に、json.RawMessage を struct に持たせておくのが一番よいだろう。冗長にはなるが、構造体の定義されたフィールドに便利なデータはあるし、より詳細に見たいなら RawMessage 経由で生データを見ればよい。ということにする。また、RawMessage を保持している場合は JSON 化したときにこれをそ
DIALというネットワークプロトコル
家庭のネットワークの監視システムからDIALなるプロトコルが暴れていてアラートが飛んできたので調査しました。 目次 Open 目次 日頃の監視と増えた謎のリクエスト オープンDIALプロトコル DIALを喋る相手を突き止める DIALでNetflixを操作する DIALでNetflixの状態を確認する DIALでNetflixを起動してみる DIALでNetflixを非表示にする DIALでNetflixを終了する 他のアプリも操作してみる DIAL対応アプリと挙動 ChromeのDIALによる起動API DIALによる起動後の操作連携 まとめ 日頃の監視と増えた謎のリクエスト 自宅のシステムを管理する上で、ネットワーク監視は重要なものと言えます。 そんな監視システムが異常を検知したと言うのでパケットを見てみると、ある日を境に自宅ネットワークに何やら見慣れないものが大量に流れ始めていました
Cloud Run（Cloud Run on GKE でないほう）に Rails アプリケーションをデプロイします。 デプロイは下記の流れで進めます。 Rails アプリの Docker イメージをローカルで作成して、Container Registry に Push Cloud SQL インスタンスとデータベースを作成 ローカルで Cloud SQL Proxy を使って Schema Migration を実行 Cloud Run にアプリケーションをデプロイ 今回作成したソースコードは下記においてあります。 scripts/ 以下に gcloud コマンドの実行サンプルもおいてあります。 github.com Cloud Run Cloud Run は GCP での Knative のマネージドサービスです。 cloud.google.com cloud.google.com Kna
先に作ったものの紹介 任天堂Switchのお気に入りのフレンドが、ゲームを始めた/やめた場合にLINE Notifyに通知する仕組みを作りました。 ↓ LINE画面のスクショ 作ってから少し経ちますが、ゲーム生活がより良いものになった気がしますし、友達にも便利と言ってもらえましたので満足してます。 前置き Switchでスマブラをよくやります。1人ではやらないけど、友達がやってるなら俺もやりたいなという温度感の時もあって、そういうときはNintendo Switch Onlineというアプリからフレンドのオンライン状態を確認しています。（2022年3月7日のバージョン2.0.0からフレンドのオンライン状態を見れるようになりました。） Switchそのものには、フレンドがオンラインになったら通知する機能があるので、自分がSwitchをプレイしている時に限っては気付けるのですが、アプリにはオン
Stable Diffusionで画質を爆上げするテクニック【txt2imghd】を紹介 - Qiita
txt2imgの基本についてはこちらをご覧ください。 はじめに Stable diffusionのイカしたテクニック、txt2imghdの仕組みを解説します。 簡単に試すことのできるGoogle Colabも添付しましたので、是非お試しください。 ↓の画像は、通常のtxt2imgとtxt2imghdで生成した画像を拡大して並べたものです。明らかに綺麗になっていることがわかります。 TL;DR txt2imghdとは、通常のtxt2imgにimg2imgと超解像技術を組み合わせることでStable diffusionで作成した画像のクオリティーを大幅に上昇させるテクニックです。 ※既に作成した画像に用いることも可能です。 実際のコードはこちらのリポジトリから確認できます。 またこちらから私が作成したGoogle Colabバージョンにアクセスできます。 txt2imghdの仕組み Stabl
長期停滞下の経済政策
サマーズ氏はこれまで唱えた仮説を学術論文で補強するなどしているが、主張の大筋は変わらない。第1に先進国では需要が構造的に不足しており、ケインズ的な景気循環への対応では不十分だ。第2に金融政策の効果は日本や欧州の例をみても特に小さく、これは経済の需給にとって中立な「自然利子率」そのものが急低下しているためと推測される。追加の金融緩和余地も小さく、金融の仲介機能を妨げるので、経済にとってもむしろマイナスかもしれない。その一方で、第3に財政政策は成長率の押し上げに効果を発揮してきた。低金利を生かして支出を拡大すべきであり、環境関連投資の拡大や、企業の設備投資を促す施策が有効だ――。 https://www.nikkei.com/article/DGXMZO51594960Q9A031C1I00000/ 最近日本経済新聞でラリー・サマーズの長期停滞論が何度か取り上げられています。これも文字で読むよ
特徴量エンジニアリングのライブラリ xfeat を使ってみて便利だったこと - Taste of Tech Topics
こんにちは。機械学習エンジニアをしている古賀です。 最近は愉快な上司@tereka114 のもと、精度の上がらないモデルに四苦八苦しています。 そんな私が普段データ分析をする際に難しいことの一つとして、特徴量エンジニアリングがあります。 特徴量エンジニアリングとは、元のデータに新たな特徴量を追加することでモデルの精度を向上させるプロセスのことです。 この結果によってモデルの精度が大きく変わりますが、正しく実行するにはデータへの深い理解やデータ分析力が必要になります。 私もあまり得意ではないのですが、これを簡単にする xfeat という便利なライブラリがあると上司が教えてくれたので、実際に使ってみて便利だったことをまとめました。 ※本記事は、Pythonその3 Advent Calendar 2020 の15日目の内容になります。 目次は以下です。 xfeat とは 準備 実行環境 xfea
C#使う人って全然外部プロセス呼び出して処理ってしないよね。というのは、Windowsがなんかそういうのを避ける雰囲気だから、というのもあるのですが、ともあれ実際、可能な限り避けるどころか絶対避ける、ぐらいの勢いがあります。ライブラリになってないと嫌だ、断固拒否、みたいな。しかし最近はLinuxでもばっちし動くのでそういう傾向もどうかなー、と思いつつ。 避けるというのはOSの違いというのもありそうですが、もう一つはそもそも外部プロセスの呼び出しが死ぬほど面倒くさい。ProcessとProcessStartInfoを使ってどうこうするのですが、異常に面倒くさい。理想的にはシェルで書くように一行でコマンドと引数繋げたstringを投げておしまい、と行きたいのですが、全然そうなってない。呼び出すだけでも面倒くさいうぇに、StdOutのリダイレクトとかをやると更に面倒くさい。非同期でStdOutを
Best practices for developing cloud applications with AWS CDK | Amazon Web Services
AWS DevOps Blog Best practices for developing cloud applications with AWS CDK April 20, 2022: Updates are available in the Best practices topic of the AWS CDK documentation. The documentation is the most up-to-date resource going forward. In this post, we discuss strategies for organizing the development of complex cloud applications with large teams, using the AWS Cloud Development Kit (AWS CDK)
Dive into Encoding
ima1zumi ESM, inc. Ruby on Rails engineer irb, reline, rurema contributor Learning about character codes out of curiosity 2 [1] 1. Japanese Ruby Reference Manual: https://docs.ruby- lang.org/ja/latest/doc/index.html Reason for talking The bug fix in reline Bug Fix※ ※Some terminals will not display correctly. 😢 Because ZWJ(U+200D) is sometimes not supported. 1. https://github.com/ruby/reline/pull/
[アップデート] ALB および CLB に HTTP Desync 緩和モードが機能追加されました | DevelopersIO
本日のアップデートで ALB および CLB が HTTP Desync 緩和モードをサポートするようになりました。 Application and Classic Load Balancers are adding defense in depth with the introduction of Desync Mitigation Mode 何がうれしいのか HTTP Desync 攻撃とは このアップデートの何が嬉しいのかを理解するには、まず HTTP Desync 攻撃 について知る必要があります。 近年では Web アプリケーションでは CDN やプロキシをフロントエンドに配置し、バックエンドのサーバーにリクエストを転送するような構成を一般的にとられているかと思います。まず大前提として HTTP Desync 攻撃は、このようなフロントエンド、バックエンド構成において成り立ちます
![[アップデート] ALB および CLB に HTTP Desync 緩和モードが機能追加されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/876809e40a16193d45c580a01a3f67fc9a50a044/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Felastic-load-balancing.png)
初めてのGo言語
イディオマティックなGo言語の解説書。構文がシンプル、静的型付け、タイプセーフでメモリセーフ、バグが入り込みにくい、並行処理が得意、実行速度が速い……これらの魅力的な特徴を生かすためには、Go言語らしい書き方を可能にする「イディオム」を学ぶ必要があります。Go言語のイディオムをマスターすれば、効率的で読みやすいコードを書けます。本書では、Go言語の基本機能を明快かつ簡潔に説明しつつ、イディオマティックなGoコードの書き方やGoプロジェクトの設計方法を解説します。読者はベテランのGo開発者のように考える術を学べます。 関連ファイル サンプルコード 翻訳者による日本語版のサポートページ 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合
運用中のLambdaのログに特定のワードが出現した時、Slackに通知させる仕組みをAWS CDKで作ってみました | DevelopersIO
運用中のLambdaのログに特定のワードが出現した時、Slackに通知させる仕組みをAWS CDKで作ってみました 1 はじめに CS事業本部の平内（SIN）です。 Lambdaファンクションでエラーなどがログに出力された時に、これを通知する仕組みは結構重要です。 CloudWatch Logsでサブスクリプションを追加してLambdaと連携すれば、Slackなど任意の宛先に通知することは簡単です。そして、作成当初から組み込んむ場合は特に問題ないでしょう。 しかし、既に運用されているLambdaにこれを仕掛けるとなると、ちょっと、一撃とは行きません。 今回は、AWS CDK(AWS Cloud Development Kit)を使用して、この作業を軽易に行うプロジェクトを作成してみました。 （注：CFnでも、同じ仕組みを作成可能です。AWS CDKでなければ出来ないという意味ではあ
Header ImageHow Replit trains Large Language Models (LLMs) using Databricks, Hugging Face, and MosaicML IntroductionLarge Language Models, like OpenAI's GPT-4 or Google's PaLM, have taken the world of artificial intelligence by storm. Yet most companies don't currently have the ability to train these models, and are completely reliant on only a handful of large tech firms as providers of the techn
RFC 9114: HTTP/3
Stream: Internet Engineering Task Force (IETF) RFC: 9114 Category: Standards Track Published: June 2022 ISSN: 2070-1721 Author: RFC 9114 HTTP/3 Abstract The QUIC transport protocol has several features that are desirable in a transport for HTTP, such as stream multiplexing, per-stream flow control, and low-latency connection establishment. This document describes a mapping of HTTP semantics over Q
Appleが2022年6月に発表した次世代シリコンの「M2」チップを搭載した「MacBook Air」と、AMDの「Ryzen 7 PRO 6850U」を搭載したThinkPad X13 Gen 3を用意して、M2チップとRyzen 7 PRO 6850Uのベンチマークスコアを比較するレビューをテクノロジーメディアのPhoronixが公開しています。 Apple M2 vs. AMD Ryzen 7 PRO 6850U Performance In Nearly 200 Benchmarks - Phoronix https://www.phoronix.com/review/apple-m2-amd-ryzen Phoronixはベンチマークテストを行うに際し、M2搭載MacBook AirとThinkPad X13 Gen 3の条件をなるべく一致させるため、Apple Siliconで
iOS GraphQL クライアントのデバッグツールを作った話 - スタディサプリ Product Team Blog
こんにちは、今年の4月から Quipper の iOS エンジニアになった @manicmaniac です。 ちょっと話題としてはニッチかもしれないのですが、今日は Apollo iOS client を利用したアプリで GraphQL のデバッグに苦労し、そしてコードを書いてそれを克服した話をします。 そもそも GraphQL とか Apollo ってなに？ GraphQL とは Web API のクエリ言語であり、またそのランタイム自体を指す言葉です1。 対して、Apollo は GraphQL のサーバー・クライアント用のライブラリで、Meteor の開発元でもある Meteor Development Group 社が開発しています。 Apollo の iOS 向けクライアントである Apollo iOS は単なる API クライアントを超えて、以下のような機能を備えています。 G
.NET Core の設定情報の仕組みをしっかり理解したい方向け基本のキ - ecbeing labs（イーシービーイング・ラボ）
こんにちは、アーキテクトの小林です。 .NET Framework は長年に渡って多くの Windows ベースのアプリケーションの開発現場で採用されてきたものですから、.NET Core への移行は「まだまだこれから」という状態ではないかと思います。 .NET Framework のアプリケーションを .NET Core に移行しようと思ったとき、違いが大きすぎて最初に困惑するポイントが設定情報の管理方法の違いであろうかと思っています。 当社の主力製品である ecbeing も .NET Framework でつくられていますが、ecbeing は EC のパッケージ製品ですのでお客様のニーズに合わせて設定による機能のオンオフや、機能の挙動の変更が可能になっており、非常に多くの設定項目が存在します。 したがって設定情報の管理の柔軟さは ecbeing 社のエンジニアにとっては、とてもとて
インフラ・ストリーミングチームの @udzura です。（一ヶ月経ってしまいましたが）9月8日から9月10日まで、三重県でRubyKaigiがありました。 rubykaigi.org 久しぶりのオンサイト会場での開催ということで、大いに盛り上がり、感想ブログなどもたくさん書かれています。 今回は、Rubyをメインで使っていない会社であるミラティブのエンジニアの立場から、RubyKaigiのトークは勉強になるという話をします。 ミラティブの技術スタックとコミュニティについて ところで、以下に、ミラティブのEngineer's Handbookから、技術スタックについての紹介ページを引用します。 エンジニアハンドブックより引用 この通り、実はRubyはアプリケーション開発のメインは使っていないのです*1。 ですが、今回は、後述する通り私がRubyKaigiのCfPに通過したため、「社内外へ積極
For many years I used the Julia programming language for transforming, cleaning, analyzing, and visualizing data, doing statistics, and performing simulations. I published a handful of open-source packages for things like signed distance fields, nearest-neighbor search, and Turing patterns (among others), made visual explanations of Julia concepts like broadcasting and arrays, and used Julia to ma
2021年1月現在、Next.jsでXMLサイトマップを生成するライブラリとしてはnextjs-sitemap-generatorが最も人気のようです。 nextjs-sitemap-generatorのドキュメントを軽く読む限り、Next.jsのCustom Serverを使用してビルド時にサイトマップを生成する仕組みのようなので、以下のようなケースでの使用には最適とは言えません。 Custom Serverは触りたくない コンテンツ追加のタイミングでビルドが走らないユーザー投稿型のサイトでも、サイトマップを一定間隔で更新したい 個人的に色々と試してみたところ、思った以上に簡単にXMLサイトマップを動的に作ることができたので、その方法を共有します。 Next.js + TypeScriptで動的にXML Sitemapを生成する 以下のような方針で実装します。 sitemap.xmlをN
ChatGPT時代に必要かも!? Pythonで実行するファイルパース（PDF編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は話題のChatGPTにコンテキストを与える際に必要となるファイルパース処理について見ていきたいと思います。 本記事ではPDFに焦点を絞ってみていきます。既存のライブラリ内の実装も確認していきます。 先行事例の実装 先行事例の実装として、よく話題となる以下のライブラリを見ていきます。 （LlamaIndexとLlamaHubはほぼ同じですが、parserとしては片方にしかないものもあるため） LlamaIndex https://github.com/jerryjliu/llama_index https://gpt-index.readthedocs.io/en/latest/index.html LlamaHub https://github.com/emptycrown/llama-hu
Go のコードで文字列の変換をする関数があり、これが Google スプレッドシート上の関数としても利用できれば検証[1]に便利かもしれないと思いました。 Google スプレッドシートでは Apps Script の関数をセル上で実行できるので、Go のコードを Wasm にビルドして JavaScript から呼び出すことができれば良いのではないかと考え、実際に試してみることにしました。 動作環境 Go 1.22.2 Apps Script の設定 Chrome V8 ランタイムを有効にする その他 macOS の pbcopy コマンド[2]を利用した手順を記載していますが、Linux 環境でも pbcopy を他の手段に置き換えることで同様に動作しました。 事前調査 Go を Wasm にビルドして GAS で動かす事例は見当たりませんでしたが、Rust を Wasm にビルドして
ripgrep は {grep, ag, git grep, ucg, pt, sift} より速い (翻訳) - inzkyk.xyz
これは Andrew Gallant 著 ripgrep is faster than {grep, ag, git grep, ucg, pt, sift} の翻訳です。英語版は UNLICENSE と MIT ライセンスのデュアルライセンスで公開されています。 この翻訳は UNLICENSE の許諾に基づいて公開されます。 この記事では新しいコマンドライン検索ツール ripgrep を紹介する。ripgrep は The Silver Searcher (ack クローン) の利便性と GNU grep の高い性能を併せ持つ。ripgrep は高速で、クロスプラットフォーム (Linux, Mac, Windows 用のバイナリが利用可能) で、Rust を使って書かれている。 ripgrep は Github で公開されている。 この記事では不可能なことを試みる: いくつかの有名なコ
はじめに 「巡回セールスマン問題 遺伝的アルゴリズム」でググるとたくさんヒットすることを自分でもやってみました。 理論編 Python コード編 実行結果編 概要 巡回セールスマン問題(Traveling Salesman Problem) 巡回セールスマン問題 とは、$N$ 個の点すべてを 1 回ずつ通って元の点に戻る最短の経路を探索する問題です。 $N$ 点を全て通って戻ってくる経路の総数は $(N-1)!/2$ 通りあります。 3 点であれば 1 通りです。 4 点であれば 3 通りです。 5 点であれば 12 通りです。 点が増えると経路の総数は爆発的に増えていきます。 その中から最短の経路を見つけようとすると膨大な時間がかかります。 しかし、条件付きであれば実用的な時間内で経路を見つけられます。 例えば、点が凸多角形の頂点にあると分かっていれば、最短経路はその凸多角形です。 また
Transformer[1]の核心となる仕組みであるAttentionは、入力シーケンス内の各トークン間の関連性に基づいて注意の計算を行います。それにより、Transformerは従来の系列処理において主流であったRNNの性能を凌駕する性能を実現し、更には画像処理などの領域でも大きな成果を上げることができました[2]。このように従来のモデルでは成し得なかったような成果を達成できる万能な仕組みであるAttentionですが、その計算コストは入力シーケンス長\(n\)に対して指数関数的に増加するという大きな課題を持ちます。つまり、扱えるシーケンスの長さは計算機のハードウェア性能に大きく影響され、ある程度のシーケンス長を扱うには、高い処理能力と大容量のメモリを持つ計算機が必要となります。そのため、如何にすればAttentionの計算コストを下げることができるのか、計算量を減少させられるかが研究さ
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
開発方針 形態素解析器を開発するにあたり、既存のコスト計算済みのモデルを使用することも可能だったのですが、今回は実用的な形態素解析器を作るというよりは、Swiftの習得が目的であったため、できるだけフルスクラッチしてしまおうと思いました。誰に迷惑をかけるわけでもないので。 ゴールまでの道のりは、最終的に以下になりました。開発中は試行錯誤しながらだったので、前後しながら開発していました。先に進んでは、別のところに戻って再実装・テストを繰り返していました。 ・辞書 ・ダブル配列 ・学習データ ・ラティス構築 ・コスト計算 ・形態素予測辞書 形態素解析器を使用したことがある人は、ご存知だと思いますが、形態素解析器自体は辞書を内部で保持しているわけではないので、辞書を変更して使用することができます。よく使用される辞書としてはIPAdic・NEologd・UniDicなどがあり、どの辞書を選ぶかはそ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
予防接種後の瓶に残ったCOVID-19ワクチンから科学者がmRNA配列を割り出しGitHubに投稿
覚えておきたいPythonの基本、Excelのセルやシートを自在に操る方法
DNS over HTTPS（DoH）の気になる Web Browser 実装を確認
WebAssembly の GC Proposal とは何か / どこに向かおうとしてるのか
ダウンローダーGNU Wgetの後継となる「GNU Wget2 2.0」が公開 | OSDN Magazine
PythonからTwitterへ自動投稿したい（サンプルコードあり） - ITips
Goで知らないフィールドのあるJSONを取り扱う - 詩と創作・思索のひろば
Rails アプリケーションを Cloud Run にデプロイする - こうさくきろく
任天堂Switchのフレンドのオンライン状態が変わったらLINE通知する
neue cc - ProcessX - C#でProcessを C# 8.0非同期ストリームで簡単に扱うライブラリ
Replit — How to train your own Large Language Models
Appleの「M2」チップとAMDの「Ryzen 7 PRO 6850U」を徹底比較するベンチマークレビューが公開
RubyメインでなくてもRubyKaigiから色々学べた話 - Mirrativ Tech Blog
Why I no longer recommend Julia
Next.jsで動的にXMLサイトマップを生成する
Go を Wasm にビルドして Google Apps Script で動かす
遺伝的アルゴリズムで巡回セールスマン問題を解いてみる(理論編) - Qiita
Sparse Attentionについて分かりやすく解説！
形態素解析器をSwiftで試作してみた｜Cotarou