系列データを扱うモデルは何が良いのか？
現状、ストロークデータからシンボルと座標とストロークの終わりを判定するモデルを作って、 それで前処理したいな、と思っている。(てがしきのモデルを考える) 終わりを判定するのはちょっと見かけないタスクだが、ある種のregressionとして、 TCNの最後の出力の一つの次元を長さとして、これを誤差の二乗をロスとして足せばよいかな、とか思っている。 全体的にはSequential MNISTに似たタスクとなる。 上ではTCNと言ってあるが、ようするに系列データのclassificationの最強のモデルを使えば良い。 TCNの延長でConvS2Sの論文を読んでたら、これならもうTransformerでもいいんじゃないか？という気がしてくる。 そもそも系列データって何で扱うのが良いのだろう？ dialated ConvとRNNの比較はTCNの論文でまぁまぁ分かるのだが、transformerのN
1440分の使い方 ──成功者たちの時間管理15の秘訣 - @kyanny's blog
「TODO リストはやめろ、スケジュール表に予定を入れろ」という説を初めて見たのはどこだったか覚えてないが印象に残っていて、改めて検索したところ本に書いてあることらしいと知ったのでその本を読んでみた。 1440分の使い方 ──成功者たちの時間管理15の秘訣 作者:ケビン・クルーズパンローリング株式会社Amazon この記事経由で本の存在を知った。 ToDoリストを使わずに、やるべきことをガンガン終わらせる方法を実践してみたら凄かった – PATE NOTE いま検索して見つけたこの記事を、過去に読んだような気もする。 あなたの常識が非常識に？「TO DOリスト」はもう不要かもしれない いわゆる時間管理術の本で、著名人や成功者のノウハウを断片的に紹介しつつ著者の主張としてどうにかまとめ上げようとしている、があまり纏まってない、という感じ。 TODO リストの話を含めて、以下の章の主張・内容は
KPTでトライ狙いすぎ問題 - @ledsun blog
KPTは「チームの力で問題を見つけるふるまい」の養成ギブスです。 ふるまいに慣ていない間は違和感があります。 たとえば次のような問題が起きます。 トライ狙いすぎ問題 KPTの「改善活動」の面に強く期待しすぎて生じる問題です。 無意識に、KPTの成功指標を「TRYの数」にします。 TRYを出すことに意識をとらわれると、慣れている「個人で問題を見つけて解決する」方法を取ることがあります。一つのKPTの場に集まって、参加者がそれぞれ別々に問題を発見して解決します*1。 すると、途中のプロセスが無駄に見えると思います。特にKeepに意味を感じないのではないでしょうか？アイスブレイクの一緒だと思ってはいませんか？たとえばKPTの参加者にKeepを出していない人が居ても問題ないと思っていませんか？あるいは、時間短縮のため事前にKeepやProblemを用意していませんか？ KPTをK→P→Tの順に進め
第2回：画像でないデータを画像として処理する
AI技術チームの石川です。今回は、我々が発表した論文で使ったアイディアの一つである、「画像でないデータを画像として扱う」ことで画像分析用の手法を活用するという考え方について紹介したいと思います。画像認識や画像処理のために開発された手法やツールを活用することで、画像でないデータの分析を簡単に、高精度に行うことができる場合があります。ビジネスにおいては、以下のような場面で活用できる可能性があります。 製造業、商業、公共交通機関等での音声による異常検知 時系列の金融データ分析 画像データとCNN 画像認識はAI・機械学習の代表的なタスクのひとつであり、幅広く研究されています。ディープラーニングが注目されるきっかけの一つとなった画像認識コンペティションILSVRCはImageNetという大規模な写真データセットの分類精度を競うものでした。 ディープラーニングによる画像認識において、優れた性能を達成
Kubernetes Contributor Awards 2023を受賞した/今年のContribution振り返り
こんにちは。 しずかなインターネットをきっかけに一年近く”ブログを書く”と言うことを忘れていたことに気がつきました。 今日は、タイトルの通りContributor Awardの話と、一年のKubernetes Contributionの振り返りをしようかと思います。 書いてみると、この一年短いようで長かった(?)のだと実感しました。 執筆段階での過去一年のKubernetesレポジトリへのcontribution数は2042だったようです(ref)。 これはKubernetesの全Contributorの内で9位に当たります。 趣味にしてはやり過ぎですね、この順位を見てドン引きしました。 これによって、会社別ランキングを見ると、MercariのKubernetesへの貢献数は全体9位(Independent 入れるなら10位)になっています(ref)。 いや、これ採用の宣伝か何かで使った方
Twilioで在宅勤務の外線電話をステキな感じにする1(前置き編) - Qiita
実装編は 着信処理 http://qiita.com/chabose/items/f098aa4ff28ad5492fa3 発信処理 http://qiita.com/chabose/items/71ea48b0e3bb4fa473fe 背景 数名の小さな会社で、ほとんどがリモートで仕事を行っているが、電話番号の公開が必要で、その番号にたまに着信がある場合のお話です。 これに対応するためには、 誰かの携帯電話の番号を公開する 固定電話を何処かに引く ということになってしまうかと思いますが、 誰か一人の携帯電話に着信の負担が集中するのはツライ 不用意に携帯に着信したくない 固定電話を引いてもオフィスに人が居ない 複数名の会社ですので、誰かの番号を公開してしまえばその1人に着信の負担が集中しますし、プライベートとの切り替えも難しくなります。もし専用端末を用意したとしたととしても、端末の二台持ち
Google+で実感したコミュニケーションの非対称性 - きしだのHatena
Google+は片思いの関係が手軽に可能ということで、非対称ネットワークだといわれる。 ただ、片思いが可能というのはTwitterもそうなっている。Google+のほうが片思いが気になりにくいとはいうものの。 それよりも、Google+にある非対称として、困ったものがあることに気づいた。それは、サークルのそこに流れるストリームの関係だ。 まずひとつとして、こちらがあちらを入れてるのと同じ種類のサークルに、あちらはこちらを入れてないという問題があげられる。 たとえば、ぼくが尊敬する技術者がいるとして、その人を「技術」サークルに入れる。そして、ある日、その技術者の人にお会いすることができるわけだが、その場はビールのイベントだったとする。そこでビールの話題でもりあがり後日、向こうは「ビール」サークルにぼくを入れてくれたとする。 その尊敬する技術者は、マニアックすぎる技術的な話は、その人の「技術者
年間200名採用のSmartHRが実践する「中途採用レポーティング」のクフウ｜ひな
こんにちは。SmartHR 採用ユニットの日永と申します。 SmartHRでは、年間200名程度を目標とした中途採用を行なっています。その採用活動については色々なところでオープンにしていますが、この記事では、中途採用のレポーティングにおける工夫について書きたいと思います。 数値の集計やレポートは作って満足しがちですが、正しい情報を必要に応じてさくっと取得して、本来時間を割くべきものに集中できるのが理想ですよね。私自身、「これ完璧なのでは...？😳 」という解はまだまだ見つけられていないのですが、ちょうど1年前の自分の悩みが少しだけ改善されてきたので、このタイミングで書いてみることにしました。 日々募集ポジションがオープンしたりクローズしたり、目標人数が変わったり、社外に出している求人票と社内の管理上のポジション名が違ったり、各ポジションで採用フローが違ったり、中途採用の目標管理が複雑すぎ
モデリング施策を高速・安全に回せる、MLOpsの仕組みづくり
こんにちは。サイエンス統括本部で機械学習エンジニアをしている芹沢です。ヤフー全社で使われているレコメンドプラットフォームを担当するプロジェクトに所属し、ログ収集・学習ジョブの開発/運用やMLOpsに関連する業務を行っています。 本記事ではそのMLOps業務の中からモデリング業務の効率化の取り組み事例を紹介します。新しいモデルを本番採用するまでにはA/Bテストの準備などをする必要がありますが、それにかかる工数が多いことが課題となっていました。そこで、検証段階からA/Bテスト実施までの実装の負担を軽減し、より早く安全にモデル改善の試行錯誤を行える仕組みを提供しました。 ※ レコメンドシステムの開発はプライバシーポリシーの範囲内で取得したデータを用いて、個人を特定できない形で行っています。 全社共通レコメンドプラットフォームの紹介 レコメンドとは、サービスを利用するユーザーにおすすめのアイテムを
Cloud Asset Inventory を使用してGoogle Cloud上のアセットを分析する - NRIネットコムBlog
こんにちは、最近はGoogle Cloudの記事を書いている上野です。（AWSももちろんやってます） 今回はCloud Asset Inventoryを見ていきます。 Cloud Asset Inventoryとは？ Google Cloud上の、アセットを管理できるサービスです。アセットとは、大きく以下の2種類を指します。 リソース Compute Engine 仮想マシン（VM）やCloud Storage バケットなどのGoogle Cloud上で作成されたリソースのメタデータ ポリシー IAMポリシー、Organizationsポリシーなど、誰が何にアクセスできるかという情報（ポリシーのメタデータ） Google Cloud上に5 週間分の履歴情報が保管されています。 AWSで言うとAWS Configに近いサービスになります。 Cloud Asset Inventoryの開始方法
タスク/スケジュール管理+習慣化にTickTickを使い始めた - kdnakt blog
2023年1月の頭から数週間TickTickを使ってみて、無料版でなんとかいい感じに使えている。 Googleカレンダーのインポートとか、タスクのカレンダー表示とか、5個以上の習慣の管理とか、10個以上のリスト作成とか、プレミアムプラン*1にしたらもっと便利そうではある（迷い中）。 [きっかけ] ▼アプリ遍歴 [TickTickでやっていること] ▼習慣管理 ▼スケジュール管理 ▼買い物メモ ▼目標管理 [iPhoneウィジェットとApple Watch] [まとめ] [きっかけ] 2022年末に、某Slackでタスク管理に悩んでいる旨を書き込んだところ、@budougumi0617さんにTickTickを紹介してもらった。 ざっと見た感じ、シンプルなリスト形式以外にもカレンダーとかカンバンとか、いろんな表示形式が選べてよさそうと思った。こういうのは過去に使ったタスク管理アプリにはなかった
StepFunctionsとCommandR+でコードもプロンプトも書かずにRAGを作る - Qiita
"result": "Anthropic Claude 3にはいくつかのモデルIDがあります。その一部を次に示します。\n\n - anthropic.claude-3-haiku-20240307-v1:0\n - anthropic.claude-3-opus-20240229-v1:0\n\n Cohere Command RのモデルIDは次のとおりです。\n\n - cohere.command-r-v1:0" 1ステップ目 1ステップ目ではユーザー入力を元にRetrieverの検索クエリを生成します。 Bedrock の InvokeModelを配置し、設定タブを以下の様にします。 基盤モデルとして Command R+ を指定し、モデルパラメーターを以下の様にします。
Cohere Command R+ のクエリの書き換え機能を確認する - Qiita
Cohere の Command R+ は RAG に最適化しているとかなんとかで幾つかの機能があります。 このうち、クエリの書き換え機能について動作を確認していきます。 Command R+とは？ 以下の記事をご参照。 RAGのクエリの書き換えとは？ RAGを実装する際に、ユーザーからのクエリ内容をそのままRetrieveに使うと検索効率上あまりうれしくないのは良く知られた事です（多分）。 Amazon Bedrock + Anthropic Claude 3 開発体験ワークショップ RAG編 次のステップ これを回避する為には抽象化して書くと以下のような処理が必要で、Command R+は以下の「①」「③」に適した生成モードを具備しています。 ① ユーザーの問い合わせを Retrieve に適した形に書き直す（正しく書くと、Retrieveに適したクエリを生成する） ② Retriev
小ネタ：Pytorch で Automatic Mixed Precision (AMP) の ON/OFF をするときの話 - 俵言
最近気付いたのでメモ。長くなってしまったので、結論だけ見たい場合はまとめまで読み飛ばしてください。 まえおき NN を学習する際の GPU メモリの使用量軽減や学習速度の向上手段として混合精度学習(Mixed Precision Training) は欠かせません。pytorch では torch.cuda.amp モジュールを用いることでとてもお手軽に使うことが可能です。 以下は official docs に Typical Mixed Precision Training と題して載っている例ですが 、 model の forward と loss の計算を amp.autocast の with 文中で行い、loss の backward と optimizer の step に amp.GradScaler を介在させています*1。 # Creates model and opt
PEG Parser Generator + Packrat Parserを実装してみた
詳しい解説はネット上に沢山存在するので割愛しますが、ご覧のようにEBNFの表現の一つに（EBNFはいくつかの表現方法があるようです。例えばこれはW3Cが定義しているものです）似ています。違いは先に述べたようにChoiceの働きが異なるのと、文法上に先読みが存在することです。 このPEGを使って四則演算を受理するシンプルなルールを書くとすると、例えばこのようになります。 # expressionからパースが始まるとする expression <- additive additive <- multitive ("+" multitive / "-" multitive)* multitive <- primary ("*" primary / "/" primary)* primary <- "(" expression ")" / number number <- digit+ digit
Knowledge Bases for Amazon Bedrock を OpenSearch Serverless で試してみる - Qiita
Knowledge Bases for Amazon Bedrock を OpenSearch Serverless で試してみる AWSbedrockKnowledgeBaseForAmazonBedrock はじめに Knowledge Bases for Amazon Bedrock を利用すると、会社のデータなどを利用した RAG を簡単に構成できる機能です。OpenSearch Serverless などのベクトルデータストアと連携して、データの格納、利用などを便利に利用できます。以下のような機能が提供されています。 OpenSearch Serverless の自動作成 S3 上のデータを Embedding して、ベクトルデータストアに自動的に格納 入力したテキストに紐づくデータを、ベクトルデータストアから自動的に取得して、テキストを生成 など 今回は、Knowledge B
Extending ggplot2（和訳） - Qiita
この記事は、Rのggplot2パッケージの「Extending ggplot2」というVignetteを訳したものです。原文はGPL-2ライセンスで公開されているggplot2パッケージに含まれ、著作権はHadley Wickhamに帰属します。この翻訳文にもGPL-2ライセンスが適用されます。 Note that the original document is provided under the license of GPL-2 and the copyright belongs to Hadley Wickham, one of the authors of ggplot2. このvignetteには、ggplot2 2.0.0で公式に提供される拡張メカニズムについて書きます。 このvignetteは、?Statや?Geomや?themeで読むことができる低レベルな詳細をまとめたも
文字認識アルゴリズムのFOTSを実装したので，1から解説してみる（EASTも少し） - Qiita
はじめに 例によって暇だったため，FOTS(Fast Oriented Text Spotting with a Unified Network)をPytorchで実装してみました．実装はこちら→https://github.com/jjjkkkjjj/pytorch.dlで，FOTS意外にも気まぐれでいろんなアルゴリズムを実装しています．今回の実装では，学ぶことも多かったので，アウトプットも含めてFOTSを1から解説してみたいと思います．また，FOTSはEAST(An Efficient and Accurate Scene Text Detector)から踏襲した部分も多いので，EASTの解説も含んでいると思います． ちなみに，以下が実装したFOTSの出力結果です．ところどころおかしいですが，いい感じですね〜． 入力画像 出力画像 FOTSとは FOTSとは，その名（Fast Orie
Edge TPU USB Acceleratorでモデルの再学習を試してみた - 油を売る
Edge TPUを用いて，自作データセットによるClassifierの再学習（転移学習）を試してみた． Edge TPUでは，サーバで分類モデルを再学習する代わりに，ImprintingEngine APIを使用してEdge TPU上で転移学習を実行することができる． Edge TPUのImprintingEngine APIはCVPR2018で提案されたLow-shot learning with imprinted weights [1]を用いて転移学習を実現する． この手法は，再学習の際にbackwardが必要ないため，Edge TPU上で高速に再学習を実行することが出来る． Low-shot learning with imprinted weights Edge TPU APIのインストール $ wget http://storage.googleapis.com/cloud-i
metric learning のファッション分野における活躍
この記事の目的は？ ファッションの3つの研究分野において、 metric learning がどう使われているかを説明し、関連文献をいくつか紹介します。 metric learning やファッションの研究に興味を持たれた方が、研究を始めやすくなればと考えています。 street-to-shop image retrieval どんな研究か？ ファッションアイテムの自撮り画像から、ECサイトで使われるような商品画像を検索 するための研究です。ファッションに限らない、一般的な呼び方だと cross-domain image retrieval と呼んだりもします。 図：自撮り画像の例 図：商品画像の例 出典: (M. Hadi Kiapour et al., 2015, ICCV) Where to Buy It: Matching Street Clothing Photos in Onl
Edge TPU USB Acceleratorの解析 - Operationとモデル構造 - Qiita
この記事について Google Coral Edge TPU USB Acceleratorの動作を解析します。 前回は、データ入出力に注目して解析を行いました。 今回は、Operationやモデル構造がパフォーマンスに与える影響を調べます。 前回の解析結果で、入出力データ量がパフォーマンスに与える影響が大きいことが分かったので、その影響を受けないようなモデルを作って解析を行います。 また、解析用のモデルだけだとつまらないので、最後にはMobileNet, MobileNetV2, Mobilenet SSDのパフォーマンス測定を、いくつかの条件下で実施しました。 お願いと注意 基本的には実際に動かして確認した結果をベースに書いています。 が、考察や推測の部分は完全に僕の考えです。そのため、間違えや誤解を与えてしまうところがあるかもしれません。 その際には、ぜひご指摘いただけると嬉しいです
Unityで点だけのメッシュを動的に生成する - Qiita
点の生成 3Dの編集モードで新規にプロジェクトを作成するか、新規シーンを作成してから、3D Object→Cubeを配置します。座標は(0,0,0)にしておくと素直にカメラに映ります。 作成したCubeに以下の内容のスクリプトをアタッチします。 using UnityEngine; public class CreateSimplePointMesh : MonoBehaviour { void Start() { int numPoints = 60000; // 点の個数 float r = 1.0f; // 半径 Mesh meshSurface = CreateSimpleSurfacePointMesh(numPoints, r); GetComponent<MeshFilter>().mesh = meshSurface; } /// <summary> /// 球の表面にラン
ICML2021論文読み会に参加して - Qiita
札幌に移住してしまった身としては、リアルな論文読み会というのは滅多に参加できなくなってしまったものなのだが、今回のICML論文読み会は完全にオンラインで参加でき、非常に有り難かった。もっとオンライン化進め！と心から願う。 また形式も１論文10分のLT形式ということで、言い方は悪いが、最先端の論文を気軽につまみ食いでき、非常に楽しかった。さらに、専門に研究されている方・得意とされている方がその分野の最先端の論文を紹介されているので、分かりやすく納得できるものであった。 今まで参加した勉強会の中でも、最も良かった会のひとつだと思う。少なくとも私には非常にマッチしたものだった。 備忘録の意味で、私が気になったものを以下に書き留める。 才能ある若手の皆様の発表を、Shallow Learning を主戦場とする糞ジジイがコメントしてるだけなんで、あまり参考にはならないと思うけど。 ちなみに元論文ほ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装
