はじめに 先日SnowflakeでサポートされているStreamlitのバージョンがv1.26.0まで上がり、それに伴ってStreamlitのチャット機能がStreamlit in Snowflake（SiS）でも使えるようになりました。 Snowflakeでは生成AIの機能であるCortex LLMも一部リージョンではpublic previewになっているため、これらを組み合わせてチャットアプリを作ってみました。 Snowflake Cortexとは Snowflake上から機械学習や生成AIを使える機能で、MLベースのモデルやLLMベースのモデルを利用できます。 LLMベースのモデルでは以下の関数を利用できます。 COMPLETE: プロンプトが与えられた場合、プロンプトに対応する応答を返す EXTRACT_ANSWER： ドキュメント（英語のテキストかJSONデータ）と質問が与えら

はじめまして、今年の1月にInsight Edgeへ参画したData Scientistの山科です。 まだ加入して数ヶ月ですが、画像を用いた異常検知や予兆保全、オペレーションの最適化、生成AI用いたDX案件など、幅広い技術・分野に携わらせてもらっており、日々、調査にデータ分析の試行錯誤と四苦八苦しながら業務に取り組んでいます。 今回は、画像を用いた異常検知に関する案件でPatchCoreという手法を用いたのですが、使い勝手が良く様々なことに使えそうだなと感じましたので、間違い探しを題材にパラメータのケーススタディをした結果を評価し、どういったことに使えるかを考察していきたいと思います。 目次 画像に対する異常検知手法 AIで間違い探しを解く! 考察 画像に対する異常検知手法 画像認識技術を用いた異常検知の重要性については、藤村さんの記事 でも紹介されている通りで、製造業や農業など幅広い分野

はじめに こんにちは。 今回は、Deep Learningの手法の中でもAutoEncoder系の手法(Denoising AutoEncoderやVariational AutoEncoderなど)をTop-N推薦タスクに適用した研究をいくつかまとめてみようと思います。 Deep Learningの手法を推薦タスクに適用するといった研究は近年増えています。 従来の推薦タスク用いられる協調フィルタリング系の手法にDeep learningを組み合わせる研究については、次のような記事があります。 DeepなFactorization Machinesの最新動向 (2018) - Gunosy データ分析ブログ Collaborative Metric Learningの関連研究まとめ - Qiita IRGAN (SIGIR 2017)→GraphGAN (AAAI 2018)→CFGAN

TL;DR ベクトル検索だと、複数のステップを踏まないと答えられない質問の検索がむずい 「TomにEmil Eifrém（Neo4jのCEO）を紹介してくれる人は？」とかを検索むずい ナレッジグラフは構造化データと非構造化データをうまく扱えてベクトル検索の苦手を補える 課題はあるけどナレッジグラフは、Neo４jとLangchainで構築できるよ。 はじめに 今回はベクトル検索の苦手分野をどうしても補ってあげたいとおもっている筆者やまぐちが、ベクトル検索の苦手を補ってあげられるナレッジグラフに関してまとめていこうと思います。 少々長い記事ですが、ベクトル検索を労ってあげたいと思っている方はぜひ読んでください。 ベクトル検索の限界 以前の記事の最後にも少しだけ記載しましたが、ベクトル検索は以下の問題点があります。 必要な情報がTop Kのドキュメントには含まれていない可能性がある。 チャンクの

metric learningにおけるangular lossとn-pair lossの特性の違いを理解したかったので、pytorchで実装し、mnistで分類してからt-SNEで可視化してみました。 実装はgithubにあります。 https://github.com/tomp11/metric_learning また、N-Pair LossとAngular Lossについては 距離学習におけるN-Pair LossとAngular Lossの理解と実装(Pytorch) でも詳しく説明しているのでそちらも参考にしてください。 結果 最初に結果を比較してみます。 n_pair_loss n_pair_angular_loss n-pair lossは少し曖昧に分ける印象があります。3と8が重なってしまってる部分も見られます。しかし分類が難しいものでもそのままにせず、どこかのグループには所

マトリクス解析 ここからソフトウェアを作ります。 最適化されたキーボードではキーマトリクスと見た目の配列を一致させないことがあります。 Arduino でファームウェアのプロトタイプを作り、キーマトリクスを解析します。 スケッチを Pro micro に書き込んでキーを押し続けると row, col の組み合わせが表示されます。 1 キーごとに key_matrix を更新してコンパイルします。 プログラムの内容は、I/O を読み取って表示するだけのものです。 ノーウェイトでアドレス線とデータ線を読み取っています。 信号線を digitalRead() で 1bit ずつ読み取っていると途中で値が変化してしまうかもしれないため、PORTB, PORTD のレジスタ単位で読み取っています。 const char * const key_matrix[16][8] = { { "KC_F7",

文化や歴史や経済などの背後にある「法則」を知りたいというのは、多くの人が一度はもったことのある願望なのではないかと思う。 「なぜ梅雨になると雨が降るのか？」とか「なぜ歳をとると髪の毛が白くなるのか？」などの自然界の現象であれば、科学である程度説明でき、僕らはその説明に一応は納得する。しかし人間の心理や社会が絡む問題はそうはいかない。なぜ特定の習慣が特定の国や地域に根付いたのか、ファッションや芸術の流行はどのようなメカニズムで生じるのか。（あるいは、なぜ多くの人に読んでもらえるブログ記事とそうでないものがあるのか。同じくらい頑張って書いているのに…。）そうした疑問に対して、自然科学のように「理論」や「法則」を使って説明をつけるのは難しそうだ。 もちろん、数理を使って人間の行動を研究している人々がいることは周知の事実だろう。たとえば昨年出た『ソーシャル物理学』という本では、人と人のつながりを数

前の記事では、BigQueryのざっくり概要を書きました。 今回はBigQueryを使う上でこれ知っておくと便利ですよ！という機能やTipsを書きたいと思います。 知っておくと便利な機能 メタデータを取得する ある程度データベースを触る人なら、スキーマやテーブルの情報を持っているメタデータがだいたい存在していて活用している人も多いと思います。 BigQueryでももちろん存在するので私がよく使うものを紹介していきます。 -- testdatasetデータセットのテーブル一覧を取得する SELECT * FROM testdataset.INFORMATION_SCHEMA.TABLES; -- testdataset.testのテーブルのカラム一覧を取得する SELECT　*　FROM testdataset.INFORMATION_SCHEMA.COLUMNS WHERE table_n

求人検索エンジンで使用するラベル付与の話 はじめに スタンバイでは求人検索エンジンにラベル情報での検索を可能にしています。 ラベルとは求人情報や検索キーワードの特徴的な情報に対するTag付けと考えていただければイメージしやすいかと。 本記事ではRuleによるラベル付けをテーマとしています。 ラベルの使い所 例として「住吉」という駅の求人を検索する場合を挙げます。住吉という駅は全国に下記の数存在します。 東京都　住吉駅 大阪府　住吉駅 熊本県　住吉駅 長崎県　住吉駅 兵庫県　住吉駅（JR西日本） 兵庫県　住吉駅（阪神電鉄） 「住吉駅」という単語のみで検索する際は上記全ての駅の求人データが対象となりますが、「半蔵門線 住吉駅」の場合は「半蔵門線」は東京にある路線なので、1の「東京都　住吉駅」のみが対象となって欲しいところです。しかし、「東京都　住吉」の求人データに「半蔵門線」の記述がない場合に

本記事はNotebookLMを使った医学研究論文のレビュー方法について、実践的な知識を提供します。以下のような情報が得られます。 NotebookLMの概要と特徴について NotebookLMを使って複数の医学研究論文をレビューする方法が分かります。具体的なプロンプトの例も提示されています。 NotebookLMの長所（正確性）と短所（回答の制限、アップロード数の制限など）について NotebookLMを効果的に活用するためのTips（論文数の制限、ピン留めによる保存など） NotebookLMの概要NotebookLMは、Googleが開発した革新的な生成AIサービスです。ユーザーが指定したデータを基に、AIが回答や要約を行うことができます。2024.6.9時点では無料で使えますが今後有料化の可能性はあるかもしれません。最新のモデルであるGemini 1.5 Proが利用されており、10

はじめにTransformerアーキテクチャにテキストデータを大量に読み込ませたらある程度あらゆる場面で使えるモデルができたというのがGPTやBERTなどの言語のFoundation Model(基盤モデル)です。 それと同じ発想で、あらゆる時系列データを読み込ませたら、あらゆる場面で使える時系列モデルが作れるのではないかという発想で作ったのが時系列の基盤モデルになります。 HuggingFaceにある商用可能なライセンスの時系列基盤モデルを4つ試し、比較していきたいと思います。利用するデータはETTh1という電力変圧器温度に関する多変量時系列データセットです。事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意してください。 google/timesfm-1.0-200m (今回) ダウンロード数：4.59k モデルサイズ：200m ライセンス：Ap

概要 DataExplorerは探索的データ解析を手助けするR言語のパッケージ ggplot2パッケージをラップしており、関数ひとつでデータセットを可視化できる 可視化結果をまとめたHTML形式の定型レポート生成も手軽 前書き 探索的データ解析(EDA: Exploratory Data Analysis)とは？ S-PLUS -トップ > 製品概要 > 探索的データ解析」より引用。 探索的データ解析は、1960年ごろより有名な統計学者J.W.Tukeyによって提唱されたもので、データの解釈にあたっては「まずモデルありき」ではなく、モデルを仮定する前に現実的な立場で、データの示唆する情報を多面的に捉えるという、解析初期のフェーズを重視したアプローチです。 それ以前は、あらかじめモデルを用意して、データをあてはめて確率計算を行っていました。しかし現実には、複雑な現実のデータ構造の中から、最適

ホクソエムサポーターの白井です。 呪術廻戦をみて喜久福が食べたくなりました *1。 今回は形態素解析について深堀りしてみます。 日本語の自然言語処理において、形態素解析は必ずといっていいほど通る道です。 形態素解析を必要としないSentencePieceのような深層学習向けのtokenizerも出現していますが、品詞単位で分割する形態素解析が重要であることは変わりありません。 そんなこんなで、『実践・自然言語処理シリーズ2　形態素解析の理論と実装』 (以降「形態素解析本」と表記)を読んでいます。 リンク先の目次を見て分かるとおり、基礎の部分から実装まで説明されている本です。 今回は4章で紹介されている darts-clone を使って、精度は粗いが高速で分かち書きができる最長一致法で、どれぐらい分かち書きが可能かを検証します。 事前知識・辞書引き darts-cloneを使ってみる 単語辞

確率変数が与えられたとき，取りうる値の対応する事象を列挙して確率を求めるのは面倒ですし， 一般に，確率変数の数値がどのように生成されたのか，すなわち，それぞれの数値にどの事象が対応しているのかにはあまり興味がありません．代わりに，数値と確率の対応関係に注目します．確率変数の数値に対して確率を対応させる関数を確率分布と言います．例えば，サイコロの出目 X と，2 つのサイコロの出目の和 X+Y の確率分布は下図のようになります． サイコロの例では確率変数の取る値が離散的でしたが，連続値を取る確率変数を考えることもできます．離散型の確率変数では各値に確率が対応しますが，連続型の確率変数では各値に確率密度が対応します（後述）． 確率分布 本章では，連続型の確率変数を想定して理論説明を行ないます 確率変数に対応する確率の見方として，確率密度関数 (Probability Density Funct

AHC002の問題設定 50×50マスの床に最大2マス分の大きさのタイルがランダムに敷き詰められています。 ランダムに与えられた初期位置からスタートして、縦横4方向(DRUL)に進みながら、なるべく多くのポイントを稼ぐことが目的です。 例えば、左(L)、下(D)、下(D)の経路を辿ると、経路上のポイント(11,32,90,90)の合計223がスコアとなります。 注意点として、既に踏んだタイルはもう一度踏むことができません。2マスで構成されているタイルの場合、2マスともが侵入禁止になる点に注意してください。この場合、左(L)、下(D)への移動は可能ですが、右(R)、上(U)への移動は不可能です。 目指す形 まず最初に、焼きなまし法系の手法に共通する流れを軽く説明します。 初期解を生成する 解の一部を変えながらよりよい解を探す ゲームで学ぶ探索アルゴリズム実践入門～木探索とメタヒューリスティク

はじめに FastAPIで作ったREST APIのエンドポイントに対して、PythonのHypothesisを使ってプロパティベーステストを実施する方法を調べながら学んだので本記事に残します。 本記事の対象読者 プロパティベーステストの概要を知りたい方 Hypothesisでできることを知りたい人 OpenAPI仕様に沿ったREST APIのプロパティベーステストの流れを知りたい人 Hypothesisを学習した動機 REST API向けのプロパティベーステストに興味を持ったことがきっかけです。 PythonでREST APIのプロパティベーステストをする場合、有名なものとしてSchemathesisライブラリがあることを知りました。 Schemathesisは、APIのエンドポイントに対して多様な入力値を自動生成し、APIがOpenAPI仕様（OAS）に沿った振る舞いをするかどうかをテス

defmodule LiveOnnx.MixProject do ... defp deps do [ ... # 以下追加 {:axon_onnx, github: "elixir-nx/axon_onnx"}, {:stb_image, "~> 0.4.0"} ] end end ONNXを読み込めない？ 2022/06/03 現在 まだまだ開発中のため読み込めないモデルが多々あるようです transformer系は注力していたようで幾つか成功しています onnx model zooのclassification https://github.com/onnx/models/tree/main/vision/classification のモデルは現在 importで失敗します　多分dynamic inputになってるせいかと思います dynamic inputはAxonOnnxでは現

簡単に ・LightGBMのパラメータ"Categorical Feature"の効果を検証した。 ・Categorical Featureはcategorical_feature変数に列名を指定するか、pandas dataframeのcategory型の列に対して適用される。 ・Categorical Featureへ設定する変数は、対象のカテゴリ変数を0始まりの整数に変換後、int型 or category型にするのが公式の推奨。 ・Categorical Featureを設定すると、必ず精度が向上するわけではない。 ・high-cardinality or low-cardinalityなカテゴリ変数のみをCategorical Featureに設定すると精度が向上する可能性がある。 初めに SIerでデータサイエンティストをしているSinchir0です。 データ分析コンペティショ

OCHaCafe Season5 #6の資料です．

2022年6月4日に行われた、第99回R勉強会@東京（#TokyoR）での発表資料です。 https://tokyor.connpass.com/event/249096/ 資料で使っているRコードはこちらになります。 Pythonですが、DiCEを使ったnotebookもあります。 https://github.com/dropout009/TokyoR99

この記事は自然言語処理アドベントカレンダー 2019の15日目です。 きっかけ AllenNLPとELMoForManyLangs ELMoの変換 1.Char Embedding 2.Char Convolution 3.Highway Net 4.Projection 5.Bi-LSTM config.json AllenNLPでELMoを使った学習 まとめ 謝辞 参考文献 きっかけ [1] [2] [3] [4] ストックマークさんが本気を出したんだ。 俺も覚悟を決めなくてはならない。 ということで、ストックマークさんがあらためて出してくれた学習済み日本語ELMoを使って、こちらの記事ではできなかった学習済みELMoをAllenNLPで読み込むことを今度こそ成し遂げます。 後述するELMoForManyLangs -> AllenNLPのスクリプトはGithubで公開しています。 g

[論文紹介]On-the-fly Data Augmentation for Forecasting with Deep Learning 論文 On-the-fly Data Augmentation for Forecasting with Deep Learning Summary on-the-fly*データ拡張の形式化 シーズナル分解とbootstrapに基づくOnDAT手法の提案 8つのbenchmark datasetsでSOTAを達成 *on-the-flyは、ミニバッチ内を指す Introduction 時系列予測は、実世界での活用が最も難しい。一方研究分野では、ARIMAやExponential Smoothingなどの統計的な手法だけではなく、NHITSやN-BEATS、ES-RNNなどのNNも優れた予測性能を出している。 DeepLearning(DL)には十分なデ

要約 Vertex AI Pipelinesでローカル実行するには以下の2通りの方法がある gcloud ai custom-jobs local-runコマンドを使う方法（CustomJob単位） Kubeflow PipelinesのLocalRunnerを使う方法（CustomJob単位 or Pipeline単位） 背景 GCPで提供されているVertex AI Pipelinesを用いている Vertex AI PipelinesでVertex AI CustomJobをつなげて動かしている 毎回の実行をGCP上で行うのは、試行回数の観点において好ましくない ローカル上でDockerイメージをpushして、インスタンスのマシンを割り当て、Dockerイメージをpullするのに数分はかかる ローカル上のリソースを用いて、実行するようにしたい ローカル実行 以下の2通りの方法がある

Godot Engineはオープンソースであり非営利のプロジェクトです。 開発はコミュニティによって行われ、コントリビュータ(貢献者)によって実際のコーディングが行われています。 これを聞くと、Godotは責任の所在が不明でアマチュア集団が作っていると勘違いされがちです。 偉い人の中にはこのような疑問を持っている方もいるのではないでしょうか？ コンソールでちゃんとリリースできるの？ トラブルが起きた時サポートされるの？ 突然使えなくなったりしない？ こういった疑問に対して、ある程度回答のようなものができたらと思います。 本記事がGodot採用の一助になれれば幸いです。 コンソールでちゃんとリリースできるの？ 結論から言うとできます。現にSwitchなどでGodot製のゲームがいくつもリリースされています。 ただしハードルは少しあります。まずOSSとコンソールプラットフォームは相性が良くない

はじめに 経緯と作った理由 Googleに見つけてもらえなくても良い このブログとの関係（今後の方針） おまけ：Wordpress雑感 おわりに はじめに 新たに個人サイトを作りました。 ttagawa-dlit.info さいきんこういうニュースを定期的に見るようになりましたので今さら感があると思いますが、 Googleからウェブサイトへのトラフィックがゼロになる日 – WirelessWire News むしろこういう状況だから作ろうかなと思ったというところがあります。 経緯と作った理由 元々別のドメインで個人サイトを持っていたのですが、ドメインの更新をミスって（期限の勘違い）なくなってしまいました。 しばらくは、このはてなブログとTwitterでwebでのつながりはほとんどカバーできているのでもう一度新しく作ることもないかなと思っていたのですけれど、研究に関する情報公開の場としてはな

こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci

はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に

こんにちは、ナウキャストのデータ＆AIソリューションチームの藤井です。今回は、先日開催した、業務改善を目的とした社内AIアイデアソンのレポートを書いていこうと思います！ 開催までの経緯Finatextグループは、生成AIに関連したソリューションを提供するデータ&AIソリューション事業を立ち上げ、生成AIを次の競争力の源泉にしようとしています。社内でも生成AI活用が進んでいて、社内専用のGPTチャットやSlackと連携した議事録要約システム等がリリースされています。また、全エンジニアがGitHub Copilotを使えるようになっております。 僕も含めたエンジニアは業務において生成AIをフル活用しており、GPTにSQL文を書かせたり、コーディングの際にもGitHub Copilotを活用してます。 しかし、エンジニアが生成AIを活用している一方で、ビジネスサイドでも生成AIをもっと活用する余

はじめにこんにちは。株式会社Rosso、AI部です。 近年、LiDARや、デプスセンサーから得られる3次元データを使用した、機械学習モデルの手法が発達しています。 本記事では、その中でも、3次元のデータ形式の一つである点群データを使用した物体検出モデル「PointPillars」についてご紹介します。 これらの点群データを用いた機械学習モデルは主に、自動運転に応用されています。 そこで、この記事では、自動運転用データセットであるKITTIを使って、PointPillarsを学習・評価まで行う方法もご紹介します。 点群データと機械学習について点群データとは3次元のデータ（３D）形式の一種で、 3次元情報を座標(x, y, z)で表現するものです。 例えば、点群データのクラス分類を扱っているmodelnet10というデータセットでは、点群データは下記の画像のように表されています。 ①順不変性

はじめに こんにちは、AIチームの大竹です。 最近、高性能な日本語音声認識モデルのリリースが相次いでいます。普段、音声認識を用いたプロダクト開発をしている中で、各モデルの音声認識性能や推論速度がどれくらいのものなのか気になったので簡単な実験をして性能を比較してみました。 書き起こしや評価周りの実装も記載しているので参考にしていただけたら幸いです。 モデルの直近のリリースをまとめると、以下のようになっています。ReazonSpeechコーパスのリリースを皮切りに日本語に特化した音声認識モデルの開発の勢いが加速しているように思えます。ReazonSpeechコーパスは、地上波テレビ放送から収集された音声に基づいて構築されています。v1では19,000時間、v2では35,000時間の音声が含まれていて、日本語音声認識モデルの学習リソースとしては世界一の規模となっています。 公開時期 モデル名 公

主要なJavaScriptエンジンのTest262を毎日実行して結果を載せているtest262.fyiというサイトがあります。 （Test262とは最新のECMAScriptを実装できているかどうかのテストです。） このサイトの、2024/6/5現在の実装率ランキングはこちらです。 test262.fyiの画面キャプチャ（2024/6/5） V8(ChromeやNode.js、Deno等)、JavaScriptCore（SafariやBun等）、SpiderMonkey（Firefox等）という、大手エンジンとほぼ横並びで4位に食い込んでいるBoaとは何者でしょうか。 Boaは公式曰く『Rustで書かれた実験的なJavascriptのレキサー、パーサー、コンパイラー』です。これだけ揃えば、JavaScriptエンジンと言って差し支えないと思います。RustアプリケーションにJavaScri

[速報] CloudTrail LakeでAIを活用した自然言語によるクエリ生成機能が発表されました(Preview) #AWSreInfoce あしざわです。 現在開催されているAWS re:Inforce 2024 のKeynote にて、CloudTrail LakeのAIを活用した自然言語によるクエリ生成機能が発表されました（Preview） AWS What's newブログ、AWS Blogの両方で発表されています。 AWS Blogをサラッと確認したところ、Previewでのリリース、利用できるリージョンも限られているようですが、個人的に激アツなアップデートです。 本ブログでは、アップデートの概要を確認して、アップデート内容を実際に試してみます。 概要 CloudTrail LakeはCloudTrailアクティビティログを集約、分析できるマネージドデータレイクです。 Clo

ついにブロックができるようになった！Amazon GuardDuty Malware Protection for Amazon S3が発表されました！ #AWSreInforce Amazon GuardDutyで待望のマルウェアに対する保護機能がリリースされました！信頼できないオブジェクトをS3にアップロードする環境ならガンガン活用していきましょう！ こんにちは、臼田です。 みなさん、AWS上でのマルウェアチェックしてますか？(挨拶 AWS re:Inforce 2024で待望のS3に対するネイティブなマルウェア検出と保護の機能である「Amazon GuardDuty Malware Protection for Amazon S3」がリリースされました！ Detect malware in new object uploads to Amazon S3 with Amazon Gua

あしざわです。 現在開催されているAWS re:Inforce 2024 のKeynote にて、AWS IAMのrootユーザーおよびIAMユーザーのMFA(多要素認証)としてPasskeyのサポートが発表されました。 AWS What's newブログ、AWS Blogの両方で発表されています。 概要 本アップデートによって、AWSのrootユーザー、IAMユーザーのMFAデバイスとしてPasskeyが利用できるようになります！ AWS側で発行したPasskeyをGoogleアカウントや1passwordなどのクラウドサービスに登録することで、MFA認証としてPasskeyを利用してAWSアカウントにログインできるようになります。 AWS Blogに以下のように記載があるため、初回のリリース時はPasskey+パスワード認証のみでパスワードの利用は必須であるようです。今後のリリースでP

最後まで実装したわけではないが、とりあえず関数呼び出しや四則演算を伴う鶴亀算のコードは動くようになり、あとは時間さえかければ機能を増やせるところまでできたので満足した。 結果として、知識としてなんとなく知っているレベルだったことに実感が伴うようになった。再帰的下向き構文解析とか、実行時のプログラムカウンターやスタックの動きとか。特に、関数呼び出しの時に引数をスタックに積んでから関数内のスコープから負のアドレスで参照するというのはなるほどだった。 スモールコンパイラ の制作で学ぶ プログラムのしくみ 作者: 石田綾,中田育男出版社/メーカー: 技術評論社発売日: 2004/11/09メディア: 単行本（ソフトカバー）購入: 1人 クリック: 8回この商品を含むブログ (41件) を見る 例え話はわかりにくいがとっつきやすい この本はずっと昔に買って、いつかやろうと思って本棚に寝ていた。記憶が

先日，中学生にビスケットの授業をやったのですが，プログラミング教育の悪い癖が出てしまったので，ちょっと書いてみたいと思います． １回目は９０分でビスケットランドと感染やジャンケンなどをやりました．これはこれで定番な内容でそこそこ上手く行ったと思います．普段，幼稚園児を相手にしている反応の大きさと比べたら小さな反応でしたが． で，２回目で彼らにはもっと難しいことに挑戦してもらおうということで，倉庫番を作ってもらいました． 最近の人たちにはこのゲームはそんなに知られていないので，まずは簡単に説明してから，６名くらいのグループに１台，倉庫番が入ったタブレットを渡して遊んでもらいました． その後，ビスケットで倉庫番の作り方を説明して作ってもらいます．作り方の説明は一番遅い人に合わせてやっているので，すぐできてしまう人は暇なようで，たとえば，斜めに動けるようにするとか，いろいろと余計なものを作ってし

理想の組織も自分たちで作ろう！ ―LayerXの「全員採用」を支える文化 / How to create our own ideal team

それは、Rustを使ってAtCoderの過去問を解いていたある日のことでした。どうにも正解が分からなかったため、解答例のコードを写経していたところ、Vecを使ってデータを管理しているコードが現れました。まぁでも、「インデックスより文字列で管理したほうが直感的だよな＾＾；」と、僕はHashMapを用いて実装したのでした。だいたいO(1)だし。 すると、不可思議なことがおこったのです。解答例のコードをそのまま書いた場合、つまりVecを使った場合よりも大幅に遅いではありませんか。そんな～；； ということで気になって調べてみたところ、公式で理由がずばり記載されていました。 RustのHashMapが遅いのはなぜですか？ RustのHashMapはデフォルトでSipHashアルゴリズムを用います。これはハッシュテーブル衝突攻撃を防ぐように設計されており、また、さまざまな入力に対してそれなりの性能を提

研鑽Rubyプログラミング 実践的なコードのための原則とトレードオフを読んだ。モチベーションとしては最近Rubyistの間でよく話題にされていたので気になったというミーハーな気持ちと、仕事でよく書くのはRuby(というかRailsでアプリ開発するのが多い)ので何か得られたらラッキーくらいな気持ち半々。 どんな本かについては他の著名なRubyistの方々が色々と書いておられるのでそちらを読む方が良いかもしれない。例えば「研鑽Rubyプログラミング」はライブラリ作者の知識・技術の幅と深さを拡大する1冊とかTechRachoの 『研鑽Rubyプログラミング』は英語版を買った人も買うべきとか。 またこの本を一言で表した文章としてあとがきから引用すると下記が端的。 Rubyコミュニティのリーダーをして「完璧超人か」と言わしめるような優れたプログラマーが、「読者が『すでにRubyをよく知っている』こと

BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 こんにちは、みかみです。 本州も梅雨入りの季節になってまいりましたが、沖縄はそろそろ梅雨明けです！ やりたいこと BigQuery で実行している SQL のパフォーマンスチューニングをしたい BigQuery のアンチパターン SQL を使っていないか確認したい どんな DWH を使うにしろ、SQL チューニングは避けて通れない道ではないかと思います。 実行計画確認して、データ処理エンジンの思想に思いを馳せて・・・。 というのも、特に顕著な改善効果が得られた時にはこの上ない喜びを感じられる作業ですが、SQL が複雑だったり、大量の SQL を確認しないといけない場合は、心折れそうになる場合もあります。 BigQuery でも、クエリプランを確認しながら SQL をチュ

最近にわかに話題沸騰中のJavaScriptランタイム LLRT を紹介する記事です。 github.com LLRTとは LLRT (Low Latency Runtime) は、軽量なJavaScriptランタイムです。サーバーサイド向けのJavaScriptランタイムはNode.js、Deno、Bunなどが有名ですが、それらにまた一つ加わった形になります。主にLambdaでの利用が念頭に置かれているようです。その他必要な情報は README.md にまとまっています。以下は抜粋です。 AWSのソリューションアーキテクト Richard Davison さんにより開発されています。リポジトリがAWSのGitHub organization (awslabs) で公開されているため、実験的ではありますが、AWS公式のプロジェクトと言って良いでしょう。 ここ5日間ほどでとんでもない勢いでG

思えば『ファイナルファンタジー』（1作目）をプレイしたのは結構後の話であって、発売した1987年12月当時にどんなもんであったかなど、私は全く知らなかった。 ゲーム史というのは、その状況を伝えるためにありそうなもんなのだが、少なくない割合で『ドラゴンクエスト』1作目がいかに偉大だったかを讃えているだけで、その後のゲームはかなり大雑把な扱いで終わっているか、ひどいものだとドラクエ1で終了してその後は全く触れてない。 いや、ドラクエ前も、ドラクエ自体の認識も怪しいと言っていい。 FF1が作られていた1987年あたりのファミコンRPGを取り巻く状況、そこに至るまでの道のりはいかなるものであったか。 ファイナルファンタジーはどのへんがすごかったのか。 知りたいのはそういうことだったはずだが、誰も私の納得のいくものを書いてくれなかったので、私が書く。 本記事はファミコン史を俯瞰するものではない。書い

好きだったな、と未だに思い出す番組ってあるよね。 ここの所、気圧の変化が激しく、身体が動くかどうかは気候次第という、大変環境任せな毎日を送っている。気圧に影響を受けない人は、前世どんな徳を積んでいたのか教えて欲しいレベル。 と、そんなことはさておき、明日は第３回目のおたっきぃ佐々木氏とのトークイベント。おたさささん誕生日＆うる星やつら放映開始記念＆アニゲマスター放送開始２５周年という、なんだか盛沢山な記念日イベントになってます。 入場料不要、19時から開始しますので是非、秋葉原のBAR from scratchさんに遊びに来てくださいね。詳細は下記ツイートから。 【告知】来週13日（木）に秋葉原 from scratchさん @BARfromscratch1 にて第３回目のおたさささん @otasasa とのトークイベント開催します～ おたさささんお誕生日お祝い＆うる星放映開始記念というこ

単語の重み付けと類似度スコア Lucene / Solr では、ある検索キーワードに対して特定のドキュメントがどの程度マッチするのかを、類似度スコア (Relevance Score) と呼ばれるアルゴリズムにより計算しています。 Lucene / Solr 5 系までは TF-IDF (Term Frequency-Inverse Document Frequency) というアルゴリズムがデフォルトで使用されていました。 具体的には、TF 値 (単語の出現頻度) と IDF 値 (逆文書頻度) という２つの指標に基づいて計算されます。 TF 値 : ある文書の中である単語の出現回数が多ければスコアが増加する IDF 値 : 検索対象の全文書の中でその単語が出現する文書の数が少なければスコアが増加する 例えば、英単語の the, a, an, and, it などは TF 値は高くなりそ

もう何度目になるだろうか。そろそろ数えるのも難しくなってきた、ポートフォリオサイトのリニューアル。今回は「コンセプトの強度」や「ドット絵とWeb開発」といった観点でいろいろ書き散らしていく。 過去の振り返り本サイトcocopon.meは、いまご覧いただいているブログ以外にもいくつか役割を持っており、例えば自身の実績を載せるポートフォリオも兼ねている。 これまで何度もリニューアルを重ねてきており、そのときどきの様子は当時の記事から窺い知ることができる。

何ヶ月か前、デイリーポータルZで面白い記事が更新されていた。 dailyportalz.jp なるほど確かに名前が分かるだけで面白いと感心。それからはたまに、ぼんやり目の前を眺めながらモノの名前を頭の中で読み上げたり、スマホで調べてみたりしている。 この文章は待ち合わせまでの空き時間に喫茶店で書いているが、他にもパソコンを広げている人がいる。自分はあの人が使っているパソコンがSurface Proであることや、あっちの人はMacbookで、目の前の人はLet’s Noteであることも分かる。でも多くの人は一つのノートパソコンとして認識しているんだろうなと思うと、なんだか面白い。 でもファッションが好きな人は、おれにはTシャツ・ズボン・スカートくらいしか言えない服の種類を、もっとたくさんの名前で認識しているんだろう。机も椅子も、紙コップひとつにすらも、もっと細かく名前がついていて、分かる人に

生成技術の発展が本当に日進月歩ですごい。音楽に関しても、もう「なになに風の音楽を作って」というものについてはあと一歩で実用レベルだな、と思わせるところまで来ている。以前もこのブログで以下のように書いた。 「こんなイメージで、という指示」をインプットにして、アレンジ済みトラックを出力するような仕事、あるいは「こういう用途で使います」「こういうイメージで」をインプットに、BGMを出力するような仕事は、「よほどのこだわりがある場合」を除いて、生成AIによって早晩奪われていくだろうと思っている。 生成AIによって、演奏の仕事が置き換えられていく可能性は低いと思う。が…… - 猫型の蓄音機は 1 分間に 45 回にゃあと鳴く なんならLogic11の新しい機能のSessionPlayerなんかはもう「アレンジ済みの演奏を出力する」「ベーシストとして楽曲制作のお手伝いをする」みたいな私の仕事を一部置き

コニー・ウィリスによるＳＦシリーズであるオールクリアの２巻が出た。これにてブラックアウト、オールクリアと続いてきた長大な物語が完結になる。ブラックアウトを読んだ時点でオールクリアを待つのがつらくなり、英語を勉強して洋書で読んだ身としては非常に感慨深い。このふたつがこれだけ期間をあけて出版されなければ僕は未だに洋書を読もうという気は起きていなかったし、日本語の本だけで満足していただろう。間を開けてくれた早川書房および訳者の大森望氏には感謝せねばなるまい。 英語が読めるようになる、英語を読もうとする人間へ変質するということは、ゲームで言えばマップが解放されたような状況に等しい。英語ができるようになるだけで今までアクセスできなかった文化圏にアクセスできるようになるのだ。当たり前のことだろって思うかもしれないけれど、実際問題英語でも情報を収集する、できるようになったときにそのことの意味がまったくわ

要約 Windows上のCUDA環境において、Ryeを用いてPyTorchおよびPyG (PyTorch Geometric) のライブラリをインストールすることができた。pyproject.tomlにソースを設定することが必要となる。 Ryeについて RyeはPythonのバージョン管理とライブラリ管理の両方を1つで行えるツール。Rustで内部実装されている。ここではインストール方法には触れない。インストール済みであるとして進める。 Rye CUDA環境の構築 以下が必要となる。 NVIDIAディスプレイドライバーのインストール NVIDIA CUDA Toolkit のインストール NVIDIA cuDNN のインストール この3つは組み合わせの相性があり、以下のページでサポートされている組み合わせが記載されている。 Support Matrix ここでは、最新のドライバーと CUDA

はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジューラ、ETLツールの移行を検討・実施してる方 概要 オンプレDWHからBigQuery移行する前後の構成イメージを元に、今回の移行の話について概要を説明します。 次の図が移行前の構成図です。オンプレ環境のWindowsサーバ上でジョブ・スケジューリングと実行を基盤処理として、データウェアハウス（以後オンプレDWH）に対してデータ生成や外部システムとの連携をしていました。 今回、以下を目的にオンプレDW

はじめに Elasticsearchは、新しいクエリ言語であるES|QL（Elasticsearch Query Language）の一般公開を発表しました。この記事では、ES|QLの機能と利点、そしてその導入による新しいデータ調査の可能性について詳しく紹介します。 デモサイト ES|QLとは何か？ ES|QLは、データ調査を簡素化し、効率化するために設計された動的なクエリ言語です。従来のQueryDSLに代わり、シンプルで直感的なクエリ構文を提供し、データソースや構造に関係なく迅速なデータ検索を可能にします。特にパイプド構文により、複数の操作を連鎖させることで、複雑なデータ調査も簡単に行うことができます。 ES|QLの例 以下は、典型的なES|QLクエリの例です： FROM logs-system.auth* | WHERE host.os.type == "linux" AND eve

はじめに Chrome 126からローカルで使えるLLM Gemini Nanoが使えるようになりました。 本記事では実際に使ってみようと思います。 前準備 まずはChrome Release ChannelsにてDev channelのChromeをインストールします。 インストールできたら下記機能を有効にします。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled 次に、LLMのダウンロードが必要のため、 chrome://components/にアクセスし、Optimization Guide On Device Modelのアップデート状況を確認します。 まだダウンロードされていない場合は、アップデートを確認ボタンでダウンロード

インターネットをご覧の皆さん、こんばんは。 皆さんは文章の要約、やっていますか？ やっていますね？ 先日 Stability AI よりリリースされた japanese-stablelm-2-base-1_6b をベースモデルとして、 SFT (Supervised Fine-Tuning) を用いて日本語要約に特化した言語モデルを作成してみましたので、本記事ではその学習の流れについて紹介します。 学習に使用したスクリプトは以下のリポジトリに置いています。 モデルの学習 モデルの学習は以下の流れで行いました。 学習用データセットの収集 まず、要約モデルを学習させるために必要なデータセットを収集します。 要約元となる文章と要約された文章のペアを用意できるようなデータセットを取得します。 学習用データセットの整形 収集したデータの前処理を行い、本文と要約のペアを整理します。 モデル学習の実行

plmパッケージとpanelvarパッケージ 最近、パネルデータを扱うことが増えてきたのだが、パネルデータで動学的な（つまりt-1期とかのラグ項が出てくる）分析をやろうとすると最小二乗法ではなくGMM推定量を用いる必要がある。 備忘として、動学的パネルデータ分析（ダイナミックパネル分析）の基本的な考え方とRのパッケージの使いかたをここにメモしておこうと思う。といっても自分自身の理解もだいぶあやふやで、色々間違いもありそうなので、お読みになった方から指摘いただけると大変助かります…（汗） Rの場合、結論から言うとまずは{plm}パッケージを使うのがいいと思う。いわゆる「パネルVAR」の形で分析したいなら、2018年に開発されたらしい{panelvar}パッケージを使うことができるのだが、後述するとおり{panelvar}のほうにはまだ不便なところもあって、今のところ、なるべく{plm}ででき

こんにちは。mutopsyです。この記事は，『StanとRでベイズ統計モデリング』読書会 (Osaka.Stan #4) で使用したスライドの紹介記事です。 『StanとRでベイズ統計モデリング』，通称「アヒル本」のChapter 7「回帰分析の悩みどころ」の前半部分を解説しているスライドです。回帰分析を用いる際に留意するべき点，あるいは工夫できる点として，「交互作用」「対数をとるか否か」「非線形の関係」「多重共線性」「交絡」の5つに焦点を当てています。内容に関してはスライドをご覧頂くか，「アヒル本」を読んで頂ければ良いかと思いますので，この記事ではスライド内で紹介しているStanコードを（コピペしやすいように）改めて紹介したいと思います。 以下のStanコードは，2つの説明変数（イケメンか否か・年収）で1つの応答変数（魅力）を予測する重回帰モデルです（この例は清水先生の記事を参考にしまし

はじめに 介入やランダム化比較実験(RCT)について、Pythonによる実装を交えてまとめました。本記事では、グラフ的な表現や調整に関する記述はなく、介入操作の概要と(調整を必要としない)ランダム化比較実験についてのみ取り扱っています。内容について誤り等がありましたら、コメントにてご指摘いただけますと幸いです。 介入 介入とは、「因果推論をする際に、とある変数の値を変化させる操作」のことを表します。そして、多くの場合では介入操作の因果効果を推定することが、その因果推論の目的となっています。 介入操作の具体例 ここで具体例として、こちらの記事で用いた「とある大学に所属する経済学部生の、計量経済学の試験の得点Yに対する特別講義(以下、特講)受講Dの効果」を考えたいと思います。 こちらの記事では、特講の受講するかどうかDは学生個人の学習意欲Xに依存していました。すなわち、学習意欲Xが高い学生ほど

確率的プログラミングとは 何がうれしい？ 本書の主張 階層モデル 伝統的な統計論とベイズ統計との違い 思想 信頼区間 その他メモ 尤度と事後分布 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (10件) を見る 確率的プログラミングとは 随所で「確率的プログラミング」という言葉を見かけ、気になっていたので本書を読んだ。そのときのメモ。 最初、この単語は確率論を考慮したプログラミングを指すのか？と思っていたがそうではなく、ベイズ統計モデリングをするための言語とのことだった。 数理最適化計算のためのモデリング言語でAMPLというのがあるが、それの確率モデリング版と考えるのがしっくりきた。「確率的プログラミング」でなく「ベイズ統計モデリング言語」と呼んだ

注意事項 $\rm\TeX$は2019年6月9日現在，AtCoderのジャッジシステムには含まれていません．手元の処理系で動作を確認しています． 11問中 6 8問しか解けていません．今後随時追加の予定． 東大TeX愛好会@ut_tex_clubさんからの情報提供により全問解決できました．感謝です． 更新履歴 2019/06/08 #0, #1, #2, #4, #5, #8 公開 2019/06/09 #3, #6 追加 2019/06/25 ログ出力に関する情報について追記 2019/09/26 東大TeX愛好会@ut_tex_clubさんからの情報提供により #7, #9, #10を追加 まえがき $\rm\TeX$はプログラミング言語．ならば競プロするしかない． ということで解いてみました． 競プロ入門といえばおなじみの @drken さんの記事，AtCoder に登録したら次にや

この記事について mlflowという機械学習の管理をできるPythonライブラリについて説明する mlflowを使って、データ分析サイクルを効率よく回せるかを考える mlflowとは 概要 mlflowは、機械学習の開発を行う上で複雑になりがちな実行環境、モデル、パラメータ、評価結果、その他もろもろの管理を行ってくれるプラットフォームです。モデル作成後のデプロイについても、予測結果を返してくれる簡単なAPIを提供できる機能でカバーしています。 機械学習を行う場合、scikit-learn(または、これに準拠したもの)を用いることが多いと思うので、これを使うことを前提に説明していきます。(scikit-learn以外にも、H2O、Keras、pytorch、tensorflowといったディープラーニング向けのライブラリにも対応しています。) mlflowは以下の大きな3つの機能で構成されてい

2022年度 TopSE「機械学習概論」コースの一部として使用した講義資料です。 https://www.topse.jp/ja/curriculum-lectures.html

こんにちはkirigayaです！ 少し前にSnowflakeの大型イベントDATA CLOUD SUMMIT 24が開催されました！ 今回は特に激アツや〜〜〜と感じた以下 ノートブックからGPUコンテナ使用 CortexLLMのFine-Tuning この記事ではCortexLLMのFine-Tuningについて調査していきたいと思います！！！ どちらの機能もすごく欲しかったので発表された時は家の中で跳ね回っていましたw 夢を叶えてくれるSnowflake さっそく新機能のダークモードがお出迎えしてくれます Fine-Tuning ドキュメント 中身はPEFTを使っているようです。 中のどれ？って感じですが... 微調整可能なモデル一覧 Mistral AI の 70 億パラメータの大規模言語モデルは、最も単純な要約、構造化、質問への回答などのタスクを迅速に実行する必要がある場合に最適です

TL;DR 時間がなくてお遊びまでで実用性はないです。 駆け足で書いているので不備などあったら申し訳ないです。 Squint を使うとClojureScriptライクな言語でVimプラグインが書けます。 VSCodeとかもいける？わからないけれど Squint はまだ Work In Progress なので、今後破壊的な変更が入る可能性があります。 対象 JSの代わりにClojure(Script)が書きたい ClojureScript は好きだけれどもJSの出力結果としていろいろ埋め込まれて巨大になるのは好きじゃない ClojureScript とは そもそも Clojure とは JVM 上で動作する Lisp 方言の1つで、ClojureScript は JavaScript をターゲットとした Clojure コードのコンパイラです。 Clojure は主に *.clj という拡

SageMaker Feature Store の使用方法の一連の流れを解説します。 記事中での実行コード github.com Feature Store とは まずはML界隈で知られるFeature Store の概念について説明します。 Feature Store は「機械学習で使用される特徴量の一元管理を行うためのデータ管理システム」です。 似たような概念にData Lake や Data Warehouse があげられますが、それぞれ Data Lake : 幅広い用途への利用を想定した、データの一元管理システム Data Warehouse: 分析のために事前に定めたスキーマを持つ、構造化データ管理システム といった役割を持ちます。 対して、Feature Store はMLで使用される特徴量の管理に特化した役割を持つことがポイントです。 Feature Storeの立ち位置

この記事では，Pytorchを用いてNeural Tangent Kernel (NTK) およびNeural Gaussian Process (NNGP) を実装し実験する方法について簡単に紹介します．なお今回は簡単のために2クラス分類にのみ適用可能な実装となっています． 0.データセットとモデルの定義 まずはPytorchを利用してCIFAR10の用意をします． import torch import torch.nn as nn import torch.nn.functional as F import torchvision import torchvision.transforms as transforms device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') transform = tr

分析対象のアウトカムYには2つのpotential outcomes \{Y^0, Y^1\}が想定できるが，現実のデータでは片方のみしか観測されない． 分析で知りたい因果効果は平均的な処置効果(ATE, ATT)，ナイーブな引き算(E[Y|D=1]-E[Y|D=0])で因果効果を求めてもselection biasが残るので因果効果を正しく推定できない． CIA: \{Y^0, Y^1\} \perp D | Xが成り立つとき，selection biasは消える． potential outcomesのフレームワークを使ってselection biasがない理想的な状況(CIA)を思い描くことで，必要な分析のデザインが見えてくる． 私たちが答えの知りたい因果関係の"問い"にはいくつかのパターンがありますが[1]，ここではまず，「もし〇〇したらYはどう変わるか?()」という問いに着目しま

1. はじめに TensorFlow Lite を GPUで高速化する GPU Delegate機能 を Android で使う方法について書きます。 GPU Delegate に関する公式情報はいくつかあるのですが（例えばここ や ここ）、それらは「手軽に試す」ことに焦点があてられており、 ・TensorFlow Lite ライブラリや GPU Delegate ライブラリは、ビルド済みバイナリをダウンロードして使う ・アプリは Java や Kotlin で書かれている というものが大半でした。 これに対し本記事では、次の前提でアプリを作る方法について書きます。 ■TensorFlow Lite ライブラリとGPU Delegate ライブラリは、ビルド済みバイナリを使うのではなく、自前ビルドしたものを使いたい（最新のソースコードを使いたい。自分でコード修正したい。） ■アプリは C+

はじめに タイトルには脳の非同期学習というようにまるで脳が非同期的に学習をしているかのように書きましたが, そこんところ実際はどうなっているかよくわかりません. 自転車を漕ぎながら考えごとをしたり, サッカーでドリブルしながらシュートかパスか考えたり, 少なくとも思考と運動の処理自体は並列非同期であるよう私自身は思います. まぁよくわからないんですが, とりあえずニューラルネットワークでは非同期でも学習できたよ! というのが今回紹介する論文です. Decoupled Neural Interfaces using Synthetic Gradients 目次 はじめに 目次 どんなことをしているか DNI 実験 詳しい実験結果 追実験 実装 まとめ どんなことをしているか まず言葉の意味から行くと, Decoupledとは分離という意味です. なにを分離するのかというと層の依存関係を分離し

こんにちは。 aiチャットボットを作る時は自然言語処理（NLP）をする必要があります。 その自然言語処理には、形態素解析や構文解析、意味解析などの工程があります。 この記事では形態素解析も構文解析も出来るpyknpの使い方を解説します。 ※インストール方法はネットに載っている情報でお願いします。 pyknpとは pyknpとは、京都大学が作ったknpとjumanをpythonで使うためのライブラリです。 因みに、knpは構文解析をするためのもので、jumanは形態素解析をするためのものです。 しかし、knpはjumanに依存しているので、knpだけで形態素解析も構文解析も出来ます（多分、コマンドラインでは構文解析しか出来ないと思います） 以下ホームページなど。 形態素解析をする方法 まず、形態素解析をする方法から説明します。 pyknpで形態素解析をする方法は二つあり、一つ目はjumanで

DeepLearning Advent Calendar,6日目の記事です。 Deep Learningフレームワークも世の中に随分と充実してきた昨今、いかがお過ごしでしょうか。今日はC++プログラマが簡単に導入できるDeep Learningフレームワーク、tiny-dnnを紹介します。 まとめ C++でDeep Learningやるなら、tiny-dnnが便利 Header-only＆外部依存なしで簡単導入 Caffeからのインポートやシリアライズなどの各種機能にも対応 いろんなデバイス上で動かしたい人、既成のModel＋αを素早くアプリケーション化したい人、C++でDeep Learningを理解したい人に最適 背景 Deep Learningフレームワークといえば、 Chainer TensorFlow Caffe あたりが有名ですね。他にも老舗のTheanoにTorch、Tens

この記事では時系列モデリングにはRNNよりCNNのほうが有効であると提唱してる論文と、その中で提案されている手法Temporal Convolutional Network(TCN)について紹介します 論文概要 タイトル : An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 論文URL : https://arxiv.org/pdf/1803.01271.pdf Date : 2018/04/19 背景 深層学習の文脈で時系列モデリングと言えばRNNと多くの人が思うでしょうし、多くの本の"時系列モデル"の項にもRNNが載せられています。しかし、2016~2018年には音声合成や機械翻訳などの一部の分野でConvolutionを用いた手法がRNN系の手法よ

はじめに DELISH KITCHENでデータサイエンティストをやっている山西です。 今回はレシピ動画のサムネイル画像の自動抽出の取り組みについて紹介いたします。 OpenCVを用いた画像処理 画像とテキスト情報のペアを扱う大規模モデル 等を用いつつそれを試みた事例になります。 ※記事後半で具体実装を扱っている部分では、周辺知識がある前提で説明を進めていることをご了承ください。 every Tech Blog Advent Calendar 2024(夏) 9日目の記事になります。 出来たもののイメージ どんなものが出来たかを先に紹介します。 一言で表すと、レシピ動画の中から「調理手順を表すのに良い感じのサムネイル画像」をAI的振る舞いで自動で抽出してくれるシステムになります。 これをワンパンカルボナーラというレシピに適用した例を以下に載せています。 図1: AIシステムによるレシピサムネ

これは何？ 最近、社内で Elasticsearch/Lucene 勉強会を毎週ガヤガヤとやっています。 今週の私の担当は、Luceneの検索メソッド IndexSearcher.search の処理の流れを追っていきます。 準備 まずは、手元でデバッグするために、Luceneインデックスの作成と簡単な動作確認をしておきます。 インデックスの作成 インデックスの作成には、 IndexWriter を用いますが、詳細は、 @po3rin さんの ブログ に譲ります。 Directory directory = FSDirectory.open(Paths.get("./data/index")); StandardAnalyzer analyzer = new StandardAnalyzer(); IndexWriterConfig config = new IndexWriterConf

新語などに対応したNEologd＋Macabを使った形態素解析をHeroku上で行うことに成功したので軽量化手法とともにご紹介します。 手順だけ教えろって方は後半を見てください。 （どうせ来月には忘れている自分のためです） NEologdはHerokuで使えない 「mecab-ipadic-neologd」とはMacabを新語などに対応させた辞書のことで、例えば通常のMecab辞書だと「鬼滅の刃」は一つの固有名詞だと認識できません。 しかしNEologdを辞書として使うとことで固有名詞として形態素解析を行ってくれます。 $ mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd 小宮果穂 名詞,固有名詞,人名,一般,*,*,小宮果穂,コミヤカホ,コミヤカホ EOS 軽量化すればいい！ ネット上にある殆どの記事は「無

最近、Arxiv Sanity Preserverで上位にランクインしていた、Facebookから20/5/27に公開のObject Detection論文 DETRについて解説する。 概要 NMSやRPN等のごちゃごちゃした仕組み無しで、CNN＋Transformerの極めてシンプルな構成で真にEnd to Endな物体検出を実現する。 その上で、最近の最前線クラスの物体検出器に匹敵する性能を達成している。 （テクニカルに色々してるが、新規性は従来のRNNをTransformerに置き換えている所） このシンプルな構成のおかげで拡張が容易で、この論文ではDETR物体検出器をSegmentationタスクにも拡張し、SOTA級のアーキテクチャを上回る性能を叩き出している。 NMSをなくして、Transformer化に至るまでの背景 現在よく使われてる物体検出器では、処理の途中過程にあるNM

インストールが完了したらアドレスバーに chrome://flags と入力して設定画面を開きます。以下の 2 つのフラグを設定します。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled また、あらかじめ Gemini Nano のモデルをダウンロードしておく必要があります。アドレスバーに chrome://components/ と入力して Optimization Guide On Device Model の「アップデートを確認」をクリックします。 Gemini Nano を使ってみる それでは、Gemini Nano を使ってみましょう。以下のコードをコンソールに貼り付けて実行します。 const canCreate = aw