Seq2seqモデルのBeam Search Decoding (Pytorch) - The jonki
この記事では，Pytorchで作ったseq2seq型の翻訳モデルを使って，ビームサーチによるデコーディングをします． OpenNMTやfairseqを使えば簡単に利用できるのですが，ビームサーチのためだけにこのようなフレームワークを使うのはちょっとなぁ，ということと，ビームサーチ自体はDNNに限らず様々な場面で役に立つ手法なので，この際ピュアに実装してみた，というのがこの記事です． ちなみに一般的なseq2seqのデコードは，各タイムステップで予測したtop-1の単語を，次ステップのデコーダーの入力に使います． ビームサーチでは，このようなgreedyな条件を緩め，上位K個の予測を使って，デコードしていきます．ビームサーチをよく知らんという方は，Andrew Ngの神説明が参考になると思います． C5W3L08 Attention Model, Andrew Ng. できたもの seq2s
情報を断捨離してリソースの逐次投入を避ける - 俺の遺言を聴いてほしい
床中に散らばる「読まなかった本」を見て、どうしてこんなことになったのかと頭を抱えた。 本棚から全ての本を取り出してみると、半分以上の本が未読のままだった。 その上、最初の20ページだけ読んで、付箋が貼ったままになっている本も大量にあった。 Amazonに売りに出す本を整理していた Kindleを開いても同じだった。 Kindleでセールになっていたときに大量に購入した「まんがで読破」シリーズは、一つも読まずに３ヶ月が経った。 なぜ、こんなことになってしまっているのか。 「あれも読まなきゃ、これも勉強しなきゃ」と焦り、本を買い、少しだけ読んでまた別のものに関心が移り、1章読んだきりで本を投げ出してしまう。 本の整理をしながら剥がした付箋は20枚以上になった。どれも中途半端なページに貼られていた付箋だった。 戦力の逐次投入は愚策である。選択と集中こそが肝要だと古の賢者が散々警告していたにも関わ
ヤフーの類似画像検索技術と特徴量モデル 〜 Yahoo!ショッピングの事例紹介 #機械学習
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーで画像認識技術の研究開発を担当している西村と田中です。 Yahoo!ショッピング（iPhoneアプリ）では昨年7月から一部カテゴリーを対象に、類似画像検索機能が利用可能になっています。また、昨年9月にはYahoo!ラボから類似画像検索技術を用いたラボアプリFavNaviをリリースしました。 この2つのアプリに関しては、Yahoo! JAPAN Tech Blogで記事が公開されています。 似た商品が見つかる！ Yahoo!ショッピングの類似画像検索 〜 近傍探索NGTの導入事例 流行アイテムを探してみよう。AIを使ったファッション画像検索アプリ ヤフーでは、これらのサービスで使われている類似画像検索の技術を独自に
BigQueryでクエリを書いたときにハマった罠集 - 唯物是真 @Scaled_Wurm
自分がなんとなくBigQueryのクエリを書いていてハマった罠について列挙しておきます。 ドキュメントをちゃんと読めば書いてあったりするのですが、普段はそこまで細かく見てなかったりするんですよね……。 BigQueryのカレンダー | Advent Calendar 2023 - Qiita の16日目の記事です。 CAST(value AS INT64) は切り捨てではない 他のプログラミング言語などをやっているとなんとなく整数型にキャストすると切り捨てのような気がしてしまいますがBigQueryは違います。 四捨五入的な挙動になります。 SELECT CAST(1.5 AS INT64) -- => 2 Returns the closest integer value. Halfway cases such as 1.5 or -0.5 round away from zero. h
TeXsorflow(LaTeXニューラルネットワーク)を作った - muscle_keisukeの日記
これはMuroran Institute of Technology Advent Calendar 22日目の記事です． はじめに ニューラルネットワーク構築用パッケージ TeXsorflow*1を作りました． つまり， LaTeXでニューラルネットワーク 実装しました． ニューラルネットワークとは 機械学習の一分野で人間の脳を数理モデル化したものです．教師データの入力を基に誤差を算出し，誤差を少なくするように重みやバイアスを調整することで学習を行います． 引用: http://zuqqhi2.com/nn-most-decent-4 作ったもの 今回はLaTeXで分類問題を解くニューラルネットワークを実装しました．教師データから学習を行い，推論フェーズで出した答えと教師データの解答をPDFに出力します． 想定する環境 データ 今回はirisのデータを使って，種(Species)の分類を
中間表現を用いた言語モデルの知識蒸留 - Preferred Networks Research & Development
本記事は、2023年度PFN夏季インターンシップで勤務された稲葉達郎さんによる寄稿です。 こんにちは，2023年の PFN 夏季インターンシップに参加した京都大学修士1年の稲葉達郎です．大学では自動音楽生成や自然言語処理に関する研究をしています． 今回のインターンシップでは「中間表現を利用した段階的推論能力の知識蒸留」というテーマで研究を行いました．大規模な言語モデルが持つ段階的な思考能力（Chain-of-Thought）を知識蒸留により小さな言語モデルに引き継ぐことを目的としています．二種類の既存手法を再現し，それらを組み合わせることで性能向上を目指しました． はじめに 昨今，大規模言語モデル（LLM）がその高い性能や汎用性により注目を集めています．また，高い能力を持つ LLM が，段階的な思考をテキスト生成を通して擬似的に行えることがあります．この手法は Chain-of-Thoug
固有表現認識にはどのサブワードの分散表現が有効なのか？ - Ahogrammer
ACL 2019より以下の論文を紹介。 Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation この論文では、2つの系列ラベリングタスク（固有表現認識と品詞タグ付け）に対して、3つのサブワードの分散表現（FastText、BPEmb、BERT）のどれが有効なのかを調査している。最近の自然言語処理タスクでは事前学習済みの分散表現が使われる。特に2018年以降はELMoやBERTなどの文脈を考慮した分散表現が使われるようになってきている。しかし、どの分散表現を使うのが良いのか包括的に調査した研究はなく、実務者が分散表現の選択を行うのを難しくしている。そういうわけで、265言語に対して調査を行った。 調査の結果、以下の示唆を得られた。 大規模データ
Graph Convolutionを自然言語処理に応用する Part2
Graph Convolutionを自然言語処理に応用するための調査Part2となります。Part2では、いよいよ実装を見ていきます。Graph Convolutionサーベイ編であるPart1はこちらからご覧ください。 Part2ではGraph Attention Networkの理論と実装を確認していきます。それに先立ち、まずPart1で学んだ内容に沿ってGraph Attention Networkという手法を整理しておきましょう。 Graph Attention Networkは 「Spatial Method」なGraph Covolutionであり、「エッジの情報を加味するが、潜在表現までにはしない」手法ですまず、Graph Convolutionの研究を読む際は畳み込みの手法がSpatialかSpectralかに注意を払う必要がありました。そして、エッジの情報を加味する・しな
プログラミングを始めたきっかけと回想
この記事は Kyoto University Advent Calendar 2019 の 22 日目の記事です。 最近ブログを新しくしました。このブログの最初の記事は 「Web Frontend Challenge」参加記 なのですが、 今日は #kuac2019 の投稿として、 その記事よりも前の話、そもそも自分がプログラミングや Web の分野に興味を持った経緯を小学生時代から振り返ってみたいと思います。 先に断っておきますが、特殊な経緯がたくさんあるので他の人に参考にしてほしいとは全く思っていません。 ただの回想なので有益な情報は特にないですが、読んでいただけたらと思います。 ネット環境がない 今年の4月まで、実家にインターネットの固定回線は引かれていませんでした。山間部で、そもそも一昨年くらいまで光回線のエリア外だったことや、両親にとって必要なかったことが主な理由です。 （小中学
Comet.mlを使ってみた - Re:ゼロから始めるML生活
前に、Weights & Biasesを使って実験管理する方法をやってみました。 www.nogawanogawa.com 最近のkaggle強い方々のtweetを見る限り、mlflowで実験管理をするのが徐々に普及している感じがしますが、その流れもあってかwandbなどの実験管理サービスを使用する事例も見られるようになっている印象です。 Comet.mlもwandbと同様、実験管理ができるサービスとなっています。 というわけで、今回はComet.mlを使用してみたので、そのメモです。 Comet.ml is 何？ でも、お高いんでしょう？ 使ってみる Pytorch 複数実験の比較表示 個別の実験の詳細表示 良いと感じたところ 惜しいと感じたところ 想定される使い方 感想 Comet.ml is 何？ www.comet.ml Comet.mlはwandbなどと同様、機械学習の実験管理を
小川洋子『猫を抱いて象と泳ぐ』／『ユリイカ』諸星大二郎特集 - Feel in my bones
昨日。『ダヴィンチ』を読んでいて、なんとなく小川洋子の『猫を抱いて象と泳ぐ』が読みたくなり、車で蔦屋に出かける。しかし上川を渡る橋が大渋滞を起こしていたので急遽方向を転換し、西友近くの誠林堂に。ここはちょっと駐車場が入りにくいのが難だが、小川洋子程度のメジャーなものならあるだろうと思っていったらあった。考えて見たらこの書店で単行本の小説を買うのは初めてじゃないかという気がする。職場によって軽く用事を済ませて帰宅し、いろいろ準備して昼食後、職場へ。仕事はあまり忙しくなかった。７時の特急で上京。 車中、『猫を抱いて象と泳ぐ』を読む。チェスの話。『博士の愛した数式』は野球と数学の話だったのでわからないことはほとんどなかったが、チェスでは実感としてあまりわからない部分がある。将棋のヨーロッパ版という印象が強かったが、将棋は取った駒を再び使えるので盤上があまり淋しくなることはないが、チェスではどんど
ココロ社 最近はゲームセンターに不良がいなくて寂しい
動物園前駅（大阪）近くのアーケード街を少し歩いたところにある「今池コンパ」。別に面白いゲームがあるわけではないけれど、中学生の頃のゲームセンターの雰囲気があるから、つい入ってしまいます。中のライトが赤いのがいいムードです。しかし何で「コンパ」っていう店名？ 思いきりオッサン語りで申し訳ないのですが、小学生の時、ドンキーコングのアップライト型（立ってプレイする）筐体のが最初のゲーム体験でした。当時のゲームに対するバッシングは今の「ゲーム脳」の比じゃなくて、ノーパン喫茶とゲームセンターが同等、つまり完全に風俗扱い。「小学生が風俗行くのはおかしいよね？」という言い方からすると、今の「ゲーム脳」は、まだ論理で説き伏せようとしている点が誠実だと思います。 ダイエーの入り口の証明写真の横に１台だけあって、まあ隣の市まで来たから先生に見つかってしばかれることはないだろう、しかもゲームセンターは不良の巣だ
Remixはこれから間違いなく伸びていくので、2025年頃が楽しみ - Life is Really Short, Have Your Life!!
気が変わった。T3 Stackそのものは推して行くが、Theoさんの推す構成ではない。 aroundthedistance.hatenadiary.jp フルスタックはReact前提に RailsでフルスタックWebフレームワークの扉が開いた。Rails,Cake.Django等は、MVCのMCがメイン。Vが弱い。Vにテンプレートエンジンを使い、jQueryを使ってインタラクティブなUIを作っていたけど、もうそれが最適な時代ではない。ReactでUIをプログラミングする前提に立つと、ルーティングとrevalidateがルート単位で可能なFWが一番開発生産性が高くなる。可能であれば、ビジネスロジックもそこに入れて、だ。 Theoさん提唱のT3 Stackでは、Next.js + tRPCがコアのコンセプト。UIはNext.jsで書いて、スキーマを決めてtRPCでエンドポイントを生やし、サーバ
ブログにクイズ機能をつけた
ブログにクイズ機能をつけたので どうやったらクイズが表示されるの ブログをスクロールすると生成が開始、生成が完了するとクイズが表示されるようになっています。 スクロールできないような短い文章ならクイズを生成しなくても良いか割り切ってます (クイズの作成のたびにお金がかかるのでちゃんと読んでもらって楽しんでもらえたらうれしいなぁ) 技術的な話 Langchaiとgpt-3.5-turboを使っています。またlangchainでfunction callingで決まったJSON形式でデータを返すようにしてます。 これらはAPIとしてデプロイしてあります。 APIの動作は以下のようになっています。 urlからサイトのデータを取得 サイトのデータ、プロンプトをOpenAI APIへPOST 生成されたデータを返す あとはフロントで選択肢をシャッフルしたり、正解を選択したら正解かどうかを判定したりし
検索システムのフロントを SSR・Remix で作り直した - Unyablog.
かなり昔に Elasticsearch ベースの検索システム（Heineken）を作っていた。 Elasticsearch で部内 Wiki 検索高速化 - Speaker Deck 特に更新せず数年動かしていたのだけど、サーバーの置き換えに伴って Kubernetes に置きたいよねという話になり、ついでに Elasticsearch も新しくしたいよね、となった結果、現状のフロントエンドだと最新の Elasticsearch では動かないということがわかった。 nonylene.hatenablog.jp フロントエンドの改修が必要なわけだが、ここでフロントエンドの構成を見ると… FlowType create-react-app PureComponent Bootstrap 3 古すぎる！絶対アップデート難しいし触りたくない技術しかない。 フロントまわりの構成を変えたいとずっと思っ
真のアクティブユーザーを探して
第１事業部でプロデューサーをしている小田です。運営中の『戦国大河』と、最近発表された『銀河英雄伝説 Die Neue Saga』の担当をしています。 弊社運営マネージャーの中根さんが以前、運営でSQL学んだ話を記事にしていますが、この勉強会の講師をしたのは私です。 非エンジニアでもSQLが扱えると便利だよね、という取り組みの話 新人研修でデータ分析の講義も担当しています。 中根さんの記事を見ていただいて、実際どういう数字をどう分析してるの？と思われた方もいるでしょう。今回はその辺りを少し踏み込んで書いてみようと思います。数字全体を話すときりが無いので、今回はアクティブユーザーという数字に的を絞ってお話ししたいと思います。 アクティブユーザーってなに？ AUと略したりします。DAUとかMAUとか言ってみたりもします。要は、ゲームにログインしたユーザーの数ということになります。Dはデイリーで、
決算書の５０％は思い込みでできている（東洋経済新報社） - ビジネス法務の部屋
さて本日はもう一冊、本のご紹介。当ブログにお越しの皆さま方にはお勧めといいますか、必読の一冊だと思います。さきほどご紹介した「架空循環取引」が書店に並んでいるのを確認に行った折、目にとまったのですが、思わず衝動買いをしてしまい、夢中になって半日で読んでしまいました。 決算書の５０％は思い込みでできている（公認会計士 村井直志著 東洋経済新報社 １５００円税別） 本のデザインはご覧の通り、ホンワカとしておりますが、中身は「会計トラップ（会計の罠）」をメインタイトルとしたもので、これがまた非常に会計素人にもわかりやすく「見積もりの罠」が解説されております。まさに会計は摩訶不思議な世界であります。以前に「会計士の先生方のご著書はホンネや私見があまり書かれてなくて、イマイチかも・・・」といった印象を抱いたことが何度かありましたが（もちろんそうでないご著書もありましたけど・・・）、本書では具体的な事
『ベタープログラマ』 を読んだ
『ベタープログラマ』を読んだので自分的に刺さった点をまとめる。 6章 航路を航行する⌗ 新たなメンバーが開発チームに参加する際にどのようにすれば速やかに生産的になることができるかについての章。 最善な策はすでにプロジェクトへの理解があるメンバーに導いてもらうこと。もしそれができなければ次のようなことを調べるとよい。 ソースの取得の容易さ⌗ ソースの取得がどれだけ簡単か。健全なプログラムはコードベース全体を得るための単一のチェックアウトのみを必要とする。 コードのビルドの容易さ⌗ 一般的でないツールにビルドが依存していないか コード自身に適切で簡単なドキュメンテーションがあるか 手作業なしで1つのコマンドでビルドを行うことができか コードの一部に取り組んでいるときにその部分だけをビルドできるか ビルド中に潜在的な問題を曖昧にしているかもしれない無数の警告が出ていないか テスト⌗ 単体テスト・
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dataworks Summit 2017 SanJose StreamProcessing - Hadoop Source Code Reading #23 #hadoopreading