Laravel + Vue.jsでGoogleカレンダーのクローンを作ろう！！【Laravel8対応】API作成編①｜Yuu's Memo
皆さんこんにちは！！ Laravel8とVue.jsを使用して「スケジュール管理アプリ」を作成するチュートリアルの第２回目は、LaravelでAPI機能を実装していきます。 前回の記事（準備編）をまだご覧になっていない方は、お先にご覧ください。 https://www.yuu-progra.com/2021/09/12/laravel-vue-cal/ それでは早速始めていきましょう！ データベースの設計・マイグレーション 今回、作成するアプリケーションは、最低３つのテーブルが必要になります。 作成するテーブルの簡単な説明図を載せるので、これに基づいて説明します。 今回作成するスケジュール管理アプリは、ユーザーとカレンダーとイベントの３つがを管理することになるので、これら３つを管理するテーブルが必要になります。 また、データの関連性を次の様に関連付けして管理する必要があります。 ユーザーは
こんにちは。ソウゾウのSoftware Engineerの @naopr です。 連載：「メルカリShops」プレオープンまでの開発の裏側 の5日目を担当します。 はじめに このエントリでは、メルカリShopsを構成するシステムの中でもお客さまの目に直接触れることのないCS(Customer Service/Success)オペレーション用のシステムについてご紹介します。 CSオペレーション用のシステムをメルカリグループでは CSツール と呼んでいるため、このエントリでもその呼称を使うこととします。 はじめにメルカリShopsのCSオペレーションの概要についてご説明したあと、システムのアーキテクチャと技術スタックについてご紹介します。そして、CSツールの基盤機能と各オペレーション用の機能について、実際の画面をご覧いただきながらご説明します。 ※画面は開発環境のものでありテストデータを表示し
はじめに 昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。 しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...） ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。 参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi
![[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/08ceeeb5aea1870740b2a5255cc1a96914721914/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTUxPcHMlMjBUaXBzJTVEJTIwJUU3JUE0JUJFJUU0JUJDJTlBJUU1JUFFJTlGJUU4JUEzJTg1JUUzJTgzJUJCJUU2JUE1JUFEJUU1JThCJTk5JUU5JTgxJUE5JUU3JTk0JUE4JUUzJTgxJUFCJUU1JTkwJTkxJUUzJTgxJTkxJUUzJTgxJTlGJUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUI4JUUzJTgyJUE3JUUzJTgyJUFGJUUzJTgzJTg4JUUzJTgxJUFFJUU5JTgwJUIyJUUzJTgyJTgxJUU2JTk2JUI5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0zMDUwMWYxYTFiMmRhNmU5MjczNjM5MDAyNGI5N2Y0MQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWt1YmImdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTU3MGQ2MzZiZTkwYWM5YzEwYTc2YWNhMzI4OGJkY2E3%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D55d6c175706329b03cd13c508f7a974c)
ビデオゲームにおける歴史のカタログ化や保存を目的とした非営利団体、The Video Game History Foundationの創設者であるフランク・シファルディ氏がゲームプログラマーであるリッチ・ホワイトハウス氏と共に、約30年間未発表であったゲームソフト「Days of Thunder」を復活させるまでの道のりがThe Video Game History Foundationで公開されています。 Reconstructing a lost NES game from 30-year-old source code disks – Video Game History Foundation https://gamehistory.org/days-of-thunder-nes-unreleased/ 「Days of Thunder」の生みの親で、プログラマーでありデザイナーでも
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーで開発生産性の可視化を担当している安永です。 ヤフーでは3,000人以上のエンジニアが、毎日プログラムコードの変更を行いながら、サービスの新機能リリースおよびシステム改修を行っています。近年のソフトウェア開発では、ビジネス変化への対応がスピーディーであることが求められます。いかに迅速にかつサービスの品質を落とさすに新しい価値を提供できるかが重要です。しかし、迅速性とサービスの品質は開発現場にとって相反する場面が多くあります。例えば、テストを強化すればサービス品質は上がりますが、提供までの時間は増加します。反して、急ピッチに開発をした場合、十分なリスク検証ができずサービスの品質は低下します。 このように、スピーディ
英語ではあるが、詳細な説明は要らないだろう。簡単に概説しておくと、右側にはダウンロード数順で人気のデータセットが一覧表示されている。 キーワード検索できるだけでなく、左側の［Task Categories］（タスクのカテゴリー：問題種別の大まかな大分類）／［Tasks］（タスク：より具体的な問題種別）／［Languages］（言語）／［Multilinguality］（多言語性）／［Sizes］（データサイズ）／［Licenses］（ライセンス）でフィルタリングできる。 機械学習の際に「どのデータセットを使えばよいか」を悩むことはよくあると思うが、このランキング表示は非常に参考になるのではないだろうか。 各データセットのページ内容 図1のデータセット名（例えばwikitext）をクリックしてページを開くと、図2のように表示される。 これも直観的に把握できると思うので、細かな説明は不要だと思
wav2vec 2.0 を使って 手軽に音声認識モデルを触れるようになろう - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2021 の20日目の記事です。 はじめに こんにちは。プラットフォームサービス本部アプリケーションサービス部の是松です。 NTTコミュニケーションズでは自然言語処理、機械翻訳、音声認識・合成、要約、映像解析などのAI関連技術を活用した法人向けサービスを提供しています。（COTOHA シリーズ） NTTコミュニケーションズがこのようなAI関連技術を活用したサービスを展開する強みとして、 NTT研究所の研究成果が利用可能であること 自社の他サービスを利用しているお客様に対してシナジーのあるサービスを提案できること この2点が挙げられると思います。 実際に、私が担当している COTOHA Voice Insight は 通話音声テキスト化によってコンタクトセンターの業務効率化・高度化を実現するサービスなのですが、 NTT研
Rails アプリの不要なテストデータをガっと消した🚮 - Money Forward Developers Blog
こんにちは、id:Pocke です。マネーフォワードではクラウド会計Plusというプロダクトの開発と、RBS という Ruby の静的型のためのライブラリの開発の両方を行っています。今回の記事では、クラウド会計Plusの開発の話を書こうと思います。 TL;DR spec/fixtures/下に想像以上に多くのファイルがあることに気がついた inotify を使って不要なファイルを検出し、削除した 問題の発見 クラウド会計Plusの開発業務として、私は最近不要なコードの削除に取り組んでいます。その一環としてリポジトリの状況を調査していました。その中で以下のコードを用いて「拡張子ごとのファイル数」を計測しました。 $ git ls-files -z | ruby -e 'pp ARGF.read.split("\x0").map{File.extname(_1)}.tally.sort_by{
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web Services
Amazon Web Services ブログ Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ この記事はMLOps foundation roadmap for enterprises with Amazon SageMakerを翻訳したものです。 企業が組織全体で機械学習 (ML)の採用を進めるにつれて 、MLモデルの構築、学習、デプロイのための手動ワークフローがイノベーションのボトルネックになる傾向にあります。これを克服するために、企業はデータサイエンティスト、データエンジニア、MLエンジニア、IT、ビジネス関係者などの複数のペルソナがどのように協業すべきか、懸念事項、責任、スキルをどのように分離するか、AWSのサービスをどのようにして最適に使用するかなどについて明らかにし、明確な運用モデルを構築する必要があります。 このようなMLと運用
APIテストで質とスピードの両立を実現 - LegalForceキャビネの事例 - LegalOn Technologies Engineering Blog
こんにちは、株式会社LegalOn TechnologiesのLegalForceキャビネ開発部でQAリードを務めている島根（@shimashima35）と申します。 QAというとマニュアルテストが中心かと思われるかもしれません。確かにマニュアルテストはQAの業務の一部ではありますが、「質とスピードの両立」つまりプロダクト品質の高さとリリーススピードの両立を目指すため自動テストの導入もおこなっています。 今回はLegalForceキャビネのバックエンドに対するAPIテストを実装した話をご紹介します。 APIテストとは まず最初にAPIテストについて説明します。 APIテストの概要 APIテストとはWeb APIの外形的な仕様を満たしているかを HTTP(S)を用いてテストすることです。バックエンドのコントローラーに対するユニットテストとは以下の点が異なります。 HTTP(S)を経由する デ
前回はテキストマイニングの手法と OSS を用いた実践について紹介しました。今回は、Google の T5(Text-to-Text Transfer Transformer) によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。 1. はじめに 本記事では Google の T5(Text-to-Text Transfer Transformer) 1によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。実験としては livedoor ニュースコーパス2での文章分類、やさしい日本語コーパス3及びやさしい日本語拡張コーパス4を用いたやさしい日本語変換を行いました。今回も Google Colaboratory で動かすことを想定したコードスニペットを入れていきますので、実際に動かしたり対象を変えてみたりして試して頂けると良いかと思います
概要 Firebase エミュレータで Firestore の import/export ができるようになったので、導入方法について紹介します。これまで、エミュレータを再起動する度にデータが初期化されていていましたが、特定のタイミングで export して起動時に import できるので、毎回テストデータを取り込む作業がなくなるなど、開発効率が上がります。 導入方法 本機能は firebase-tools の 7.14.0 で対応したので、 firebase-tools を再インストールして firebase のバージョンが 7.14.0 以上であることを確認します。 firebase emulators:export --help Usage: firebase emulators:export [options] <path> export data from running em
はじめに 機械学習の分野でDeep Learningがその地位を揺るがぬものにして久しくなりました。 今回はその性能と汎用性の高さから、様々な分野で応用が進んでいるDeep Metric Learningについて、簡単なまとめといくつかのデモを紹介していきたいと思います。 手書き文字認識と、手書き文字認識だけでは面白くないので異常検知もやります。 Deep Metric Learning Metric Learningとは「距離学習」と言われる手法で、入力データの特徴量空間から、データの類似度を反映した特徴量空間への変換(写像)を学習する手法です。 一言で言うと、 同じクラスに属するデータは近く 異なるクラスに属するデータは遠く なるような特徴量空間への変換を学習します。 クラス分類などにおいて、距離が近すぎて分類が困難なケースでも、同じクラスは距離が近く、違うクラスは距離が遠く」なるよう
インターンシップでマルチA100 GPUサーバをぶん回してみた - NTT Communications Engineers' Blog
はじめに 2月14日から25日までの2週間、NTTコミュニケーションズのインターンシップに参加させていただいた八木です。普段は大学院で画像処理の高速化に関する研究をしています。インターンシップでは技術コースのうち「AI/MLシステムとの統合を志向した、メディアAI技術の研究開発」ポストに応募しました。全日リモートでの参加で、joinしたチームのマルチA100 GPUサーバなどを用いて画像認識モデルを学習し、NTT Com で独自に構築しているデータセットでその性能評価をしました。この記事では、その体験談を記載します。 インターンシップまでの経緯 就活イベントで NTT Com の紹介を聞いたのですが、そこで色々と説明してくださった社員の方からメディアAI技術開発チームを紹介してもらい、後日今回のメンターさんらと懇談していただきました。その際、チームの紹介を受け興味を持ち、このインターンシッ
クックパッドマートの多種多様な商品名から、扱いやすい「食材キーワード」を予測する - クックパッド開発者ブログ
研究開発部の山口 (@altescy) です．今回は最近開発したクックパッドマートの商品の「食材キーワード」を予測する機械学習モデルを紹介します． 商品の食材キーワード予測とは？ クックパッドマートでは日々様々な食材が多くの販売者から出品されています．出品される商品の情報は販売者によって登録されるため，多様な表記が存在します．「じゃがいも」の商品名を例に挙げると，「ジャガイモ」「じゃが芋」といった表記の揺れや，「メークイン」「インカのめざめ」といった品種名が書かれているもの，「農家直送」や「お徳用」のようなキャッチコピーがついたもの，など様々です．一方で，商品の検索や推薦を行う際にはその商品がいったい何なのかを簡潔に表す情報が欲しくなります． そこで登場するのが「食材キーワード」です．商品名や商品説明とは別に，その商品がどんな食材なのかを表すキーワードを設定しておくことで，商品名の表記揺れ
LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」。64回目はオンラインで開催され、「開発とテスト」というテーマで、LINEのSET（Software Engineer in Test）である伊藤宏幸氏が、LINEのプロダクト開発の現場で推し進めてきた具体的な取り組みについて紹介します。後半は３つの重要性のうちの２つ目の続きと最後の１つ、そして情報の共有について話しました。 オープンソースのフレームワーク「Karate」 伊藤宏幸氏（以下、伊藤）：ここで私たちが取った方法は、もう1回、先ほどのProduct Discoveryを適用してみたんです。ここのChannel Gatewayのチームのみなさんから、いろいろヒアリングしながら「こういったツールを導入したらどう？」といろいろと試していって、結局落ち着いたのがKarateというオープンソースの
Deep learning等の精度評価に便利なPyCMの紹介と各種指標の比較 - OPTiM TECH BLOG
OPTiM TECH BLOG Advent Calendar 2020 12/8 の記事です。 お久しぶりです。R&Dの加藤です。最近買った大きな買い物はDAHONのK3です。 購入したのは8月末ですが、11月に入るまでスタンドが手に入らなかったです。現状の不満点は空気が入れにくいという事だけですね。輪行するには最適な自転車です。 去年執筆したこの記事はいまだに定期的にアクセスがあって嬉しいですね。まだ読んでない方は是非こちらも読んでみてください。 今回の記事はこれの補足に加え、コードを加えた実践的な内容になります。 tech-blog.optim.co.jp 記事執筆のモチベーションとしては、「最近PyCMというライブラリを使い始めたら思いのほか便利だったので伝えたい」という事なんですが、なかなかボリュームのある記事になってしまいました。忙しい人は必要な章だけかいつまんで読んでください
reg-suit によるビジュアルリグレッションテストで Rails アプリの CSS 改善サイクルが回り始めた話 - Speee DEVELOPER BLOG
こんにちは、デジタルトランスフォーメーション（DX）事業本部のエンジニアの中嶋（@nyamadorim）です。もともと Rails のサーバサイド開発をメインに担当していましたが、今期はフロントエンド開発に取り組んでいます。 この記事では、「おうちの語り部*1」というプロダクトにビジュアルリグレッションテストを導入して、CSS の改善サイクルが回り始めた話を紹介します。 ビジュアルリグレッションテストとは ビジュアルリグレッションテスト導入の動機 テストツールの選定 reg-suit 他のテストツール reg-suit によるテスト環境の構築 reg-suit によるビジュアルリグレッションテストのフロー reg-suit の利用イメージ 差分が見つかれば、Pull Request に通知 どのページ/コンポーネントが変わったかを見る ピクセル単位で差分を確認する 差分がなければ ✨✨ R
ソフトバンクは同社モバイルネットワークの通信品質に関する説明会を2023年9月19日に開いた。かつてのような盛り上がりはないものの、毎年恒例のiPhone商戦に向けて通信品質の高さをアピールする狙いと見られる。ただ通信品質を劇的に高める「飛び道具」はなく、地道な対策の積み重ねに関する内容が中心である。説明会でとりわけ目立っていたのが、本コラムでも取り上げたNTTドコモの通信品質問題だった。 通信品質「300ミリ秒以下」は17.1％ ソフトバンクによると、新型コロナウイルス禍のトラフィックは繁華街で一時的に鈍化し、住宅街で増加する傾向があったという。それが新型コロナの5類への移行に伴い、繁華街のトラフィックが戻ってきた。ドコモの通信品質問題も人流の戻りを読み間違えたことが大きな要因だった。 ソフトバンクがモバイルネットワークの整備で最も重視しているのは顧客の「体感」だ。応答がなかなか返ってこ
はじめに 表題の通りの話をたまに聞きます。「ランダムフォレストは内部で変数選択を行う。なので変数選択は必要ない」という主張です。 しかし個人的には、それはあくまでも 他の手法*1と比べれば変数選択しなかった場合の悪影響が少ない ということであって、ランダムフォレストであっても変数選択した方が良いんじゃ？ ということを昔からずっと思っていました。 検証してみます。 思考実験 実際に検証する前に思考実験を行います。 まずパターンA（変数選択なし）とパターンB（変数選択あり）の2通りを考えます。 パターンA 有効な変数：10個 無効な変数：90個 パターンB 有効な変数：10個 のみ（無効な変数なし） ランダムフォレストの弱分類器では、元々の変数の数の平方根くらいの数の変数を使うのが一般的です。そうすると、 パターンAの場合 弱分類器で使う変数は10個。うち有効なもの（の期待値）は1個。 パター
Ruby on Railsアプリでカバレッジ30%->50%のためにやったこと - READYFOR Tech Blog
これはREADYFOR Advent Calendarの19日目の記事です。 こんにちは、READYFORでバックエンドエンジニアをしている斉藤です。 この記事では私がREADYFOR入社時からコツコツと進めてきたRuby on Railsアプリでコードカバレッジ30%から50%にするためにやったことを時系列に紹介したいと思います。 みなさんはちゃんとテストを書いていますか？ 開発が忙しすぎて後回しになってしまうなんてことは良くあるかと思います。 しかしスタート間もないサービスだとそこまで困ることはないかもしれませんが、数年経ってくると色々な弊害が出てきます。 リファクタしたいけどテストがないから怖くてできない その場しのぎの継ぎ足しの変更を続けどんどん複雑なコードになっていく ちょっとしたコード変更にも時間がかかるようになる 明らかに不要そうなファイルやコードあるけど確信が持てず削除でき
0.はじめに 大阪大学AI & Machine learning Society(AIMS)主催、全国医療AIコンテスト 2020という医療テーブルデータコンペで優勝(1st place, top 6%)したので、解法を投稿します。 今までの記事をご覧いただいている方はご存知かもしれませんが、僕は画像データ専門でやっているので、テーブルデータのコンペはあまり得意ではありません。 間違っている所、合理的でない部分もあるかと思いますがご了承ください。 また、本記事は基本的にはコンペに参加された方に対して書いています。具体的な列名・特徴量について説明はありませんので、そういった部分は読み飛ばして頂いて構いません。(手法的な部分に関しては、ある程度詳しく説明しています！) 同様に、プライベートなコンペであったことから、参加者以外のコンペサイトへのアクセスは出来ませんので、ご了承ください。 1.コン
本番前の負荷テストのお手伝いというお仕事が年に数回まわってきます。始めて負荷テストに取り組まれている方や単体での負荷テストしか経験のない方とお供すると勘違いや楽観的過ぎる計画になっていて修正をお願いさせていただくことがよくあります。 そこで、初心者向けに小生の経験から負荷テストのポイントをいくらかアドバイスしたいと思います。なお、小生は負荷テストの専門家ではないので、Qiitaに投稿されている専門家の方々の立派な記事もあわせて参考にしていただければと思います。 この記事で扱う負荷テストの定義 この記事では次の要件を対象とします。 システムテスト(総合テスト)の段階で行う負荷テスト。 分散ノードが十数台規模、データ量も数百GB程度までの中規模までのシステム。 基本はロードバランサで負荷分散するWebシステムでバックエンドにデータベースが控える構造であるが、一部C/Sもあり。 この記事で書くこ
Oracleチューニングの裏技！標準機能だけでパーティションテーブルを作る方法 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 パフォーマンスOracleデータベースDB設計インデックス こんにちは羽山です。 今回はOracleデータベースの標準機能だけでテーブルのパーティション化とそれに伴うパフォーマンス改善を実現する方法を紹介します。 本来Oracleでテーブルのパーティション化をするためには対応するエディションと追加オプションが必要なので活用できる環境にいる方は多くはなさそうですが、パーティション化自体のメリットは大規模DBだけでなく、中・小規模のDBでもパフォーマンスチューニングの手段として有用です。 今回のテクニックはそのパーティションテーブルのおいしい部分を再現できるので、今までパーティションテーブルに関心を持ったことがない方にこそ、是非参考にしていただけたらと思っていま
![Oracleチューニングの裏技！標準機能だけでパーティションテーブルを作る方法 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c81fcd9011af9c2bb1e3fc8e7069ea563b729066/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F06%2Fdatabase-1954920_1280.jpg)
Web向けテスト自動化サービス「mabl」を試してみました。mablはChrome拡張を使ったキャプチャリプレイ系テスト自動化サービスですが、API呼び出しや分岐など、かゆいところに手が届くSeleniumIDEといった印象でなかなかいい感じ。 テスト自動化サービスが注目される理由 従来型のQA・テストサービスは、人やチームをアサインしてマンパワーでなんとかするスタイルが多いと思います。企業も「品質 ＝ テスト」や「品質 ＝ QA」とすりこまれてしまい、品質が話題になったら「QA組織が必要だ！」になりがち。これはとても大きな間違いだと思います。 そして、どの業界も人手不足となり、この「マンパワーでなんとかする」がうまく機能しなくなってきました。僕の周囲でよく聞くのが「テストベンダーに頼んだけど、バイトレベルがアサインされて逆に管理コストが大きい」といった話。 高いお金払って苦労するぐらいな
グラフニューラルネットワークの予測結果を解釈してみよう - NTT Communications Engineers' Blog
この記事は、NTTコミュニケーションズ Advent Calendar 2023 11日目の記事です。 はじめに こんにちは。コミュニケーション&アプリケーションサービス部の石井です。 今年はAI分野においては LLM1 の話題で持ちきりの一年でしたが、そんな LLM とは全く関係のないグラフニューラルネットワーク（以下、GNN）の説明性に関する手法である GNNExplainer を題材に扱っていこうと思います。 GNN2 とはグラフで表現された構造化データを深層学習で扱うためのニューラルネットワーク手法の総称です。グラフデータはさまざまな事象を表現できる可能性を秘めていて、GNN の予測結果を解釈できれば、人との関係性把握やマーケティングへの応用など幅広い活用が期待できると思っています。GNN に興味がない方もこんな技術があるのかと深く考えずに読んでもらえればと思います。 本記事で扱う
初めまして、株式会社Berryの齋藤です。 みなさまLambdaはやっておりますでしょうか。 Berryでも3Dデータの自動処理を行う上で数多くのLambda関数を作成、運用しています。 その中で3Dデータのプレビュー生成が必要になったため、blenderによるプレビュー生成を行うことにしました。 通常であればEC2を使い、レンダリングサーバーを立てることが一般的かと思いますが、費用面・運用面を考慮し、Lambdaによるサーバーレスなレンダリングサーバーを作成することにしました。 非常にニッチなユースケースですが、ざっと検索したところ日本語の情報が少なかったので、今回はblenderをLambda上で動かす方法を紹介したいと思います。 サンプルリポジトリ 前提条件 AWS CLIとAWSアカウントが設定済み Dockerインストール済み (x64のCPUで検証しています。armの場合はダウ
※AMP表示の場合、数式が正しく表示されません。数式を確認する場合は通常表示版をご覧ください ZOZO Researchの斎藤です。私たちはファッションコーディネートの推薦や生成の基礎として、深層集合マッチングという技術を研究しています。本記事では、深層集合マッチングを理解する上で必要な諸概念の説明と、ファッションデータを使った実験結果について紹介します。対象読者としては、機械学習系のエンジニアや学生を想定しています。 集合マッチングとは ある集合が与えられたとき、その集合にもっともマッチする集合を解の候補から選ぶという問題を考えます。 例えばコーディネートを画像集合として捉えると、あるコーディネートの一部分（部分コーデと呼びます）に対して合う部分コーデを選択するという問題設定を考えることができます。 図： ある部分コーデ（左）にマッチする部分コーデを候補（右）の中から1つ選ぶ このような
はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも
著者 鶴田 博文, 坪内 佑樹 所属 さくらインターネット株式会社 さくらインターネット研究所 研究会 第8回WebSystemArchitecture研究会 1. はじめに インターネットを介して利用するシステムの大規模化に伴い，システムの構成要素数の増大や，構成要素間の関係性の複雑化が進んでいる． そのため，システムの性能に異常が発生したときに，システムの状態を示す指標であるメトリックをシステム管理者が網羅的に目視することや，メトリック間の関係性を把握することができず，システムの異常原因を特定することが難しくなっている． この問題を解決するために，深層学習などの機械学習モデルを用いて，システムの異常の原因を診断する手法が提案されている[1,2]． これらの手法は，システム管理者が異常の根本原因を絞り込むために活用することが期待できる． しかし，原因診断を行うためには，事前に機械学習モデ
K-fold Cross Validationの理論的優位性について - Ridge-institute R&D Blog
こんにちは，株式会社Ridge-iリサーチチームの@machinery81です． 今回はK-fold Cross Validationの理論的側面を紹介したいと思います． なお本記事は@zawatsky_rによってレビューされています． 本記事の内容は以下のスライドに基づいています： TL;DR はじめに Hold-Out ValidationとCross Validation K-fold Cross Validationの理論的優位性 準備とゴール K-fold Cross ValidationはHold-Out Validationと少なくとも同等 K-fold Cross ValidationはHold-Out Validationに対して厳密に優越 数値実験 さいごに 参考文献 TL;DR K-fold Cross Validationは単一のHold-Outに対して汎化バウンド
理想のプロダクトを作るために利用者が開発チームの一員になった話 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに 初めまして、QA（品質保証）エンジニアの矢引です。 今回は、私たちが開発している販売管理システムのオペレーターを開発チームに迎え入れた話をします。 Clara とは Clara とは、オンラインストアと販売管理システムを開発するプロジェクトです。 オンラインストアというのは弊社のクラウドサービスであるKintoneやその他関連サービスを、顧客（Kintoneのユーザー）が購入するためのシステムです。 もう一方の販売管理システムとは、クラウドサービスの売り手として受注・見積・請求などを行う弊社のオペレーターが受注管理などを行うためのシステムです。 いずれも米国市場向けに開発されています。 私はClaraで品質保証に携わっており、販売管理のドメイン知識の難しさを常々感じています。 販売管理システムは受注管理などの業務と密接に結びついているため、 より良いシステムを開発するためにはその
【機械学習】機械学習を用いたin silico screening【AI創薬】~第4/5 章 予測モデルの作成~ - LabCode
本記事はAI創薬の一つである機械学習を用いたin silico screeningについて書かれた記事です。第5章まであり、すべての内容が理解できると、目的の標的にあった薬物候補化合物を発見することができます。こちらの記事は第4章で第3章で整形したデータ機械学習モデルを行います！AI創薬っぽくなってきました。ぜひ皆さんもトライしてみて下さい！ AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積
はじめに サーバーサイドの八木です。 娘が生まれてからアゴヒゲを一回もそっていなかったようでモサモサになってしまいました。 娘は喜んで引っ張っているので一旦はヨシとします（怒られたら謝ります） 先日、なんとなく Zenn を眺めていると以下の記事が目に入りました。 そういえばAPIのシナリオテストしたいけど、丁度いいツールが見当たらず長らく手つかずになっていたプロジェクトがあり、導入する価値がありそうだなぁと思い試してみました。 結果から言うと現在使用しています。導入して良かったと感じています 🎉 良かった点 go test で完結出来ること API の呼び出し結果を取り回すことが出来る テストケースだけYAMLに逃がすことが出来るのでメンテすべきファイルが明確になる 機能がシンプルなので学習コストが低い データベースへのクエリ発行も対応している 上記がポイントかと思います。 特に 「g
研究開発部の原島です。在宅勤務中は部のメンバーと 3 時にラジオ体操をしています。今日はラジオ体操の話はおいといてレシピの分量の話をします。 1 人分、2 個分、三枚分、約 4 皿、5 杯くらい、18 cm タルト型、... クックパッドの一部のレシピは 1 人分のカロリーが計算されています。計算されたカロリーは検索結果の絞り込みや献立の作成などに使用されています。 ここでポイントとなるのは「1 人分」というところです。 レシピには、下図のように、その分量が記入されています。クックパッドの全レシピのうち、大体 50% のレシピの分量は「N 人分」という表記です。これらのレシピは、レシピ全体のカロリーを N で割ることで、1 人分のカロリーが計算できます。 レシピの分量 一方、残りの 50% のレシピの分量は「N 人分」という表記ではありません。その半分（全体の 25%）はそもそも表記があり
Amazon Web Services ブログ 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する 数十億を超えるパラメーターを持つ大規模言語モデルは、追加学習なしに人間も驚く知識を披露します。その知識で、クイズ王に輝くことはできるのでしょうか? 本記事では、株式会社サイバーエージェント様が公開した OpenCALM を用いてクイズを題材にした日本語 QA データセット JAQKET にどこまで正確できるか検証します。クイズに回答するのは、問い合わせ窓口での質問回答業務に近いタスクです。本記事の内容は、お客様対応等の業務を続々とオープンソースで公開される大規模言語モデルを利用してどのようにコスト効率良く改善するのかの検討にも活用頂けます。 OpenCALM は、株式会社サイバーエージェント様から 2023 年 5 月 11 日に公開された日本語大規模言語モデルです。Wik
Nature Remo開発におけるテストフレームワーク『Catch2』の活用方法を紹介します - Nature Engineering Blog
3日目！ Nature Engineering Blog祭3日目は、ファームウェアエンジニアの中林 (id:tomo-wait-for-it-yuki) がお送りします。みなさま、自動テストはお好きですか？私は大好きです。手動で何度も同じことをテストするのは苦痛ですが、それをプログラミングのタスクに転化できるとなれば、最高ですよね！ 今回はNature Remoのファームウェア開発で使用しているユニットテストフレームワーク『Catch2』の活用方法を紹介します。ESP-IDFで使えるテンプレートプロジェクトも用意してありますので、少し長いですが、最後まで楽しく読んでいただけると嬉しいです。 Catch2 Catch2は (modern) C++で書かれたユニットテストフレームワークです。Nature RemoのファームウェアはC言語で書いていますが、テストフレームワークはC++で書かれたも
介護求人広告サービスのマッチングにディープラーニングを導入した話 - エス・エム・エス エンジニア テックブログ
はじめに 医療・介護・ヘルスケア・シニアライフの4つの領域で高齢社会の情報インフラを構築している株式会社エス・エム・エスのAnalytics&Innovation推進部（ 以下、A&I推進部）でデータ分析基盤開発を担当している長谷川です。 A&I推進部はエス・エム・エス社内のデータを横断的に収集し、データの分析や加工から、データに基づく施策までを行う部門で、現在は介護事業者向け経営支援サービスである「カイポケ」や、介護職向け求人情報サービスである「カイゴジョブ」のデータ分析やレコメンドシステムの開発を行っています。 今回はその中で「カイゴジョブ」における介護求人の課題をディープラーニングによる分類モデルで改善した取り組みについて紹介します。 介護業界の課題 具体的な説明に入る前に、簡単に介護求人の課題感を説明します。 ご存じの通り、昨今の日本は少子高齢化が進み、介護にまつわる課題が毎日のよ
オラクル、本物のようなテストデータ群を生成AIが自動生成してくれる「Select AI for Synthetic Data Generation」発表。Oracle CloudWorld 2024
オラクル、本物のようなテストデータ群を生成AIが自動生成してくれる「Select AI for Synthetic Data Generation」発表。Oracle CloudWorld 2024 米オラクルは、生成AIがテスト用に実データのような特徴を備えたデータ群を自動的に生成してくれるOracle Autonomous Databaseの新機能「Select AI for Synthetic Data Generation」を発表しました。 ソフトウェアの開発において、ユーザーインターフェイスの設計時やテスト時、コードのテスト時、性能テストや負荷テストなど、さまざまな場面で適切なテストデータを用意する必要があります。 このとき、理想的には本番環境で使われる実データ全体もしくは一部をテストデータとして利用できることが望ましいといえますが、現実的には開発時にはそのようなデータは入手困難
この記事について この記事は Kaggleアドベントカレンダー の21日目の記事です。 昨日は u++ さんの【Weekly Kaggle News 2周年】クリック記事ランキング2021 でした。Transformer 強し。明日は @wokassis さんのワナビーからKagglerに〜コンペ所感〜です。 本記事では、2021年の NLP コンペの上位ソリューションから共通して使われている手法や方針を紹介します。 新しくNLPコンペに取り組む際に、基本的なことは試して次に何をすればよいかわからない、といった初学者向けに初期方針として参考になるかと思います。ある程度コンペに参加している人には「当たり前やろ〜」といった内容かもしれません。 2021年 NLP コンペ概要 2021年に終了したコンペは Coleridge Initiative - Show US the Data, Comm
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
0から作るメルカリShopsのCSオペレーション基盤 | メルカリエンジニアリング
[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita
30年の時を超えて映画原作の未発表ゲームソフトが大量のフロッピーから復活
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Hugging FaceのDatasets： 自然言語処理のデータセット提供サイト
はじめての自然言語処理 T5 によるテキスト生成の検証 | オブジェクトの広場
Firestore エミュレータのデータをローカル環境で import/export する - Qiita
【AI】Deep Metric Learning - Qiita
「一緒に苦しむこと」と「チームで取り組むこと」の重要性 LINEのSETが取り組んだ3つのこと
ソフトバンクが「見える化」したドコモの通信品質、ネガキャンで片付けられない深刻度
ランダムフォレストを使うなら変数選択はしなくてもいいのか？ - 静かなる名辞
全国医療AIコンテスト 2020 1st place solution - Qiita
負荷テストの基本的な考え方と進め方(前編) - Qiita
QAを自動化！ Web向けテスト自動化サービス「mabl」を試してみた #mabljapan
AWS Lambdaにblenderを載せてサーバーレスなレンダリングサーバーを作る
深層学習×集合マッチングによるコーディネート選択 - ZOZO TECH BLOG
実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想 - Fire Engine
【Go】GraphQL(gqlgen) + Go(gin) + runn でテストをしてみる
「このレシピは何人分？」を機械学習で推定する - クックパッド開発者ブログ
日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する | Amazon Web Services
2021年のKaggle NLPコンペソリューションの共通戦略から学ぶ - Qiita