aptpod Advent Calendar 2019 11日目 先日お菓子のデモの記事を投稿したキシダがまたお送りします。みなさま、ここ最近『機械学習』とか『AI』とか耳にすることが多くなってきていると思いますが、現実はどれくらいの導入率かご存知ですか？ なんと、14〜15% (※1)らしいです。 意外に導入まで成功しているプロジェクトはまだ増えてきていません。 そこで、『機械学習プロジェクトって具体的にどういうふうにすすめるの？』とか『普通のシステム開発と違って何が難しいの？』という疑問の声に勝手にお答えして、完全な独断と偏見ですが、一般的な機械学習案件に対してよくある困った事例のご紹介とそれに対して私個人が意識していることをこちらにまとめてみようかと思います。 技術的なところではなく、案件における考え方や進め方的なところを中心に掘り下げてます。 ※この記事で出てくる事例は架空のもので
第17回Quesにて「Agile Testingを夢見たテスト自動化」というタイトルで登壇、テスト自動化のしくじりについて話しました - BASEプロダクトチームブログ
こんにちは。BASE BANK 株式会社 Dev Division にて、Engineering Manager をしている東口（@hgsgtk）です。 TL;DR 第 17 回 Ques にて「CI のためのテスト自動化」というテーマでの登壇依頼をいただき「Agile Testing を夢見たテスト自動化 〜ATDD への挑戦から始まる 1 年間の試行錯誤〜」というタイトルで発表しました 実際にうまく行かなかったことも含めてテスト自動化のしくじりを話しました Agile Testing・ATDD/BDD/SBE に興味がある方に参考になる資料を公開しました 第17回Quesとは Ques とは Software 品質保証に関わる QA エンジニアの活性化を目的とした QA 専門イベントです。 ques.connpass.com Software品質保証に関わるQAエンジニアの活性化を目的
認証サービスCognito・Auth0・Firebaseを比べる 執筆にあたって - s-takayanagi’s blog
認証サービスCognito・Auth0・Firebaseを比べる関連エントリーです。 執筆のきっかけ テーマ選定 ボツになった候補 表紙 購入先 Boothでの購入はこちら 技術書典 応援祭での購入はこちら 執筆のきっかけ 会社の先輩が技術書典7でIAM本の頒布を行い、 私は現場で売り子をしていました。 技術書典7に出展します - プログラマでありたい 技術書典の雰囲気と先輩の本が続々売れていくことに衝撃を受けて次の技術書典で同人誌を作ろうと思いました。 その後、先輩の呼びかけでサークルメンバーが決まりました。 テーマ選定 一番悩んだのはテーマ選定です。 社内で同僚が外部の認証サービスを利用する場合にどのようなサービスが良いか聞かれることが多くありました。 毎回打ち合わせを行って説明していましたが、本にすれば役立つのではないかと感じました。 ボツになった候補 次のようなテーマがありました。
graphql-code-generator から gql.tada に移行した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップのGaudiyでエンジニアをしているkodai（@r34b26）です。 Gaudiyでは、以前からフロントエンド(Next.js)とGateway(Node.js)の通信においてGraphQLを使用しています。 techblog.gaudiy.com その際に、GraphQLスキーマからコードを自動生成するツールとしてGraphQL-Codegenを活用してきましたが、開発者体験やユーザー体験においていくつかの課題を抱えていたため、今回、gql.tadaに移行しました。 この記事では、課題背景から実際の移行プロセスを紹介してみるので、gql.tadaが気になっている人やGraphQLの運用に課題感のある人の参考になれば嬉しいです。 1. GaudiyとGraphQL 2. GraphQL-Codegenにまつわる課題 3. gql
こんにちは！ メディアプロダクト開発部の名渡山 ( @pndcat ) です。 業務では広告システム全般の新規開発・保守・運用を担当しています。 本稿では、クックパッドが企業向けに販売している広告商品の開発について紹介します。 クックパッドの広告プラットフォーム クックパッドの広告は、ネットワーク広告と、自社でシステムを開発し、企業が枠を一定期間買い取り掲載をする 純広告 があります。 過去に Header Bidding 導入によるネットワーク広告改善の開発事情 や Prebid.js 導入による Header Bidding 改善の舞台裏 などでネットワーク広告に関する投稿があったのですが、今回はクックパッド純広告について紹介します。 クックパッド純広告の商品は多岐にわたります。 企業の商品紹介ページに遷移する通常のバナー広告はもちろん、商品を使ったレシピコンテストなど、クックパッドな
機械学習エンジニア、あるいはデータサイエンティストの選考に関する徒然 - エクサウィザーズ Engineer Blog
こんにちは！ 構造化データグループのグループリーダー小林広明です。 今回は表題について、いくつか資料の紹介と私なりに思うところを少し書いていきます。 免責事項 応募書類/履歴書 面接 終わりに 免責事項 弊社の選考基準について書いたものではありません。エクサウィザーズの他の面接官は異なる意見を持っていると思います。 ただし、私も書類選考や面接に関わっていて、その視点は入っています。 私は AI Frontier 部に所属していて、こちらのメンバーには基本的に機械学習エンジニアという職名を用いています。 ですが、特に私が所属している表形式データを主に扱うグループでは、一般にデータサイエンティストと呼ばれている職種が担う仕事も多く扱っていると思われるので、この記事では機械学習エンジニア・データサイエンティストの違いには触れずに書いていきます。*1 どちらかといえば中途採用（経験者）での転職希望
リファクタリングという行為自体は好きでしょうか？ A. 好きというかもはやストレス解消 B. 好きなのでノンストレス C. 少しストレス...仕事ならやるけど D. できればやりたくない 業務上の必要性とか、将来の人のためとか、時間の都合とか、報酬の高さとか、そういうのを棚に置いたとして。 ... 新しい機能開発をするのに比べてどうでしょう？ 新しいプログラミング言語やフレームワークを使うのに比べてどうでしょう？ 置き去りのリファクタリングチケット とある風景... seaさん「動いたけど、リファクタリングしたいね」 landさん「でも今は無理だな」 seaさん「チケットだけおいて作って後でやろう」 landさん「うん、そうしようー！」 (...1年後、まだ忙しい) seaさん「いつかやりたいねー」 landさん「いつかやりたいねー」 (...2年後、平和になった) seaさん「早く帰ろう
GitHub Actions で AWS を操作する（Lambda編） - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
こんにちは。開発部門（プロダクト技術本部）の宮下です。 BIGLOBE では GitHub Actions による作業効率化に取り組んでいます。 本記事では、GitHub Actions が得意とする点を踏まえつつ、AWS Lambda と連携して手作業を大幅に減らす実例をソースコード付きで紹介します。 想定読者 GitHub Actions を使うと何がうれしいのか？ 代表的なユースケース あまり向かないユースケース 事例紹介 課題 改善後 API コンテナ リグレッションテスト用 Lambda パフォーマンステスト用 Lambda 自動化による効果 Lambda を実行するアクション GitHub Actions で使えるアクション ソースコード ポイント、はまったところ GitHub Actions の制御 / ステップ間での値の受け渡し GitHub Actions の制御 / 複
差分指向テスト（DOT: Difference Oriented Testing）という考え方 - MNTSQ Techブログ
はじめに MNTSQ(モンテスキュー)株式会社 フロントエンド担当の安積です。 入社して4ヶ月とちょっと。 コードに取り組もうと入社して、まさに日々格闘しております。 私の後ろの席にはこんなバズ記事書く人や、こんなイカつい記事書く人が座ってまして、そんなプレッシャー期待の中からお送りいたします。 tech.mntsq.co.jp tech.mntsq.co.jp 昨日はこんな記事も公開されています。 tech.mntsq.co.jp はじめに 現在のステータス またはMNTSQ考古学 リファクタリングやるぜっっ！ 仕様書大事だよね 差分指向テストとは テスト環境の概要 テストデータ ブラウザ操作自動化 スクリーンショット比較 Playwriteの操作 ちょっとコードのサンプル 最後に この記事を書いた人 現在のステータス またはMNTSQ考古学 コードベースから見たMNTSQのフロントエン
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
DBセキュリティ性能検証「検証と結果」編 - RAKUS Developers Blog | ラクス エンジニアブログ
※注意：本記事内での計測結果は記載の条件下によるものとなります。異なる環境においては異なる結果が予想されますのでご認識ください。 こんにちは。 株式会社ラクスにて、主に先行技術検証を担当している「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「DBセキュリティ」にまつわる検証を行なったので、その報告を共有しようかと思います。 今回はDBセキュリティの中でも、DBデータの暗号化の話が中心となります。 ちなみに中間報告時点で公開した記事はこちらになります。 tech-blog.rakus.co.jp DBセキュリティについて 本記事におけるDBセキュリティ
PHPUnit の始め方について語りあう 【PHP TechCafe イベントレポート】 - RAKUS Developers Blog | ラクス エンジニアブログ
弊社で毎月開催し、PHPエンジニアの間でご好評をいただいているPHPエンジニアのための勉強会 『PHP TechCafe』。2021年9月に開催されたイベントでは「PHPUnit の始め方」について語り合いました。 社外の有識者にも参加頂いてアドバイスを受けながらPHPUnitの使い方やテストコードの書き方を学びました。 今回はその内容についてレポートします。 rakus.connpass.com PHPUnitテストコードの書き方 setUpメソッド アサーション データプロバイダ アノテーション モック 結果の確認方法 テスト実行時に値が変わるケースの実装方法 イベント参加者からの質問コーナー おわりに PHPUnitテストコードの書き方 以下のShowNoteをベースに、「PHPUnit導入の目的」 ～ 「入門にあたり押さえておくべきポイント」などに ついてディスカッションしました。
本コラムは、AIの安全を確保する技術を理解していただくために書かれています。本コラムの内容を検証する場合は、必ずご自身の管理下にあるシステムにて、ご自身の責任の下で実行してください。許可を得ずに第三者のシステムで実行した場合、法律により罰せられる可能性があります。 本コラムの内容を深く理解するには、敵対的サンプルの基本知識を有していることが好ましいです。 敵対的サンプルをご存じでない方は、事前にAIセキュリティ超入門：第2回 AIを騙す攻撃 – 敵対的サンプル –をご覧ください。 ハンズオン 本コラムは、実践を通じてARTを習得することを重視するため、ハンズオン形式で進めていきます。 ハンズオンは、皆様のお手元の環境、または、筆者らが用意したGoogle Colaboratory*2にて実行いただけます。 Google Colaboratoryを利用してハンズオンを行いたい方は、以下のUR
Unityタイトルにおけるシーン設計での技術的負債の返済例 | CyberAgent Developers Blog
GOODROIDでリードエンジニアをさせて頂いています及川です。 今回は技術的負債を設計で返済した経験をもとに、 負債化した原因から全シーン単一起動可能な設計によって解決に経った経緯を書きました。 負債の顕著化 技術的負債は、ネストの深いシーンのデバッグ工数が爆増という形で顕著化しました。 シーン起動に必要なデータがシーン依存になっており、インゲームのたった一行の変更ですら、特定手順のシーン起動によって必要な情報を構築しなければ確認ができない状態でした。 負債化した原因 負債化した原因は、肥大化しやすい設計です。 旧設計でシーン遷移を行うためには、Use Case経由でServiceを叩いて任意のStorageに状態を持たせる必要がありました。 次のシーンに必要なデータの保存フォーマットがシーン毎に異なるため、接続するシーン同士でユニークな実装が求められていたためです。 実装としては、汎用
【ネットワークの統計解析】第8回 事例紹介「Uber における GNN の活用」 - Sansan Tech Blog
こんにちは． DSOC 研究開発部の黒木裕鷹です． 夏の訪れを感じつつある最近ですが，ランニングをはじめました． 形から入ろうと思い，かっちょいいシューズとウェアを揃えたのですが，なんとか1週間は続いており気分が良いです． まだまだ2, 30分走るだけでバテバテになってしまいますが，いずれは健康大魔神になろうと思っています． さて，この連載では，自分の勉強・復習も兼ねて，ネットワークデータにまつわる（統計）解析を気の向くままに紹介しています． 前回の記事では，グラフラプラシアン・グラフフーリエ変換について簡単におさらいしました． あまり理論やモデルの紹介ばかりが続いても面白くないので，今回の記事ではビジネス応用の事例紹介をしたいと思います． 具体的には，Uber における GNN の適用事例を2つほど取り上げることにしました． 私たちの生活にもすっかり浸透した Uber や UberEat
機械学習のライブラリは抽象化されていますが、どのように動いているいるのか、アルゴリズムは絶対理解しておいた方がいいいです。逆に機械学習を学ぶということは、アルゴリズムの理解が大部分を占めます。 k-近傍法（k-nearest neighbor algorithm）は、分類や回帰のためのシンプルな機械学習アルゴリズムです。 k-近傍法は、新しいデータが与えられたときに、そのデータが近いとされる、学習用のデータセット中の個々のサンプルとの距離を計算します。その後、これらのサンプルからk個の最も近いサンプル（k-nearest neighbors）を選択します。これらk個のサンプルから、新しいサンプルが最も多く分類されるクラスを予測します。 例えば、新しいサンプルが緑の点としてプロットされているとします。k=3の場合、この新しいサンプルに最も近い2つのサンプル（緑の点）を選択します。この3つのサ
『実践プロパティベーステスト ― PropErとErlang/Elixirではじめよう』は、言語に関係なくプロパティベーステストを学びたい人はすぐ買うべき - Magnolia Tech
実践プロパティベーステスト ― PropErとErlang/Elixirではじめよう 作者:Fred HebertラムダノートAmazon Erlang/ElixirのPropErというライブラリをベースに、プロパティベーステストの考え方、テストの実践的な書き方を学ぶための本です。 『実践プロパティベーステスト ― PropErとErlang/Elixirではじめよう』www.lambdanote.com 書名だけ見ると「Erlang/Elixirは使ってないからなー」と避けてしまうかもしれませんが、それはもったいなく、言語に関係なく、”プロパティベーステスティング”という手法の本質的な活用の仕方が学べるようになっています。 ここしばらくScalaのScalaCheckというプロパティベーステストライブラリを使ってテストを書くことに挑戦していたのですが、今一つより良い書き方が分からず、何か
はじめに N予備校品質保証チーム（以下品証チーム）の望月です。 ドワンゴには2022年1月に中途入社しました。 組織が立ち上がってから1年半という品証チームに参画後の半年間で、プロダクト／プロセス品質向上の観点で取り組んだ改善活動をご紹介します。 ※表現に関する補足 この記事では、テストや品質に関連する業務を「QA」と表現しています。 目次 はじめに 目次 参画当初の品証チームの状態 改善活動の前に取り組んだこと STEP1：整理の方針を決める STEP2：課題を洗い出す STEP3：課題をカテゴリごとに分類分けする STEP4：課題改善の取り組み内容と実施効果を整理する STEP5：総合的な判断で課題の優先度を決める STEP6：担当者をアサインし、改善活動を実施する 改善活動の取り組み 1.各クライアントチームへの品証メンバー参画 2.テストデータの整備 3.リグレッションテストのメン
Rustを使ってCLIとVSCode拡張を同時に作ってみたよという記事です！ ここで言う「同時に作った」とは「CLIとVSCode拡張に共通するコアの処理をRustで実装し、CLIはコア処理以外もRustで実装する一方、vscode拡張はTSベースで実装してコア処理はWasmに変換して呼び出す実装にした」という意味です。 それをモノレポでやってみて、けっこう色々いい感じだった＆勉強になったので記録を残しておいてみます👶 なお、ツールのアイデアをくれたtaisaさん、Wasmを使うアイデアをくれたyokoishiさん本当にありがとうございました！ 作ったもの MySQLのINSERTクエリをテーブルのような見た目に、つまりカラム名と各行の値がタテ方向に並んで見えるようフォーマットするというものです。 自分の勤め先ではテストデータを大量のINSERTクエリで表現する場面がしばしばあり、地味な
三菱鉛筆は2月1日、硬質色鉛筆「7700」シリーズの「橙色／黄緑／水色」の生産を6月末までに終了すると発表しました。生産終了の理由は「原材料調達の問題から」としています。なお「赤色」は販売継続するとのこと。 生産終了が発表された「7700 4 橙色」「7700 5 黄緑」「7700 8 水色」（画像はAmazon.co.jpより） これらの色鉛筆は、アニメ制作の現場で長年重宝されてきたもの。三菱鉛筆は2015年にも同シリーズの生産終了を発表していましたが、アニメ関係者から悲鳴が上がり、業界団体などとの協議を経て、当面の販売継続を取り決めていました。 硬質の色鉛筆は、ぬり絵などに使う軟質の色鉛筆に比べ、細いくっきりとした線が引きやすく、消しゴムで消しやすいことなどが特徴。アニメ制作においてはアニメーターが彩色担当者に色分けの指示を出す際などに用います。 日本アニメーター・演出協会（JAniC
コロナウイルスの影響で世の中が大変なことになってきております。コロナウイルスに関する専門的な内容については、私は素人なので細かくは書きませんが、ついに緊急事態宣言も出されて、アクシアでは全員在宅勤務に切り替えまして、それに伴い今のオフィスもいったん解約することに決定しました。 オフィスを解約することにしました 我々のようなソフトウエア開発を業務として行っている会社は、自分達の意思決定次第でリモートワークに切り替えることができます。しかし世の中には出勤が必要な職種で世の中のインフラを支えてくれている人達もたくさんいます。 そうした人達の感染リスクを少しでも下げるためにも、我々のようなリモートワーク可能な職種の人間は、リモートワークを行う努力をすることが今の情勢下においては企業の社会的責任でもあると思います。 今の情勢を踏まえて多くのIT企業がリモートワークに切り替えているようですが、中には我
Part2 特徴量エンジニアリング 前回の振り返り... パート１では、実践的な多変量時系列予測モデルを構築するためのアプローチを紹介し、過去のKaggleコンペティション のデータセットを用いて、ベースラインとなるSeasonal Naiveモデルを作成しました。 今回のパート２では特徴量エンジニアリングを扱います。 時系列データの特徴量エンジニアリング NRIデータサイエンスブログへようこそ！NRIのデータサイエンティスト、時系列予測プラクティスチームのSatyakiです。 パート2では、特徴量エンジニアリング、特に時系列のMLモデルのトレーニングに使用される特徴量について説明します。 ARIMAやExponential Smoothingなどの伝統的な時系列モデルと異なり、機械学習モデルはクロスセクションデータを用いて学習させるため、それぞれの学習用サンプルは独立していると考えられま
本稿では、Zip4j を使ってzipファイルを展開/圧縮する方法について、またパスワード付きzipの扱いについて解説します。 こんな人におすすめ オープンデータ利用のためにzipを展開してデータ取り込みに利用したい 定期的にzipファイルを配信するために、ファイルの圧縮を自動化したい （おまけ）zipファイルのパスワードを忘れてしまった Zip4j とは Zip4jは、Javaでzipファイルの展開や圧縮を行える包括的なライブラリです。Javaの標準ライブラリや他の様々なzip用のライブラリと違い暗号化をサポートしているため、パスワード付きのzipファイルを扱いたい時は数少ない選択肢の１つとなります。複雑な処理はライブラリが行い、実装がよりシンプルになることを目標に開発されています。 セットアップ Mavenを使用する場合は、pom.xmlに以下の依存性を追加してください。 pom.xml
![[Java] Zip4jでzipファイルの展開/圧縮/暗号化を行う - デベルマン](https://cdn-ak-scissors.b.st-hatena.com/image/square/21ae218cda71b39238f6c4d69bd4e8f2cd9b0c5d/height=288;version=1;width=512/https%3A%2F%2Fdevelman.net%2Fwp-content%2Fuploads%2F2019%2F10%2Fcompress-and-decompress-with-zip4j-using-java.jpg)
機械学習をコモディティ化する AutoML ツールの評価 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、開発エンジニアの amdaba_sk（ペンネーム未定）です。 昨年度まで、ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「開（か）発の未（み）来に先（せん）手をうつプロジェクト（通称：かみせんプロジェクト）」というプロジェクトがありました。本年度からは規模を拡大し、「技術推進プロジェクト」と名称を改めて再スタートされました。 本記事では、昨年度かみせんプロジェクトとしての最後のテーマとなった機械学習テーマの延長として 2020 年度上期に行った「AutoML ツールの調査と評価」について取り組み結果を報告します。 （ちなみに機械学習テーマは前年度から継続していたこともあり、上期で終了となってしまいました。残念……） なお過去の報告記事はかみせんカテゴリからどうぞ。技術推進プロジェクト
この記事はBASE Advent Calendar 2019の20日目の記事です。 devblog.thebase.in PAY株式会社でテックリードを務める東と申します。 主にバックエンド全般に広く携わっています。最近はサーバーアプリばかり書いていますがインフラもわりとやります。 当ブログの読者の方には弊社のことをご存じない方もたくさんいらっしゃるかと思いますので、簡単に社の紹介をさせていただきます。 PAY株式会社はBASE株式会社の100%子会社で、オンライン決済サービス「PAY.JP」とID決済サービス「PAY ID」などの決済サービスを開発・運営している会社です。 「支払いのすべてをシンプルに」をミッションに掲げ、お金を扱うすべての事業者・個人がもっと豊かな生活ができることを目指しています。 さて、決済というミッションクリティカルなテーマを扱うにあたって、品質保証は最も重要な課題
チームでフレームワークのバージョンアップに立ち向かうための考え方 - CARTA TECH BLOG
こんにちは、こんちゃん(@konchanSS)です。 Zucks アドネットワークでは広告配信プラットフォームの開発をしています。その中で、マイクロサービス的にいくつものサービスに分割されて運用されています。 cartaholdings.co.jp Zucksが大切にしているエンジニア文化はこちら 今回は、管理画面サービスで行ったフレームワークのバージョンアップについて書いていこうと思います。特に、進め方、考え方について伝えます。 今回バージョンアップを行ったのは、SymfonyというPHPのフレームワークです。 目次 バージョンアップにおける考え方 バージョンを上げて終わりではない。いかに上げやすく作っておけるかが大事 人の手による作業をできるだけ発生させない ユニットテストとE2Eで動作を担保する バージョンアップする際にビッグバンリリースをしない バージョンアッププロジェクトの進め方
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、ドメインに特化したRAGの性能を検証するためのフレームワーク、RAGEvalについて解説します。 サマリー RAGの手法は日夜研究され、新しい手法は次々に提案されています。RAGに限った話ではないですが、システムの性能を計測するには評価するための方法が重要です。そしてRAGの性能を計測するにはドキュメントと質問、そして正解ドキュメントと正答のセットが必要になります。 RAGEvalは、これらの計測に必要なデータをLLMとそのドメインに使用するサンプルのドキュメントを用いて自動的に生成する事が可能となっています。 問題意識 RAGのテストデータを用意するのは大変 RAGの評価には必ず評価するため
株式会社ユーザーローカルは、開発者向けにシステム試験用の疑似個人情報データをワンクリックで自動生成できる「個人情報テストデータジェネレーター」を無償で提供開始した。本ジェネレーターは大量のダミーデータをすぐに生成し、システム開発における品質検査やセキュリティチェックに利用できる。 システム開発時には、本番運用を開始する前に動作テストやセキュリティチェックの実施が不可欠になる。しかし、実際の会員情報でチェックすることは危険なためダミーのデータを使ってテストを実施するが、ダミーデータ作成には大きな手間がかかる。 そこで、ユーザーローカルは、実在データと同品質のテストデータを大量に自動生成する「個人情報テストデータジェネレーター」を無償提供したという。個人情報は1度の生成で1万行（1万人）分まで対応しており、それ以上生成したい場合は問い合わせる必要がある。実データに極めて近い品質のデータを生成可
心電図データ×機械学習まとめ
2021年1月27日、watchOSのアップデートに伴い、日本でもApple Watchの心電図（Electrocardiogram、ECG）機能が利用できるようになりました。 https://www.apple.com/jp/newsroom/2021/01/ecg-app-and-irregular-rhythm-notification-coming-to-apple-watch/ 日本ではスマートウォッチで心電図機能が使えるようになったのはこれが初めてだと思うのですが、海外ではApple Watch以外にもFitbitなども心電図機能に対応しています。 心電図が身近なものになることによって、こちらを利用して病気の検知であったり介入であったりといった研究が更に進むのではないかと予想されるので、今回は機械学習の心電図データへの応用についてまとめてみたいと思います。 心臓の拍動と心電図の
github.com/Code-Hex/dd という Go の構文として有効なフォーマットで pretty print を行えるライブラリを作成しました。（Star をくれると大喜びします） 色付き pretty print をするとこんな感じになります。 作った背景 pretty print 可能なライブラリは既にいくつか存在します。有名どころだと github.com/davecgh/go-spew/spew や github.com/k0kubun/pp/v3 があります。私はこれらのライブラリがとても好きで良く利用しています。パッケージ名は k0kubun/pp を真似しています。こちらは data dumper の略で dd です。 しかし、JSON や YAML などのデータを Go の構造体へマッピングし、その結果をテストデータとして比較したい時に、上記で紹介したライブラリの
Cypress + TestRail による Frontend E2E テストの効率化について | メルカリエンジニアリング
Merpay Advent Calendar 2020 の 8 日目は、メルペイフロントエンドチーム の @tanakaworld がお送りします。 2020 年後半からフロントエンドチームと QA チーム合同で、リグレッションテストの自動化に取り組んできました。E2E テストフレームワークである Cypress でマニュアルテストを自動化し、加えて TestRail を用いてテストケース管理も仕組み化することでワークフローの整備を進めています。本記事では、それらの取り組みについて紹介します。 ワークフロー改善後の全体像 リグレッションテストとは 実装を変更した結果、アプリケーション全体の振る舞いに予期せぬ影響がないかどうかを確認するテストです。メルペイではリリース前 QA の最終フェーズでリグレッションテストを実施しています。Web アプリケーションを End To End (E2E)
こんにちは！株式会社estieでEMをやっています、t-poyoです。 今回は、estieの創業以来走り続けてきたプロダクトのapiをどう改善しているかについて書きたいと思います。 当社は"estie"と"estie pro"という2つのサービスを作っていますが、今回は"estie"の開発にまつわるお話になります。 こんな方に読んでほしい estieの開発チームが何をやっているのか知りたい方 node.jsでイチからプロダクトを作りたい方 apiのアーキテクチャに悩みつつも「クリーンアーキテクチャほどガチガチにやるのは…」な方 TL;DR コールバック関数を利用してアプリケーション層をExpressから分離できる 分離した関数に対して複雑なモックを使わずテストを書ける あらすじ estieは、2020年2月にUI刷新をおこない、バージョンも2.0にメジャーアップデートしました。 その際、フ
ABEJAアドベントカレンダー2020の19日目の記事です。 この記事は何？ 結局AIって何個データ必要なの？ってよく聞かれると思います。 そんなん知るか この記事では、ある程度精度が出ている既存のタスクにおいて、どんなデータを、どのくらいの量与えているかを調べた結果です。ちなみに、僕自身、すべてのタスクを扱ったことがあるわけでは無いので、ほぼ一部適当な部分もあるかと思いますが、ご容赦ください。あと、このデータが入ってないよ！ってツッコミも歓迎です。 あと、技術は常に進んでいるので、ちゃんと最新技術を追っておけば、より少ないデータで良い結果を出すことが出来ないこともない。が、最新技術とはいえ銀の弾丸ではないのが通常で、例えlightweightGANがでたからと言って、100枚で学習できます！とか勝手に広がると困っちゃう。色んなタスクにおいて、まぁ大体どんなタスクも一般的にはこんなもんよっ
Data Portalでアプリのデータを可視化しよう こんにちは、メディアサービス開発部アプリ開発グループのタンです。 作ったアプリがどう使われているかは誰しも知りたいですね。頑張ってAnalyticsでイベントを実装して、BigQueryにも連携させたのに、なかなか活用されないケースが多いでしょう。 集めたデータを見る機会も少なく、数字だけで見にくくて解釈するのに時間がかかります。そんな問題を解決するためにGoogleさんがGoogleマーケティングプラットフォームの機能の一つとしてData Portal（旧Data Studio）を2016年にリリースしました。今回はそんなData Portalの簡単な使い方を紹介したいと思います。 事前準備 当たり前ですが、Data Portalを使うにはまずデータが必要です。BigQuery、スプレッドシート、CSVファイル、様々なインプットが使え
施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[前編] - ANDPAD Tech Blog
この記事はANDPAD Advent Calendar 2022の 24 日目の記事です。 こんにちは、アンドパッドSWEの あかりです。昨日が初めてのブログ投稿だったのですが、2夜連続での投稿です。23日と24日の枠を押さえて、25日の枠をプレゼントとして残すというサンタ的な計らいをしております。（←トリを飾る度胸がなかっただけ。チキンだけに。） ※ 滑り出しは好調ですが、内容は至極真面目です。 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービスについて、その非同期処理基盤をBlue/Greenデプロイ化しました。このデプロイフローの変更は大きく2段階を踏んで実現しており、本記事では、その前半部分にあたる、非同期処理基盤から定期実行ジョブの処理基盤を抽出・分離した話について説明します。 2. 前提の説明 2-1. インフラの概要 元々の施工管理サービスのインフラ概要
![施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[前編] - ANDPAD Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/d033c8b297edb3d04b75a253daa69e829fc62de1/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Fandpad-hijikata%2F20221223%2F20221223114447.png)
Amplifyにおける複数モデルのGraphQL APIについて - 虎の穴開発室ブログ
虎の穴ラボのかのたんです。 AWSが公式で提供しているAmplifyという開発ツールは非常に簡単、かつ高速にAPI環境が構築できるということで注目度が上がっており、AWSの公式セミナーや勉強会等でも取り上げられる機会が増えています。 弊社でも有志でAmplifyの使い方についての調査を行っており、特に以前弊社のNSSさんがブログに投稿したAmplifyに関する記事は非常に多くの方に読んでいただきました。 toranoana-lab.hatenablog.com Amplifyの導入については、こちらのNSSさんの記事が非常に参考になります。 私の方でもAmplifyについて触ってみたので、今回の私の記事は上記のNSSさんの記事から派生するような形で、複数モデルのGraphQL APIの作り方について書きます。 GraphQL APIの作成 本記事の前提条件として、上記のNSSさんの記事等を
この記事は、Merpay Tech Openness Month 2023 の1日目の記事です。 背景 メルペイのバックエンドエンジニアのa-r-g-vとsminamotです。私達はメルペイ加盟店の管理システムを開発しているチームに所属しています。私達のチームには、複雑な条件を持つBigQueryのSQLクエリがいくつか存在しています。例えば、加盟店管理に関する費用計算などの計算クエリのように、外部環境の変化によって要件が定期的に変更され、マイクロサービス化などのシステム化が難しいクエリがあります。このようなクエリは複雑であるだけでなく、テスタビリティにも問題がありました。そのため、開発者がテストを実施することが困難になっており、クエリの変更を安心して行うことができない状態にありました。 クエリの複雑性 抽出条件の複雑さと複数のマイクロサービスへの依存により、クエリが複雑になっていました。
機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、開発エンジニアの amdaba_sk（ペンネーム未定）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「開（か）発の未（み）来に先（せん）手をうつプロジェクト（通称：かみせんプロジェクト）」というプロジェクトがあります。 この記事はかみせんプロジェクト2019年度下期成果報告ブログの一つです。 前回の成果報告では「機械学習プロジェクトの進め方」について検証した結果のまとめをしました。今回は「じゃあ実際に機械学習をやることになったら、どんなライブラリ、サービスを使えばいいの？」といったところの検証結果をまとめようと思います。 対象読者は前回と違って、機械学習に興味のあるエンジニアの方です。 なお今までの記事はかみせんカテゴリからどうぞ。 tech-blog.rakus.co.jp
美容クリニックは新規体制用の少人数体制で開発を行っており、その内の約 7 割がアプリ開発をしているエンジニアとなっています。 一方で、SRE は全体の約 1 割の人数しかいないという状況にあります。 この SRE の人数が少ないかどうかは扱っているシステムの規模や課題によって評価が変わるかと思いますが、美容クリニックが現在抱えている課題の量に対しては少ない人数だと感じています。 では、このように限られた人数の中でどのようにして SRE 活動を行ってきたのかを紹介していきます。 SRE チームの組閣 美容クリニックのリリース以前から SRE チームは存在していたのですが、リリース前後でその責務は変わってきます。 例えばリリース前はインフラの初期構築がメインの責務となってきますが、リリース後（エンハンス開発）にはインフラの保守運用がメインの責務となります。 さらに、メンバーの変動などにより当初
Leaner 開発チームの黒曜(@kokuyouwind)です。 最近は AI や LLMs 関連の話題が付きませんが、弊社でも GitHub Copilot for Business を導入しました！ 今回は開発メンバーに GitHub Copilot を使った所感や、特にどんなコードを書くときに便利かを聞いてみました。 黒曜 主に使っている開発ツールを教えて下さい 利用エディタ: IntelliJ IDEA 使ってみた感想 Ruby と TypeScript で試しましたが、とにかく賢い ですね。 特に同じような記述が続く RSpec や定形コンポーネントを書くときには、最初の 1 行だけ打ったら後は Tab と Enter を打つだけでコードが完成してしまったりします。メソッド名・テスト名・コメントなどで「なにをやりたいか」が Copilot に正しく伝わるほど正確な予測をしてくれる
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習のシステム開発の難しさを独断でまとめてみた - aptpod Tech Blog
大規模配信に耐える広告新商品「材料ジャック」の設計と開発 - クックパッド開発者ブログ
リファクタリングという行為が好きか？ - jfluteの日記
ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ
第３回：Adversarial Training -回避攻撃の対策-
KNNアルゴリズム(K-近傍法)をscikit-learnを使わず5行で実装する。（Python）｜es
品証チームに参画後の半年間で取り組んだこと - ドワンゴ教育サービス開発者ブログ
Rustを使ってCLI(Rust)とVSCode拡張(TS+Wasm)を同時にモノレポでリリースしてみました
三菱鉛筆、アニメ業界定番の「硬質色鉛筆」を生産終了 6月末までに
リモートワークできないシステム開発なんてやめてしまえ | 株式会社アクシア
時系列予測モデルの実践論２ －昔のKaggleを事例に－ - NRI Data Science BLOG
[Java] Zip4jでzipファイルの展開/圧縮/暗号化を行う - デベルマン
テストを５倍速にする - BASEプロダクトチームブログ
あらゆる分野のRAGの性能を評価する手法RAGEval
ダミーの個人情報を自動生成するジェネレーター無償提供、最大1万人分を生成 | Ledge.ai
Go のデバッグやコード生成に便利な pretty print できるライブラリ「dd」を作った
🤺 Node.js + Expressの混沌を統治する 🤺 - estie inside blog
Deep Learningの各種タスクにおけるベンチデータセットとデータ数をまとめた - Qiita
Data Portalでアプリのデータを可視化しよう - BOOK☆WALKER inside
GoによるSQLクエリテストの取り組み | メルカリエンジニアリング
「ホットペッパービューティー」美容クリニックでのSRE活動
GitHub Copilot for Business を導入したので、みんなに感想を聞いてみた