GitHub Actions ではデフォルトの挙動として同じワークフローの複数のジョブを同時実行できる．無駄に待つ必要がないという意味ではメリットがあるけど，ワークフローによっては同時実行したくないこともあると思う． GitHub Actions でワークフローが複数トリガーされてしまって慌てて止めたという経験もあったりする😅例えばワークフローの実行時間が長く，完了する前に次のコミットをプッシュしてしまったり，ワークフローの実行が完了する前にプルリクエストをマージしてしまったり💨 concurrency 設定 GitHub Actions ではコンカレンシー (concurrency) という設定があって，ワークフローの同時実行を制御できる．今回はワークフローレベルで試すけど，ジョブレベルで細かく制御することもできる❗️個人的にはとりあえず設定しておいても良さそうかなと思う． docs

今、自分が所属している会社では、いわゆるフルサイクルなアプリケーションエンジニアがほとんどで、SRE のような、システムを運用改善することを専門にするメンバーは居ません。一方でそれなりにプロダクトの数は多く、各種ミドルウェアの運用で困っているのを見かけることがあります。 色々な人が似た問題に悩むのはもったいないので、「MySQL を運用したことがある人からすると、こういう考え方をする」という風な目線で勉強会を行いました。せっかくなので社内の情報を抜いたうえで公開します（同じようなことを色々な場所で言っていて、その都度作り直しているから……というのもあります）。 speakerdeck.com ちなみに DB のどこで悩むかはだいぶ業界ドメインに左右されると思っています（それはそう）。ゲーム業界なんかは、激しくスパイクするワークロードな上にミスったときの機会損失が激しいので、シャーディングを

ブログのデザインを変更する際に、マウスを対象の文章に近づけるだけでフォント名が表示される、非常に便利なChrome拡張機能「WhatFont」（フリーソフト）を紹介します。 自分のブログのデザインを考えているときに、「これは何のフォントで表示されているのだろう？」と思うことがよくありました。 しかし、「WhatFont」を導入してからは、フォントについて悩む時間がなくなりました。他の方のブログで「このフォントはかっこいいな」と思ったら、すぐに調べることができるようになりました。 それでは、紹介していきます！ はじめに WhatFontのインストール方法 Chrome拡張の開発方法について おわりに はじめに 以下は、「WhatFont」を使ってる様子です。 WhatFontを使用してる様子 フォント名が表示されたときに、マウスを左クリックすると、対象の文章の詳細が表示されます。 詳細とは、

ブログを書いてるときに、画面操作や手順を、たくさんの文章で説明することがあると思います。 私は、自分がPCを操作してるところを、誰かが動画で撮ってくれたらと、思うことがよくありました。 今回は、とても簡単な操作で、デスクトップを操作してるところを録画してくれるフリーソフトの紹介です。 はじめに LICEcapのダウンロード LICEcapのインストール手順 LICEcapの使い方 おわりに はじめに まず、以下は、LICEcapで撮ったデスクトップ画面のGIFアニメーションです。LICEcapは、とても簡単にデスクトップ画面の動画を撮ることができます。 はてなブログの便利な編集ボタン この動画は、以前紹介した、はてなブログの「編集ボタン」の説明です。 何かの理由で「編集ボタン」が表示されてない方は、どれだけ説明されても、「編集ボタン」って何？ってなりますよね。 でも、この動画を見れば「編集

findy.connpass.com 会の概要 以下、イベントページから引用です。 昨今、プロダクトの品質がビジネスに与える大きなインパクトについて語られる場面が多くなっています。一方で、「コード品質」についての問題やそれに関する議論はエンジニアの中で留まってしまい、経営者やビジネスマネージャーに認識される機会は少ないという話も見受けられます。 本イベントではコード品質がビジネスに与える影響を紐解いた上で、ご登壇者の所属企業では実際どのようなコード品質向上のための取り組みを行っているのか、またそれらを経営陣やビジネスサイドとどうコミュニケーションを取れば良いのかを考えられる場を目指します。 会の様子 ビジネスとエンジニアリングの接合点、そしてコード品質がそこに及ぼす影響（v1.1） 最初に松本さんから講演がありました。 プロジェクトのスタート プロジェクトは、ビジネス担当者からエンジニアに

今回は、テーマ「Minimalism」のカスタマイズの番外編として、はてなブログで、「編集ボタンが表示されない」を解決する方法を説明したい。 ブログを書くときは、以前に投稿した記事を見ながら書く場合が多い。すると、参照してる記事の方に、誤字を見つけたり、おかしな文章になってるなど、よく見つけてしまう（あるあるである）。 そんなときは、「編集」ボタンを使うと、すぐにその過去記事を編集することができて、とても便利なのである。 今回は、私の環境で編集ボタンが表示されなかったため、調査して、無事に解決できたので、その方法を書こうと思う。 この記事が、誰かの助けになってくれたら嬉しく思う。 参考サイト はじめに はてなブログの「編集ボタン」とは はてなブログの「編集ボタン」が表示されない理由 はてなブログの「編集ボタン」が表示させる方法 Google Chromeの対策手順 特定のサイトのCooki

こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法SimCSEを紹介します。 背景・概要 手法 要因 実験 NLIタスクによる実験 クラスタリングによる実験 終わりに 背景・概要 自然言語処理は、昨今様々な領域へ応用することが期待されていますが、特に企業での応用においては、ラベル設計が出来ず、教師あり手法が使えない場面に遭遇することが多々あります。そんな場面で、きっと助けになってくれるのが教師なし手法です。特に、文の類似度については、様々なタスクやデータ作成に際して便利に使える場合があります。 近年、BERTなどの大規模事前学習済み言語モデルが出てきていましたが、教師なしの文類似度タスクの場合、BERTを使って単語をベクトルに変換し、そのベクトル

僕は、商業漫画を描いたり同人漫画を描いたりブログを書いたりウェブラジオに参加したり、SNSでも発言が多く、それ以外に会社の仕事もゴリゴリやっているため、「アウトプットが多い」という評価を人から受けることがあります。 でも、個人的な感覚では、そのほとんどはアウトプットではなくインプットとしてやっている感覚があって、特にこのブログなんかはほぼ完全にインプットとしてやっていると思います。 つまり、何かに関する考えをまとめるて書くということは自分にとってのインプットの側面があります。なぜなら、外部の刺激を受けたことについて、自分の中で考えを整理することは、自分の中にその考えを定着させるというプロセスのひとつであると感じているからです。なので、ここで文章として書いたからこそ、それをインプットとすることができ、他でやる何かのアウトプットに転用をできていたりします。 そういう認識なので、僕自身は色んなア

課題 解決策 入力 データ正規化 総和計算の準備（1） 総和計算の準備（2） 総和計算の準備（3） 総和を求める 日付情報を付加する 最大値を持つ区間を集約 不要な情報を上書き カウントと解答の抽出 スクリプト全体像 所感 課題 paizaで公開されている以下の練習問題をbashで解いてみたい。 https://paiza.jp/works/mondai/a_rank_skillcheck_archive/max_range_large 解決策 入力 5 3 1 2 3 2 1 以降は説明のしやすさから上記が入力されることを想定する。 データ正規化 # 入力 5 3 1 2 3 2 1 # 処理 awk ' NR==1 { n = $1; k = $2; } NR==2 { for (i = 1; i <= k; i++) { print; } } ' # 出力 1 2 3 2 1 1 2

こんにちは！ LayerXで機械学習エンジニアをしている伊藤 (@sbrf248) です。直近はOCRモデルの学習・評価に使うデータセット周りの改善に取り組んでいます。 今回は、データセット作成におけるアノテーションに注目し、関連する研究分野や、LayerXにおける改善にどう繋げられそうかを紹介したいと思います。 アノテーションに関する研究分野 アノテーションは、機械学習に利用する教師付きデータの正解ラベルを人間が付与する作業を指します。 高い精度のモデルを作るためには高品質かつ大量のデータセットが用意できると理想ですが、人間が作業する以上一定の時間的・金銭的コストは必要になるため、品質を高めつつ効率を上げるための工夫が必要になります。 アノテーション品質・効率を高めるための研究分野は、大きくサンプリングと品質管理と効率化の2つに分けられます。 以下では、それぞれについての代表的な手法や最

「テスト駆動 Python 第2版」を読んだ📕 仕事で pytest を使ってて，もっと自信を持って書けるようになりたいな〜と思っていたら本書を見つけてさっそく読んでみた．pytest の機能・記法・設定・Tips などの理解が深まって本当に読んで良かった❗️フィクスチャ・パラメータ化・モック・プラグイン活用など，今まで何となく書いてたところを自信を持って書けるようになって，仕事で pytest を書くのが楽しくなった🦄 テスト駆動Python 第2版 作者:Brian Okken翔泳社Amazon もちろん pytest の公式ドキュメントを読むべきだし，本書の内容の多くは公式ドキュメントにも載っているとは思うけど，本書の翻訳はとても読みやすく，pytest の全体像をサッと把握できて，また Cards というサンプルアプリケーションを題材に実際に pytest を試しながら読み進め

注意事項 イベント情報 舞台挨拶 はじめに 映画祭 演者のその後 QA.1 QA.2 QA.3 プレゼント争奪じゃんけん おわりに 注意事項 個人的なメモを書き起こしたものです。 細かい言い回し等まで完璧に再現できているものではありません。 また内容に誤りを含む可能性があります。 ご了承ください。 致命的な誤りがありましたら修正しますのでご指摘をお願いします。 イベント情報 【イベント名】 『かがみの孤城』「閉城の日」イベント 【日時】2024/03/30（土）17:00の回 上映終了後 【会場】新宿ピカデリー 【登壇】原恵一監督、新垣弘隆プロデューサー 舞台挨拶 原＝原監督の発言です。 新＝新垣プロデューサーの発言です。 各見出しは公式のものではありません。 はじめに 原：初めて来てくれた人ありがとう。久しぶりの人もありがとう。 新：今日は自由に写真を撮ってくれてOKです。 新：（新宿ピ

PyTorch v1.12 以降では、macOS において Apple Silicon あるいは AMD の GPU を使ったアクセラレーションが可能になっているらしい。 バックエンドの名称は Metal Performance Shaders (MPS) という。 意外と簡単に使えるようなので、今回は手元の Mac で試してみた。 使った環境は次のとおり。 GPU が 19 コアの Apple M2 Pro を積んだ Mac mini を使用している。 $ sw_vers ProductName: macOS ProductVersion: 14.4.1 BuildVersion: 23E224 $ sysctl machdep.cpu.brand_string machdep.cpu.brand_string: Apple M2 Pro $ pip list | grep -i tor

DALL-E作成の「worker間で重複タスクを確認しながら作業を進める」イメージ図です こんにちは。AI・機械学習チーム（以下AIチーム）の池嶋(@mski_iksm)です。 仕事で、誰か一人がやればいい作業を、気がついたら同僚と同じタイミングでやっていた、という経験はありませんか？ せっかく頑張って作った機能が実は被っていてムダになってしまった。。。というのは誰もが悲しいものです。 そうならないように作業チケットを切るなどしてタスクを中央管理する方法もありますが、もっとゆるくやりたいこともあるかと思います。 そういうときは一言「この作業私がやりますね！」と声掛けをすれば済みますね。 以前のブログで、私たちはgokartを使ったMLパイプラインの効率化について掘り下げました。 具体的には、「すでに完了したタスクをスキップする」と「タスクの実行順序をできるだけランダムにする」という2つの戦

オードリー春日が一年間かかさず英語の勉強をした成果が放送されました。 www.nhk.jp 最初は語彙力も文法もバラバラだったところから、実際に渡米して面倒なハンバーガー注文ができるようになっています。 その前に、日本で観光客にインタビューして「これまで学んできたチャンクを使ってこい」というロケ。 このときに使われていたチャンクが雑談とかで使えそうなので文字起こししてみることにしました。 Kasuga's Chunk Bingo 〜でつながっている文章の訳は、春日がロケしていた文脈で解釈しています。※勝手に訳してるのでニュアンスに違いがあったら遠慮なく指摘してほしいです。 Is this your first time in Japan? 日本ははじめてですか？ Just go straight down this road. この道をまっすぐ行ってください Sounds good. いい

こんにちは。エンジニアリンググループの武井です。 私は現在、デジカルチームに所属し、クラウド電子カルテ、エムスリーデジカルの開発に携わっています。 昨年夏にエムスリーに入社し、早くも半年が経過しました。 digikar.co.jp この記事では、私が入社してから4ヶ月目に取り組んだ、バッチ処理の運用改善について振り返ります。 特に、新しくチームに加わったメンバーとして意識した点に焦点を当ててみたいと思います。 これから新しいチームに参加する方の参考になれば幸いです。 改善したバッチ 現状の正確な理解 現状に馴染む技術選定 自分なりの+αを加える 改善の結果 We're hiring 改善したバッチ 今回の改善対象は、特定の医療機関に紐づく全患者の全カルテをPDFファイルとして出力する、というバッチです。 デジカルのデータを医療機関側にエクスポートする用途で使われています。 移行前のアーキテ

こんにちは、LegalOn Technologiesでエンジニアをしている神田（@kampersanda）です。 本記事では、Jaccard係数に基づく類似文書検索の高速化技法を解説し、契約書検索での実験結果を報告します。 背景と目的 共起に基づく類似文書検索の必要性 契約書検索での注意点 本記事の目的 準備 表記 Jaccard係数 Overlap係数との関係 問題設定 線形探索による解法 高速化の方針 Length Filtering Position Filtering 高速化のための要素順序 アルゴリズム 転置索引を使った解法 基本的なアイデア Prefix Filteringに基づくトークンの絞り込み 高速化のための要素順序 アルゴリズム 実験 データセット 統計量 Length Filterの検出率に関する結果 検索時間に関する結果 おわりに メンバー募集中!! 背景と目的 共

RevCommでバックエンド開発をしている小門です。 最近、CSVファイルのアップロードを受け付けて処理するバックエンドAPIの機能開発を担いました。 CSVファイルのパース、バリデーションにPydanticが便利でしたので紹介したいと思います。 なお開発言語はPython、コードの動作バージョンは以下です。 Python 3.12 Pydantic: 2.6.0 PythonでCSVファイルの取り扱い Pythonでは組み込みモジュールcsvを使うことで基本的なCSVファイルの読み取り・書き込みができます。 # persons.csv の例 """ "name","age" "alice",20 "bob",21 """ import csv with open("persons.csv", newline="") as csvfile: reader = csv.DictReader(

forkwell.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。 会の概要 会の様子 LT1 「人とAIが協調するHuman-in-the-Loopへ」 LT2「GPTsの可能性」 LT3「100人参加ハッカソンから学ぶGPTsの活用方法」 Q&A OpenAIにはセキュリティ面で懸念があるが、どう考えているか？ GPTsの作成にはどれくらい時間がかかるのか？ 勉強資料のおすすめはあるのか？ GPTsを作るテクニックのキャッチアップは？ 作成したGPTsをテストする勘所を知りたい 会全体を通した感想 会の概要 以下、イベントページから引用です。 2023年11月6日にユーザーが自然言語でカスタマイズできるGPTsがリリースされ、2024年初頭では既に300万以上のGPTsが作成されています。 そして2024年1月10日にGPT Sro