結城です。 2021年9月13日から14日にかけて、東京都立大学の大学院生向け特別講義として「リーダブルコード演習」を実施しました。 演習の内容は、当社でこれまでにも行ってきているリーダブルコードワークショップを、プログラミング経験が比較的浅い・プログラミングの量がまだそれほど多くない方向けに調整した内容としました。 この記事では、実施した演習の概要と、今回意識した点を紹介します。 本文が長いため、目次を用意してみました。 発端 演習の構成 座学パート リーダブルなコードを書く意義について リーダブルコードを実践するためにまず取り組むべきこと 実際の現場での「コードがリーダブルでなくなってしまった」「リーダブルになるよう改めた」実践例 最初の実装 リーダブルでなくなった実装 リーダブルさを取り戻すための改修 コードがリーダブルでなくなっていってしまう要因 壊すのが怖くて、見て見ぬフリ 恐怖
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます。 # DynamoDB ログデータ格納用
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
ソースコード & ドキュメントに対応したGraph RAGの実装（Tree-sitter + LightRAG）
(module (function_definition (identifier) # ← ここに関数名「sample_func」が含まれます (parameters) (block (expression_statement (call (identifier) (argument_list (string)))))) (expression_statement (call (identifier) (argument_list)))) ノードが色々取れましたが、「function_definition」が関数、その子である「identifier」が関数名を表すため、 function_definition == 子ノード ==> identifier となっている箇所を探索すれば抽出できます（関数ではあっても「lambda」など異なる場合もあります）。 今回は上記のようにTree-si
Pythonで始めるリランカー実装：mixedbread-ai、Alibaba-NLP、OpenAI GPTを比べてみた - RAKUS Developers Blog | ラクス エンジニアブログ
mixedbread-ai/ Alibaba-NLP / OpenAI GPTによるリランキング【実装サンプル付き】 はじめに RAGをはじめとする現代の情報検索システムでは、「リランカー（Reranker）」と呼ばれる仕組みが使われることがあります。 検索候補を単にキーワードマッチやベクトル検索でピックアップするだけでなく、さらに高精度なモデル(＝リランカー)で再スコアリング（再ランキング）することで、ユーザーが本当に求めている情報を上位に表示できます。 本記事では、筆者が実際に業務中の検証作業で利用した次の3つのモデル: mixedbread-ai/mxbai-rerank-v2 Alibaba-NLP/gte-multilingual OpenAIのGPT（Chatモデルをリランカーとして活用） を題材に、特徴や実装例を紹介します。 mixedbread-ai/ Alibaba-NL
1月20日（金）に慣性式のモーションキャプチャデバイス（とアプリ）mocopiが発売されました。 SONYという大手メーカが販売しており、流通もしっかりしていそうなこと、デバイスが全部で6つと装着の手間が少ないこと、価格が5万円とモーションキャプチャデバイスとしては低価格であること、単体で完結せずVRChatやUnityなどとの連携も想定していることなどからある程度のマーケットを構築しそうです。 開発関連ドキュメントやSDK・プラグインの状況 mocopiは低価格のモーションキャプチャであり、色んなソフトで使えそうですが、1月23日現在連携可能な環境は限られています。 VRChat Unity Motion Builder また、SDKは近日提供予定とのことですが、こちらはMobile App用のSDKということで恐らくmocopiデバイスの値を直接受けて動作するスマホアプリの開発のための
こんにちは。TSUNADE事業部研究チームリサーチャーの坂田です。 本記事では、Hugging Face 社が開発しているTransformersのPipelinesという仕組みを使って日本語の固有表現抽出を行う方法をご紹介します。 Transformersとは？ 日本語学習済み言語モデル Pipelines Trainer 固有表現抽出とは？ 実際に日本語NERTを試してみる 必要な各種依存ライブラリのインストール 使用するデータ 日本語固有表現抽出データセットでのFine-tuning Pipelinesを使った固有表現抽出 実行例 おわりに 参考 Transformersとは？ TransformersはHuggingFace社が公開しているPython用ライブラリで、BERTを始めとするTransformer系の言語モデルを使用する際のデファクトスタンダードになっています。また、最
Welcome to my ::'########::'##::::::::'#######:::'######::: :: ##.... ##: ##:::::::'##.... ##:'##... ##:: :: ##:::: ##: ##::::::: ##:::: ##: ##:::..::: :: ########:: ##::::::: ##:::: ##: ##::'####: :: ##.... ##: ##::::::: ##:::: ##: ##::: ##:: :: ##:::: ##: ##::::::: ##:::: ##: ##::: ##:: :: ########:: ########:. #######::. ######::: ::........:::........:::.......::::......:::: CTF writeups, prog
日本語埋め込みモデルRuliを使ったBM42 on Elasticsearchと形態素解析器Sudachiによるトークン矯正 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 1日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。 今回はQdrantが開発した新しいスコアリングアルゴリズムであるBM42を簡単に紹介し、それをElasticsearch上で構築する方法とその所感をお話しします。さらに形態素解析器のSudachiを使って類似語展開やトークン修正を行ない、BM42の精度を矯正する方法を試したのでその紹介をします。 BM42の紹介に関してはQdrantの記事が最も詳しいですが、このブログでも導入として簡単に紹介します。 qdrant.tech BM25の弱点 BM42とは BM42をElassticsearchで動かす Sudachiによる矯正 モデルによっては意図しないトークンが生成される問題 表記揺れ、シノ
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
Python で映画をオススメしてみる〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 - GMOインターネットグループ グループ研究開発本部
2022.01.07 Python で映画をオススメしてみる 〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 導入 こんにちは次世代システム研究室の T. I. です。 さて、今回の Blog では、前回の Blog に引き続き「施策デザインのための機械学習入門」を参考に日常のデータサイエンスの業務で生じうるバイアスとその対処方法について紹介します。 今回の課題はレコメンド・システムです。我々がインターネットを利用していると、日常の様々な場面で商品・作品をお勧めされていると思います。これらは各種Webサービスが日夜集めたアイテムや顧客のデータを元になされています。アイテムの推奨には２種類考えられます。 (1) ユーザーが興味を持って何度も閲覧・視聴しているものを推奨して再度コンヴァージョン(購入・試聴)してもらう。 (2) ユーザーが興味を持ってもらえるであろう新
Join a VS Code Dev Days event near you to learn about AI-assisted development in VS Code. Update 1.58.1: The update addresses these security issues. Update 1.58.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the June 2021 release of Visual Studio Code. There are a number of updates in this version that
日本語埋め込みモデルRuriを使ったBM42 on Elasticsearchと形態素解析器Sudachiによるトークン矯正 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 1日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。 今回はQdrantが開発した新しいスコアリングアルゴリズムであるBM42を簡単に紹介し、それをElasticsearch上で構築する方法とその所感をお話しします。さらに形態素解析器のSudachiを使って類似語展開やトークン修正を行ない、BM42の精度を矯正する方法を試したのでその紹介をします。 BM42の紹介に関してはQdrantの記事が最も詳しいですが、このブログでも導入として簡単に紹介します。 qdrant.tech BM25の弱点 BM42とは BM42をElassticsearchで動かす Sudachiによる矯正 モデルによっては意図しないトークンが生成される問題 表記揺れ、シノ
Database Fundamentals
About a year ago, I tried thinking which database I should choose for my next project, and came to the realization that I don't really know the differences of databases enough. I went to different database websites and saw mostly marketing and words I don't understand. This is when I decided to read the excellent books Database Internals by Alex Petrov and Designing Data-Intensive Applications by
Microsoft Presidio: 個人情報保護に特化したオープンソースツール | 豆蔵デベロッパーサイト
近年、個人情報の保護に対する意識がますます高まっていると感じます。 その背景には、大規模言語モデル(LLM)の導入と普及があります。LLMはさまざまな場面で活用されていますが、取り扱うデータの中に個人情報が含まれる可能性があるため、適切な管理が求められています。 そんな状況の中で、今回Microsoftが提供するオープンソースツール Presidio に注目しました。 https://github.com/microsoft/presidio/ Presidioは、個人を特定できる情報(PII: Personally Identifiable Information)を検出し、匿名化するために設計されたPythonフレームワークです。 これにより、企業や開発者はLLMや他のシステムで安全にデータを活用することが可能になります。 Presidioの特徴としては、非構造化データの中から個人情報
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
1. はじめに こんにちは、morioka12 です。 本稿では、CTFtime のイベントに記載されている2022年に開催された CTF のイベントで、Cloud に関する問題をピックアップして攻撃手法やセキュリティ視点での特徴について紹介します。 また、昨年の2021年版は以下で紹介していますので、良ければこちらもご覧ください。 昨年のブログでは、各サービスにセキュリティ的な視点で紹介しましたが、今回は説明が重複するため、各問題に焦点を当てて大まかに紹介します。 scgajge12.hatenablog.com 1. はじめに 1.1 調査対象 2. Cloud 環境におけるセキュリティ視点 2.1 脆弱性攻撃によるクレデンシャルの取得 Amazon EC2 AWS Lambda 2.2 設定不備やハードコーディングによるクレデンシャルの取得 Amazon S3 Amazon RDS
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
【スクリプト配布】YouTube のチャットファイル(.live_chat.json)をニコニコのコメントのxml形式に変換するスクリプト【Python】 – 忘却まとめ
説明 チャットファイルは、youtube-dlやyt-dlpなどでダウンロードした形式を対象としています。 YouTube のチャットファイルプレイヤーが見つからなかったので、似た機能であるニコニコ動画プレイヤーでチャットを再生できるように変換する関数です。 ニコニコ動画コメントプレイヤーには commeon などを利用してください。 ダウンロード convert_chat_to_xml_ver1-0-3.zip 使い方 このスクリプトは元ファイルをいじるような処理はしませんが、万一データが消えても責任は取れませんので、実行前にバックアップは取っておいてください。 上のファイルをダウンロードして展開する。convert_chat_to_xml.py というPythonファイルが1つ入っている。コマンドプロンプトを開く。下記のように、スクリプトの.pyファイルのパスと、対象の".live_c
Primitive Recursive Functions For A Working Programmer Aug 1, 2024 Programmers on the internet often use “Turing-completeness” terminology. Typically, not being Turing-complete is extolled as a virtue or even a requirement in specific domains. I claim that most such discussions are misinformed — that not being Turing complete doesn’t actually mean what folks want it to mean, and is instead a stand
K-nearest neighbors (k-NN) is a Machine Learning algorithm for supervised machine learning type. It is used for both regression and classification tasks. As we already know, a supervised machine learning algorithm depends on labeled input data, which the algorithm learns to produce accurate outputs when input unlabeled data. k-NN aims to predict the test data set by calculating the distance betwee
Physical Like many of you, I've got hardware on my desk that's sending UDP packets, and the time has come to take a closer look at them. Most "low-level" networking tutorials will bottom out somewhere at "use tcpdump to see raw packets". We'll be starting a bit lower in the stack; specifically, here: This is a high-speed active differential probe soldered to an Oxide Computer Company rack switch.
こちらは「LLM・LLM活用 Advent Calendar 2024」の１日目の記事です! 対象読者 LLMをなんとなく触り始めた人 はじめに LLMはよく、「次にくる単語を予測して出力する」と説明されます。これは入力した内容を元に、出現確率を予測するモデルであるから、その中から可能性の高い単語を選択することで文章の生成ができるわけです。ただし、ぶっちゃけて言うとAPIレベルで叩いたりllama.cppを遊ぶ分にはそこはラップされており、基本的にはあまり考える必要はないように作られていると思いますし、個人的にもLLMを用いたプロダクトを作る際はそこは強く意識する必要はないとも考えています。 一方で、それを少し把握しつつ確率分布を見たりそれを弄ったりすることでLLMを用いた表現の可能性を探ることができるはずです。この記事はLLMの出力内容および各トークンごとの確率を眺めつつ、何に使えるかを
Numba のコンパイルが通らなかった時の対処 - 菜
Numba はいいぞ この記事は何 ふつうの Python なら動くけど Numba では動かないようなコードを列挙して、対処法を書いたもの 主に AtCoder 目的だけどそれ以外でも役に立つはず Numba のバージョン 0.48.0 くらいの情報なので将来的にいろいろ変わってくると思うので注意（2020 年 8 月現在で AtCoder に入ってるのも 0.48.0） 先に読んでおくといいかもしれない記事 qiita.com ikatakos.com Numba で使えないもの 2 次元以上の ndarray のイテレーション できない エラーになるコード @numba.njit("void()", cache=True) def solve(): array = np.random.rand(5, 2) # 5x2 array for a in array: # コンパイルエラー
Back in Dec 2022, when inflation was running high, I built a website for tracking price changes in the three largest supermarkets of my home country, Greece. In the process I ran into a few interesting hurdles that I had to clear before being able to "go live". There were also several lessons I learned and faulty assumptions that I made. In this post I will talk about scraping: What I use, where i
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 生成AIによる文章生成が発展してく中で、入力に関して文章だけでなく様々な入力を扱えるようになってきています。音声や画像だけでなく、 GoogleのGemini 1.5 Proでは最大で1時間程度の動画を入力として扱うことができます。 弊社では製造業向けの生成AIを活用したプロダクト・サービス展開を行っており、この動画入力の技術を用いて、 製造現場での作業動画から作業手順書 を作るということを今回試してみたいと思います。 以下の2つのモデルで作業手順書の作成を行います。 Google Gemini 1.5 Pro Exp 0806 LLaVa-NexXT 前者はGoogleが提供しているクラウド環境で動く生成AIモデルです。 後者はByteDanceなどの研究者たちによって作られた オープンなマルチモーダル生成AI
Cascade Model に適用する Bandit Algorithms の理論と実装 - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 最近エムスリーでは迅速かつ簡単に実装できるという観点から情報検索(IR)にバンディットアルゴリズムを適用する施策が進行中です。その過程でCascade Modelに多腕バンディットを適用したアルゴリズムを調べたので、Pythonによる実装とともに紹介していきます。 Introduction 事前知識 Cascade Model とは Cascade Model に適用する多腕バンディット Cascading Bandits PythonによるCascadeUCB1の実装 Linear Cascading Bandits CascadeLinTSのPython実装 まとめ We're hiring !!! Reference Introduction
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リーダブルなコードを書く習慣の身に付け方・実践の仕方 - 2021-09-22 - ククログ
mocopiの通信内容を解析してみた Vol.01
TransformersのPipelinesで日本語固有表現抽出 - Retrieva TECH BLOG
The Quest for Netflix on Asahi Linux | Blog
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
June 2021 (version 1.58)
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
CTF Cloud 問題の攻撃手法まとめ(2022年版) - blog of morioka12
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
Primitive Recursive Functions For A Working Programmer
k-NN (k-Nearest Neighbors) in Supervised Machine Learning
From Oscilloscope to Wireshark - A UDP Story
「LLMは次にくる単語の確率予測をするもの」をちょっとだけイメージできるようにする
Tracking supermarket prices with playwright
LLaVA-NeXTで作業動画から画像入りの手順書を作成してみる
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場