サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
TGS2024
tech-blog.abeja.asia
初めに 全体の構成 APIの準備 notionの準備 integrationの作成 connectionの設定 Slackの準備 Appの作成 Scopesの設定 ワークスペースへのインストール GASにおけるAPI keyの扱い GASでモチベーターボットを作る トリガーの設定 NotionのAPIを叩く 応援コメントをGPTで生成する SlackのAPIを叩く おわりに 初めに こんにちは、ABEJAでデータサイエンティストを務めている嘉藤です。今日から始まるABEJAアドベントカレンダ2023の記事シリーズ、皆さんお楽しみにしていただけていますか?記念すべき1日目の記事では、私が社内のアドベントカレンダー企画のために作ったGoogle Apps Script(GAS)を用いて、投稿者が気持ちよく記事を書けるよう、最近流行りのLLMで生成した応援の言葉も添えてslackに自動でリマイン
ABEJA でスクラムマスターをしている小川です 最近、私のチームのプロダクトオーナーとプロダクトバックログの管理やチーム内外との透明性の持たせ方について話をしていました。 改めて基本的な「プロダクトバックログの役割」について考えさせられました。 「プロダクトバックログが荒れてきた...」「もっとシンプルに活用したい...」といったお悩みがありましたら、少し基本に帰ってみるとよさそうだと思いましたので、こちらの記事がそのきっかけになれば幸いです! まずは言葉の定義から、、、 プロダクトバックログとは、プロダクトバックログアイテム(PBI)を並べたものです。 プロダクトバックログについて、スクラムガイドではこのような説明があります スクラムガイドから抜粋 プロダクトバックログは、創発的かつ順番に並べられた、プロダクトの改善に必要なものの⼀覧である。これは、スクラムチームが⾏う作業の唯⼀の情報
ABEJA でスクラムマスターをしている小川です スクラムではスプリントの最後にレトロスペクティブという振り返りを行います。 私たちも「KPT」や「Fun Done Learn」などの手法を利用しています。 (あまり聞き馴染みない方もいらっしゃるかもしれませんが)私たちは「よこなーる」という手法も利用しているのですが、とっても使いやすいとチームでも好評だったので、今回はこちらをご紹介したいと思います! すごくざっくりいうと、議論すべきポイントを絞れる「KPT」という感じかなと思います。 「よこなーる」とは? よこなさんという方が考案された振り返り手法で、本家の説明サイトはこちらになります。 ihcomega.hatenadiary.com Keep とProblem が左右に分かれている構図になっています。 Keep は「お礼したいこと」「ドヤりたいこと」「続けたいこと」に分かれています
はじめに 今回の記事の内容 記事にした動機 はてな はてなBoilerplate 概要 はてなBoilerplate 感想 企業(チーム)でブログを管理している人向けに細かなワークフローが多く用意されている 下書き記事がリポジトリ同期されてしまうのを防げる その他感想 Qiita Qiita CLI概要 Qiita CLI感想 セットアップが比較的楽 記事のプレビューが可能 過去記事も簡単に同期可能 投稿が気楽 その他 Qiita Sync概要 Qiita Sync感想 ファイル名やディレクトリ管理に融通がきく 画像の管理がしやすい 定期的な同期チェックが可能 その他 その他感想 Zenn 概要 セットアップが楽 画像の管理がしやすい プレビューが便利 その他 まとめ 最後に はじめに 今回の記事の内容 こんにちは、@Takayoshi_maです。技術に携わっている方であればQiit
はじめに こんにちは 2023年1月に入社し、システム開発グループでエンジニアをしてる春名です。 私の所属しているシステム開発グループでは、開発初期の環境構築をより効率的に行うための活動に取り組んでいます。 今回はそのうちの一つである、Pythonでコンテナ開発をする環境を構築した内容をご紹介します。 なぜコンテナ開発環境かと言いますと、単にAWSのECSやGoogle CloudのCloud Runを使ってデリバリーする案件が多いからです。 より使用頻度の高い開発環境を整備し、テンプレート化しておくことで開発の効率化に活用しています。 目次 はじめに 目次 今回作成する環境 Poetryによるプロジェクトの作成 Poetryのインストール プロジェクトの作成 poetryの設定 .gitignoreの作成 依存関係の追加 FastAPI Ruff / Black / mypy / pyt
ABEJA でスクラムマスターをしている小川です スクラムはチームのコミュニケーションにより醸成した文化をベースに、チームを成長させて自分達なりのアジャイル活動の形を形成していきます。 そして、その結果として、開発効率も上がる、という仕組みです。 (「人」が根底にあるので、スクラムチームは人の入れ替わりにとっても弱いです…。) そこで、ABEJA のアジャイル開発チームでは新人さんが入った後のチーム文化の再醸成速度を上げるため、チーム憲章(ワーキングアグリーメント)やペア/モブプロのスキル強化などを行っています! そんな中で私たちは「ABEJA アジャイル開発チーム スキルマップ」を作成して運営してみました!! ABEJA アジャイル開発チームのスキルマップ ABEJA アジャイル開発チーム スキルマップの主な利用用途 🌟 新人さんが困った時に頼り先がわかるようにする 一人しかできない(
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例(マルチインスタンス学習) LightGBMで弱教師あり学習がしたい! PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
こんにちは!競馬愛が止まらず、昨年テックブログで競争馬に関する記事を公開してしまった、データサイエンティストの安倍(あんばい)と申します。社内では馬ニキと呼ばれています。 tech-blog.abeja.asia 世はまさに大LLM時代。このウェーブに少し乗り遅れたなと思いつつ、専門であるレコメンドシステムと、LLMで何かできないだろうかと思い、執筆したのが本記事になります。本記事では主に以下の2点についてご紹介します。 既存のパーソナライズレコメンドモデルとLLMの統合についての設計、実装及び評価 LLMを用いたレコメンドシステムのメリット、デメリット、実運用面での課題点 オープンデータを用いた、アニメレコメンドシステムを実装し、LLMに統合する過程で感じた、LLMならではの素晴らしさや、難しさや、課題感をお伝えすることができたらと思います。 目次 目次 概要 事前知識 協調フィルタリン
ABEJAでデータサイエンティストをしている大谷です。ちょうど1年ほど前にGPTを事前学習し、HuggingfaceにGPT NeoX Japaneseとして登録していたりしていた者です。 さて、ChatGPTの登場から、Copilot Chat、GPT4のAPIの解禁、code interpreterのリリースと続き、データサイエンティストの業務が今後どのように変わっていくのか気になる方も多いのではないでしょうか? 本記事では、「大規模言語モデルはデータサイエンティストを駆逐するか」というテーマについて、賛成側の意見を持つGPT4と、否定側の意見を持つGPT3.5がディベート形式で対決します。これにより、大規模言語モデル(LLM)がデータサイエンティストに与える影響を深堀りしていきます。 ただし、この記事は完全にエンターテインメントとしてお楽しみください。筆者自身、ディベート大会の専門知
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程(MDP) 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(@Yagami360)です。世間では ChatGPT などの大規模言語モデル(LLM)による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…?と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも
はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrieval) 2. 関連テキストをLLMのプロンプトに入れ込み、ユーザの入力文に回答する。 Retrieval時の課題 LangChainでの用意 Case1: それぞれの文章がRetrievalしにくい形で保存されている 対策案: ページ構造を意識した形で各文章を格納する 他の対策案 聞き方を明確にする 類似度を測るクエリ文章を置き換える 不要そうな文章をデータから削除する データ自体をLLMで整形し直す Case2: 未知の単語を含む 仮説: ニャオハ
自己紹介 I/Oや通信的観点 分割されたクエリを取り除く 過剰なワイルドカード テーブルを避ける テーブルを日付別にシャーディングすることを避ける & テーブルの過度な分割を回避する JOIN を使用する前にデータを削減する コンピューティング的観点 結合パターンを最適化する 結合で INT64 データ型を使用して費用を削減し、比較パフォーマンスを向上させる 同じ共通テーブル式(CTE)を複数回評価するのを避ける クエリのアンチパターン 自己結合 データスキュー 公式にはない項目ですが個人的に気になったので 単一行を更新または挿入する DML ステートメント 非正規化の検討 ネストされて繰り返されているフィールドを使用する 採用情報 自己紹介 こんにちは、真壁(@Takayoshi_ma)です。先日読んだGoogle Cloudの公式ドキュメントが個人的に勉強になったので内容についてまとめ
はじめに このブログに書かれていること 自己紹介 注意 Part1 古典暗号 2つの暗号方式 スキュタレー暗号 アルゴリズムと鍵 シーザー暗号 原理 頻度分析 アルベルティ暗号 ヴィジュネル暗号 如何にしてヴィジュネル暗号は破られたか Part2 近代暗号 エニグマ エニグマの登場 エニグマの基本構造 如何にしてエニグマは突破されたか 前提条件 必ず異なる文字に変換される性質を利用 ループを利用 まとめ 参考文献 採用情報 はじめに このブログに書かれていること 前半 古代暗号から始まる暗号の歴史 エニグマの構造と解読法について 後半(後半ブログは こちら) RSA暗号の基本 楕円曲線暗号の基本 自己紹介 こんにちは!株式会社ABEJAの @Takayoshi_ma です。今回のテックブログですが、ネタに5時間程度悩んだ挙句、暗号を取り上げることにしました!暗号化手法の解説にとどまらず、そ
はじめに このブログに書かれていること 自己紹介 注意 Part3 現代の暗号 共通鍵暗号方式と鍵配送問題 鍵配送問題とは? 共通鍵暗号方式と公開鍵暗号方式の違いとメリット・デメリット RSA暗号 RSAで使われる鍵 処理手順 暗号化の手順 復号の手順 RSA暗号の数学的背景 一次不定式が自然数解を持つ理由 eとLの関係性 そもそもなぜこの式で元の平文に戻るのか?の数学的根拠 証明パート1 フェルマーの小定理 中国剰余定理 RSA暗号をPythonで 楕円曲線暗号 楕円曲線とは? 楕円曲線の式 楕円曲線における足し算の定義 楕円曲線における引き算の定義 無限遠点 楕円曲線における分配法則と交換法則 楕円曲線の加法を式で表現 点Pと点Qが異なる場合 点Pと点P 同じ点を足し合わせる場合 有限体 有限体とは? 有限体上の楕円曲線 楕円曲線暗号における鍵 ECDH鍵共有 数式ベースでの手順説明
こんにちは、メリークリスマス。株式会社ABEJAのラボチームで日々もがいてる藤本(@peisuke)です。本記事はABEJAアドベントカレンダー2022の25日目の記事です。 仕事では機械学習をやっていますが、機械学習で何かの問題を解いているだけでは中々インパクトがでないなぁ思います。機械学習だけではなく、何かしらのサービスと組み合わせることで価値が出ると思います。そんなこともあり、たまにはサービス開発するための技術も磨いております。今回は、2D空間でのボイチャツールを作ってみているので紹介していきます。 まず最小に作ってみた奴のスクショを貼ります。 作ったツールのキャプチャ Chrome Extension上にボイチャのログイン状況を可視化 はじめに コロナ禍に入ってからリモートワークが大分増えたのではないかと思います。リモートワーク最高ですね!でも、リモートワークしているだけだとちょっ
はじめに 新規施策・取り組み Technical Document 分析の工夫やDSの思考の蓄積・活用 ドキュメントのテンプレート化 ドキュメンテーションの習慣付け Reviewer System 中間レビューの廃止と代替施策の導入 レビュアーの役割 QA channel (Slack) 質問すること自体のハードルと対処 Q&Aの蓄積 Model Dev Template DS Day アップデートした施策・取り組み DS Review DS Reviewの課題 DS Reviewの効率化 KPT Fest PJ振り返り会のアップデート Technical Documentの活用 Q&Aの蓄積 スケジューリング&リマインドの自動化 Brainstorming トピックの明確化 スケジューリング&リマインドの自動化 さいごに はじめに こんにちは、最近チーム内情シスになりつつあるデータサイエ
こんにちは。 2022/09にABEJAに入社したシステムエンジニアの中島です。 本記事はABEJAアドベントカレンダー2022の22日目の記事です! 目次 目次 初めに 動機 0日目 機材購入 1日目 構成 機材確認 マザーボードへのCPU取り付け ケースへのクーラー取り付け マザーボードのケースへの取り付け 2日目 テスト テスト失敗 -> 原因調査 原因解決: CPU 原因解決: DRAM GPU取り付け OSインストール ベンチマーク等 ベンチマーク(cinebench) ベンチマーク(FFXVテスト) Instant NGP(NeRF) stable diffusion まとめ We Are Hiring! 初めに 本記事では久しぶりにPCを自作したので、実際に行なったことを日記形式で記述します。 余分な記述もかなり多いため、構成やベンチマークを知りたい方はそちらに飛んでいただけ
こんにちは。株式会社ABEJAでデータサイエンティストをしている大谷です。本記事はABEJAアドベントカレンダー2022の21日目の記事です。 去年はNormalizing Flowと呼ばれるマイナー(?)技術とそれを使ったSRFlowという超解像技術の紹介をしました。 qiita.com 今年も綺麗な画像とは何かという、画像品質に関する少しマニアックな記事を書こうと思います。具体的にはGoogleが2022年10月に出したブログのMUSIQと呼ばれる技術を紹介します。*1 ai.googleblog.com 目次 画像品質の概要 そもそも画質ってなに? 代定量的手法の種類 主観評価データセット Google発表のMUSIQについて 概要 Multi-scale Patch Embedding Hash-based 2D Spatial Embedding Scale Embedding
この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。 はじめに 各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Snowpark 今回の処理 結局Snowparkが使えると何がいいか 最後に はじめに こんにちは@Takayoshi_maです。今日はGoogle Analytics(UA) → Airbyte → Snowflake (Snowpark for Python)という流れでデータの抽出、加工を行います。 各々の技術について大雑把に紹介 Snowflake Snowflake社(ティッカーコード: SNOW)
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この1年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の1つである Stable Diffusion v1 について調べてみました!*1 では早速本題に入りたいと思います! Stable Diffusion v1 とは? Denoising Diffusion Probabilistic Model(DDPM) 学習時の動作 for
本記事はABEJA Advent Calendar 2022 18日目の記事です。 こんにちは! 今年10月からデータサイエンティストとして働いている安倍(あんばい)と申します。 ウマ娘から競馬を知り、気がつけば週末は必ず競馬場にいる筆者が、競馬予想に留まらず、競馬xAIの可能性と未来について語ります。 多くの競馬ファンの皆様に楽しんでいただけるよう、可能な限り難しい技術の話しは省いておりますので、気軽にご覧いただけると幸いです! 目次 目次 事の発端 調子のいい馬ってどんな馬? 勢い レース当日の体調 専門家は見ただけで馬の調子が分かるのか? 調子のいい馬をAIを使って予想してみたい! アイディア 骨格推定 競走馬骨格推定モデルの作成 データセット モデル モデル動作確認 いざ!競走馬骨格推定! 推定結果 調子の良さを推測する 競馬×AIの可能性 最後に 謝辞 事の発端 皆様、馬券の調子
本記事はABEJAアドベントカレンダー2022の17日目の記事です!昨日に引き続き担当の古川です! 昨日の予告通り生成AIによるAI生成物の著作権と倫理の話です。 生成AIと言っても主に念頭に置いているのは画像生成AIです(議論の発端自体はmimicやMidjourneyです。)。ただ、他のコンテンツを生成するAIにも基本的には同じ理論が当てはまるかと思います。 サマリ 著作権の話 論点整理 生成物の著作権 なぜ著作権を認めたいのか 生成物による著作権侵害 呪文の著作権 AI倫理の話 画風をパクる 仕事の喪失 サマリ やや法律的な専門的な話も含まれるので、結論だけ知りたい人のために、サマリだけ先に。 今主流の乱数やPromptから画像などを作ってくれる生成AIによるAI生成物には著作権が原則として発生しないです。 Promptの呪文の著作権が議論されることがありますが、議論の実益があるのか
本記事はABEJAアドベントカレンダー2022の16日目の記事です! 本日の担当は、法務・AI倫理関係を担当している古川です。12年ほど弁護士をしていまして、途中で機械学習をやってみたくなり数学から統計から機械学習の勉強をして(PRMLとかカステラ本とか読みました!)、Pythonも勉強をして、ある会社で画像解析AIの実装をしていたのですが、現在は法律・倫理関係業務だけ扱っています。 AI倫理・ガバナンス関係の記事を毎年書いているので、今年もその路線で行きます。テーマは「行く年くる年」。このテーマなら毎年書けますしね。まあ、「くる年」の議論はしませんので、厳密には「行く年」だけで2022年の振り返りでしかないのですが・・・ では、ランキング形式で2022年のAI倫理関係のニュースを振り返ります。ランキング形式が人気らしいのでランキング形式なだけで、別に1位だとか2位という順位に大した意味は
はじめまして! コーポレートデザイン統括部人事グループの本坊といいます。 ABEJAアドベントカレンダー2022の15日目の記事を担当させていただきます。 ABEJAでは、エンジニアやデータサイエンティストだけでなく、ビジネス職含め、様々なポジションで仲間を募集しています! 少しでも興味がある方は、情報交換からでも構いません! ぜひカジュアル面談しましょう! ご応募・ご連絡お待ちしております! careers.abejainc.com ・・・。 以上が、人事として本日お伝えしたいことの9割ではあるのですが、せっかく機会をいただきましたので、今回は非エンジニアである私がNotionで採用サイトをつくってみた話をお伝えしようと思います。 なぜNotionで採用サイトを作ったか Notionで採用サイトつくってみた ①採用サイトに載せるコンテンツの洗い出し ②非公開Notionでラフイメージをつ
はじめに なぜやるのか 環境準備 今回の実装想定 実装 参考 採用メッセージ はじめに こんにちは! 株式会社ABEJAで情シスをしている世古です。本記事はABEJAアドベントカレンダー2022の14日目の記事です! 今回は「AzureADの条件付きアクセスをポリシーをTerraformで作ってみた」という内容の実装の部分を架空の設定を用いて簡単にお話できたらなと思います! なぜやるのか 作業ミスの防止 GUIでぽちぽちやると集中力が切れたときにミスが起きやすい 作業効率の向上 コード化することにより、大量の設定適用が楽になる。また設定の確認が捗る。 モダンな情シスっぽくてモテそうだから 環境準備 Terraform、AzureCLIがインストール済であること 情報量(コード)を減らすために架空の設定です(ベストプラクティスではないです) ※インストールしてない方は以下を実行するとインスト
目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは!カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていただいている村尾(@MURA_omura)です。 私は高専の専攻科生で、現在GANsを用いた音声生成に関する研究に取り組んでいます。 高専といえばYouTubeで100万人の登録者がいるかっつーさんや、生活に技術を取り込むのが上手なラムダ技術部さんが有名です。 1年半ほど前からKey作品にはまっていて、この間Summer Pockets REFLECTION BLUEを購入しました! Kye作品は泣ゲーで知られていて、 「CLANNADは人生」 というフレ
こちらは ABEJA アドベントカレンダー 12日目の記事です。 こんにちは。CTO室の村主です。セキュリティ強化も自組織の役割であるため、ABEJAのセキュリティ対策に関する内容を共有したいと思います。 はじめに trufflehog(トリュフホッグ) クレデンシャルの埋め込みに対する取り組み 1. まず現在のリポジトリがクリーンな状態を担保するために、全リポジトリをスキャンしました(1,000以上…) 2. 次に新しいコミットに対してクレデンシャルが埋め込まれないように全エンジニアに pre-commit に trufflehog を設定してもらいました 3. そこで、GitHub Actions を利用して、1日1回、更新のあったリポジトリだけリスト化して、trufflehogでスキャンする仕組みを構築しました trufflehog の使い方 全リポジトリのスキャン pre-comm
次のページ
このページを最初にブックマークしてみませんか?
『ABEJA Tech Blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く