以下の記事が面白かったので、簡単にまとめました。 ・Hugging Face x LangChain : A new partner package in LangChain 1. langchain-huggingface「LangChain」のHuggingFace関連のクラスはすべてコミュニティによってコーディングされており、これで成功しましたが、時間の経過とともに、内部関係者の視点が欠如しているため、一部のクラスは非推奨になりました。 パートナーパッケージになることで、HuggingFace エコシステムで利用可能な新機能を「LangChain」のユーザーに提供するのにかかる時間を短縮することを目指しています。 「langchain-huggingface」は「LangChain」とシームレスに統合され、LangChain エコシステム内でHuggingFaceモデルを利用する効率

デジタル庁のAI担当の大杉直也です。この記事では、生成AIによる業務改善の一助になればと思い、実際の行政業務で生成AIの利活用を検討する際に得られた知見を共有します。 本記事は、「デジタル庁2023年度事業　行政での生成AI利活用検証の結果報告（以降、報告書とよびます）」で得られた知見を、よりわかりやすく具体的に示すために、「10の学び」の形式にまとめたものです。 その検証ではデジタル庁を中心とした行政職員を対象に、実際に複数種類のテキスト生成AIを取り扱える環境＋ユースケースごとの独自開発を含むサポート体制を作り、(1)どの行政業務に対し、(2)どのようにテキスト生成AIを使えば、(3)どのくらい改善効果がありそうか、を調べました。また、報告書には含まれていなかった個別ヒアリング等による知見も反映させています。 文量が少し多くなってしまったため、全3回の構成で紹介いたします。第1回の本記

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Boost Your Performance and Developer Productivity with Jakarta EE 11

マンハッタン距離（Taxicab distance）／ユークリッド距離（Euclidean distance）、L1／L2ノルムとは？：AI・機械学習の用語辞典 用語「マンハッタン距離」「ユークリッド距離」について説明。いずれも2点間の距離を計測する方法のこと。マンハッタン距離とは、碁盤の目状の道を縦に横にとタクシーが進むようにn次元の距離（＝差）の絶対値を合計することで距離を計算する方法。ユークリッド距離とは、n次元の距離（＝差）の二乗値を合計した値の平方根を求める（＝ピタゴラスの定理を適用する）ことで直線的な最短距離を計算する方法を意味する。 連載目次 用語解説 数学／統計学／機械学習におけるマンハッタン距離（Taxicab geometry：タクシー幾何学、Taxicab metric、Manhattan distance）とは、2点間の距離を計測する際に、n次元ベクトルの次元ごとに

こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーションを覚えるのが大変でした。そこでクエリの設計を自動化するツールをSlackに導入しました。 その名も tbls-ask bot です。どのようなものか先に見てみましょう。 ユーザーはSlackでメンションする形で、どのようなクエリを実行したいのか自然言語で入力します。 メンションされるとSlack botが起動し、どのDBスキーマを利用するかを尋ねます。 ユーザーがDBスキーマを選択すると、自然言語からSQLクエリを生成し、Slackに返答します。 今回はパブリックに公開する

2024.8.6：FastHTMLについて追記しました。 ※本記事で言及しているReflexのdiscordサーバー内に日本語チャンネルをつくってもらいました。もし、興味をもった人がいたら参加してみてください。 １．PythonだけでWebアプリをつくるライブラリが増えている 最近（2024.05）、Python界隈ではPythonだけでWebアプリが作れるライブラリが増えています。詳しくは他の記事を参照してもらえればと思います。 以下の記事がとても参考になりました。ありがとうございます。 ２．ライブラリの分類 こうしたライブラリも大きくわけて２つの種類があるように思います。 ①データ解析の結果を表示するダッシュボードライブラリ ②汎用的なWebアプリをつくるローコードライブラリ ①ダッシュボード系ライブラリ たとえば、上記の記事にも出てきますし、ネットでもかなり情報の多い、Streaml

2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の

1on1ミーティングは、アメリカのシリコンバレーで人材育成を目的として確立された手法で、「上司と部下の1対1で行う定期的な面談」の事です。日本でもヤフー株式会社などが取り入れたことから注目を集め始め、2020年には、規模に関わらず約4割の企業が導入しています。 1on1ミーティングは組織の生産性向上やエンゲージメントを高めるための施策として有効で、1on1ミーティングを導入し始めている企業様も増えてきました。しかし、1on1を実際に行っている管理職やマネージャー、メンバーから「1on1ミーティングが嫌い」「1on1ミーティングが苦手」などの声もあります。 そのため、本記事では1on1が嫌いになってしまうような上司の特徴や悪い1on1の特徴、そしてその原因と解決策についてご紹介します！適切な1on1ミーティングの方法を知り、価値のあるものにしていきましょう。 1on1ミーティングが嫌いと感じ

これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを割かれており、意外と奥深いのがサブクエリです。使いこなせると便利ですし、何よりちょっとSQLのコツみたいなのがわかって面白いよ、ということで記事にしてみました。 前提 この記事は以下の前提を含んでいます。 環境 MySQL8.0系 読者の知識 なんとなくサブクエリが書ける けど相関サブクエリとかになると「あーっ」つってGoogle meetを閉じてしまうくらいのレベル感 記事のボリューム 18,000文字 おれの卒論が20,000文字だった マサカリ 間違ってたら投げてくれ〜〜 それ

今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 pip install tenacity 使い方 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!") else: retur

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

Beatrust の tatsuya（白川）です。Beatrust は 人々の経験や強みを可視化して、自由に繋がり、協業・共創できる環境を作る という Mission を達成するためのサービスづくりとお客様への提供・活用促進活動を行っています。 beatrust.com キーワード抽出は Beatrust の基礎技術のひとつなのですが、これまで Beatrust で開発していたキーワード抽出器は辞書を用いたルールベースのものだったので、辞書外のキーワードを抽出できないというデメリットがありました。Beatrust のお客様は様々な業界に渡っており、それぞれ固有の専門用語や社内でのみ通用する社内用語なども多く、辞書ベースの方法ではそれらのキーワードを抽出することは現実的に不可能でした。 今回そんな状況を鑑みて、辞書ベースのキーワード抽出器を用いて、辞書なしのキーワード抽出器を学習するというチ

複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした要約結果をClaude3 Sonnet

こんにちは。R&Dチームの河野です。主な担当業務は機械学習モデルの開発です。 タイから日本に留学し、卒業後日本企業に就職していました。データ分析・機械学習の業務経験が3年程度で、R&Dチーム唯一の女性かつ外国人のメンバーです。 直近の仕事はディープラーニングによるクラス分類モデルの開発を担当しており、今回はモデル精度評価によく使われる評価指標について初心者向け説明させて頂きたいと思います。機械学習モデルの精度改善には課題に適切な評価指標の選択がすごく重要のため、各評価指標の理解が必要になります。分類モデル開発に興味を持っている方・挑戦してみたい方にご参考になれば幸いです。 基本的な用語 ポジティブとネガティブクラス 混合行列 評価指標 正解率（Accuracy） 適合率（Precision） 再現率（Recall） F値（F1-score） しきい値とprecision-recallのトレ

TL;DR TwitterのDM(自分宛て)にストックしたいWeb記事のURLを貼り付けると、URLから記事情報を取得・DeBERTaでタグ付けしてNotionのデータベースに記事を保存するスクリプトを作った。これはその導入方法を説明する記事。 はじめに こんにちは。 TwitterやRSSフィードを眺めていると、毎日有用なWeb記事が目くるめくスピードで流れてきます。 しかし、そういった全ての有用情報をその場で閲覧して記憶することは現実的ではないので、あとで読むために、もしくは記事が消えた後も読めるようにするために、記事を自分用のデータベースに保存しておきたい機会は無限にあります。 そういった需要に応える記事の保存ツールとしてPocketやNotion Webクリッパー、または単純にブラウザのリーディングリストといったサービスが存在し、各々最強の有用記事データベースを作っていることと思い

不確実さが増す世界のプロジェクトマネジメントとはとういうものか 倉貫義人氏：そんな不確実さが増す世界のプロジェクトマネジメントはどういうものなのか。（スライドを示して）プロジェクトがうまくいかない（理由）というのは、このあたりを見てもらうと胃が痛くなりそうな言葉がいっぱい書いてあると思います。想定よりコストがかかるとか、作ったものを直せないとか。 （スライドを示して）これに対してどうすればいいかというと、「こうすればうまくいくのかな？」と考えがちですよね。「遅いからプレッシャーをかけようか」とか「少し遅れているので人を増やそうかな」とか「一気に作ったほうがいいんじゃないの？」とか「属人性を排除しましょう」とかと言いがちですよね。 これらはけっこう言いがちですが、全部失敗するやつです。これを全部やってみたら困ったことにプロジェクトが大変なことになるので、ぜひやってみたらいいと思います。 （会

AIは“作業”はできるが“仕事”はできない 不確実さが増す世界で増加している「ナレッジワーカー」の仕事 不確実な世界で成果をあげる〜変化を抱擁するアジャイル思考 #1/2 プロジェクトマネジメントはなかなかうまくいかない 倉貫義人氏：今日は「不確実な世界で成果を上げる」というテーマで話をしたいと思っています。 私の簡単な自己紹介ですが、倉貫と申します。ソニックガーデンとクラシコムという、2つの会社で経営をしている人間です。ソニックガーデンが自分で創業した会社ですね。クラシコムは2018年から社外取締役で入らせてもらっています。 もともとのバックグラウンドはエンジニアです。いわゆるソフトウェアエンジニア、プログラマーということで、子どもの時代からプログラミングをずっとやっていて、プログラミング畑で学生、社会人になりました。 今回のテーマがプロジェクトマネジメントということですが、システム開発

はじめに 本記事ではレベルアップしたいエンジニアが読んでおくべきQiita記事を紹介します。厳選に厳選を重ねた43記事です。全ての記事を読んでおく必要はありませんが、ちょっとでも「分からないな」「興味あるな」など思ったタイトルがあれば読んでみてください。 次の4種類に分類して紹介しています。参考にしてください。 フロントエンド バックエンド インフラ・Linux周りの知識 その他 それでは、早速紹介していきます！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 フロントエンド まず最初はフロントエンドエンジニアに読んでおくべきとおすすめできるQiita記事を11個選びました！フロントエンドエンジニアとしての基礎が身に付く