はてなブックマーク

はじめに 非常に簡単に簡易的なRAGを構築することができるnotebookLMに魅力を感じたので、 開発現場においてどんな使い方ができるのかを考えてみようと思います（Geminiで）。 NotebookLMとは？ Googleが提供するAIを活用したドキュメント理解・生成ツールです。 複数のドキュメントをアップロードし、それらの内容に基づいて質問したり、 要約を作成したり、関連情報を抽出したりすることができます。 NotebookLM https://notebooklm.google/ NotebookLM Plus（有料版です） https://notebooklm.google/plus エンジニアの業務におけるNotebookLMの活用方法 代表的な業務シーンにおけるNotebookLMの活用方法を考えてみます。 1. 設計・開発フェーズ 要件定義書の理解と質問 複数の要件定義書や

はじめに AIを使った開発ツールが増えてきて、徐々に開発方法が変わってきています。 開発者としては、この波に乗らないと取り残されていってしまう危機感があります。 そこで、今回は話題のClineについて紹介します。 Clineとは VSCodeやCursorの拡張機能として利用する、エージェント型の開発ツールになります。 人が指示を出すだけで、コーディング、コマンド実行、テストの実行等をAIが実施してくれます。 これだけやってくれると開発者が不要になってくるので、恐怖ですね。。 料金 Cline自体はオープンソースのため無料で利用できますが、利用するAIモデルのAPI料金が別途かかります。今回は、お試しということで、無料プランがあるGeminiを利用します。 Gemini APIキー取得 Geminiの料金体系は以下を参照してください。 今回は無料プランとするため、1分あたりのリクエスト数や

はじめに 誰かのタスク効率化にお役に立てばと思い、 今回は、notion代替ツールとして台頭していきているように思う2つのツールを紹介してみます。 notionって何？ メモ、タスク管理、プロジェクト管理、ナレッジ共有など、 様々な用途に使えるオールインワンワークスペースツールです。 2016年にリリースされた比較的新しいツールですが、 その使いやすさと機能性から、世界中の多くのユーザーに利用されています。 私も利用しています。 最近ではnotionカレンダーも好んで利用しています。 notion代替ツール OSSとして展開されている、コミュニティが活発なツールを紹介します。 notionの機能を完全に網羅しているとは言えない部分もありますが、 notionにない機能も包含していたりします。 去年（2023年）までは紹介する2ツールともに日本語入力（マルチバイト入力とその変換UI）が うま

概要 2023年にチーム運営やプロジェクト管理の円滑化を目的に検討したOSSをまとめます。 コミュニケーション mattermost(マターモスト) メンバーが少人数だったのもありslack無料版を利用していましたが となってしまったので、 これを機にslackクローンのOSSであるmattermostに移行しました。 基本的な使用感はslackとほぼ変わらず、 利用して数ヶ月が経ちましたが、特に不便もなく利用できています。 添付ファイルはGCSやS3に配置することもできるので VMのディスク容量も抑えることができます。 GCPで構築する場合はマーケットプレイスから比較的容易に構築することができます。 ナレッジツール outline コンフルエンスの無料版を利用していたのですが、 チームの人数が増えてきて無料版の人数制限の10人を超えたのをきっかけに移行しました。 使用感はnotionのド

bigqueryでdbtを利用してハンズオン形式でdbtを理解しましょう

目的 bigqueryのstandardSQLでデータセット名やテーブル名に変数の値を利用したいと思います。 課題感 DECLAREで定義した変数は そのままではstandardSQLのデータセット名やテーブル名に利用できません。 方法 「DECLARE」と「EXECUTE IMMEDIATE FORMAT」で動的SQLステートメントの作成して実現します。 データセット名に変数を利用 DECLARE value STRING; SET value = "analytics_279437325"; EXECUTE IMMEDIATE FORMAT(""" SELECT event_date FROM `%s.events_20220710` LIMIT 10 """, value);

IAPでアクセス制限しているアプリに対し、curl（シェル）でAPIを叩く方法についてまとめてみます。 IAPとは IAPは、Google CloudのサービスでIdentity-Aware Proxy（IAP）のことです。 IAPは、Webサイト(アプリ）に対し、認証されたユーザーにのみアクセスを許可するというサービスです。 社内システムで、社員のみにアクセス可能とするということが可能です。 認証手順 なんとなく、以下を見るとtokenを取得して、httpのAuthorization: bearerに入れれば良さそうですが、手順がわかりずらいです。 なので、以下に手順をまとめておきます。 事前準備 curlを実行する前に、以下を準備します。 サービスアカウントを作成する IAP で保護されたプロジェクトのアクセスリストにサービス アカウントを追加する AUD（ウェブアプリケーションのクラ

前回は、自然言語処理のspaCy,GiNZAについての概要を記載しました。 かなり時間が空いてしましましたが、今回はLanguageモデルと、ルールベースでのエンティティ抽出についてまとめていきたいと思います。 今回比較するLanguageモデル Languageモデル 説明 タイプ 備考

3.docker-compose.yml ファイルを生成 wordpressの公式イメージとMySQLの公式イメージの２つを利用する。 ※wordpressとの不整合が発生する可能性があるのでMySQLは必ず5.7にすること ※公式手順では永続保存領域として、 バインドマウントではなく、ボリュームマウントを利用しているので 自分の指定した任意のマウント先ではなく、dockerエンジンの管理領域に永続化ストレージができる。 version: '3' services: db: image: mysql:5.7 volumes: - db_data:/var/lib/mysql restart: always environment: MYSQL_ROOT_PASSWORD: somewordpress MYSQL_DATABASE: wordpress MYSQL_USER: wordpre

概要 仕事でAirflowを触る機会があったので、そこで調べたことなどをまとめてみたいと思います。 Airflowとは Airflowは、処理（タスク）を順に実行したり、監視やスケジューリングができるフレームワークとなっています。 例えば、ETL処理（データの抽出、変換、ロード）を行うことに適しています。 Airflowの用語 Dag Airflowは一連のジョブ（処理のかたまり）をDagで定義します。 Dagとは、有向非巡回グラフ（Directed Acyclic Graph）のことで、1方向で処理を順に実行していくものになります。ETLでは、ロードは抽出、変換を先に実行しなくてはならないため、抽出→変換→ロードの順で処理を組み、Dagを作成することになります。 Operator 処理（タスク）を定義するテンプレートのようなもの。 様々なOperatorが用意されていて、Bashで処理を