Google AnalyticsのAPIでリアルタイムの閲覧者数が分かるノードを公開してみました。 #noderedjpJavaScriptNode.jsGoogleAnalyticsgoogleapiNodeRED こんばんわ、この記事はNode-REDアドベントカレンダー6日目の記事です。 Google AnalyticsのAPIを使うノードが無かったので作ってみました。 Webサイトなどの現在の閲覧者数がリアルタイムで分かります。 他のAPIなども触れたら良かったのですが、とりあえずアルファ版ということでリアルタイムの数字だけ取ってみました。 ちなみに、GA4のリアルタイムは過去30分間のユーザーという値になります。 例えば僕のQiitaの実際のアナリティクス画面で見ると13人が見ているらしいです。 これをこのノードを使うことでこんな感じで取得できます。 使い方はnpmのページなどを

こんにちは、この記事は岩手県立大学アドベントカレンダー12日目の記事です。 先日Node-RED向けにGoogle Analyticsのノードを自作した記事を書きました。 この中で使ってる元の実装の紹介をしてみます。 Google Analyticsのバージョン - GA4 Google Analytics Data API (GA4)のデモを触っていくのですが、Google Analyticsは従来のユニバーサルアナリティクス(UA)とGoogle アナリティクス 4(GA4)があります。 GA4の方が新しいバージョンって認識で問題なさそうな気がします。 Google Analytics Data APIのサンプルを触る クレデンシャルとAPI利用の準備 こちらのクイックスタートを進めます。 Enable the Google Analytics Data API v1を選択して進めると

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 一言で言うと？ この記事を一言で言うと、kaggleのあらゆる情報をマークダウン形式にしてまとめて(約50万トークン)、Geminiのプロンプトに入れたらいい感じだった！という内容です。 はじめに こんにちは！yukky_maruです。先日、KaggleのLLM 20 Questionsのwinner callが無事終わって賞金もいただき、一段落ついたので、今回自分が使った方法をシェアしたいと思います。 なお、この金メダルは半分くらいはGeminiのおかげです！ Gemini を活用しまくりました。ChatGPTやClaudeではない理

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 教科書をLaTeXおよびPDFファイルで自動生成するツールを作りました！ プログラムはGithubで公開しており、Google Colabで実行できます。 ツールの名前は、AutoGenBookとしました。 このツールにより、あなたのバックグラウンドを考慮した上で、あなたの知りたい分野の教科書を数十円くらいで作ることができます！！ 以下は「機械学習のための線形代数」についての教科書を出力した結果です。PDFはこちらに置いています。 Markdownでの出力にも対応しました（2024/10/19）。 数式だけでなく、プログラムも表示できま

開発用適当ツールとは？ 開発していると、たまに何かしらプロジェクト内で開発者用や運用者用にテストデータを作成したり、DBやAPIに繋いでCSVやExcelを出したりする名もなきツールが大量に必要になってきますよね？ 配布して他の人にも使ってもらったりしたくなりますよね？ これが開発用適当ツール1です。 そういった開発用適当ツールをGoで作ってみたら案外体験が悪くなかったのでシェアしたいと思います。 どうやって開発用適当ツールを作るか？ 既存プロジェクトにそのままGoのプロジェクトレイアウトを重ねていきます。 具体的には以下のような感じです。

GraphRAGとは？ Microsoft社が、以前から提唱していたRAGの新しいアプローチ「GraphRAG」のサンプル実装を7月にGitHubで公開したことから、LLM界隈で一気に話題となりました。 従来のRAGは、検索対象のドキュメントを埋め込み（ベクトル）に変換しておくことで、検索クエリーと意味的に近いかたまり（チャンク）を数学的な計算によって探し当てて持ってくる手法でした。 これに対してGraphRAGでは、検索対象のドキュメントを埋め込みではなく「グラフ」として保存する手法です。これによって、従来のRAGでは検索精度がイマイチだったユースケースでも精度が改善することがあります。 グラフとは？ グラフといえば、Excelなどでデータを可視化するアレを思い浮かべる方も多いでしょう。GraphRAGで扱うのはそれではなく、数学の世界でいう「グラフ理論」のグラフです。ノード（節点）とエ

はじめに こんにちは、カレー愛好家の皆さん！今回は、Pythonと大規模言語モデル（LLM）を使って、カレーに関する知識を管理し、質問に答えるシステムを作ってみました。このシステムでは、カレー好きの人々のネットワークや、お気に入りのカレー店、新しいメニューなどの情報をグラフ構造で表現し、それをベースに質問応答を行います。 システムの概要 このシステムは以下の主要な機能を持っています： カレー関連の知識をグラフ構造で表現 ユーザーのコメントを分析し、新しい知識をグラフに追加 グラフの可視化（日本語対応） グラフ情報を基にした質問応答 それでは、知識グラフの魅力について詳しく見ていきましょう！ 知識グラフのメリットと有益性 皆さんは「知識グラフ」という言葉を聞いて、どんなイメージを持ちますか？難しそう？複雑そう？確かに最初はそう感じるかもしれません。でも、実はとてもパワフルで、私たちの日常生活

初めて企業のインターンに参加しました。DMMさんのGo言語5daysのインターンです。今回はこのインターンの内容、またGo言語でのAPI開発で学んだTipsを中心に記事を書きます。 温かい目で見てくださると嬉しいです。記事の内容に誤りがあった場合は、いつでもご指摘ください 🙇‍♂️ インターン概要 今回のインターンは8月5日から8月9日の5日間にわたって行われました。最終日はオフィス開催で、4日間はオンラインでの開催でした。 初日と2日目は主にライブラリの使い方を学び、残りの3日間はハンズオン でAPIのエンドポイントを実装しました。このインターンの教材はDMMさんの新卒バックエンド研修の課題として使用されているため、難易度はとても高かったです。 私はGo言語を使用した経験がありますが、本で独学という勉強の仕方だったので、少し古い情報で学んでいたこともあり、 今回最近のバージョンに追加さ

python3.13のリリースが近づいてきたということで、今回は各バージョンの便利機能をおさらいしたいと思います。 ちなみにPython3.13は現在candidate版が公開されています。candidate版は正式版になる予定のバージョンのことです。 Actual: 3.13 development begins: Monday, 2023-05-22 3.13.0 alpha 1: Friday, 2023-10-13 3.13.0 alpha 2: Wednesday, 2023-11-22 3.13.0 alpha 3: Wednesday, 2024-01-17 3.13.0 alpha 4: Thursday, 2024-02-15 3.13.0 alpha 5: Tuesday, 2024-03-12 3.13.0 alpha 6: Tuesday, 2024-04-09 3

Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価格設定は、予算が厳しい場合など、すべてのユーザーに適しているわけではありません。このブログ投稿では、Athenaの代替となる、低コストで同等の機能を提供できるアルティメットを紹介します。 利点: Athenaの主な利点の1つは、Amazon S3のデータを、複雑なETLプロセスや専用のデータウェアハウスなしに、標準SQLクエリを使用して分析できることです。 Athenaはサーバーレスでもあり、データ量やクエリの複雑さに基づいて自動的にスケールされるため、事前

はじめに こんにちは。 最近、GitLabで資料作成をする機会がありました。 GitLabにフロー図を書きたかったのですが「Office製品で書いて画像として入れる？」など考えましたが面倒です。 もし、画像を更新することになったら、修正→画像化→GitLabに挿入と色々段取りが必要でとにかく手間がかかります。 何か方法がないかと調べていたところMermaid Markdownの存在を知りました。 Mermaid Markdown初挑戦だったので最初は違和感がありましたが、慣れてくればけっこうラクです。 私と同じような悩みを持っている人の参考と自分自身の備忘録も兼ねて記事を書きます。 環境準備 今回は環境準備に関する詳しい記載は割愛します。 色々な方法がありますが、VS Codeをインストールし、拡張機能「Markdown Preview Mermaid Support」をインストールするの

Webのアクセシビリティの確認としてスクリーンリーダーを使った動作確認もしてもらうと 「リンクとかボタンしか読まれず、見出しや説明文がスキップされてしまいました」 という報告をされることが時々あります。 これは大抵、スクリーンリーダーを起動して、Tabキーだけを繰り返し押してしまっていることによって起こります。スクリーンリーダーの操作方法を伝えると、読み飛ばしたと思っていたところもちゃんと読みあげてくれたということがほとんです。 アクセシビリティをかなり意識したページであっても、Tabキーだけでスクリーンリーダーを操作しているかぎり、ページの隅々まで読めることはほとんどありません。スクリーンリーダーにはTabキーを押す以外にもいろいろな操作が存在して、それを憶える必要があるわけです。私はアクセシビリティチェックのやり方を説明するときには、必ずその操作方法のうち最低限のものを紹介しているつも

比較表の内容の一部に関し、もう少し詳しくみていきます。 タイプ, 用途 PostgreSQLやMySQLなどのRDBは、データの整理や保管に使われ、整合性、一貫性を担保する必要がある（トランザクション処理が必要な）場合に使います。 使用シーンとしては、会員情報や商品データの管理など、業務システムでの利用があげられます。 一方、BigQueryは、DWH（データウェアハウス）の一種でデータ分析に特化したGCPのサービスです。 他の代表的なDWHとしては Snowflake Amazon RedShift Azure Synapse Analytics Treasure Data などがあげられます。 (1) 指向 RDBが行指向なのに対し、DWHは列指向です。 DWHはRDBと違って、フィールド全体ではなく、指定した列データのみ読み取ることができるので、RDBと比べて高速に処理を行うことがで

はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor

これまでの生存戦略 それほど尖った能力や知識がない中で、私のこれまでの生存戦略としては求められればなんでもやる、少しくらい泥水でも飲むというものでした。 フロントエンドからバックエンド、データベース設計、API設計、実装、インフラ側の設定、提案書作成、プレゼンテーション、プロジェクト進行、どれも“専門家として誇れるか”というと疑問がありますが、求められればなんでもやるスタンスでそれが自分の価値提供の形と考えていました。 また、以前までは「若い」というのも、強みでした。 一回りほど上の年齢に見られることも珍しくなく、「そんな若かったのか」と驚かれるなかで、「若いのに頑張ってるね」と年齢のフィルターで大目にみてもらえました。 しかし、そんな私も気が付けば40歳、もう若さという武器はありません。 （つい先日まで20代だったはずなのに..何かおかしい..） 体力的にも無理が効かず、新しいことを学ぶ

はじめに 超高速で起動できるらしいので、OrbStackを使ってみました！ Docker Desktopを普段は使用しているのですが、移行がとても簡単でした。 Docker Desktopが入ったままでも導入できたので、私が導入した手順を紹介しようと思います。 ドキュメント読むのに抵抗ある人は、同じように導入していただけたら新しいことを覚えることもなく、高速でコンテナを起動できると思います！ UIはMacOSのような雰囲気でカッコよかったです。 インストール 次のコマンドでインストールできます。 こちらからもインストール可能です。 https://orbstack.dev/download Docker Desktopからの移行 Docker Desktopのコンテナ、ボリューム、イメージなどを含むデータを移行します。 データの移行は、OrbStackのGUIでMigrateボタンが表示さ

⚪︎ : 無制限のBasic、限度ありのAdvance △ : 限度ありのBasic Zed Atomの製作者達によって作成されたOSSのRust製エディタ。現状はMacOSのみで使用可能。そのほかのOSも現在対応中。パフォーマンスを重視しているので軽い。AIは搭載していないが、Copilotを使用することは可能。 Github : zed-industries/zed インストール方法 https://zed.dev/download からインストールしてください。(MacOSのみ) 使用方法 以下に詳しく書かれていました。 思考のスピードでコードを書け！！Rust製の次世代エディタ「Zed」 Positron VSCodeをベースにした次世代データサイエンスIDE。 インストール方法 https://github.com/posit-dev/positron/releases からイン

Cloud DatalabはGCPが提供するサービスのひとつで、Jupyter NotebookのGCP版です。便利なところは、 インストールがすごく簡単。Cloud SDKを入れてあれば、datalab create your-instance-nameって実行するだけであっという間にDatalabインスタンスを作れる AnacondaのようにNumPy/SciPy、scikit-learn、matplotlib等の定番データ分析ツールがひととおり入っていてすぐ使える。もちろんTensorFlowも BigQueryやGoogle Cloud Storage、Cloud Dataflow、Google Charts等のGCPサービスが統合されていて、例えばBigQueryのクエリ結果をNumPyやPandasの配列として扱える 等々の便利さで、最近はなんでもDatalabで済ませるように

コトの発端 マウス遠すぎ ちょうど一年前、良さげなキーボード欲しいな〜と思い、REALFORCEのキーボードを購入し、併せてMagic Mouse2も購入しました。 元々MacBook本体のキーボード＋トラックパッドで作業していた人間だったので、キーボード↔マウスの移動が面倒臭いと気づくのに、そう時間はかかりませんでした。 しかも自分が買ったキーボードはテンキー付きのやつで、マウスがめっちゃ遠いです（当時Mac用はテンキー付きのやつしか売ってなかった）。 なお今日までのテンキーの打鍵回数は0回です。 自宅の机狭すぎ それでもまあせっかく買ったので、キーボード＋マウスで作業していました。 「買わないほうが良かったんじゃね？」 という思いを押し殺しながら過ごしてきたのですが、コロナで自宅作業になってから限界を感じるようになります。 机狭すぎてマウス動かせねえ！ トラックパッドへの回帰 ついに認

sort -u と sort | uniq は同じじゃないよ ～ 文字の順番とロケールとPOSIXと現実の実装のめんどくさい話ShellScriptBashLinuxUNIXPOSIX はじめに sort コマンドの -u オプションは重複行を取り除くオプションです。-u は 1979 年の Vesion 7 Unix のときからある古いオプションで、シェルスクリプトに詳しいと自負している人でこのオプションを知らなければモグリでしょう。uniq コマンドは重複行を取り除くコマンドです。「現在のすべての問題が解決された場合」は sort -u と sort | uniq はほぼ同じになるのですが、実際には異なる結果を返すことがあります。この記事ではその問題について解説します。 前提知識: sort-u と uniq の正しい理解 この記事の話とは少し異なりますが前提知識として sort コマ