KPI集計のために秒単位の正確性でAuroraのスナップショットを作成する仕組みを構築した話 - Nealle Developer's Blog
こんにちはSREチームの森原です。テックブログ投稿は今回が初めてですが、今後は高頻度で投稿する予定です！ 今回は、タイトルそのままですが「KPI集計のために秒単位の正確性でAuroraのスナップショットを作成する仕組み」を作ったのでご紹介します。 背景 ニーリーでは毎月特定の日時のDBのスナップショットをKPIの集計に使用しています。以前はAWS Backupを用いて毎月のスナップショットを作成していましたが、こんな課題がありました。 作成時刻に最大1時間のズレが起きる AWS Backupのバックアップウィンドウによるもの 手動のオペレーションがありセキュリティ的によろしくない 自動取得している日時以外にも取りたいことがあるが、手作業でスナップショットを作成する必要がある この課題を解決するために、秒単位で時間指定したスナップショットを作成できる&手動トリガーもできる仕組みを構築すること
ほぼリアルタイム！？爆速で動作する日本語特化の文字起こしAI！『kotoba-whisper-v2.0』 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味があれば、要望が一定あり次第、別途記事を書きます！） 爆速で動作する日本語特化の文字起こしAI『kotoba-whisper-v2.0』を試してみた はじめに ビジネスシーンや日常生活で、音声データを文字起こしするニーズはますます高まっています。議事録の作成やインタビューの文字起こ
マヤ文明の古代都市遺跡がLiDAR調査で見つかる、きっかけは「Google検索の16ページ目ぐらいで偶然データを発見」したこと
アメリカのテュレーン大学の研究チームがメキシコ東部、ユカタン半島西側にあるカンペチェで、ピラミッドのある未知の古代都市を含む遺跡を発見しました。発見のきっかけになったのは、Google検索での偶然の出会いだったとのことです。 Running out of empty space: environmental lidar and the crowded ancient landscape of Campeche, Mexico | Antiquity | Cambridge Core https://www.cambridge.org/core/journals/antiquity/article/running-out-of-empty-space-environmental-lidar-and-the-crowded-ancient-landscape-of-campeche-mexic
Notionの新機能「フォーム」を試してみた #Notion | DevelopersIO
Notionに新機能「Form」が追加されました。予想よりも高機能で、入力された内容のデータ管理や連携がノーコーディングにて色々と可能です。 Notion新機能のフォームがプライベートアカウントのワークスペースにて有効になっていたので試してみました。 埋め込み方 /formとタイプしましょう。 新規データベースの1viewとしてフォームエディタが表示されます。 フォームの使い方 入力してほしい人へ専用のURLを渡します。アクセス自体も制限でき、匿名によるポスト受付も可能です。入力されたデータはデータベースに記録されます。 このURLのポイントはアクセス時には完全に独立したものとなっているところです。アクセスしてみると、いずれかのページの子階層とはなっていないことがわかります。 ちなみに、/embedで埋め込むと以下の様にリンクとなり、一度アクセス遷移が必要です。 フォームの独自機能 1つの
pgRoutingで札幌市内のすべての駅の到達圏解析を行う - Qiita
はじめに 到達圏とは、ある地点から指定した距離や時間で到達可能な領域のことをいいます。 こちらのサービス（How far can I go?）のように、ある1地点の到達圏を可視化するサービスはありますが、 今回はpgRoutingを使用して札幌市内にあるすべての駅からの到達圏を作成する方法について説明します。 目標 pgRoutingとは pgRoutingとは、PostGIS/PostgreSQLにネットワーク解析機能を追加する拡張機能です。 到達圏解析以外にも、経路探索や巡回セールスマン問題など、ネットワーク解析に関するさまざまな機能が用意されています。 pgRouting データの取得 今回の解析に必要なデータを取得します。作業用フォルダとして[pgrouting]フォルダを作成します。さらに、[pgrouting]直下に[data]フォルダを作成し、そこにダウンロードしたデータを解
ODBCドライバーとは？ ODBCの仕組みからドライバーの使い方まで解説！
企業が業務システムにMySQL、PostgreSQL、Oracle、SQL Server といったリレーショナルデータベースを使いはじめてから今に至るまで、データベースへのコネクティビティは重要な課題であり続けています。1992年にMicrosoft が発表したOpen Database Connectivity（ODBC）API は、この課題に対する画期的な解決策となりました。 ODBC は、アプリケーションと多様なデータベース間の接続を標準化する技術として、現在でも広く採用されています。本記事では、ODBC 技術の仕組みとODBC ドライバーの役割、その重要性について詳しく解説します。 ODBC の仕組み ODBCとは ODBC は、アプリケーションからデータベースへのアクセスを標準化するためのAPI です。ODBC 4.0 の仕様はこちらに定義されています。この技術により、アプリケー
画面録画をGoogle AI StudioにアップロードしてGeminiでデータを抽出する「ビデオスクレイピング」のやり方とは？
GoogleのマルチモーダルAI「Gemini」を利用して、録画した映像から必要なデータを抽出する「ビデオスクレイピング」について、AI研究者でデータジャーナリストのサイモン・ウィルソン氏が解説しています。 Video scraping: extracting JSON data from a 35 second screen capture for less than 1/10th of a cent https://simonwillison.net/2024/Oct/17/video-scraping/ Cheap AI “video scraping” can now extract data from any screen recording https://arstechnica.com/ai/2024/10/cheap-ai-video-scraping-can-now-ex
オープンソース住所正規化エンジンを地番住所に対応したメジャーバージョンをリリースしました！
Geolonia がオープンソースで公開している住所正規化エンジン normalize-japanese-addresses のバージョン 3 を公開しました。 住所マスターの更新 これまでのバージョンでは、国土数値情報や郵便局データを使った住所マスターをベースに動作していました。今回のバージョンでは、住所マスター自体も更新しております。具体的には、デジタル庁が公開しているアドレス・ベース・レジストリ（ABR）を元に作り直しました。 これにより、正規化できる住所の網羅性、精度の向上、更新頻度の安定化が期待されます。 デモサイトのご案内 新バージョンを早速お試しいただけるデモサイトをご用意しました。ぜひご利用ください。 デモサイトはこちら 出力形式の変更点 v3 へのアップグレードの際には、出力形式が変更されているためご注意ください。 v2 はそのまま利用いただく場合は出力形式が変わりません
「ピボットテーブルの逆ってどうやるの？」Googleスプレッドシートでクロス表をリスト表に変換する方法【デジマのあれこれ Vol.5】｜プレシジョンマーケティングのnote
「ピボットテーブルの逆ってどうやるの？」Googleスプレッドシートでクロス表をリスト表に変換する方法【デジマのあれこれ Vol.5】 こんにちは！ 企業向けにデジタルマーケティングの支援を行う、株式会社プレシジョンマーケティングです。専門用語が多く、新しい技術やツールが次々と登場するデジマの世界。【デジマのあれこれ】では、最新技術を分かりやすく紹介し、デジタルマーケティングの力を最大限活用していただくことを目指します。 Vol.5のテーマは「ピボットテーブルの逆 ＠Googleスプレッドシート」デジタルマーケティングに関わる方はほぼ全員、Googleスプレッドシートと格闘しているはず（弊社だけじゃないですよね？）。詳細なデータを扱えるのはデジマの利点であり、楽しいポイントでもあるのですが、同時に大変な部分でもあります。今回は、そんな大変な業務のなかで使える小技をご紹介します。 突然ですが
OpenAIのプロンプト自動作成機能を触ってみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? OpenAI DevDay 2024でいくつかの新しい機能が実装されています。 新機能のひとつに、プロンプト自動作成というものがあります。 目的を入力しただけで、自動的にシステムプロンプトを作成してくれるというものです。 他の新機能に比べると、やや地味目ですが、どんな感じのプロンプトを作成してくれるのか気になったので試してみました。 TL;DR 曖昧な一文からでも、マークダウン形式に沿ったプロンプトを書いてくれるので、たたき台としてよさそう。 プロンプト自体がマークダウン形式なせいか、Output形式がマークダウンに引きずられることがあ
カイ二乗検定は何をやっているのか｜コグラフ株式会社 データアナリティクス事業部
こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 私は「カイ二乗検定」に対して、当初は納得できない部分がありました。やりたいことに対して、必要以上に複雑な手法のように感じたからです。同じような疑問を持つ方も多いのではないでしょうか。この記事では、私が「カイ二乗検定」を理解し納得するまでの過程をお伝えします。 結論から言いますと、一度頻度論を離れてベイズ統計の視点で考えてみたところ、実は非常に単純なことを行っていると気づきました。その後、カイ二乗検定を再び考え直すと、すんなり理解できたというお話です。 カイ二乗検定の手順まず、サイコロを何度も投げ、出た目の回数（実測値）を記録します。偏りのないサイコロでは、全ての目が均等に出るはずです。この理論的な回数を理論値と呼びます。 次に、実測値と理論値の差を計算し、その差を二乗してから理論値で割ります。この計算結果を「ズレ」と呼びま
庁内に灯った“Tableauコミュニティ”の炎。神戸市が「内製で動ける」データ利活用集団になるまで【フォーカス】 レバテックラボ（レバテックLAB）
神戸市は、行政データの利活用にいち早く取り組んできました。2022年6月には、行政データで作成したダッシュボードにアクセスできるポータルサイト「神戸データラウンジ」を庁内の職員向けに開発。庁内メンバーが閲覧できる90種類以上に及ぶ全てのダッシュボードは、職員自ら、BIツール「Tableau」で作成しています。翌年には、国勢調査のオープンデータをダッシュボード化して、一般ユーザーが閲覧可能なデータポータルサイト「神戸データラボ」で公開し、話題となりました。 自治体というレガシーなイメージのある世界のなかで、どうやってTableauを使いこなす職人集団が生まれていったのか？その根底には、技術コミュニティの理念が大きく影響していたようです。 現在最前線で活躍する職員、そして最初にTableauを庁内に導入し、たったひとりで3年間「種まき」をし続けたキーパーソン本人に、それぞれ取材しました。 ke
Pythonによる重複の確認方法とデータ匿名化の方法 - Qiita
概要 目次 Pythonでデータに重複があるか確認する方法 PyCon JPが不正をしていない理由の解説 本記事では、Pythonで重複したデータを集約する方法、及び、機密情報を隠して集計をするための手法について解説します。 本記事で紹介するコードは投票結果の集計やアイデアの集計などで有効に使うことができます。 内容に誤りがありましたらご指摘ください。 本記事は、今後の健全なコミュニティの発展に必要不可欠な情報であるため、健全な技術コミュニティの発展を目指す情報交換プラットフォーム、Qiita.comにて公開します。 Pythonでデータに重複があるか確認する方法 リスト形式の場合 Pythonでリストから重複があるか確認する3種類の方法を紹介します。 重複の有無をbool値で出力します。 外部ライブラリ、cythonを使わない場合、データの分布に関する事前情報がない場合はこれらの方法が有
WebサイトをスクレイピングしてLLMで使いやすいデータにする「Firecrawl」をセルフホストしてみる
Firecrawl 以下で少し触れたFirecrawl。 https://www.firecrawl.dev/ Webサイトをクロールして、JSONやMarkdownなどLLMで使いやすいデータに変換するサービス。 オフィシャルではないけども以下で紹介されている。 https://www.youtube.com/watch?v=fDSM7chMo5E Jina.aiのReader APIと似たような感じかな？ https://zenn.dev/kun432/scraps/feec7e2370450c ソースはGitHubで公開（ライセンスはAGPL-3.0）されていて、docker composeでセルフホストできるらしい。 一応READMEには以下とある。 このリポジトリは開発初期段階にある。まだmonoリポジトリのカスタムモジュールをマージしているところだ。完全なセルフホストデプロイの
［速報］マイクロソフト、「Copilot in Excel with Python」プレビュー公開。Excel上でCopilotがPythonコードを生成、実行し、複雑なデータ分析など可能に
マイクロソフトは本日（日本時間9月17日）0時からオンラインイベント「Microsoft 365 Copilot: Wave 2」を開催し、Microsoft 365 Copilotの複数の新機能などを発表しました。 With Copilot in Excel, you can create advanced visualizations, generate forecasts, and save time sorting through data with Python. Take a look: https://t.co/uqE1VyQ5WU #AI #Microsoft365 pic.twitter.com/e7Eph9q4Oc — Microsoft Excel (@msexcel) September 21, 2023 Pythonコードにより高度なデータ分析などを実現 Copi
生成AI入門 - AWS社員が解説するAmazon Bedrock詳細ハンズオン - Findy Tools
公開日 2024/09/05更新日 2024/09/06生成AI入門 - AWS社員が解説するAmazon Bedrock詳細ハンズオン はじめにAmazon Bedrockは、業界をリードする種々の基盤モデル（Foundation Model・FM）を提供する、生成AIアプリケーションの構築に必要な幅広い機能を備えたフルマネージドサービスです。 生成AIを業務で導入するには、モデル選びやセキュリティなど、さまざまなことを考える必要があります。 Amazon Bedrockは、APIを通じて生成AIの基盤モデルを利用できるだけでなく、付随するサービスによってお客様が生成AIを簡単に導入できます。 Amazon BedrockはAWSマネジメントコンソール上でモデルを有効化し、API経由で入力を送信するだけで使用できます。コンソールでモデルを試したり、複数モデルを比較したりすることもできます
［pandas超入門］欠損値とその処理
前回はpandasのDataFrameオブジェクトをNumPyの多次元配列やPythonのリスト、辞書、JSON形式のオブジェクトに変換する方法を紹介しました。今回は、pandasでデータを処理する際には必ずと言っていいほど目にする「欠損値」とその扱いについて見ていきます。 欠損値とは 欠損値とは、取得したデータに含まれる「何らかの理由で存在していないデータ」のことです。何かのデータを計測しているときに本来は得られるはずの値がセンサーの誤動作により1つだけ取得できなかったとか、データの伝送時にノイズが入ったためにデータがきちんと読み取れなかったとか、理由はいろいろと考えられますが、あるべきデータがないという状況はよくあり、データを処理する際にはそれらについても考慮する必要があります。 ここでは簡単な例として、次のコードでCSVファイルを作成し、それをDataFrameオブジェクトに読み込ん
グーグルAI、1000ページのPDFを読んで質問に答えられるように 白書レベルなら余裕
グーグルは8月21日、生成AI「Gemini」を使用するための「Google AI Studio」「Gemini API」でアップロード可能なPDFの最大容量を、これまでの300ページから1000ページまたは2GBまでに拡大したと発表した。 同社でAI Studioなどを担当するLogan Kilpatrick氏によると、テキスト理解と画像理解の両方を利用して、1ページにつき1画像として処理しているという。 We just increased the max PDF page upload size to 1,000 pages or 2GB (up from 300 pages) in Google AI Studio and the Gemini API. 🗒️ We use both text understanding and the native multi-modal cap
雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 2024/08/22修正： はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示（Pretty Print）と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わ
生成AIがもたらすHRの未来〜海外サービスの動向から考える〜｜Dory │ 株式会社Algomatic
こんにちは、株式会社AlgomaticのDoryと申します。 2022年末からChatGPTをはじめとした生成AI技術が爆発的に普及しはじめ、徐々にビジネスの現場にも普及しています。 私は、生成AIと最も相性のよいドメインの1つがHR（Human Resource: 人事をはじめとした人的資源に関わる業務）であると考えております。本記事では、生成AI技術がどのようにHRの未来を形作るのか、具体的な事例を交えて探っていきます。 なお、本記事の内容を発展させ、PeopleX社・Algomatic共催で「生成AIは未来のHRをどう変えるか？〜海外事例から学ぶ〜」というウェビナーを開催予定です！ 【8/23（金）12:00〜12:50（お昼休み時間帯）】に実施予定ですので、HR業務に関わる皆様は、ぜひお気軽にご参加ください！ 【この記事には何が書いてある？】 ・採用・従業員支援・労務領域での生成A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
