パワークエリで2行データを１行データに変換する方法｜とある会計士のひとりごと。
この記事でやりたいこと 2行データと、変換後のデータサンプル 例えばこんなデータを見たことはないですか？ このように、セルの結合までされてる2行のデータを、下図のような1行のデータにしようというのが今回の趣旨です。 そう、こんな形に変換出来ればここからの加工や分析がしやすいですよね。 パワークエリでの作業プロセス やりたいことは2つで、1行目と2行目のテーブルに分割し、それを横付けで合体する。 この２つをパワークエリで処理するためのキモはこうです。 1行目と2行目のデータに分割する データの取り込み まずはデータタブの「テーブルまたは範囲から」をクリックします。 そして取り込む範囲を指定し、OKを押し、 パワークエリの編集画面が開いて取込ができればOKです。 行数ごとのインデックス列の追加 次に、データごとに1行目には１を、2行目には2となる条件列を追加します。 列の追加タブの「例からの列
音声・テキスト・画像・音楽の入出力に対応したマルチモーダル大規模言語モデル(LLM)「AnyGPT」が登場
音声・テキスト・画像・音楽など複数の種類のデータを一度に処理できるマルチモーダルな大規模言語モデル(LLM)の「AnyGPT」が発表されました。 AnyGPT https://junzhan2000.github.io/AnyGPT.github.io/ 既存の大規模言語モデル(LLM)のアーキテクチャやトレーニングパラダイムを変更することなく、安定してトレーニングすることができるという新しいマルチモーダルLLMがAnyGPTです。AnyGPTはデータレベルの前処理のみに依存しており、新しい言語を組み込むのと同様に、新しいモダリティのLLMへのシームレスな統合を促進することが可能。マルチモーダルアライメントの事前トレーニング用に、マルチモーダルテキスト中心のデータセットを構築することで、生成モデルを利用して大規模な「Any-to-Any」(任意のデータ形式から任意のデータ形式に出力できる)
日本における「名寄せ」と「照合」の黒歴史
健康保険証、銀行口座、年金記録――個人のマイナンバーに別人の情報がひも付けられるトラブルが後を絶たない。多くの事案に共通するのは、自治体や関係機関の職員が氏名や生年月日などを基にマイナンバーや住民データを照会した際に、誤って同姓同名の人の情報を引き出してひも付けてしまうというケースだ。 こうした情報のひも付けをする際、職員が住民データの照合や突合、本人確認に使うのが「氏名」「生年月日」「性別」「住所」、いわゆる基本4情報といわれるものだ。 だがこの4情報は、コンピューターによる自動処理とは絶望的に相性が悪い。例えば氏名は「邊」「邉」など旧字・異体字の揺らぎや外字の処理が煩雑なうえ、婚姻による改名もある。よくある氏名の場合、氏名も生年月日も同一というケースが頻発する。住所は時期によって変わるうえ、人によって書き方が「一丁目四番」から「1―4」まで一意ではない。 こうした曖昧な識別符号を代替す
Googleが音声から「テキストと音声の両方」に翻訳できる大規模言語モデル「AudioPaLM」を発表
Googleが「AudioPaLM」を発表しました。AudioPaLMはテキストベースの言語モデルである「PaLM 2」と音声ベースの言語モデルである「AudioLM」を統合したマルチモーダルアーキテクチャであり、テキストと音声を処理・生成し、音声認識や音声翻訳などのアプリケーションに利用できるとのことです。 [2306.12925] AudioPaLM: A Large Language Model That Can Speak and Listen https://doi.org/10.48550/arXiv.2306.12925 AudioPaLM https://google-research.github.io/seanet/audiopalm/examples/ AudioPaLMは、AudioLMから話す速さ、声の強さ、高さ、沈黙、イントネーションなどのパラ言語情報を保持する
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
AirtableのデータをノーコードでWebサイトに変換できる「Pory」を使ってみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回はスプレッドシート風のデータベースを手軽に利用できる「Airtable」を活用したWebサイト構築サービスをご紹介します。 「Airtable」のデータを読み込むだけで、完全ノーコードによるWebサイトの開発が可能であり、そのままネット上へ公開できるホスティング機能も搭載されています。 基本的な機能は無料で利用できるので、手軽にWebサイトを作って公開してみたい人はぜひ参考にしてみてください！ 【 Pory 】 「Pory」は「Airtable」と連携するサービスなので、あらかじめ以下のリンクから「Airtable」にログインしておきましょう。 ＜参考リンク＞ 「Airtable」公式サイト ■「Pory」の使い方 それでは、「Pory」をどのように使えばいいのか詳しく見ていきましょう！ まずはサイトのトップページ上部にある【Sign up
好きな人の声で歌える、破壊的でヤバい「Diff-SVC」はAI歌声合成を民主化するのか（CloseBox） | テクノエッジ TechnoEdge
それを、完全とは言えないまでも、かなり元の人に肉薄する品質で再現できる技術がDiff-SVCです。元になる音声データが1時間くらいあれば、与えた音声を、希望する声質に変換することが可能になるのです。 しかも、基本的にお金はかかりません。AI歌声合成が、ちょっとハードルは高いものの、無料で使えて、データさえ集めてくれば誰でも手が出せる。AI歌声合成の民主化と言っていいでしょう。 筆者は10年近く前に旅立った妻の歌声を、UTAU-Synthという、短く切り出した音素をピッチや長さを合わせながら組み合わせていくソフトウェアで再構成しています。1フレーズずつ音素を繋いで、できるだけ不自然にならないように調整していくため、短くて数日、長いと数カ月も時間をかけて完成させていきますが、もうその作業をしなくてもよくなります。 ただ、自分で歌って、もしくは他のボーカルシンセソフトでボーカルトラックをDiff
UiPath XMLをデータテーブルに変換しCSVデータ化する方法 - Qiita
この記事は、職場の開発担当者向けの内容です。 荒い内容のため、あらかじめご了承いただいた上でお読みください。 1.はじめに ある開発担当者から「システムからダウンロードしたXMLファイル（.xml）を、UiPath Studioを用いてExcelやCSVに変換したい。」という問い合わせがあり、即答できなかったため、自分なりに方法を探してみました。 手法としては、2通り見つけました。 【手法1】Excelで開く方法 【手法2】UiPathでデータ変換 サンプルXMLデータとして、気象庁ホームページから取得したものを使用します。 （今回は、高頻度フィードの「随時」を取得。） 【事前準備】 上記の高頻度フィードの「随時」をクリックし、表示されたXMLをコピーし、 メモ帳へ貼り付け、「気象庁.txt」として保存します。 その後、拡張子を「.txt」から「.xml」に変更します。 この「気象庁.xm
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
“住所の表記揺れ”の正規化サービス登場 Excelファイルをアップするだけ
GitHub - digital-go-jp/mojxml2geojson: 法務省登記所備付地図データ（地図XML）をGeoJSONに変換するコンバータ