行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
シェルスクリプト リファクタリング ～遅いシェルスクリプトが供養されてたので蘇生して256倍に高速化させました～ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ことの始まりは「シェルスクリプトでツールを作ったけど速度が遅くて使い物にならなかったので供養」というツイートを見たからです。コードを見てみると、実例をあまり見ないシェルスクリプトのリファクタリング例として丁度良い内容と分量だったため記事にいたしました。記事を書くにあたりコードの利用を快く承諾していただいた @Hayao0819 様にはこの場を借りて御礼を申し上げます。 内容は章立てで構成しており、序章で事前調査をし、第一章で一般的なリファクタリング、第二章でパフォーマンスを重視したリファクタリング、終章で少し余談をして締めくく
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
JSONをURIに埋め込んでも%地獄にならない「Rison」のススメ - Qiita
さくらのクラウドでバックエンドを担当しております、@townewgokgok と申します（記事はフロントエンド寄りの記事になります）。これは さくらインターネット Advent Calendar 2018 11日目の記事です。 JSONのように階層化された値をURLに埋め込みたいことってありませんか？ たとえば 価格.com の商品検索結果ページ のように、リンクを開いたら検索フォームの内容が復元されて、URLのコピー時に見ていたものがそのまま表示されて欲しい。 これを実現するには、従来なら文字列のキーバリューとしてごく一般的な application/x-www-form-urlencoded 形式でURLにパラメータを埋め込むところです（上記の価格.comの例でもやはりそうなっています）。ただ、そこそこ複雑な検索フォームの値をいちいちこの形式にまとめたり復元したりするのはわりと面倒です
VimでPipfileを構文ハイライトされた状態で編集 - Steel Dragon 14106
VimでPipfileを構文ハイライトされた状態で編集 By raimon, 2017-04-29(土), in category Vim Pythonの requirements.txt に変わる新しい依存パッケージ管理用に開発が進められているPipfileをVimで編集する際の設定方法についてまとめる。 TOMLとJSONに適したVimの構文ハイライト用プラグインを導入 まず Pipfile はTOMLベース、バージョンロックを書き出して記録する Pipfile.lock はJSONベースであるため、それぞれ適したVimの構文ハイライト用プラグインを導入しておく。 JSONに関しては、元々Vimでサポートされているが、よりベターな実装があるため、そちらを利用するのがおすすめである。 vim-toml vim-json それぞれのファイル読込時に構文ハイライトを適用させる あとは、それぞ
pip 9.1 から msgpack が使われるようです - methaneのブログ
Adopt cachecontrol 0.12.0 with msgpack support というコミットがありました。 どうやら CacheControl というのが pip が使っている requests 用のキャッシュライブラリで、その最新版が msgpack を使っているようです。 前のバージョンはバイナリデータを base64 した上で json に入れて gzip していたのですが、もともと圧縮されてるバイナリを扱うときに gzip は base64 によって増えた分を減らす以上の効果は期待できない上、 PyPI からダウンロードするファイルってほぼ100%圧縮済みなので、キャッシュファイルの読み書きで無駄なオーバーヘッドがあったみたいですね。 バンドルされてる msgpack は pure Python で実行できる fallback モジュールのみなのでどこでも動くし、
PythonのJSONパーサのメモリ使用量と処理時間を比較してみる | POSTD
私は、多数の大容量のデータをあちこちに移動させなければならない(クライアント端末をHTTP APIに接続してデータを取得します)ような特殊な使用事例を扱っています。なぜだか ^(1) 、転送形式にはJSONが使われていました。ある時、その大容量のデータが、さらに巨大になったのです。数百メガバイトどころではありません。JSONのデコード処理を実行すると大量のRAMが使用されることが分かりました。たった240MBのJSONペイロードで4.4GBですよ。信じられません。 ^(2) 組み込みのJSONライブラリを使っていて、まず「もっと性能の良いJSONパーサがあるはずだ」と思いました。そんなわけで、計測を始めたのです。 さて、メモリ使用量の計測はやっかいです。 ps コマンドを使ったり、 /proc/<pid> を見たりすることはできますが、断片的なスナップショットが得られるだけで、実際の最大使
Ansible + Mackerel APIによる1000台規模のサーバオペレーション - ゆううきブログ
Ansible と Mackerel API を組み合わせて、1000台規模のサーバ群に対して同時にパッケージの更新やその他のサーバオペレーションのための方法を紹介します。 タイトルに Mackerel とありますが、それほど Mackerel に依存しない話です。 (AnsibleとDockerによる1000台同時SSHオペレーション環境 - ゆううきブログに続編を書いています。) 背景 社内では、サーバ構成管理ツールとして Chef を使用しています。 Chef Server は運用が大変なので使用しておらず、knife-solo と Mackerel APIを組み合わせてホストと Chef role とのマッピングに Mackerel のロール情報を用いています。 また、Mackerel の Ruby クライアントを利用して recipe 内で API を叩いて、Mackerel か
_%25E3%2581%25AF_ensure_ascii%253DFalse_%25E3%2581%25AE%25E6%2596%25B9%25E3%2581%258C%25E9%2581%2585%25E3%2581%258B%25E3%2581%25A3%25E3%2581%259F)
json.dump() は ensure_ascii=False の方が遅かった - methaneのブログ
Python の標準ライブラリの json モジュールのエンコード機能には ensure_ascii というオプションがあり、デフォルトでは True です。このオプションが真のときは、非ASCII文字を全て "\uXXXX" の形にエスケープします。 ensure_ascii=True の方が安全ですが、DBにjsonにシリアライズしたデータを突っ込むなどの用途ではFalseの方がコンパクトになるし、日本語等を含む場合にエスケープされずに読みやすいので、 ensure_ascii=False を多用していました。 ensure_ascii=False はエスケープ処理が減る分速度も向上すると特に実験もせずに信じていたのですが、社内のプロジェクトで ensure_ascii=True の方が圧倒的に速いという報告を受けて、確認してみたら確かに ensure_ascii=True の方が速か
Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog
こんにちは。Songmuです。 この記事ははてなエンジニアアドベントカレンダーの3日目です。 昨日、Hatena Engineer Seminar #3を開催いたしました。何より参加率が高かったことに感激したのですが、その分少し窮屈な思いをさせてしまったかもしれないのは申し訳なかったです。多数のご参加本当にありがとうございました。 セミナーではMackerel overviewという話をさせてもらったのですが、そこでお話したMackerelで採用している技術について説明します。 Mackerelとは？ 今年の9月17日にリリースしたはてな謹製のサーバー管理・監視ツールです。 数多くのサーバーを運用しているはてなは、これまでサーバー管理ツールを内製してきたのですが、そのノウハウを活かし、サービス用に新たに一から作ったサービスになります。 また、はてなの既存サービスとは性質が異なるため、技術選
データのためのGit（およびGithub） | オープンデータとオープンガバメントを推進する Open Knowledge Japan
（訳注：この記事は本家OKFn.org記事の日本語訳です） データのために「バージョン管理」を行う能力は重要な関心事です。様々な選択肢がありますが、最も魅力的なもののひとつは、Git やMercurial のように、コード用の既存ツールを再利用することです。この投稿では、私たちが暫くの間使用してとても効果的だということが分かったツールを利用する、データの格納とバージョン管理のための単純な「データ・パターン」について記述しています。 序章 行われた変更を格納し、それを他の人と共有する、データのバージョンとリビジョンを管理する能力、とりわけ分散的な手法は（オープン）データ・コミュニティにとって大きな便益となるでしょう。私はその理由を以前（こちらの初期の記事を参照）議論しましたが要約すると： 効率的な分散型の共同作業が可能です。私のデータセットを取り出し、変更し、それを再び私と（同時に他の人とも
楽天ウェブサービスAPIを使ってスーパー快適に商品検索を楽しむ - 楽天ウェブサービスブログ
ごきげんよう。APIチームのかわはら (@ooharabucyou) です。 今日は、楽天ウェブサービスAPIを利用してスーパー快適に楽天で買い物をしましょう。 みなさんは、楽天で買い物を楽しむ際に、まず検索をする場合が多いのではないでしょうか。しかし、時に、検索画面や商品画面があまりにリッチすぎると、ココロを痛めることもあるでしょう。もっと、シンプルに行きたい。そこで、楽天ウェブサービスAPIの出番です。 まずは、利用登録して アプリID を入手してくださいねー。 そして、どこのご家庭にもある curl を、お手元に用意しておいてください。さらに、おもむろにターミナルを開きます。 最も単純な検索は以下の様にできます。「うどん」を探しましょう。 ([YOUR APPID] は適宜アプリIDに置き換えてくださいね) curl “https://app.rakuten.co.jp/servic
WebKit サーバーというものを作ってみた - IT戦記
みなさん お久しぶりですヽ(´ー｀)ノ夏休みの宿題終わりました？ 毎日が夏休みの最終日みたいな生活してるあまちゃんです！ さてさて 今日は WebKit サーバーというものを作ってみたので、紹介してみます。 WebKit って何？ WebKit っていうのは Chrome や Safari の中に入ってるブラウザのエンジンのことです！ 実はブラウザっていうのは、エンジン部分と見た目の部分（タブとかボタンとかね）に別れていて、意外と違うブラウザでもエンジン部分は同じものを使ってるってことも多いんですよ(*´ー｀) ブラウザのサーバーってどういうこと？ 要は、サーバーサイドでブラウザを起動して JavaScript を実行したり、 JavaScript が実行されないと読めないページから値を持ってくるのに使ったりしようという魂胆です。 今まではそういうのなかったの？ 実は、今までは JavaS
辞書にオブジェクトっぽくアクセスする - Keep on moving
はじめに pythonでは2.6以降ならばjsonライブラリを使ってjsonを簡単に使えて便利です。 jsonライブラリを使うと、json文字列をparseして辞書で取得することができるのですが、 jsonの階層が深いとオブジェクトっぽくアクセスできないかなーと思うときがあります。 既に同じようなことをやってる人がいそうですが、時間があったので軽く実装してみました。 ソース class DictAccessLikeObj(dict): """ >>> DictAccessLikeObj({"foo":"hoge"}).foo 'hoge' >>> DictAccessLikeObj({u"foo":[{u"bar":u"baz"}]}).foo[0].bar u'baz' >>> DictAccessLikeObj({u"foo":[[1,2,3]]}).foo[0][2] 3 """ d
AppEngineとbpmappersでJSON形式のデータを返すAPIを作る - 偏った言語信者の垂れ流し
アドベントカレンダーにコッソリ登録したつもりだったのに、 id:kuenishi から翌日に指名されてしまった @tokibito です。 今日はAppEngineで書きます。最近仕事でも少し触ってます。 他の人みたいにボリュームたっぷりの記事は書けないので軽めに。 モデルから辞書にデータをマッピングするのに便利なbpmappersを、AppEngineのwebappフレームワークで使う例を書きます。 SDKのバージョンは1.4.0です。 bpmappers 0.8.2 : Python Package Index bpmappersを使えるようにする Google App Engine Launcher で新規アプリケーションを作成します。 bpmappersのtarballをダウンロード、展開して中のbpmappersディレクトリをアプリケーションのディレクトリにコピーします。 コード
python/flaskで超簡単にjsonpのホスティングする(雛形) - mizchi log
クライアントサイドでjsonpで非同期なUIを作るとき、結局自分でjsonpをホスティングしないといけない。 だけどあんまりサンプルなかったので、手間を掛けないように雛形だけメモ flaskを使う Welcome | Flask (A Python Microframework) easy_install flask 最近までjuno使ってたけどあっちは更新されなくなったしバグばっかなので止めた #!/usr/bin/env python # -*- encoding:utf8 -*- from flask import Flask, Response, json application = Flask(__name__) def jsonp(data, callback="function"): return Response( "%s(%s);" %(callback, json.du
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
すっきり分かる Python のログ
GitHub - pypa/pipfile
GitHub - igorgue/pjson: Like python -mjson.tool but with moar colors (and less conf)
GitHub - httpie/cli: 🥧 HTTPie CLI — modern, user-friendly command-line HTTP client for the API era. JSON support, colors, sessions, downloads, plugins & more.
