PyCon JPの過去5年分のトークから、脱Python初心者に役立つ5つのトークを厳選紹介！コードの可読性向上、アスタリスク活用、業務改善、リストとイテレータの違い、組み込み関数powの進化など、幅広いテーマを網羅。PyCon JP 2024は9月開催！ プログラミングの勉強はかどっていますか？一人で勉強しているとなかなか進歩が感じられなかったり、他の人がどんなことをしているか気になったりと、煮詰まってきますよね。 今日はそんな方のために、PyCon JP の2019年から2023年のイベントから、初心者から一歩進める、刺激になるトークをご紹介します。 PyCon JP とは日本のPythonのカンファレンスで、初心者から達人まで多くの人が集り、交流できるお祭りです。PyCon JP 2024は9月27-29日にTOC有明コンベンションホールで開催されます。 今回ご紹介する５つのトークは

最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu

あんちぽさんの読書ログで本書を知り、標題のタイトルに関心をもった。私は経緯を知らないが、オンラインで連載されていた文章を漫画仕立てにして出版した本のようだ。 当初「事務」という単語から役所へ行って申請書を書いたり、賃貸の部屋を借りるために契約の手続きをしたりといった、他者 (他社) との手続きを遅滞なく誤りなく進めるための書類作業を事務のように私は考えていた。どちらかというと、退屈な、書類の欄を埋めるだけの形骸化した手続きも多いことから、つまらないとか、面倒だとか、そういったネガティブな印象を事務という言葉そのものにもっている。 しかし、本書で言うところの事務とは、私が先入観で捉えていた事務とは大きく異なるものである。 私は本書で紹介されている事務の一部を「課題管理」と呼んでいる。不確実な未来を、確実なものにしていくための仮説や事実の積み重ね、現実のフィードバックやふりかえりなどを駆使して

はじめに 以前、からあげさんの書かれた記事「Google Colab上で手軽にAdvanced Data Analysis(Code Interpreter)的機能を実現する方法」や、生ビールさんの作られたノートブックを見て、おーこれぞ未来！！！と思いました。 というわけで、今日は、これらをちょっと改造した「Colab上で対話しながら、データ分析を進められるエージェント」を作った話を書きます。 エージェント作るのめちゃ面白いですね～。私は今月末に開催されるPyCon Kyushuで登壇するのですが、トークの後半でこの辺りのお話もできたらと思っています。 使ったのは次のような環境です。 np.random.seed(42) data = { 'name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve'], 'age': np.random.randin

本がベストセラーになりました 好評発売中の拙作「面倒なことはChatGPTにやらせよう」。Amazonのランキング、総合2位までに上り詰め（おぱんちゅうさぎには勝てず…）、Amazonや書店でも品切れ続出。発売前の増刷に加えて、発売から4日で1度目の重版、8日で2度目の重版決定。複数書店でのランキング高評価獲得（そして品切れ）。 これは、本がかなり売れた状態、ベストセラーと言っても良いのではないかと思います。 Amazonランキング 総合2位 複数書店でのランキング1位獲得 発売前の増刷＋直後の重版 【🎉重版速報✨】 発売から8日で2度目の重版決定！ 大好評につき、異例の大部数です。 『面倒なことはChatGPTにやらせよう』https://t.co/CxfoYYXK0Q 2/26重版出来予定【3刷】 2/16出来の2刷で足りなかった分も3刷で補充される予定です。…— 講談社サイエンティ

DEMO VIDEOS Get to know everything Vimeo can do for your business. Watch now

PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT)PythonDashPanelStreamlitChatGPT 皆さん、こんにちは！Python Advent Calender2023の6日目担当の小川英幸(X: ogawahideyuki)です。 データから洞察を得る過程で、その発見を他の人と共有し、さらなるインサイトを得ることは非常に価値があります。そのような役割を検討した際に、既存のツールでは物足りない一方、「アプリを一から作るのは大変だな…」と感じたことはありませんか？ ここで登場するのがData Appsです。Pythonだけで手軽にデータアプリを作成できるこれらのツールは、データ分析者にとって強力な味方。特にStreamlit、Dash、Panelを、簡単に使えるフレームワークとして、私は注目し、活

はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの村上 @0x003f です。 本稿では、Webアプリケーション上で実装される「ログイン機能」の実装パターンをいくつか示し、その「仕様の中で起きうる脆弱性」とその対策について解説していきます。 「ログイン機能」はToB、ToC問わず多くのWebアプリケーションで実装されている機能で、XSSやSQL Injection、Session Fixationといったような典型的な脆弱性の観点については、なんらかの解説を見たことのある方も多いと思います。 しかし、「仕様の脆弱性」というのはあまり多く語られていない印象です。今回はそのようなタイプの脆弱性についての解説を行います。なお、IDaaSを用いずに自前でログイン機能を実装しているケースを複数パターン想定しています。 はじめに ログイン機能の仕様パターンとセキュリティ

最近（といっても8月なのでもう3カ月くらいたちますが）、Pythonで位置情報付きの国勢調査をビジネスに役立つように分析してみる、ハンズオン本を日経BPさんから出させていただきました。この記事ではその本を紹介させていただきます。 書籍のページ https://bookplus.nikkei.com/atcl/catalog/23/07/28/00926/ 本書のターゲット読者 この本のメインのターゲット読者は「データ分析にPythonを使いたい、プログラミング入門書を一冊読んだ方」です。 でも、１冊目にも手に取っていただけるように、Pythonの基本的な文法も掲載しています。なので、データ分析初心者の方に良いのかなぁと思います。 執筆時に作ったターゲット読者層の画像は次のように、入門書と実践書をつなぐ本というイメージです。この本ではいろいろな要素の導入部分を紹介して、もう少し詳しく知りたい

経度緯度をもつGeoDataFrameを平面直角座標系（JGD2011）に変換するPythonツールtoflatを作りましたPythonGISgeopandas 日本の経度緯度の位置情報を扱っていると、平面直角座標系に変換したい場面がよくあります。たとえば２点間の距離を知りたいような場合に、変換作業を行います。 しかし、次の地図に示すように、平面直角座標系は19個あるため、各位置の番号を覚えるのは（私には）難しいことでした。 というわけで、この作業のたびにウェブでどの番号かを調べて割り当て作業をしていたのですが、これって非効率だなぁと思うようになりました。 そこで、GeoDataFrameに持ったデータに対して、最も近い平面直角座標系を割り当ててくれるPythonのツールtoflatを作成して、PYPIに公開してみました。 使い方 インストール まずはtoflatをインストールしてください

この記事は法的見解を示すものではありませんのでご了承ください。 総務省や業界団体のガイドラインに基づいて記載していますが、間違いがありましたらコメント等で優しくご指摘お願いします。 憲法における「通信の秘密」 「通信の秘密」は、日本国憲法により保障されています。 日本国憲法 第21条2項 検閲は、これをしてはならない。通信の秘密は、これを侵してはならない。 憲法における通信の秘密の保護は、国民のプライバシー保護にとどまらず、公権力や通信業務従事者によって通信の秘密が侵害されないことを保障しています。 電気通信分野において、憲法における「通信の秘密」が適用されるケースはまずありませんし、適用しても議論が大づかみになりすぎるので、憲法で保障されていることだけを理解しておきましょう。 電気通信における「通信の秘密」 憲法の規定を受け、電気通信の分野では、電気通信事業法や電波法、有線電気通信法等に

R-treeとは空間データを効率良く検索するためのインデックス構造。R-tree について調べたのまとめておく。 目次 目次 参考資料 ナイーブな例 R-tree の概要 各ノードの要素数 参照処理 点検索 範囲検索 データの挿入・削除 挿入処理 ノードの分割 Exhaustive Algorithm Quadratic-Cost Algorithm Linear-Cost Algorithm 削除 木の再構築のアルゴリズム 更新処理 まとめ 参考資料 Guttman, Antonin. R-trees: a dynamic index structure for spatial searching. Vol. 14. No. 2. ACM, 1984. MySQL 5.7 Reference Manual - Creating Spatial Indexes PostGIS 2.3.3d

最近、日本の不動産価格が上昇しているという記事をよく見ます。昨日はマンションが値上がりしているという記事を見かけました。 足元金利が上がり始めているので、この上昇が継続するのかもよくわからないけど、どんな感じで取引されているのか理解したいと思いました。一方で、不動産取引は取引所とかで取引されているわけでないので、どれくらい盛り上がっているかとか、近所でどんな取引があるかつかめない印象でした。 しかし、調べたところ、日本の不動産取引価格は国交省がAPIで提供していることが分かりました。 不動産取引価格情報取得API（国交省）: https://www.land.mlit.go.jp/webland/api.html 「人生で最も高い買い物の不動産の価格こそ、しっかりその動向をつかんでおくべきではないか！」と思い、APIをPythonから叩きやすくしたラッパーを作り、PYPIに公開しました。

mainichi.jp 西日本を中心に学校や寮で食事の提供が停止する事態が起きている。運営会社は広島市に本店のある給食会社ホーユー。ホーユーの名はコンペで何回か見かけたことがある。詳しくは知らない。 給食事業はリターンも少ないけれどもリスクも少ないビジネスだ。給食設備や用具や食器をクライアント側の負担で事業が行えるからだ。ひとことでいってしまえば経費負担が軽いのだ。食材費は実費、人件費も委託費でカバーできる。「莫大な利益が出せるか？」といわれると案件次第だが、一事業所当たりで赤字になるリスクはとても少ない事業である。 そのため、近く破産申告するとみられるホーユーの社長が人件費や食材費の高騰を理由に上げているのを知って「妙だな…」とコナン君のように疑ったのがこの文章を書いた表向きの理由である。なお裏向きの理由は奥様からの「あなたの会社は大丈夫なのか」という不安を取り除くためである。 一般的に

概要 GeoPandasはちょっとインストールが厄介なパッケージで、入門者がローカル環境に入れるのは結構しんどい（Windowsは特に）。でも、位置情報を扱うのに便利なパッケージなので、使いたい。紹介したい。でも、環境作成大変だし・・・ってのがありました。 それがGoogle Colabにプリインストールされて凄い便利になりました。実はちょっと前まで、GeoPandas以外のパーツまでそろっていたのに、GeoPandasは入っていない状態を見てなんでだろうな？と思っていたのですが、最近入ったようです。 その状況を疑問に思った私のツイートは６月９日に行われてるので、それからすぐ入ったっぽい。 https://twitter.com/OgawaHideyuki/status/1667107337851793408 pip listで確認するとあります。 ちょっとした使い方の紹介 GeoPand

お仕事でデータ集めをすることになりました。重要ですが、ちょっと疲れがちなタスクです。 そこで、GPT(リンク先にはGPT-4が現れますが、今回使ったのはgpt-3.5-turboです)を使って楽しくできないか試してみました。最近、私は大型言語モデル（LLM）に夢中なので、なんでもLLMを使うと楽しくなってきます。向いていないとわかっていても、ちょっと試してしまいます。 そんな向いていないだろうと思う作業の中で、面白い感じのものができたので、記事にします。 開発環境 Google Colab python: 3.10.11 openai: 0.27.6 requests: 2.27.1 課題 都道府県とか市町村のURLを集めることになりました。 ひとまず、ChatGPTに聞いてみました。 ChatGPTに聞いてみた結果 ちなみにChatGPTではGPT-4に聞きました。 プロンプト 日本の全

CLIENT トライバルメディアハウス様 WORK BtoBサイト制作 MODEL 池田紀行様・亀井大樹様・秋元祐花様 佐々木俊祐・塚元舞賀・他

衛星データを扱うお仕事をしていますが、最近「海面水温とかとれるの？」と聞かれました。ということで、試しにやってみました。 感想としては、rioxarrayがあれば、簡単にこんな処理もできるなぁということでした。ありがとうrioxarray！！！ 使ったデータ・開発環境など 使ったデータ GCOM-C(しきさい) 海面水温 JAXA G-PORTALより取得 開発環境 google colab (Python 3.7.14) rioxarray 0.9.1 geopandas 0.10.2 plotly 5.5.0 JAXAのGPORTALから画像をダウンロード ユーザ登録 JAXAのGPORTALはIDを作ると衛星のデータが無償でダウンロードできます。ユーザー登録はここから出来るようです。 ダウンロードしたいデータを選び、ダウンロードする 登録が終わったら、GUIからデータを選択しダウンロ