ChatGPT で抽出 & フォーマットのタスクで安定して出力させるテクニック - Qiita
この記事は 前回の記事：ChatGPT で抽出 & フォーマットのタスクをするときのテクニック の続きです。 ChatGPT で抽出 & フォーマットのタスクで安定して出力させるテクニック スクレイピングしたテキストから特定の文字列を抽出するときに、正規表現等を使う代わりに ChatGPT を使うととても簡単に実装できてしまうことに感動しました。 前回の記事である程度テクニックがわかりましたが、少量のデータに対してしか使っていなかったため、どれくらいの確率でうまくいくのかはわかりませんでした。 今回は ChatGPT でに入力するテキストを追加し、更に検証した際に分かったことを書きます。 もう少し詳しい背景については前々回の記事：スクレイピングした文字列を ChatGPT で簡単にフォーマットするを参照してください。 なぜこの記事を書こうと思ったか 「ChatGPT で〜してみた」とか「C
数学的バックグラウンドが無い人は理論を勉強しようと思っても厳しい - studylog/北の雲
という事を痛切に悟りました。無理・無茶です。2015に出たLSTMとかCNNの教科書的の段階ならば、自分みたいな人間でも頑張って青本読んでも何とか理解できました。でもそのレベルでは特に自然言語処理関係であまり実用的なモノは作れません。LSTMで言語モデル作って文章出力して「知性！(実際はワードサラダ)」とか言ってた牧歌的な時代はもうとうの昔に過ぎ去りました。数学的バックグラウンドが無いと最新論文見ても何がなんだかわかりません。論文を簡単に説明してくれているブログ記事を読んでも理解できなくなってきました。片手間では無理ですね。 理論を理解するのは諦めて、他の人の成果物(論文)を誰かがコード実装してくれてそれを使ってなんかやるっていう方向性に特化しないと全部中途半端になっちゃうでしょう。最低限CNNの畳み込み・フィルタとかDropoutとかそのレベルぐらいまでは理解しないと誰かが書いたコードす
読書の価値 をよんだ
色んな本を読んでいるけど、最近読んだみたいなログを書かなくなったので読んだ本から順に書いていこうと思う。 本を読む本、というのも読んだのだけど、似たような分類の本として森博嗣さんの「読書の価値」を読んだ。この本の中で、今まさに書いているこのようなレビューみたいな読んだ記録を書く意味の無さを指摘されているんだけど、僕の場合文章を書く力が弱いと思うのでその訓練も兼ねているから、まあいいだろう。 全体を通して、森博嗣その人にある程度興味がないと読むのが辛い箇所があると思う。読んで得られる学びはたくさんある。彼の読み方、読むときの考え方、本の選び方、知識を蓄える意味などが書かれている。スカイ・クロラシリーズなんかの話も少し書かれているけど、大体は本を読むことの意義、そして本を読むインプットとそこから何をアウトプットするのかについての考え方が書かれている。一方で、この読書ログみたいなのは違うんだよな
「考え方」を教えるのは難しい - nobkzのブログ
一回途中まで書いてた記事がネットワークエラーによって消えてしまって、イライラしながら書いてる。はてなブログから別のブログに移り時かもしれない。 まぁ、ぼんやり寝ながら考えたことを、大雑把に書いてるので、意味不明かもしれん。 「考え方」を教えることは難しい それはそうと、最近、なにかを教えたり共有する事が多くなってきていて、その度思うのは「考え方」をどうやったら、共有できるか?ということを毎回思う。 「考え方」というのは、ある「やり方」があるときに、「何のために」「何でそんなことをするのか?」「どういう目的があるのか?」「何故それをするのか?」などのというようなもので、本当に大事なもの、本質的なものだ。それはとても教える、伝えるというか、共有するというのがかなり難しいなと感じる。一方、「やり方」というのは、「手順」とか「手法」とか「技術」のようなもので、「どうすればできるか?」みたいなものだ
組織の中で起業家のように働く、新しい専門職としてのあり方を考える - データ分析職種の場合｜樫田光 | Hikaru Kashida
ここ数年、曲りなりにデータ分析の専門職種としてやってきたが、常々この仕事には困難さがつきまとうなと感じる。その事について、その理由、そしてその困難さとどう戦っていくかについての考察を記してみたい。 気まぐれな雑記のうえ、だいぶ長くなってしまったが時間がある方はお付き合い願いたい。感想の一つでも貰えれば幸いです。 困難さ仕事をしていて苦労することはよくあるわけだが、とりわけデータ系の仕事をしているとおおよそ以下のような面倒さを背負い込んでいることに気づく。 普通にしているとあまり良い仕事が回ってこない 周囲に任せていると細かい本質的ではない仕事に埋もれてしまう 組織の上層の戦略やリテラシに依存するところが異様に大きい 自分たちの成果がどうにもわかりづらい 短期的な都合に押し負かされて自分たちの仕事の優先度を下げられる などなど。これは自分個人の体験だけにとどまらず、他の会社でもデータ分析チー
色弱だったデザイナーが過ごした10年とこれから｜TSUYOSHI KANEKO / GOGEN株式会社CXO
実は色弱だけどデザイナーしてました。 どれくらい色が見えないかというと、以前詳しく検査していただいた時には12段階中でLv11くらいに色が見えなかったので結構キツイほうなんじゃないかなと思います。例えばサクラの花はモノクロに見えています。 この記事は、自身がデザイナーとしてのプロフィールを語るときに「色弱だけどデザイナーやってます」と公言していこうという儀式みたいなものです。 この個性についての特別な知識だったり、安易に「色弱でもデザイナーなれるよ」みたいなエールを伝えられるほどの話じゃないので、こんな人生もあるんだなぁくらいのエッセイとしてお読みください。 ハンデだと思われたくないので隠してましたプロのデザイナーとして12年、「ハンデがあるけど頑張ってます！」みたいな風に見られるのが嫌で、基本的には隠す方向で仕事をしていました。 同期や同年代と同じ土俵で比べられたい！という意地と。一度公
GitHub ActionsからBigQueryのリモート関数をデプロイする - BOOK☆WALKER inside
こんにちは、メディアサービス開発部サービス分析課の佐藤です。ブックウォーカー社で全社横断のデータ基盤を構築しています。 前回SlackからGitHub Actionsを実行する記事を投稿しましたが、今回はそのGitHub Actionsを使ってデプロイしていたBigQueryのリモート関数の利用ケースについて説明していきます。 背景 「外部のAPIから得たデータをBigQueryへ投入するやり方」の検討 Terraformでデプロイ用のServiceAccountを作成 BigQueryに外部接続とデータセット作成 GitHub Actionsにデプロイ用ワークフローを作る ランタイム判定 エントリポイント判定 全体の流れをまとめて提供する 終わりに 背景 現在、BigQueryのデータを加工する集計バッチについてはスケジュールクエリを各自に好き勝手に作成してもらう運用にしています。 スケ
ChatGPT API を使って BigQuery SQL を自然言語で記述する CLI を作った - Qiita
クエリで実現したいことを自然言語で書けば ChatGPT が BigQuery SQL に変換してくれる CLI (Command Line Interface) を langchain で作りました。 https://github.com/algas/bigquery-generator-ai クエリに関連する BigQuery のテーブル名(複数可)を渡すとそのテーブルのスキーマ(だけ)を取得します。 テーブルのデータ内容は取得しない(データ取得権限を付与しない)ので機密漏えいの心配はありません。 対象読者 次のいずれかに当てはまる BigQuery ユーザを対象としています。 SQL を書くのが苦手な人 SQL を書くのが苦手な人に SQL を書いてもらう必要がある人 ChatGPT を使ったアプリケーション開発に興味がある人 アプリケーションの概要 このツールが何をするのかを簡単に
個人開発のゲームが 10 年ぶりに完成した 【ドアを開ける短いゲーム】
ゲームを作った 趣味で一人で作っていた ドアを開ける短いゲーム というゲームが完成して、先日 iOS / Android 向けにリリースした。 3D のアドベンチャーゲームだ : エンディングがあるタイプの、遊びきりのゲーム。 タイトルに「短い」と入っているので長くはないが、言うほど短くもなかったりする。 人によってプレイ時間は変わるが、目安として映画 1 本見るくらいの尺はあるだろう。 まあ平均的なインディーゲームと比べても短めとは言えると思うので、そのあたりは大目に見てもらいたい。 なぜこのゲームを作ったか このゲームを作ったのは、言ってしまえばただの趣味だ。 自分が作りたいと思うゲームを作りたい、また、自分のゲーム開発の技術力をより高めたいと思って作った。 マネタイズはメインの目的ではなかったため、ゲームは最後まで無料で遊べる （広告も入らない） 仕様になっている。 僕も生きるために
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
