はてなブックマーク

積ん読宣言エントリです。 ざっと一読した感想を述べています。 目次 目次 エムスリーテックブック5（技術書典15） 第6章 「ゼロから作る自作 Python Package Manager 入門」 組合せてパッケージマネージャー 終わりに P.S. 最近のばんくしさん エムスリーテックブック5（技術書典15） 2023年11月に頒布されました 第6章 「ゼロから作る自作 Python Package Manager 入門」 上記のエムスリーさんのエントリより この課題がどこから来ているのか、どのように解消されようとしているのか、そして開発者としてどのように貢献していけるのかを、実際にPackage Managerのlock、install、run、build、uploadのようなサブコマンドを実装して行くことで知っていく章になります。 ばんくしさんには2023年10月のみんなのPython

はじめに すべてのエンチャントを破壊する。 nikkieです 4月末に複数の勉強会でLLMのプロンプトについてインプットしました。 復習またハーケンとして、今回アウトプットします 目次 はじめに 目次 プロンプトってなんだったっけ？『大規模言語モデル入門』にあたる hoge-shotというのは、文脈内学習！ 多段階の推論とchain-of-thought 例はからあげさんの登壇から（松尾研 Beginning LLM Level.1） 松尾研 LLM コミュニティ "Paper & Hacks Vol.03" 終わりに P.S. Chain-of-Thoughtを打ち切る！？ プロンプトってなんだったっけ？『大規模言語モデル入門』にあたる 「4.2　プロンプトによる言語モデルの制御」を参照します モデルの大規模化にともなって、従来はファインチューニングを行わないと解けないと思われていた多く

はじめに #ラブライバーに見て欲しいアイマス公式絵 で涙腺崩壊😭😭 異次元フェスの余韻で夢見心地なnikkieです。 存在を知った興味深いライブラリの素振り（初手）です。 目次 はじめに 目次 Unstructured LangChainが使ってます1 partition 動作環境 WebのURLから ローカルのPDFから ファサードpartition 終わりに Unstructured We get your data LLM-ready 訳してみると「あなたのデータにLLMで使う準備を」といった感じでしょうか。 どんなソースのデータもUnstructuredで扱えるのが売りのようです。 80% of enterprise data exists in difficult-to-use formats like HTML, PDF, CSV, PNG, PPTX, and more.

はじめに ちょりーっす！バイブスあげてこ。nikkieです。ウケる 来る12/19(火)に忘年LTします1。 今年のチャレンジとして1日1エントリを取り上げます。 5分から溢れてしまうトピックをエントリにすることにしました。 今回は小さなアウトプットを継続することについてです。 目次 はじめに 目次 アウトプットの単位は、小さく！ 継続する中で、アウトプットの単位は小さくなりました こまめに書く効能：ちょっとしたネタを書きやすい 小ささの効能1️⃣：小さいインプットから小さいアウトプットへ流れる 小ささの効能2️⃣：小さくしたらどんな技術ネタでも取り上げられる 終わりに アウトプットの単位は、小さく！ 過去に「1日の中で感情が動いたトピックを、あたかも写真に撮るかのように記事にしている」と書きました。 1日1エントリをしている私には自明なのですが、書く記事はどれも小さいです。 感情が動いた

この記事は からあげ帝国 Advent Calendar 2023 1日目です。帝国に栄光あれ！ はじめに 帝国に栄光あれ！ からあげ帝国臣民のnikkieです。 からあげ帝国 Advent Calendarということで、1本書いていきます。 なんだかよくわからないけど、とにかく面白そうなので手を挙げてみたぞ〜 "書ける変態"について書いてみようと思ってます！ https://t.co/Xui2Iloq1G— nikkie / にっきー (@ftnext) 2023年11月3日 目次 はじめに 目次 書ける変態 『神・文章術』における「書ける変態」 からあげさんの『ゼロから始める情報発信』 nikkieも書ける変態🙋‍♂️ 『勉強の哲学』を思い出す。享楽的な語り 終わりに P.S. からあげ帝国に興味ありませんか？ 書ける変態 からあげ帝国ということでからあげさんとの絡みで思い出したのが

はじめに アヤさん、たんじょーび、おめでとう！！ nikkieです。 みんなアイうた見ていて嬉しい限り♪ sentence-transformersというPythonのライブラリがあります。 こいつでembeddings（テキストの埋め込み表現）が計算できるらしく、気になったので触ってみました。 ※レベル感としては使い出しレベル、やってみた系です。 目次 はじめに 目次 動作環境 ドキュメントの例でembeddingsを計算（英語テキスト） 日本語テキストからembeddingsを計算 終わりに 動作環境 macOS 12.6.6 CPU環境です Python 3.10.9 sentence-transformers 2.2.2 pip install sentence-transformersで入ったライブラリのうち主なもののバージョンはこちら torch 2.0.1 transform

はじめに 面白いじゃない！1 nikkieです。 世はまさに大LLM時代。 ChatGPTのAPIを叩いたり2、各社が公開したLLMを触ったり3と既存のLLMを利用してきたnikkie氏。 「LLMのファインチューニング（解きたいタスクに特化した少量データでの調整訓練）ってどうやるんだろう」という疑問を次第に抱えるようになったのですが、このたび日経Linuxさんの特集をきっかけに、1パターン経験できました。 目次 はじめに 目次 『日経Linux2023年9月号』 生成AI特集 LLMのファインチューニング まずColabに課金 rinna/japanese-gpt-neox-3.6bをLoRAでファインチューニング！ ファインチューニング前 ファインチューニング後 手を動かした際のメモ 終わりに P.S. 『日経Linux2023年9月号』特集1には、からあげさんも寄稿 P.S. その2

はじめに 暑すぎましゅ、nikkieです。 ミリシタではエミリーちゃんがイチオシのnikkieですが（私服SHSエミリーが可愛い！）、 Pythonでは最近pyproject.tomlが熱いです。 私がこのファイルの便利さに気づいたのはごくごく最近なのですが、setup.pyを使っている方（＝過去の自分）向けに、「こんな便利なファイルがあるんだよ！」とオススメしていきます。 目次 はじめに 目次 pyproject.tomlをオススメしたい背景 からあげさんの「Pythonで自分だけのクソライブラリを作る方法」をpyproject.tomlで実装する pyproject.toml一歩目 すごいんだよ、pyproject.toml！ 設定例 プロジェクトの設定だけでなく、開発に使うツールの設定も書ける！ 終わりに pyproject.tomlをオススメしたい背景 世はまさに大LLM時代。 C

はじめに 夢見ていた nikkieです。 最近LangChainに執心ですが、今回は「こんなこともサクッとできちゃうの！？」という個人的ビッグニュースをアウトプットします🔥 目次 はじめに 目次 YouTubeの文字起こしをこんなに簡単に取得できちゃうの！？ 素振り：LangChainでYouTube動画の文字起こしを取得する 動作環境 文字起こし取得 ChatGPTに要約をお願い youtube-transcript-api 終わりに YouTubeの文字起こしをこんなに簡単に取得できちゃうの！？ 話題の つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 を眺めていたnikkie氏。 Chapter 07「Youtube動画の要約をしよう」を読んでいると YouTubeの動画の文字起こし（transcript

はじめに デリシャスマイル〜1、nikkieです。 控えめに言って神！なオンライン勉強会に参加してきました。 レポートを綴ります〜 目次 はじめに 目次 「勉強法の勉強会」 #YUMEMIxTORALAB 勉強法LTラインナップ（見つかった資料ツイートも一緒に） アーカイブ（みんなぜひ見て！） 感想ブログ（気づいた範囲で） 「内需ドリブン勉強法」ぶっ刺さった！ 会場が色めき立った、ツイート読書術 牛尾さんのnote「プログラミングというより物事が出来るようになる思考法」を思い出す 『エンジニアの知的生産術』の「プログラミングはどうやって学ぶか」も思い出す ツイートめっちゃ流れて楽しい 一人同窓会感！ 終わりに P.S. きっかけはKanonさん 「勉強法の勉強会」 #YUMEMIxTORALAB 今回はなんとあのとらラボ！（虎の穴ラボ株式会社）さんとのコラボレーション！ 今回のテーマは、エ

はじめに わーい、ホッテントリ、わーい！🙌1 nikkieです。 固有表現抽出（NER）タスクをCRF（Conditional Random Fields2）で解く実装の理解を深めたく、チュートリアルで素振りしました。 目次 はじめに 目次 Hironsanによるチュートリアル 素振り成果物 チュートリアルの概要 使うデータ 素性（特徴量）抽出 CRFsuiteを訓練 モデルの評価、結果の再現！ 終わりに Hironsanによるチュートリアル 素振りに選んだチュートリアルはこちら。 Hironsan（中山光樹さん）は機械学習やPython本の著者・訳者3であり、doccanoの非常に活動的なコントリビューターとも認識しています。 信頼できる方が過去に書いたチュートリアルであり、Qiita上でいいねやストックが多く（500超え）、CRFでNERを解くというドンピシャな内容だったので、最初に

はじめに これも1つの願いの鍵探し1、nikkieです。 先日tiktokenデビューし、ChatGPTのAPIを呼び出さずに入力トークン長が分かるようになりました。 その中で、ASCII以外の文字（例：日本語）については、トークン（bytesオブジェクト）がそのままでは読み解けませんでした。 読み解くための方法についてこのエントリでアウトプットします。 目次 はじめに 目次 前回のtiktoken！ 英語の場合 日本語の場合 Encodingでデコードして得られたbytesのリストと、元の文字列との対応を取りたい nikkieが唯一知っていたこと：strとbytesは相互に変換できる 元の文字列をbytesに変換してみた 長さが3の倍数なら戻せる！ 長さが3の倍数ではないとき（1文字が複数トークンに分割されているとき） 試行錯誤まとめ bytesを読み解き、元の文字列と対応を取るスクリプ

はじめに やよいっち、おめでとう〜！ nikkieです。 ζ*'ヮ')ζ＜うっうー ζ*'ヮ')ζ＜うっうー ζ*'ヮ')ζ＜うっうー そんなめでたい日に、こちらの本も世に解き放たれましたよ、『ロバストPython』！ すっごく楽しみにしていた一冊で、大著なのでまだ読み切ってはいませんが、この本で扱っていることは完全理解した（と思う）ので、アウトプットしてみます。 目次 はじめに 目次 『ロバストPython』 The Global Dev Studyで知ってたよ 監訳はHayaoさん "ロバスト"なPython？ 正論のガトリング👊👊👊👊👊🥺 終わりに 『ロバストPython』 2023/03のオライリーさんの新刊です🎉 （追記 2023/03/26）書籍で紹介されるコードはこちらみたいです （追記終わり） The Global Dev Studyで知ってたよ Forkwe

はじめに ブログを書くまでがYAPC、nikkieです。 YAPC::Kyoto 2023に参加できました！1 1日大量の情報を浴び心地よい疲労感の中、まとまらないと思いますが参加ブログ（速報）をしたためます。 目次 はじめに 目次 YAPC::Kyoto 2023 感想 終わりに P.S. 限られた京都滞在時間を満喫するnikkie氏 YAPC::Kyoto 2023 YAPCはYet Another Perl Conferenceの略で、Perlを軸としたITに関わる全ての人のためのカンファレンスです。 Perlだけにとどまらない技術者たちが、好きな技術の話をし交流するカンファレンスで、技術者であれば誰でも楽しめるお祭りです！ 今回のYAPC::Japanのテーマは「try/catch」。 2020年に予定されていましたが、COVID-19により延期2となり、このたび3年ぶりに実現しま

はじめに 上達の早さは人それぞれだから、nikkieです1。 Pythonのloggingについて「完全に理解した」まで理解を深めました（これはエンジニアミームで、すぐ分からなくなるやつです）。 「ルートロガー」とか「階層構造」とか、分かるとロギングのコードの見え方が変わってくるものですね…！ 目次 はじめに 目次 おことわり Basic example (streamed)でdebugログを出力したい Basic example (streamed)でdebugログを出すまで V1モジュールのロガーと同じインスタンスを取得 ログレベルをdebugに変更 Basic example (streamed)でファイルにdebugログを出すまで 『Python実践レシピ』 17.4.4 モジュール方式でロギングを設定する でキャッチアップ debugログをファイルに出力するため、ロガーにファイル

はじめに ういっすういっすういっすー！✌️ ぱー🖐 nikkieです。 シオン・プロジェクト、Whisper章の続編です。 観測範囲ではいろんな方がWhisperを触られてますね〜。 Whisperを使えば短いコードで音声ファイルを書き起こせます！ 今回は「音声ファイルではなく、マイクから入力した音声は書き起こせるの？」という疑問にアプローチします。 目次 はじめに 目次 前回のシオン・プロジェクト！：環境構築 動作環境 結論：Whisperはマイクからも音声認識できます！ 「何度でも認識させよう」のモチベーション マイクから入力した音声の認識、既存のアプローチ マイクから入力した音声の認識、提案したいアプローチ 音声データの渡し方を調査：transcribeメソッドは何をしているのか whisper.load_model whisper.model.Whisper.transcribe

はじめに 「アタイも挑戦したい、管理人みたいに」1 『ジョゼと虎と魚たち』めっちゃいいですよね？ nikkieです。 タイトルの値オブジェクトとは、値を扱うための専用クラス2です。 これを「Pythonの@dataclasses.dataclassを使って書いたらどうなるのか」手を動かしました。 この記事は、分かったことの備忘録です。 おことわり：「今の自分が書いたらこんな感じかな」というのをまとめました。 技術的な誤りや伸びしろにお気づきの際は、コメントやTwitter @ftnext までお知らせいただけると大変ありがたいです。 目次 はじめに 目次 経緯 値オブジェクトとは 値オブジェクトの実装要件 値オブジェクトの例：競走馬名 馬の名は。値オブジェクト RaceHorseName 🐴 完成したコード 不変なことの確認 完全コンストラクタであることの確認 実装ポイント frozen

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 新年明けましておめでとうございます🎍🐮 ブログの書き初めは、冬の休暇に手を動かした、PythonでClean Architecture本についてです。 この1年Clean Architectureについて学ぶ機会が多かったのですが、Pythonで独力で書ける気が全然しませんでした。 よく作りたいけどCAで具体的にどうすればいいか分からず結局いつもの作り方。。 そこでキャッチアップが重要と考えEuroPythonで知った https://t.co/8Fmen5sDOh を写経開始— nikkie (@ftnext) 2020年12月30日 目次 はじめに 目次 Clean Architectureと私 『Clean Architectures in Python』（1st edition） Part 2 - Chapter

はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 2020/03/11にみんなのPython勉強会がオンライン開催されました。 スタッフの1人として会場でバタバタ動いていたのですが、得がたい経験をしたと思っているので、今後に活かすためにも書き留めます。 目次 はじめに 目次 勉強会の概要 勉強会の様子 2 〜stapy #55 Online〜 感想 トークから（抜粋） フロントエンド素人がDjango Girls TutorialにVue.jsを使ってみた話 by nao_yさん PythonのスクリプトにGUIをつける方法 by 岡崎さん １ヶ月で未経験からどこまで上達できるのか by 仙石さん PyCon JP 2020開催に向けての活動紹介 by 副座長 齋藤さん 勉強会の概要 【オンライン開催】みんなのPython勉強会#55 - connpass 「みんなのPyt