OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
日本語に特化したOCR、文書画像解析Pythonパッケージ「YomiToku」を公開しました｜Kotaro.Kinoshita
はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ
今まで、バンクーバー→バルセロナ→シンガポール→香港で働いてきました。それでいろいろな職場を見てきたので、海外のゲーム会社であった制度について、列挙してみました。 日本の会社でも、既に同様の制度をやっていて、珍しくない場合も多くあると思います。 複数の会社のケースを混ぜて書いています。 ゲーム開発技術に関することは、ほとんど書いていません。 ご指摘がありましたら、修正したり詳細を追加しますので、お気軽にどうぞ（内容が後で変わる可能性があります） 人事（採用） 面接 ビザ リファラル採用 リファレンスチェック（照会） カンファレンス時の招待者限定パーティー 人事（評価） 相互評価制度 OKR（Objectives and Key Results） 人事（解雇） 解雇 PIP（Performance Improvement Plan） スタジオ閉鎖 人事（その他） 若手が海外スタジオで1年間働
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
これはもう実質AGIでは? AIが勝手にブラウザを操作していろいろやってくれちゃう BrowserUseが爆誕｜shi3z
今日もいつものようにシラスでデイリーAIニュースを配信していると、とんでもないものにでくわした。 もうタイトルに書いてあるけど、AIが勝手にブラウザを操作して色々やってくれてしまう、その名もBrowserUseだ。 インストールは超簡単。 macなら以下の二行だけだ。 $ pip install browser-use $ playwright install使うのも超簡単だが、コマンドラインに落ちるのが怖い人々には簡単に見えないかもしれない。環境変数のOPENAI_API_KEYとかにAPIキーを入れておくこと。 $ python >>> from langchain_openai import ChatOpenAI >>> from browser_use import Agent INFO [browser_use] BrowserUse logging setup complete
2022年8月23日に無料公開された画像生成AI「Stable Diffusion」は、「ボールで遊ぶ猫」「森の中を走る犬」といった指示を与えると指示通りの画像を出力してくれます。Stable Diffusionはデモページで画像生成を試せる他、NVIDIA製GPUを搭載したマシンを用いてローカル環境で実行することも可能です。しかし、デモページは待ち時間が長く、NVIDIA製GPUは所持していない人も多いはず。Googleが提供しているPython実行環境「Colaboratory」を利用すれば、NVIDIA製GPUを所持していなくともStable Diffusionを待ち時間なしで実行する環境を無料で整えられるので、実際に環境を構築する手順や画像を生成する手順を詳しくまとめてみました。 Stable Diffusion with 🧨 Diffusers https://huggingf
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
承前 : Part-8 https://anond.hatelabo.jp/20201018143903 次回 : 予定無し 今回は路頭🙏おじさん専用回だ。毎回コメントをしてくれたお礼に救いようのない話をする。 学歴があり頭が良く生産性の高いエリート達が高給を稼いでいるように見えるシリコンバレー。 しかし随所に吐き気を催すような糞溜りがある。首切りである。 Unvested RSU, Visa, GC時折、日本の記事で以下のような言説を見ることがある。 「シリコンバレーではlayoffは日常茶飯事。皆慣れたものであっけらかんと次の職に移る」 大嘘である。 シリコンバレーで職を失うことは母国で職を失うことよりも悲惨な状況になる場合が多々ある。 まず、Unvested RSUはすべて没収される。以前取り扱ったXさんのような場合、3年目以降のvestを目前にして首を切られようものなら号泣では済
Python自然言語処理テクニック集【基礎編】
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
概要 本文章は、一般社団法人PyCon JP Associationが主催したPyCon APAC 2023の開催に際し、そのプロポーザル選考過程において行われていた不正行為の告発を目的とするものです。 本文章が対象とする読者は技術者、及び、公衆です。技術者は技術『愛好家』との付き合い方について一考をするべきであり、公衆は「専門家ではないにも関わらず技術の専門家のフリをする不正な愛好家」に対して無自覚であるべきではない、という警鐘を鳴らすため、並びに、一般社団法人PyCon JP Associationの公衆に対する不正を告発するため、本文章を公開します。 本文章は、Qiitaが目指す、学びのある情報を技術者に共有することで、よりよい技術者コミュニティの形成を目指す内容であるため、Qiitaのガイドラインに沿った形式でQiita.com上で公開します。 告発する内容 PyCon APAC
イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen
退屈なことはPythonにやらせよう 第2版
一歩先行くハイパフォーマンスなビジネスパーソンからの圧倒的な支持を獲得し、自作RPA本の草分けとして大ヒットしたベストセラー書の改訂版。劇的な「業務効率化」「コスト削減」「生産性向上」を達成するには、単純な繰り返し作業の自動化は必須です。本書ではWordやExcel、PDF文書の一括処理、Webサイトからのダウンロード、メールやSMSの送受信、画像処理、GUI操作といった日常業務でよく直面する面倒で退屈な作業を、Pythonと豊富なモジュールを使って自動化します。今回の改訂では、GmailやGoogleスプレッドシートの操作、Pythonと各種モジュールの最新版への対応、演習等を増補しています。日本語版では、PyInstallerによるEXEファイルの作成方法を巻末付録として収録しました。 訳者まえがき まえがき 第I部 Pythonプログラミングの基礎 1章 Pythonの基本 1.1
写真に写り込んだ不要な被写体や、画像の中に含まれる邪魔な文字など、画像の一部を消したい状況は多く発生します。画像の中の不要な部分をキレイに削除できる無料ツール「Lama Cleaner」を見つけたので、PCへの導入方法や使い方をまとめてみました。 GitHub - Sanster/lama-cleaner: Image inpainting tool powered by SOTA AI Model https://github.com/Sanster/lama-cleaner Lama CleanerはPython向けのパッケージ管理システム「pip」を用いてインストールすることもできますが、今回はPythonなどの準備が整っていないPCでも一発で「Lama Cleaner」をインストールできる「Lama Cleaner One Click Installer」を使ってPCにインストール
この記事では、MEGA BIGくじの最適な賭け額、最適な賭け額の算出方法について説明する。 ※この記事の内容は間違っている可能性があるので注意してください。間違いがあればご指摘いただけると嬉しいです。できれば専門家にレビューしてほしいです。 ※この記事はMEGA BIGの購入を薦めているわけではありません。 MEGA BIG 祭2024/8/30、MEGA BIG祭が突如発生した。 MEGA BIGは通常期待値がマイナスであるが、台風の影響でサッカーの試合が一部中止になり第1476回のMEGA BIGの期待値が1を超える可能性があるという投稿があったのだ。 toto MEGA BIGが熱い。 対象の12試合中4試合が中止（自動的中扱い）なので、8試合分当たれば1等というレイドイベント発生。現在キャリーオーバー61億円。 公営ギャンブルとしてはありえない期待値。 なおtoto BIG/100
米国スタートアップのレイオフする側の話
米国のスタートアップやビッグテックといえば高給取りやワークライフバランスとセットにしてレイオフについて語られることが多い。レイオフする側についてはあまり出回らないので、米国のスタートアップで働く開発チームのマネジャーの立場から書いてみたいと思う。 まず、レイオフにも種類がある。大きく分けて組織改編に伴うものと、個人のパフォーマンスないしは行動規定違反によるものがある。今回は個人のパフォーマンス起因のレイオフについて書く。 個人のパフォーマンスによるレイオフの場合、通常は事前に何度かフィードバックがマネジャーからある。ビッグテックの場合はPIPという再トレーニングプログラムがあるが、昔いたテックカンパニーでは自分の周りでPIPを受けている人を見かけたことがなく、その後は中堅 - 小規模なスタートアップにしか勤めたことがないので、詳しくない。 ともかく、フィードバックの後に改善が見られない場合
これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ
YouTubeチャンネルのすべてのムービーとメタデータをアーカイブすることができるツールが「Yark」です。ムービーをめちゃくちゃ簡単にローカルへ保存できるほか、ウェブブラウザを使ってオフラインの閲覧ページを表示することも可能です。 GitHub - Owez/yark: YouTube archiving made simple https://github.com/Owez/yark Yarkをインストールするためには、Pythonのバージョン3.9以降をインストールする必要があります。Pythonのダウンロードページにアクセスして、「Download Python 3.11.1」をクリックし、EXE形式のインストーラーをダウンロードします。ファイルサイズはWindows 64bit版で約24MBです。 ダウンロードしたインストーラーを起動します。一番下の「Add python.exe
Software Design連載 2021年9月号 「テストが無い」からの脱却 - MonotaRO Tech Blog
こんにちは、鈴木です。 「テストが無い」状態を脱却しました。 「いつの時代かよ！」と突っ込まれるかもしれませんが、モノタロウは創業から 20 年ほど EC をやっています。昨日書いたコードも、15 年前に書いたコードも、元気にビジネスを支えています。 本記事ではモノタロウの EC を支える API の話をします。「テストが無い」状態がスタートラインでした。そこから、CI を導入して、ローカル開発環境の整備して、テストコードを書いて、リリースマネジメントを導入しました。 目新しいことは書きません。長寿の大規模システムであっても、愚直に数年取り組むことで、「前進できる！」「変えられる！」という実例を書きます。 ※本記事の初出は、 Software Design2021年9月号「Pythonモダン化計画（第2回）」になります。第1回の記事は「Software Design連載 2021年8月号
業務でなくてはならないツールExcel。Excelのマクロを使って自動化することもできるが、Pythonを使うとより幅広いライブラリと併用できて非常に便利だ。とは言え、PythonでExcelを自動操縦する場合、「openpyxl」を使う方法と「pywin32」を使う方法の二台手法がある。ここでは、そのメリット・デメリットを比較してみよう。 Pythonの二大Excelライブラリを比較してみよう 「openpyxl」「pywin32」のどちらが良いのか？ PythonでExcelを操作して、業務の自動化をする場合、「openpyxl」を使う方法と「pywin32」を使う方法の二大手法がある。どちらにもメリットがある。 まず、どちらのライブラリを使う場合も、基本的なExcelのシートの内容を読み書きすることができる。しかも、双方ともオープンソースであり無料のライブラリだ。しかし、決定的に異な
2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして（アカウントがない場合は作成）、同意します。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers scipy ftfy(3) トークン変数の準備。 以下の「<HugginFace Hubのトークン>」の部分に、先程取得したHuggingFace Hubのトークンをコピー&ペーストします。 # トークン変数の準備 YOUR_TOKEN="<H
個人的なJavaScriptの情報収集の方法についてまとめてみます。 JSer.infoなどをやっているので、JavaScriptの情報については色々な情報源を見るようにしています。 JSer.infoの範囲の中での情報源については、次の記事でまとめています。 JSer.info 13周年: JavaScriptの情報源を整理する - JSer.info この記事では、少しスコープを広げてJavaScriptの情報収集についてまとめてみます。 かなりスコープが広がってしまうので、万人向けの方法ではなく、個人的な情報収集方法としてまとめています。 この記事では、膨大な情報の中から見つけるというアプローチをとっているので、人によって向き不向きがあると思います。 情報収集の方法 情報の元となる情報源はさまざまなサイトや人になると思います。 しかし、そのサイトや人ごとに見ていくというのはかなり大変
動機 外資系のAmazonが展開している電子書籍Kindleでは比較的洋書の取り扱いが多いです。 Kindle Unlimitedに登録されている書籍も多く、Springerなんかも含まれているので活用しない手はありません。 そこでkindle-translatorをつくりました。 https://github.com/1plus1is3/kindle-translator これで一冊50万字あるKindleの洋書を1分で日本語PDFに変換できます。 キーボードの矢印キーでページ送りができるならKindleに限らずあらゆる電子書籍リーダおよびPDFビューワで使え、DeepLが対応している言語であれば英語以外の言語でも翻訳できます(仏→日とか)。 未経験からPythonエンジニアになって3ヶ月(うち1ヶ月は研修)が経ち、色々作れるようになった時点でつくったツールなので、改良すべき点もまだまだ
こんにちは、ISC 1年 IPFactory 所属の morioka12 です。 この記事は IPFactory Advent Calendar 2020 の10日目の分になります。 IPFactory という技術サークルについては、こちらを参照ください。 本記事の最後に記載されている余談でも IPFactory の詳細を紹介しています。 はてなブログに投稿しました #はてなブログ IPFactory Advent Calendar 2020 の10日目の記事を書きました#JWT #security セキュリティ視点からの JWT 入門 - blog of morioka12https://t.co/g1MYe77hAF — morioka12 (@scgajge12) 2020年12月10日 普段は Web Security や Cloud Security 、バグバウンティなどを興味分
たとえば次のような「user.proto」というプロトコル定義ファイルを用意し、これを変換する例を見てみよう。 syntax = "proto3"; message Picture { uint32 id = 1; uint32 width = 2; uint32 height = 3; enum PictureType { PNG = 0; JPEG = 1; GIF = 2; } PictureType type = 4; } message User { uint32 id = 1; string nickname = 2; string mail_address = 3; enum UserType { NORMAL = 0; ADMINISTRATOR = 1; GUEST = 2; DISABLED = 3; } UserType user_type = 4; repeated
みなさんはPicture-in-Picture(PiP)という機能を使ったことがありますか。PiPは動画コンテンツなどを浮遊する小窓に表示する機能です。小窓はウィンドウの外側を自由に移動できます。 デスクトップが賑やかになりがちなPCでもPiPは大活躍なのですが、特にスマートフォンにおいては数少ない「ウィンドウ」機能になります。Androidはもちろん、iOS14も対応したことで話題になりました。 これによってスマホ一台あれば、ソシャゲの公式生放送を見ながらソシャゲのイベントを周回する地獄のような行為が可能になりました。 利用者という視点から見ると非常に便利なのですが、開発者から見ると動画しか表示できないのはなかなか使い所が難しくなります。そこで、この機能を使って好きな情報を表示できないか実験してみました。 PiP機能の対応環境 Chrome 70 Firefox 71（制限付き） mac
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
作業環境をDockerfileにまとめて、macOSでもLinuxでもWSL2でも快適に過ごせるようになった話
こんにちは、CLI生活至上主義？の、 ひのしば です。 まぁ、至上主義というのは、ちょっと言い過ぎかもしれませんが、screen, vim, mutt, newsboat, pass, あとは、gitやssh 辺りを使う生活をしており、1日の作業がこれだけで完結するような事もあるような生活を送っています。 さて、そんな私が、ワークステーションサーバに、macOSや、Windows, Linuxから接続して操作するといった構成から、 作業環境をDockerfileにまとめ、手元で上がる環境をdockerコンテナへ統一し作業する構成とした話を紹介します。 この環境は、ここ数ヶ月、不自由なく使えている事もあり、自身の整理のためにも、どのような点が気になって対応したのかを挙げていきます。 詳細は下部に記載する通りですが、 例えば、dockerfile上のuidの問題に気をつける点、Linuxとma
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Pyxel作者です。Qiita初投稿です。よろしくお願いします。 皆様、Python向けレトロゲームエンジンPyxelのご愛顧ありがとうございます。 「気軽に楽しくゲームプログラミング」をコンセプトに、2018年にGitHubで公開を始めたPyxelも、おかげさまで現在15,000スター、ダウンロード数は80万を超えることができました。 4億を超えるGitHubプロジェクトの中で、Python向けゲーム開発環境としてはダントツの1位（2位は7.5kスターのPygame）、全言語合わせたゲームエンジンの中でも8位にランクインしており、7位
以下に示すのは、開発者環境を設定し、Windows で Python を使用し、ファイル システム操作のスクリプト作成と自動化を開始するためのステップ バイ ステップ ガイドです。 Note この記事では、Python の便利なライブラリの一部を使用するように環境をセットアップする方法について説明します。これにより、ファイル システムの検索、インターネットへのアクセス、ファイルの種類の解析など、Windows 中心のアプローチからプラットフォーム間でタスクを自動化することができます。 Windows 固有の操作の場合は、Python 用の C 互換の外部関数ライブラリである ctypes、Windows レジストリ API を Python に公開する機能である winreg、Python から Windows ランタイム API にアクセスできるようにする Python/WinRT を確
エンジニアリングマネージャーのしごと ―チームが必要とするマネージャーになる方法著者／訳者：James Stanier、 吉羽 龍太郎、 永瀬 美穂、 原田 騎郎、 竹葉 美沙出版社：オライリージャパン発売日：2022-08-26単行本（ソフトカバー）：376ページISBN-13：9784873119946ASIN：4873119944 原著はDr. James Stanier氏の『Become an Effective Software Engineering Manager: How to Be the Leader Your Development Team Needs』です。 James Stanier氏は、マネジメントに関する人気ブログ（The Engineering Manager）を長年執筆しており、現在はShopifyでDirector of Engineeringを務めて
作業メモ。モダン Python 速習。 AI 周りのツールを動かしていたら TypeScript だけでやるには無理が出てきたので、久しぶりに Python の環境構築をする。 具体的には TestGen LLM を動かしたい。 Python はたまに触るけど、基本 2.x 時代の知識しかない。 基本的にこの記事を読みながら、細かいアレンジをしている。 追記 rye が ruff と pytest を同梱してるので rye fmt, rye check, rye test で良かった uvicorn を叩くより、 fastapi-cli を使って起動したほうが良さそうので変更 基本方針: Rye に全部任せる 良く出来てると噂に聞いたので、 rye に任せる。 自分が Python が苦手な点は pip を下手に使うと環境が汚れていく点で、基本的に rye で閉じて管理させる。システムの
ChatGPT API の使い方｜npaka
「OpenAI」の 記事「Chat completions」が面白かったので、軽くまとめました。 1. ChatGPT API「ChatGPT」は、OpenAIの最も先進的な言語モデルである「gpt-3.5-turbo」を搭載しています。「OpenAI API」から「gpt-3.5-turbo」を使用して独自アプリケーションを作成できます。 ・メールや文章のドラフト ・Pythonコードの生成 ・一連の文書に関する質問応答 ・会話型エージェントの作成 ・ソフトウェアへの自然言語インターフェースの追加 ・さまざまな科目の家庭教師 ・言語の翻訳 ・ビデオゲームのキャラクターのシミュレート 2. 使用料金使用料金は、以下で確認できます。 3. Colab での実行「gpt-3.5-turbo」は、マルチターンの会話を簡単にするように設計されていますが、会話のないシングルターンタスクでも役立ちます
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
AIが画像を自動生成してくれる「Stable Diffusion」がすごい。これを使ったサービス「DreamStudio」は1枚6秒ほどで画像を生成してくれて早いが、無料枠を超えて使うには課金が必要になる。 Google Colabという、Pythonの実行環境を提供してくれるサービス上でStable Diffusionを動かせるそうだ。お金はかからない。1枚の画像生成にかかるのは30秒ほど。その方法は以下で解説されている。 Google Colab で はじめる Stable Diffusion v1.4｜npaka｜note 自分でもやってみて、今は無事にStable Diffusionを使えるようになっている。しかしGoogle Colabを使うのも初めてだったので上の記事だけだと詰まるところもあった。ここではそれを解説したいと思う。 ライセンスの確認 Hugging Faceのトー
Python 製 Web フレームワークを Flask から FastAPI に変えた話｜NAVITIME_Tech
こんにちは、けんにぃです。ナビタイムジャパンで公共交通の時刻表を使ったサービス開発やリリースフローの改善を担当しています。 今回は Python 製の Web フレームワークとして FastAPI を導入した話をしようと思います。 Python 製の Web フレームワークPython には代表的な Web フレームワークが 2 つあります。 ・Django: フルスタックフレームワーク ・Flask: マイクロフレームワーク Django は大規模開発向け、Flask は小中規模開発向けと言われますが、今回開発したサーバは小規模なサーバだったため、以前は Flask で開発していました。 しかし、どちらのフレームワークを使う場合でも下記のような機能を使おうとするとプラグインやサードパーティの助けを借りる必要があります。 ・OpenAPI ・JSON Schema ・GraphQL ・We
はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ
外資系の会社から辞めさせられそうになって困っていませんか？ 外資系の会社で働いている方の中には、会社が自分のことを辞めさせようとしている兆候を感じている方も少なくないですよね。 外資系の会社は、労働者を辞めさせる手口として以下のような方法をとる傾向にあります。 つまり、パワハラやＰＩＰに始まり、徐々に労働者を追い込んでいき、それでも退職しない労働者に対しては、直接的に退職するように勧めたり、会社からロックアウトしたりします。 外資系の会社が労働者を辞めさせる理由としては、私の経験上、「人件費の節約・ヘッドカウントの削減」、「ポジションクローズ」、「パフォーマンス不足」、「上司との折り合いが悪い」などが多いです。 労働者が外資系の会社から辞めさせるターゲットにされてしまった場合には、以下のような点に気を付けて対処していただくといいでしょう。 ・改善の意思を示しつつも自分の認識も指摘する ・会
本稿は Yorick Peterse 氏によって書かれた次の記事の日本語翻訳です。著者に翻訳の許可を得て公開しています。 yorickpeterse.com また本稿は DeepL Pro を使って下訳したものに手を加えています。日本語翻訳の不具合または誤訳については Yorick Peterse 氏ではなく、本稿のコメント欄にお願いします。 ここから本文です。 GitLab 社で働くのはどのようなものだったか 私は2015年10月に GitLab 社に入社し、6年あまり働いて2021年12月に退社しました。 前に GitLab 社を辞めて Inko に取り組んでいることは書きましたが、2015年から2021年までの間、GitLab 社で働いていたことがどのようなものであったのかについては触れませんでした。理由は2つあります。 燃え尽き症候群に苦しんでいて、(当時は) 自分の人生の最後の6
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
海外のゲーム会社であった制度 - じじいのプログラミング
Python言語による実務で使える100+の最適化問題 | opt100
画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ
で、シリコンバレーでいくら稼げるのか(Part 9)
PyCon JPの技術に対する不正の告発、並びに技術者と大衆に対しての警鐘 - Qiita
ChatGPTに自社データを組み込んで新しい検索体験を模索してみました｜masa_kazama
【自動化】PDF内の表をPythonで抜き出す - Qiita
主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO
画像に含まれる不要物を違和感なく完全削除できる無料ツール「Lama Cleaner」のインストール手順＆使い方まとめ
ほんで、MEGA BIGくじにいくら賭ければいいの？｜morio
pdfからtextを抜き出す試行錯誤のメモ｜Kan Hatakeyama
YouTubeのチャンネル全体を一発でローカルに保存して個人的なアーカイブを作成できる「Yark」
ゼロからはじめるPython(65) PythonでExcelを操作する二大手法を比較しよう
Google Colab で はじめる Stable Diffusion v1.4｜npaka
私のJavaScriptの情報収集法 2024年版
【Python】Kindleの洋書1冊を1分で日本語PDFに変換するコードを書いた話 - Qiita
セキュリティ視点からの JWT 入門 - blog of morioka12
サービス間通信のための新技術「gRPC」入門 | さくらのナレッジ
JavaScriptで任意のHTML要素をPicture-in-Pictureする
【2021年】AWS全サービスまとめ | DevelopersIO
【公式】レトロゲームエンジンPyxelを使わない理由が見つからない - Qiita
スクリプト作成と自動化のための Python の使用
新刊『エンジニアリングマネージャーのしごと』発売のお知らせ
Python + VSCode の環境構築 20240604
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
画像生成AI「Stable Diffusion」をGoogle Colabで動かしたメモ - ただいま村
僕の考えた最強の Python 開発環境 (2024)
外資系の会社が労働者を辞めさせる手口７つ！対処法と獲得したい条件５つ
(翻訳) GitLab 社で働くのはどのようなものだったか - forest book