競プロ出身者の使えなさは異常
anond:20240624084844 を読んで思ったこと。2番目以降は正直良くわからないが、一点目についてはわかりみしかない。 うちはメガベンチャーで内製アプリの開発保守をしてるんだが、新卒で採った青(水色？)のエンジニアが連続でクソ野郎でめちゃくちゃしんどかった。 ◯色コーダーマウントちょくちょく自分は◯色コーダーだって主張してくる。 こっちはお前が学生時代に取った資格の話なんて興味ねえんだよ。 センター試験の点数自慢してる社会人いるか？いねえだろ。 評価されたければ与えられたタスク以上の成果を挙げろ。 資格自慢をしたければ、社会人にふさわしい資格を取れ。 お前のガクチカなんぞ知らん。 コードがゴミ競プロエンジニアといっしょに仕事したことある人なら大体頷いてくれると思うんだが、彼らの書くコードは本当にひどい。 処理がどれだけ効率的だろうが、実務においてメンテナンサビリティの無いコード
しょーもない事務作業を快適にするためのツールを作りたいとき 〜セキュア意識の高い会社編〜 - Qiita
Pythonインストールできないんだけど！ なんかいつもこれ同じ作業してるよな、自動化出来ないかな…よしやったる！ ↓ みんなー！こんなツール作ったよー、使ってみてー！ ↓ そして起こる「ちょっと、俺、.pyとかいう拡張子使えないんだけど」の声。 会社のPCって外部のアクセス禁止だったり新規ソフトウェアのインストール制限があったりと、色々制約がありますよね。この制約のせいで、作ったはいいが使えなかった、みたいな理不尽なハマり方したり、一方で試してみたら意外とこれ動いちゃうんだ！？みたいなこともあったりするので、ここではそんなずる賢い業務改善を必死に考える社員のみんなに、どれでやれば利用可能なツールづくりができるのか、その選択肢を載せていくよ。 Python + exe化ツール(Pyinstaller) やっぱ中身含めてファイル操作系でちょこちょこやるならPythonが楽だよね。ただ、Pyt
ジムの会員管理システムを作った僕に「エニタイムフィットネスみたいなことがしたい」とジムを家族経営するお客さんから相談された。 「えっ！？会員管理を作ったついでにエニタイムフィットネスみたいな仕組みをやりたい！？予算は無い！？不正防止のため、入退室時の写真も撮りたい？！ログもとりたい！？」 さすが筋トレに明け暮れてるオーナーさんの要望はマッチョだと思った。 普通にやれば電子錠の仕組みや工事やらで一店舗あたり数百万から一千万掛かるような仕組みだろう。 そんな予算無いみたいだし、既存の店舗をそんな大々的に工事もできない。そもそも自分にそんな工事の知識もない。 結果Raspberrypiを使い、それを一店舗予算10万円代で実現、会員カードを他店舗と共有した24時間営業にできた。 その詳しい技術的な内訳を共有する。 （なお執筆時点では２０２４年だが、これ自体は５年前、２０１９年の仕事である。） 前提
読み飛ばしてください おはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。 なんだこれ。 というわけでまとめてみました。 参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。 そんなあいつには裏技があるみたいです。 デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで 変数名とその値を同時に表示できるらしい。
初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
こんにちは！イーゴリです。 AWS にとって、クラウドのセキュリティは最優先事項です。(AWS公式ページ) AWS環境のセキュリティ対策としてAWSサービスを解説するよりも、まずはAWS環境の最適な設計について考える必要があります。AWS Well-Architected Frameworkを考慮しながらの設計を推奨します。AWS Well-Architected Frameworkを全部詳しく読むことをおすすめしますが、この記事では個人的に一番重要だと思う点について記載します。 とてもざっくり説明しますと、AWS Well-Architected Frameworkとは、クラウドシステムの最適な設計方法を提供するAWSのガイドラインで、6つの柱があります。この記事では基本的に「セキュリティ」の柱を技術的観点から見てみたいと思います。 AWS Well-Architected Framew
ADHD 産んでごめん
子供が発達障害じゃないかって言われた。 ぎくりとした。私も数ヶ月前から精神科に通院しているからだ。ADHD疑いで。 ADHD。 子供の頃から忘れ物、遅刻、約束忘れ、すごく多かった。成績は良かった。大学も行けた。就活もして都内大手企業に内定。苦手なことは3倍かかったし、ミスも多くて怒られた。みんなが出来ることが出来なかったが、幸いプログラムが組めた。Excel、VBA、SQL、Python…コイツらのおかげで出世はできなかったが、仕事はできた。 子供が産まれてからさらに苦しかった。 子供が産まれると予定が増える。1人目。まだなんとかなった。癇癪がすごい。子供の泣き声がすると2回警察を呼ばれた。殴ってない。むしろ殴られてた。2才だった。 2人目。 もう全然回らなかった。仕事。家事。育児。びっくりするくらい予定を忘れた。保育園の連絡帳。記帳がないからプールに入らなかったと言われた。ごめん。保護者
2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
競プロ出身者・機械学習出身者の問題コード
https://anond.hatelabo.jp/20240625191650 競プロ出身者だけじゃなく、機械学習出身者も問題コードが多い 印象の問題ではなく実際に下記のようなコードが多い 念のため言っておくと底辺大や文系出身プログラマーも同様の傾向にある 正常系しか意識していない一番多いのはコレで異常系の動作を全く意識していない 入力値に想定外のものが入ることを考えていなかったりI/Oに関わるエラーについても配慮がない 「エラーが出たらとにかくtry-catchしてログ吐いて終わり」 ならまだマシな方で、「握りつぶして処理続行」みたいなことも平気でやる 「ここの処理でエラーログが出てるから対処よろしく」 「対処しました！（握りつぶし）」 とか滅茶苦茶多い セキュリティに関する意識が低い異常系の話と被るけど基本的に性善説でコード書くのでセキュリティの不備がめちゃくちゃ多い API作らせて
実務において回帰分析を行うに当たっての注意点を改めて挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
先日のことですが、以下のニュースが統計的学習モデル界隈で話題になっていました。 肝心の箇所が会員限定コンテンツなので簡潔にまとめると、従来モデルよりも説明変数に入れる海域の数を増やした上で、Lasso（L1正則化）回帰で多重共線性を抑えつつ汎化性能を高めるというアプローチを取った、というお話です*1。これは回帰分析という基本に立ち返った、昨今の「猫も杓子も生成AI」という流れからは一線を画した試みで、いかにも玄人好みという感があるなと僕も感じた次第です。 一方で、僕が身を置く広告・マーケティング業界でもMMM (Media/Marketing Mix Models)を初めとして様々なタイプの回帰分析が広く行われていますが、個人的に見聞する範囲では冗談でなく本当にピンキリで、中には「そんなデタラメな回帰分析で本当に役員会の意思決定に使っているんですか？？？」みたいなケースも珍しくありません。
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
Pythonの爆速化を可能にするにはどうすればいいのか。ツールやライブラリに頼る前に、まずはピュアPythonに組み込まれている機能を使い、コードの最適化を図るべきです。なぜなら、処理速度の課題を解決できる可能性が高いからです。今回はPythonのパフォーマンスを劇的に向上させるためのテクニックを解説した『爆速Python』（翔泳社）から、Pythonの組み込み機能のパフォーマンスを引き出す方法を紹介します。 本記事は『爆速Python』の「Chapter 2 組み込み機能のパフォーマンスを最大限に引き出す」から一部を抜粋したものです。掲載にあたって編集しています。 ※本書はTiago Rodrigues Antãoによる『Fast Python: High performance techniques for large datasets』（Manning Publications）の邦
プログラム、下から作るか？上から作るか？
TL;DR プログラムは「下から組む方法」と「上から組む方法」がある プログラムを組む時は少しずつテストしながら組む はじめに なにかゼロからプログラムを組むとします。そのプログラムのアルゴリズムや、何をやるべきかはなんとなくわかっているけれど、どこから手をつけてよいかがわからず、ChatGPTに全部書かせて、その後修正できずに困る、という事例を何度か観測しています。 プログラムをゼロから書くのは慣れが必要です。プログラムをゼロから書く場合、小さな部品を一つ一つ作っていって、最後にそれらを組み上げる「下から書く」方法と、「こういう関数が必要であるはず」と外枠から書いていって最後に中身を埋める「上から書く」方法があります。その一般論を論じるのは私の能力を超えるため、以下では「下から」と「上から」の例を挙げて、その「気持ち」を説明してみようと思います。言語はなんでも良いですが、ここではPyth
社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤（所謂プラットフォーム） 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート：テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供（特にLinterを最初期に） 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar
金融機関の仕事したら、パソコンになんも追加できなくてpythonを封じられて、パワーシェル使ってる→「PowerShellも結構無茶が出来る」
けいさん＠なにかわからない @kihonkei 元メーカー：開発者→アーキテクト→技術調査 今どっかの会社：アーキテクト 投資とポイ活ガチ勢 不動産好き (普通に絡んでくれたらだいたいフォロバします) けいさん＠なにかわからない @kihonkei さすが金融 パソコンになんも追加できん pythonを封じられて、はじめてまともにパワーシェルプログラミングしたわ エディタも追加できんのきちぃわ
[B! togetter] アメリカのVTuberさんが『日本人はカスコー(Costco)のことをコストコって言うんやで 発音かわゆす』みたいなお話をなさっていた「tを読まないんか」 このブコメに「NISAも英語読みならniceのようにナイサと呼ぶべき」というものがあり、それは違うんじゃね？ と直感的には思ったものの、そんなに説明できる感覚でもないなと思ったので調べてみた。 結論としては「ニーサ」で問題はないだろうと思う。 英単語を構成する文字のうち子音をC、母音をVで表すことにする（一般的な表記のようです）。ここでは「CiCeという形で表される英単語のiにおける発音のルールが、CiCaという形式にも適用されるのか？」という疑問に否定的な回答をしたい。 そのために、 まずCiCaの形（NISA）をとる既知の英単語における "i" の発音がどのようであるか、 その後、CiCeの形（nice）
この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。 プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。 仕組みを相談するのにClaude (3.5 Sonnet)とやり取りをしていましたので、この記事の草稿も書いてもらいました。所々、なんとなく冗長だったり文体が違ったりしますが、面倒なのでそのままにしてあります（すみません）。 生成スクリプト生成スクリプトとプロンプト定義はgistに置きました。 https://gist.github.com/kohya-ss/68d41a9720bfbdfd87869ec970142f4b 概要近年、大規模言語モデル（LLM）の発展により、AIによる文章生成の可能性が大きく広がっています。今回はローカル環
GitHub - darrenburns/posting: The modern API client that lives in your terminal.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
IT技術書を執筆して、FIRE生活を実現するまで。30冊以上の本を書いて見えてきた「自分らしい生き方」 - Findy Engineer Lab
はじめに はじめまして、IPUSIRON（@ipusiron）と申します。現在はIT技術書の執筆を本業としつつ、FIRE生活を過ごしています。 最初の本が出たのが2001年です。途中で学生や会社員だった時期もありますが、20年以上執筆し続けていることになります。その間、30冊を超える本を執筆してきました。 このたび、「IT技術書を執筆して、FIREをどう実現したのか」というテーマのコラムを寄稿する機会をいただきました。これまでのキャリアを振り返りつつ、次に示す内容を紹介します。 IT技術書の執筆活動を続けてきた中で、印象深い出来事 IT技術書を執筆するということ IT技術書を執筆して、FIREを実現した理由や経緯 自らのキャリアを振り返って、他のエンジニアの方々に伝えたいこと Xでは、読書や執筆に関することを日々発信していますので、気軽にフォローしてください。 はじめに IT技術書の執筆活
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、Python製の静的サイトジェネレーターSphinxを使用してWebサイトを構築し、テーマを適用、外部へ公開する流れについて紹介します。後半ではSphinxの便利な拡張機能を紹介し、Webサイトをより便利にしていきます。 Markdownでドキュメントを書くだけで、きれいなWebサイトが簡単に公開できるので、ライブラリのドキュメントなどでもよく使われています。 Sphinxとは SphinxはPython製の静的サイトジェネレーターです。静的サイトジェネレーターとは、Markdown等の軽量マークアップのテキストファイルから、静的なWebサイトを生成するアプリケーションのことを言います。Python製の静的サイトジェネレーターにはSphinxを含め以下のツールなどがあります。 Sphinx：h
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 47週目の記事です！ 1年間連続達成まで 残り 6 週 となりました！ はじめに ログラスのクラウド基盤でエンジニアをやっているゲイン🐰です。 ログラスではAWS上でアプリケーションを動かすためにIaCとしてTerraformを採用しています。 我々のTerraformの構成を紹介するとともに、現状の課題とリファクタリングの事例を共有できれば幸いです。 ログラスのTerraform構成 ざっくりログラスのアプリケーションにまつわるTerraform構成は以下のようになっています。 基本的にはterraform/usecaseディレクトリ配下にmoduleとして定義されています。 中身は比較的にベタでリソースが書かれており、それらをterraform/envディレクトリの各ディレクトリ内で呼
選挙でGitHubを使うことに意味はあったのか？――GitHubを用いた政策リポジトリの公開について振り返る｜#安野たかひろ 事務所（公式）
安野チームの今泉（GitHub担当）です。 選挙活動が終わって一週間ほど経ちましたが、現在でもテレビ・雑誌等さまざまなメディアにおいて、東京都知事選挙を総括する記事が出ている今日この頃です。感想についてもSNSでたくさん投稿されており、肯定する意見も批判的な意見も、いずれもじっくり拝見させていただいています。 この記事は、「双方向の政策ディスカッション」を実現するための方策として行われた「GitHubを用いた政策リポジトリの公開」プロジェクトについての振り返り記事です。 選挙期間中に投稿した過去の解説記事はこちらをご覧ください。 結果感想戦を始める前に、まずファクトベースで結果を見ていきます。今回募集したのは「課題提起」であるissueと、「変更提案」であるPull Request（PR）ですが、それぞれどれだけ投稿されたのでしょうか。数字を見ていきましょう。 課題提起（Issue）アーカ
【生成AI】知らないと後悔する、GPT-4oだけでシステム開発を300%効率化するハック【CodeAGI】 - Qiita
【生成AI】知らないと後悔する、GPT-4oだけでシステム開発を300%効率化するハック【CodeAGI】Python生成AIChatGPTGPT-4CodeAGI 都内のIT企業に勤めている、ソフトウェアエンジニアの D̷ELL と申します。 本稿はQiita Engineer Festa 2024の参加記事です。 本日は生成AI（GPT-4o）のAPIキーだけで、システム開発を300%効率化するハックを共有したいと思います。 概要 生成AIによるアプリケーション開発自動化が実現しつつある時代になってきた 日本企業における「Excelドキュメント」は数多く、生成AIを実践投入しづらい GPT-4oのAPIキーさえあれば、社内のドキュメントからシステムを自動構築してくれる仕組みがあった はじめに みなさんはアプリケーション開発における生成AIの利用と言えば、何を想像しますか？おそらく大半の
Pythonが遅い理由とその対策 - Qiita
はじめに Pythonは柔軟性が高く、初心者にも適したプログラミング言語ですが、その一方で速度面では他の言語に劣るとされています。本記事では、先月ピッツバーグで開催されたPyCon US 2024で紹介されたPythonの高速化技術について詳しく解説します。 Pythonの速度問題 「Pythonはランタイムにコストを払う」という古い格言が示す通り、Pythonは解釈型言語であり、実行時に多くの処理を行うため速度が遅くなることがあります。Pythonはソースコードを効率的なバイトコードに変換し、それを直接実行することで動作します。このプロセスには多くの間接処理が含まれ、単純な命令でさえも多数のCPU指示に分解されます。例えば、二つの数値を足すだけでも500以上の命令が実行されることがあります。 高速化のためのコンパイル技術 Cythonによる最適化 PyCon 2024でのSaksham
GPT-3.5ベースのChatGPTのコーディング能力は「古い問題には有効も新しい問題では困難に直面する」ことが明らかに
GoogleやMistral AIなどからプログラミングに特化したAIツールが登場しており、大手テクノロジー企業のCEOが「AIがコードを書くのでもうプログラミングを学ぶ必要はない」と発言するなど、AIによるプログラミングは注目を集めています。そんなAIによるプログラミング能力を分析した研究が公開されており、AIモデルがトレーニングされたタイミングによっては困難に直面することがあることが判明しました。 No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/10507163 ChatGPT Code: Is the AI
Google AI Studioを使ってみる
こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle Workspaceを使っている場合は、「早期アクセスアプリ」を有効にする必要がありました。システム管理者に相談してみましょう。 Google AI Studioの起動 Google AI Studioの公式ページから「Google AI Studioにログイン」ボタンを押せば、画面が開きます。 ログインするとGoogle AI Studioが開きます。 クイックスタート クイックスタートのドキュ
はじめに どんな人向けの記事？ ローカルLLMに興味のある人 zoltraakに興味のある方 LLMを用いて要件定義書を作りたい方 内容 今回は元木さんのZoltraakを使って、自然言語から要件定義書を作ってみようと思います。 ただし、リリースされてから2ヶ月以上経ったzoltraakを普通に動かすだけでは面白くないので、この記事ではローカルLLMを使った場合にどの程度の品質のアウトプットが得られるか、そもそもまともに使えるのかを検証してみたいと思います。 結論 結論から述べると、下記の通りになりました。 現状のローカルLLMだけでzoltraakを完全に動作させるのは難しそう。 要件定義書は問題なく作成できる。 その後の工程の、ディレクトリ・ファイル構成を作成するための実行可能なpythonコードを作ることができなかった。 grimoiresの記載を工夫することで、ある程度は改善できる
Pythonのif文やfor文の終わりを明示せずにインデントに意味を持たせる記法、いつまで経っても慣れない話→インデントと視認性について賛否両論
ミック @copinemickmack Pythonのif文やfor文の終わりを明示せずにインデントに意味を持たせる記法、いつまで経っても慣れないな…これ視認性悪くてバグの温床だと思うんだけど、みんな平気なん？
コンテナの仕組みを勉強したかったため、Goでコンテナランタイムを自作した。雑実装だし未実装の機能もたくさんあるが、ある程度形になってきたため現状をまとめる。 リポジトリ github.com kombu/dashi - 自作コンテナランタイム kombu/nimono - eBPFを利用したシステムコールロガー kombu/yaminabe - dashiとnimonoを利用したマルウェアサンドボックス プロジェクト名から和の雰囲気を感じるが、これはリポジトリ名をkombu（昆布）にしたかったため、せっかくなら今回は和風で固めようと思ったから。趣があっていいんじゃないでしょうか。 dashiが自作コンテナランタイムだが、nimonoとyaminabeは実験的な要素で、セキュキャン2023でコンテナを使ったマルウェアサンドボックスを実装した経験があり、今回はその再実装を自作コンテナランタイム
データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化
オープンソースの力で #安野たかひろ が YAML に Python を書きまくらない都知事候補になれた話｜banbiossa
こんにちは、安野チーム技術班の志水です。 表題の通り、オープンソース（とXのバズ）のおかげで公開しているマニフェストの技術部分をアップデートできたお話を共有します。 CI上のレビュー機能今回の都知事選において安野チームではGitHub上でマニフェストを公開し、広くIssueやPRを募っています。その議論をスムーズに行うため、似たようなIssueをまとめたり不適切な画像や投稿をcloseするためのCI(GitHub Actionsのworkflow)が設定されていました。 Xのバズこのworkflowに言及したポストがバズりました。
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、「RAG vs ファインチューニング」について、DSL（ドメイン固有言語）をコーディングする性能という観点から比較した論文を、ざっくりまとめます。 この記事は何 この記事は、RAG vs ファインチューニングに関する論文[1]を、日本語で簡単にまとめたものです。 「RAG vs ファインチューニング」の論文は、他にもあります。例えば、時事問題などのシンプルな知識の質疑応答であれば、RAGの方が優れています。[2] 今回の論文では、「ドメイン固有言語（DSL）をコーディングする性能」をに焦点を当てて比較しています。一見するとファインチューニングの方が有利そうなタスクについて比較しているのが面白い点です。 本題 ざっくりサマリー この論文では、RAGとファインチューニングの性能比較を
こんにちは！もみです🐶 皆さん、GitHubプロフィールのREADME は設定していますか？ GitHubのプロフィールを充実させることで、 GitHub上での交流はもちろん、就活や転職でもきっとちょっと役に立ったりと、素敵なご縁に繋がるかもしれません。 たった5分で設定できるので、さっそく設定していきましょう！ 🚩 今回作成するプロフィール シンプルさを保ちつつ、スキルやGitHub上での活動を中心にした自己紹介テンプレートにしてみました！ GitHubリポジトリ： https://github.com/NonokaM/sample-github-profile/blob/main/README.md 1. リポジトリを作成しよう まず、ユーザー名と同じ名前のリポジトリを作成しましょう。 （ ユーザー名と同一のリポジトリは、特別なリポジトリと認識されて自動的にプロフィールに表示されま
Go, Ruby, Rust等の言語に存在した、Windows環境でコマンドインジェクションを引き起こす脆弱性"BatBadBut" - Flatt Security Blog
※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアkoyuriが日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK( @ryotkak )です。 先日、特定の条件を満たした場合に攻撃者がWindows上でコマンドインジェクションを実行できる、いくつかのプログラミング言語に対する複数の脆弱性を報告しました。 本日(2024/04/09(訳者注: これは英語版記事の公開日です))、影響を受けるベンダーがこれらの脆弱性に関するアドバイザリーを公表しました。 その影響は限定的なもののCVSSスコアは非常に高く、混乱が予想されるため、脆弱性に関する詳細を本記事にまとめます。 はじめに TL;DR CVSSスコア 技術詳解 根本原因 CreateProcessのラッパー cmd.exeのパース規則
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 一般的にデータアナリストはデータの収集・分析を通して組織の意思決定を支援する役割を期待されることが多く、ドワンゴ教育事業における私のミッションもKPI動向の可視化やダッシュボード / レポートの作成・提供を通してデータドリブンな組織に貢献するところにあります。 私たち教育事業には施策を実行する企画者やビジネス上の意思決定者だけでなく、サービスを活用して教育の現場に立っている方々、サービスに展開している教材を制作しているチームなど多様な方面からデータ収集・分析の需要があります。それだけにやりがいも大きく楽しい日々を過ごしています。 課題について（導入に代えて） クエリを書いて、結果を分析して、資料にまとめて、展開して、共有して・・・みたいな仕事をしているとSQLで抽出した縦持ちのデータを横持ちに作り変えたいことがよくあり
前提 Difyのバージョンは Dify：0.6.11 Dify：0.6.13です。 今の最新バージョンで現状できないことをまとめてみました。 いろんな人がXでDifyでできることをあげていってくれていますが、あまりできないことをまとめている人はいなかったのでまとめた次第です。 「探索に時間を費やしたけど結局できなかった...」となる人が少なくなること祈って書いています。 ループ処理の制限 現在のDifyでは、特定の条件を満たすまでループを回す処理の実装が困難です。例えば、Self-RAGのような自己反復型のRAGの実装ができません。 一時的解決策 現状見つかっていないです。実装方法あったら教えてください。 モニタリングツール（LangSmith、Langfuse）との連携 (0.6.12からできるようになりました) できるようになったので、混乱を与えないため内容は削除しました。 AIモデル
![[Dify]現状Difyができないこと - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6998a269a73925f4b606cb0daa549e937187fcf5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fengineer-festa-ogp-background-074608b13b4bbe67c10ada41e7e2d292.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRGlmeSU1RCVFNyU4RiVCRSVFNyU4QSVCNkRpZnklRTMlODElOEMlRTMlODElQTclRTMlODElOEQlRTMlODElQUElRTMlODElODQlRTMlODElOTMlRTMlODElQTgmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyM0ZGRkZGRiZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWVkZTg4YzkxNTI3MzIyYjZlYTgyYzJiYzUwZDdkMWE0%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBodWRlYmFrb25vbmFrYSZ0eHQtY29sb3I9JTIzRkZGRkZGJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjA0YzMxOWNiMTJlOWFhMjFlMDljZjMzMjJhNDc5NWE%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Dc1e24026ade5bba4c0d30d8a74552db5)
【技術選定/OSS編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:
Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul, 2024 | Netflix TechBlog https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは「ユーザーが次に視聴する作品の予測」などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
多店舗展開するジムの会員入退室管理を材料費数万円で実現し、２４時間営業にした話
「Pythonのドキュメントでも読むか～」「え、何その裏技」 - Qiita
Looker Studioの魅力と便利な使い方を紹介します - yasuhisa's blog
セキュアなAWS環境の設計についての解説【2024年版】 - サーバーワークスエンジニアブログ
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
Pythonの爆速化！ ピュアPythonに組み込まれている機能でコードの最適化を実現するには
NISAは「ニーサ」なのか「ナイサ」なのか - 詩と創作・思索のひろば
ローカルLLMに小説を書いてもらう v2｜Kohya S.
Python製静的サイトジェネレーターSphinxでWebサイトを構築して公開 | gihyo.jp
ログラスのTerraform構成とリファクタリングツールの紹介
ローカルLLMでzoltraakを動かせるか検証してみた
コンテナランタイムを自作した - zebian.log
「Python Editor」が「Excel Labs」を卒業、新しくなって「Excel」にビルトイン／「Microsoft 365 Insider」のBetaチャネルで先行体験
RAG vs ファインチューニング（コーディング性能で比較）
5分でできる！GitHub README プロフィール 💬 - Qiita
BigQuery縦持ちデータを動的に横持ちデータにする方法 - ドワンゴ教育サービス開発者ブログ
[Dify]現状Difyができないこと - Qiita
Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化