【保存版】Pandas2.0のread_csv関数の全引数、パフォーマンス、活用テクニックを完全解説する！ - Qiita
【保存版】Pandas2.0のread_csv関数の全引数、パフォーマンス、活用テクニックを完全解説する！PythonCSVpandas高速化新人プログラマ応援 はじめに みずほリサーチ&テクノロジーズ株式会社の@fujineです。 本記事ではpandas 2.0を対象に、CSVファイルの入力関数である read_csvの全49個（！）の引数をじっくり解説 いたします。具体的には、 各引数には、どんな効果や（公式ドキュメントにも記載されていない）制約があるのか？ 引数を工夫することで、処理時間やメモリ消費量などのパフォーマンスが具体的にどれだけ改善されるのか？ pandasのver2.0では、それ以前のバージョンからどう変化したのか？ 多くの引数を保守しやすく管理するにはどうしたらいいか？ を体系的に整理・検証することを目指します。 新入社員/若手社員向けのレクチャーや、これまで「何となく
【最速】既婚子持ち社会人のクラウド初心者でも、1ヶ月半でAWS資格11冠制覇できる方法 - Qiita
アバン 燃えたらチャンスなので、過去記事ご紹介！ 麻雀のテンパイ判定の話 JavaScriptとnodeの非同期処理の話 計算量オーダーと商売の話 でもって、本書きたいので、出版社の方、声かけて頂けたら企画書書きます！ 本編もサクッと書きます！ 既婚で、子持ちで、IT企業に勤める社会人で、40代後半です。奥さんは超頑張り屋です。関係ないけど学校は文系です。で、大昔にプログラマしていたことはあるけれど、基本その後20年間スーツ系のお仕事をしていたので、「サブネットってアレだ。255.255.255.0とかでマスクしてるやつ」くらいのネットワーク知識です。逆にソケットなら使ったことあるけども。 本格的なIaaSが登場したときにはすでにエンジニアから遠い界隈にいたので、「AWSって、さくらインターネットの凄い版？」みたいなぼんやりした印象を持っている、クラウド初心者も甚だしい人でした。でも、AW
【攻略法】情報処理安全確保支援士とCISAとCISSPに並列で挑戦して合格したので、勉強法と判断力のチューニングを中心にレポしてみる - Qiita
【攻略法】情報処理安全確保支援士とCISAとCISSPに並列で挑戦して合格したので、勉強法と判断力のチューニングを中心にレポしてみるセキュリティスペシャリストCISSP情報処理安全確保支援士CISA資格勉強 はじめに 7月はAWS漬けで、その時に得られた知見はQiitaにも書きましたが（「【最速】既婚子持ち社会人のクラウド初心者でも、1ヶ月半でAWS資格11冠制覇できる方法」の記事です）、10月からまたプライベート時間を資格につぎこんでいます。人気のAWSは全部取ったので、次はベンダー資格でなくて一般性のあるものを受けようと思いました。で、セキュリティ縛りで割と人気のある3資格。支援士とCISAとCISSPです。ステータスとしては、支援士が12月17日に合格発表があって、無事合格。CISAは試験合格して審査書類提出して審査がほぼ終わってステータスが「Approved」に変わったところ。CI
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど） - Qiita
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど）Python機械学習入門ChatGPTLLM CoT、Zero-CoT、ToT、mock、ReAct、Step Back、Metacog、IEPなど、各種Prompt Engineering手法の概説と、日本語での実際のプロンプト例をまとめた記事です。 各種Prompt Engineering手法を日本語で実装したい方向けの記事となります。 本記事で取り扱う手法は以下の通りです。 項目数が多いため、記事右下の目次リンクもご活用ください。 本記事の内容 01: 通常のPrompt 02: Few-shot Learning 03: CoT（Chain of Thought） 04: 出力形式の指定方法 05: Zero-shot CoT（≒
CompTIA CySA+受験記〜勉強方法と試験の感想〜 - Qiita
はじめに 2016年頃より日本国内における「セキュリティ人材の不足」が指摘されつづけています。2021年現在も高額な報酬と興味深い仕事内容から、サイバーセキュリティ業界でのキャリアは魅力的な選択肢の一つといえます。 しかし、サイバーセキュリティの仕事には多くの選択肢があります。どのようにキャリアを歩むべきなのでしょうか。 ここでは、その選択肢の一つとして組織内の「CSIRT（Computer Security Incident Response Team）」または「SOC（Security Operation Center）」における「セキュリティアナリスト」として活躍する道を提案したいと思います。その第一歩として「CompTIA CySA+」認定へのチャレンジをお勧めします。 これから受験する方へ少しでも参考になれば幸いです。 セキュリティアナリスト 「セキュリティアナリスト」（または、
SSDをSecure Erase機能で安全に消去する - Qiita
注意 この記事ではSSDのデータ消去について扱います。 データの消去はディスクを他人に譲渡する際などにやるべきことですが、当然データは消えてしまうので操作ミスに注意してください。 誤った手順での消去や、消去の失敗はSSDがロックされることに繋がり、アクセス不能になってしまう場合もあるようです。 言うまでもないことですが、自己責任でお願いします。 SSDにおけるデータ消去の問題と解決策 SSDはフラッシュメモリによってデータを記録していますが、従来のHDDとは違った特徴を持ちます。 そのため、単純にddコマンド等でデータを上書きするのがデータ消去における最適な方法とは言えません。 現在流通している大半のSSDでは、データを安全に消去するためのSecure Erase機能が用意されています。 これによって容易にSSDのデータ消去を行うことができ、かつ消去後のパフォーマンス低下を抑えることができ
Amazon Kendra を触ってみた - Qiita
はじめに Amazon Kendra は、様々なデータソースを横断的に検索できるエンタープライズ検索サービスです。Kendra から各種データソースに簡単に接続できるコネクタが提供されていて、Amazon S3, Microsoft SharePoint, Salesforce, ServiceNow, Google ドライブ, Confluence など連携できます。 今回の記事は、Kendra に WebCrawler というコネクタを使って、簡単に日本語の検索が出来る点を確認していきます。初めて Kendra を触ってみる点での備忘録的な記事です。 Index の作成 Kendra を利用し始める際に、Index の作成が必要です。Index を作成したタイミングから、時間課金で料金が発生します。検証のため Index を作成して放置してしまうと、想定外の料金が発生する可能性がありま
VPNにつなぐとWSL2でインターネットに繋がらない問題を解決する - Qiita
$ sudo apt-get update Ign:1 http://archive.ubuntu.com/ubuntu jammy InRelease Ign:2 http://security.ubuntu.com/ubuntu jammy-security InRelease Ign:3 http://archive.ubuntu.com/ubuntu jammy-updates InRelease Ign:2 http://security.ubuntu.com/ubuntu jammy-security InRelease Ign:4 http://archive.ubuntu.com/ubuntu jammy-backports InRelease Ign:2 http://security.ubuntu.com/ubuntu jammy-security InRelease
「Databricks とは？何ができるか」新入社員が感じたイケてる機能１０選 - Qiita
目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後も記事執筆を継続するモチベーションに繋がりますので「いいね」や記事の保存、SNSで共有いただけると嬉しいです。宜しくお願いいたします！ 背景と目的 皆様の中には Databricks という会社に馴染みがない方も多いと思います。 米国カリフォルニア州に本社が
Terraform だけだとハードモードなので Terragrunt を使おう - Qiita
Terraform はそのままだと管理が大変 みなさん IaC (Infrastructure as Code) してますか？パブリッククラウドをIaCするなら、 Terraform が便利ですね！ しかし、本格的に使い始めると、こういう問題がすぐに出てきます。 複数環境の楽な分け方を知りたい ワークスペースはなんか嫌だ とはいえ、環境間で共通するボイラープレートをどうにかしたい 環境内で適用するモジュールを細分化・分岐したいけど面倒 環境ごとに使うモジュールを切り替えたい テスト環境はAuroraではなく安いRDSにしたい モジュール(tfstate)を分割して小さい範囲で適用したい 大きなモジュールは影響範囲がわからないし、差分計算にそれなりに時間がかかってしまう 分けたモジュールを一括適用するのが面倒 モジュール間の依存関係がわからない モジュール(tfstate)間での値参照が面倒
Microsoft 製品のロゴ・アイコン・画像 配布URL一覧 （Azure、Power Platform、M365など） - Qiita
Microsoft 製品のロゴ・アイコン・画像 配布URL一覧 （Azure、Power Platform、M365など）MicrosofticonPowerBIPowerPlatformMicrosoft365 はじめに 社内で資料を作成するときに、AzureやPower Platformのロゴ・アイコンが必要なときありますよね。ネットから適当にダウンロードしてきたりしていないですよね🤔 ロゴ・アイコン管理ツール 私はEagleという画像の管理ツールを使用しています。 ロゴやアイコンは集めだすと何万個にもなるため、軽快に検索でき、ドラッグ＆ドロップでパワポなどに貼り付けられるため使用感がとてもいいです。ぜひ試してみてください😁 使い方はこちらから。 Microsoft系ロゴ・アイコン一覧 本題のロゴ・アイコンリンク集です。使用方法については、それぞれのアイコンページの利用方法に則って
難解言語 Malbolge は HelloWorld に「2 年」かかった - Qiita
TL; DR こちらが難解プログラミング言語 Malbolge で HelloWorld を行うプログラムになります。プログラムとはいったい・・・ (=<`$9]7<5YXz7wT.3,+O/o'K%$H"'~D|#z@b=`{^Lx8%$Xmrkpohm-kNi;gsedcba`_^]\[ZYXWVUTSRQPONMLKJIHGFEDCBA@?>=<;:9876543s+O<oLm Malbolge Malbolge は 1998 年 Ben Olmstead により開発された難解プログラミング言語です。オリジナルのホームページはとっくに消滅していますが、幸いにもアーカイブは残っていました。 Malbolge は難解プログラミング言語の中でも特に難解であること自体を目的に開発された、文字通り地獄みたいな言語です。 Malbolge was truly created with the i
1on1で質問をする側になって「工夫したこと」と「気づいたこと」 - Qiita
プロジェクトでの進捗確認ミーティングもありますが、進捗を聞くだけに終始してしまいます。「働くこと」にもう少し視野を広げて、いろいろ聞いてみることがあります。1on1です。進捗確認MTGとは別の事柄を聞けます。以前は、1on1で質問される側でしたが、最近は1on1で質問をする側になったので、気づきをメモしておきます。 1on1の目的 1on1の目的は、（私の場合は）「心理的サポートをすること」です。別の言い方をすると、「働くことを通じて自己実現ができそうか/できているかを念頭に置き、会話を通して、精神面や志向についてプラスを大きく、マイナスを小さくするように働きかけること」です。 その上で、①働き方仕事内容の確認、②不安心配事の検知・助言、③成長・改善の意識付けという3つの観点から、プラス面、マイナス面を把握し、プラスを大きくマイナスを小さく働きかけます。 また、1on1をするときの基本的な
2023年版データ分析の100冊 - Qiita
わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に
[GitHub] Renovate の導入と設定 - Qiita
はじめに GitHub の dependabot が煩わしくなってきました。 私の場合は主に package.json での依存関係でアラートがでるのですが、 dependabot alerts がでる 内容をみる 手元で依存関係をアップデートなり npm autdit で確認して個別に npm install したりで対応 package.json や package-lock.json を push といったことをやってきました。 が、先述のとおりこの一連の作業が煩わしくなってきたところ、 Renovate を導入して自動化できるという話を耳にしたので試してみようと思います。 とは言うものの、右も左もわからない状態ではなにが正しいかも分からない、ということろでまずは公式を頼りに進めます。 導入 GitHub リポジトリに Renovate を導入します。 手順はこちらのドキュメントを参
![[GitHub] Renovate の導入と設定 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bca0c398abc7c50b061bdcbe82acfaffff998208/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCR2l0SHViJTVEJTIwUmVub3ZhdGUlMjAlRTMlODElQUUlRTUlQjAlOEUlRTUlODUlQTUlRTMlODElQTglRTglQTglQUQlRTUlQUUlOUEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTlmZmViZDQ4MzVjNjU4MTRjM2RhMjM0MjA2NTE5NjUz%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrc2gtZnRociZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDNjMTJmZTZhODgxMDQ1M2UwNDljMGMxOWJhOTMxOGY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dd176aa666fb6ee0acfb890a1bf72e55f)
bcryptとbcrypt-rubyについて調べてみた - Qiita
先日『暗号技術入門』を読みました。この過程で、アプリケーション開発で使用機会の多いbcryptについて気になり、調べてみました。 本記事では、bcryptを仕事で使う際に知っておいたほうが良さそうなことをまとめます。 環境 bcryptの挙動を説明するためにbcrypt-rubyを利用しています。 記事執筆時点で最新のv3.1.16を対象としています。 bcryptとは bcryptは一方向ハッシュ関数のアルゴリズムの1つであり、(パスワードなどの)データからハッシュ値を算出します。 bcryptの特徴として、ハッシュ値から元のデータを逆算されづらくするために、ソルトとコストがあります。 一方向ハッシュ関数とソルト、コストについては後述します。 ちなみに、「パスワードをハッシュ化する」という表現をよく見かけますが、これは「ハッシュ関数を用いてパスワードからハッシュ値を得る」と同義です。また
ソルト付きハッシュのソルトはどこに保存するのが一般的か - Qiita
pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた（中略）パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。（それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。） 不正アクセスによるpictBLand、pictSQUAREの情報流出の可能性についてまとめてみた - piyolog より引用 これに関連してMD5ハッシュやソルトに関するツイート(post)を観察したところ、どうもソルトの理解が間違っている方が多いような気がしました。
【サービス復活】年25,000円でACM会員になればO'Reilly本が読み放題になる！！ - Qiita
昨年、惜しまれつつサポートが終了したACM会員特典のO'Reilly Online Learningの読み放題サブスクが復活しました！ 年間 ＄174 と以前よりはコストが掛かってしまうものの、それでも通常のサブスクよりも圧倒的に安いです(通常は年間$499です) O'Reilly Online Learning(旧Safari Books)とは O'Reilly出版の本やビデオ教材などが使い放題となるサービスです。英語の本が主ですが、最近は日本語の本もかなり充実していて、2023年8月11日現在は231冊の日本語の本が読み放題対象となっています。 人気の本ランキングではみなさんも見聞きしたことある本が上位に来ているかと思います。 新作本の一覧では今年の6月に発売された本などもラインナップに並んでいることがわかります 日本語本のラインナップはこちらから確認することができましたのでこちらを検
悪名高きスワイプ広告を解析する - Qiita
この記事の概要 ユーザーから嫌われている広告の1つに「スワイプ広告」というものがある。 誤タップをしやすいことが理由だが、あまりにもこの広告だけ誤タップするため調べたところ 実は誤タップしたように見せかけて意図的に広告先に遷移させる広告であるということがわかった。 スワイプ広告とは、左右にスワイプすると画像がついてくるタイプの広告である。 スワイプ広告とは スワイプ広告とは、主にアフィリエイトサイトで見られる広告形式の一つである。 ユーザーは指で画面上の広告を左右にスワイプすることで、広告画像を切り替えることができる。 スワイプによるインタラクティブ性を活かし、複数のメッセージやメディアを使い、魅力的な広告体験を提供することが特徴である。 なぜ悪名高いのか しかし、スワイプ広告はユーザーから嫌われている。その理由は、誤タップを誘発しやすいからである。 誤って広告をタップして画面が遷移してし
JavaScriptデザインパターン入門 - Qiita
1. はじめに JavaScriptデザインパターンは、JavaScriptを使ってプログラムを書くときによく出くわす問題を解決するためのガイドです。これらのパターンの背後にある考え方を理解することで、自分の問題に適用することができます。また、これらのパターンが自分のコードに役立つ場合を見つけることもできます。 2. モジュールパターン モジュールパターンは、JavaScriptのモジュールシステムの一部で、データを保護する方法を提供します。これは、モジュール内のプライベートなデータと動作を保護し、一方で公開APIを提供する方法です。これにより、プライベートとパブリックのアクセスレベルを持つ自己完結型のモジュールオブジェクトを作成することができます。 これは、JavaやC++のような言語でクラスにアクセス修飾子を使用するのに似ています。 JavaScriptでは、クロージャを使用してモジュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
