Google『reCAPTCHA』を突破！『2Captcha』でブラウザ操作の完全自動化に挑む - Qiita
目次 はじめに 2Captchaとは 2Captchaの使用準備 Python+Selenium+2Captchaで『reCAPTCHAv2』を突破 さいごに 参考 はじめに スクレイピングやブラウザ操作の自動化タスクにおける一番の難所は各種キャプチャの突破だと思います。そもそもキャプチャ機能はロボット操作されないために設置するものなので，それを突破しようとする時点でどうなのという気はしますが，それでもなんとかしたいと思うことがあります。そんなときの解決方法として「2Captcha」というサービスがあります。 最近このサービスを知り利用してみたところ，あまりに簡単にキャプチャ突破できたので，ここで紹介しようと思います。 ※ ご利用は自己責任でお願いします。くれぐれも悪用しないように。 2Captchaとは ロシアの会社が提供するキャプチャ機能を突破するためのサービスです。 2Captcha
Kaggleアドベントカレンダー2023の19日目の記事です． TL;DR データ分析未経験からkaggleでどんなことを学んだか 想像していたデータ分析と実業務とのGap kaggleやっていて良かったこと、kaggleでは学ばなかったこと はじめに 趣味でkaggleを始めたことをきっかけに、現在はデータ分析の仕事をしています。 Muj!rush!というアカウントでKaggleをしています。Kaggle expertです。 kaggleを始めてから3年程度経過したので(この3年間は、地球の公転が早まってんのかってくらい時間が経つのが早かったです)、これまでを振り返ることで、今後kaggleを始めてデータサイエンティストを目指すような方への参考になれば幸いです。 Kaggleと出会ったことで仕事への向き合い方や、今後のキャリアの考え方が変わったので、 僭越ながら一言だけ言わせてもらうと、
羽生善治、藤井聡太と、紡ぐ盤上の物語
藤井聡太氏が竜王位を獲得し、最年少四冠を達成した。 羽生善治氏が最年少四冠を達成した際「この記録は今後破られないだろう」と考えていた、私を含む多くの将棋ファンには時代の変遷を感じざるを得ない圧倒的な出来事である。 このあまりの出来事に、感動のような、動揺のような思いが溢れているため、ここに思いを記します。 私は30〜40年来の将棋ファンで、将棋好きが高じて一時期は詰将棋の本を出したり将棋に関する雑誌の編集を行ったりしていました。 私が将棋に魅力を感じ始めた古い時代、将棋は、武士道に似た雰囲気をまとっていました。将棋で生きていくことを決めた少年たちは先生に弟子入りし、そこで修行をします。修行は先生による直接の将棋指南や、高弟による指南や将棋研究会などです。しかし当時の「修行」にはこれ以上の意味があり、掃除炊事や規則正しい生活をして礼節を学び、人間としてより良い生活を送ることで次第に将棋も強く
世界中のニュースを検索・収集できる「News API」で情報収集アプリを作ってみた！ – Rakuten RapidAPI Blog
どうも、まさとらん（@0310lan）です！ みなさんは、普段からどのような方法で情報収集をされているでしょうか？ お気に入りのニュースサイトをいくつか訪問してみたり、ニュースフィードを読んでみたり、スマホアプリを利用するなど…、さまざまな方法があるかと思います。でも、もっと効率よく欲しい情報を収集してみたいと思ったことはないでしょうか。 さらに言えば、日本国内だけでなく世界中から情報を好きなように集められたら素敵だと思いませんか？ そこで、今回はあらゆるニュースを収集して好みの情報を横断検索できる便利なAPIを活用し、自分だけの情報収集装置を作ってみましょう！ ■どうやってニュース記事を収集するか？ いざ、世界中のニュースを集めようと思っても、主要なニュースサイトを訪問するだけで日が暮れてしまいますよね。 理想としては、以下のようなAPIが提供されていると便利だと思います。 世界中のニュ
Lambdaで動くアプリやフレームワークの事例はよく見るのですが、LambdaのCIやCDにしやすさに主眼をおいた紹介はあんまり見ないので現時点での自分のベストプラクティスのメモです tl;dr; このエントリで書いていること Lambdaをデプロイするのに肝になること デプロイしやすさに着眼したフレームワーク紹介 論外 コンソールからアップロードする できなくはないがかなり厳しい Terraform Apex 8/12 17:20追記 実用レベル Serverless Framework AWS SAM native extension問題と戦う Amazon LinuxのEC2インスタンス内でビルドする Amazon Linux互換のDockerイメージを使う Serverless Frameworkのプラグインを使う ライブラリをインストールするジョブとデプロイするジョブを分ける 【
株式会社ゆめみサーバサイドコーディング試験模試(2023年度版)の回答例とフィードバック例 - Qiita
はじめに 株式会社ゆめみでは、採用時にコーディング試験を課しています。 2023年5月中旬より、数年間内容を更新せずに利用してきたこのコーディング試験の内容を刷新、合わせて模試も新しいものにすることとしました。（※まずは2025年度新卒採用から変更しますが、順次展開する予定です。） この記事では、2023年度版のサーバサイドコーディング試験の模試の内容、およびそれに回答があった場合にゆめみがどういう観点でどういうレビューを実施するかをまるっと全部解説します。 過去のコーディング試験の目的とレビュー観点はこちらを御覧ください。 刷新した理由 5年以上同じ問題を利用してきて、準備されたテストケースの通過率がほとんどの人が90%以上となってしまったこと。 応募者のレベルが上ってきたことに合わせて、より難易度を上げないと差別化が難しくなってきたこと。 【New!!】本試験もChatGPTに回答でき
はじめに サマリー 記憶に対する自信過剰 対策 チームや組織で失敗を防ぐには？ 1. 読みやすいコードを書くためのコストを下げる 2. 読みやすいコードを書くことを（ゆるく）強制する まとめ 参考文献 ※三浦は退職していますが、本人の同意を得て、掲載を継続しています。 はじめに こんにちは。パーソルキャリア株式会社でデータアナリストとして働いている三浦です。 私はデータアナリストとしてこの会社で働いておりますが、それと同時に行動経済学の研究もしています。 行動経済学は端的に言えばより「人間くさい」仮定をとりいれて経済学的な分析を行う分野です。 例えば、先延ばしをするとか、楽観的な予想をするとか、情報を無視するとか、人の目を気にするとか、色々です。 修士から数えるとプログラミングは 9 年ぐらい行ってきました。 その過程で、様々な失敗もしてきました。 中には、誰もがしたことのある失敗もあるか
GPT-3を使って根拠付きで正確に質問応答してくれるシステムを作ってみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受け答え自体は人が書いていた文章と遜色なく、文章の自動生成もここまで来たか。。という感じでした。 そんなChatGPTの特徴の一つとして、回答には時々嘘が含まれるというものがあります。 ChatGPT自体は知識を持っているわけではないので、学習データにないことなどはそれっぽいけどでたらめな回答を返してしまいます。 ただし、最近追加されたBingのGPTでは、ChatGPTよりもはるかに正確な回答が返ってくるように感じます。 画面を見ると回答の根拠となっている詳細情報が出ています。 ここから推測する
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます GitHubの最高経営責任者（CEO）は、奴隷制度に関係する用語を不必要に使用するのを避けるために、「マスター」という用語を「メイン」などの中立的な用語に変更する取り組みを進めていることを明らかにした。 既に、GitHub以外にも多くのIT企業やオープンソースプロジェクトが、黒人コミュニティーが不快に感じる可能性がある用語をなくす活動に対して支持を表明している。 これには、「マスター」や「スレーブ」を「メイン、デフォルト、プライマリー」や「セカンダリー」に変更することだけでなく、「ブラックリスト」や「ホワイトリスト」を「拒否リスト」や「許可リスト」に変更することなども含まれる。 ITコミュニティーでは、全米で巻き起こっている「ブラックラ
はじめに バックエンドエンジニアは、プログラミングの中で特にイメージがわきにくい分野である。簡単に言えば、バックエンドエンジニアはユーザから見えない部分にあるシステムである。(例えば、ユーザ認証やデータベース設計・操作・運用などが例として挙げられる) 例えば、ECサイトを運用する際に、ユーザから見えるUIだけを作っても作動しない。バックエンドになるシステムの構築も必要なのだ。 今回はバックエンド開発を理解する上で必要な10の知識を徹底解説する。その中で、個人の見解に過ぎないが初心者にオススメのバックエンドのフレームワークを3選紹介する。あくまで一個人の見解に過ぎないが、今回の記事を通してバックエンドの学習方法またはその魅力を十分に理解していただければ非常に幸いである。 本題に入る前に、本記事における「バックエンド」はあくまで認証やデータベースなどシステムやソフトウェアの裏側で動作しているも
マイクロソフト、Webアプリのテスト自動化サービス「Microsoft Playwright Testing」プレビュー公開。クロスブラウザ／クロスプラットフォームのテストを並列実行
マイクロソフトは、Webアプリケーションのテスト自動化ライブラリ「Playwright」を用いた、Microsoft Azure上のテスト自動化サービス「Microsoft Playwright Testing」のプレビュー公開を発表しました。 Microsoft Playwright Testingに使われている「Playwright」は、マイクロソフトが中心となってオープンソースで開発しているWebアプリケーション向けテスト自動化ライブラリです。対応環境が幅広く柔軟で、精度の高いテストを特長としています。 具体的には、Chrome、Edge、Firefox、Safariの主要なWebブラウザのすべてを対象にしたテスト自動化が可能で、ヘッドレス、ヘッドありのいずれにも対応。モバイルエミュレーションを用いたAndroid版Google ChromeとMobile Safariのテストも、実
この記事では、コーディング作業で迷ったときに確認したいコードスニペットを集めた便利サイトをまとめて紹介しています。 ウェブ開発において、フロントエンドやデベロッパーが悩んでしまう問題の解決方法を知ることができるだけでなく、世界中の優秀なプログラマーの作成したコードを確認、実際に動かしながら学ぶことができます。 ちなみに、2020年に人気だったコードスニペットランキングがこちら。 2020年にCodepenで話題！コピペ可なHTMLスニペット ベスト100発表 どう書くんだっけ？ を一発解決！コードスニペットを集めたオススメWebサイトまとめ CoddMyUI Javascript、HTML、CSS、jQueryプラグイン、ウェブ開発にできるデザインスニペット1200個以上が揃ったサイト。ボタンやホバーリンク、テキストアニメーションなど細かくカテゴリ分けされているので、必要なパーツごとのコー
Pythonでお仕事する前提で、現在のところで自分が最適と考えるチーム開発のための環境整備についてまとめてみました。今までももろもろ散発的に記事に書いたりしていたのですが、Poetryで環境を作ってみたのと、過去のもろもろの情報がまとまったものが個人的にも欲しかったのでまとめました。前提としては次の通りです。 パッケージ管理や開発環境整備でPoetryを使う 今時はコードフォーマッター、静的チェックは当たり前ですよね？ コマンドでテスト実行、コードチェックとか実行とかができる（CI/CD等を考えて） VSCodeでもコマンドで実行しているのと同じコードチェックが可能(ここコンフリクトすると困る） デプロイはDockerイメージ コンテナのデプロイ環境でコンテナに割り当てられたCPU能力を比較的引き出せて、スケールさせたら線形にパフォーマンスアップできるようなasyncioを前提とした環境構
勤怠処理の自動化は、以下の仕組みによって実現しています。 在宅勤務と出社では勤怠処理が異なるため、基本的にフルリモート前提で在宅勤務の場合に処理を行うよう設定しています。 cronによってシェルスクリプトを起動 シェルスクリプトで在宅勤務の判定を行う 在宅勤務の場合、Pythonのプログラムを起動 Seleniumで勤怠入力 実装 Pythonのプログラムは、仮想環境を作成して実行しています。 仮想環境の作成及びSeleniumの導入 Pythonの仮想環境はvenvを使用して作成します。 仮想環境を作成するためには、以下のコマンドを実行します。 ＜Dir＞には任意のディレクトリ名を指定します。 $ python3 -m venv ＜Dir＞ $ source ＜Dir＞/bin/activate 仮想環境構築後、seleniumをインストールします。 仮想環境が有効な場合はプロンプトの表
Python Design Patterns¶ Welcome! I’m Brandon Rhodes (website, Twitter) and this is my evolving guide to design patterns in the Python programming language. This site is letting me collect my ideas about Python and Design Patterns all in one place. My hope is that these pages make the patterns more discoverable — easier to find in web searches, and easier to read — than when they were scattered acr
連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
ラズパイでディープラーニングと筋電位センサを用いた筋電義手（プロトタイプ）作りました - もう疲れたので電子工作します
最近、以前から興味のあった筋電位センサを触っています。 また、ディープラーニングの勉強も始めたのですが、 ディープラーニングの仕組みを理解する中で「ディープラーニングって筋電位センサに応用できるんじゃ？」と閃きました。 そこで色々試してみたところ、簡単な動作推定を行うことに成功したので、まとめてみます。 タイトルにある通り、ラズパイを使ってます。 実際の動作 筋電位センサ（自作） 筋電位センサ（市販：MyoWare） 回路 ディープラーニング入門 ディープラーニング（データ解析） ディープラーニング（データ取得） ディープラーニング（学習） ディープラーニング（推定） システムまとめ 感想 実際の動作 実際に動いているときの動画です。 手を握った時、反った時、屈曲した時の３パターン（厳密には無動作時を併せて４パターン）における筋電位パターンをディープラーニングを用いて分類し、分類結果に応じ
はじめまして、ますみです！ 先日のOpenAI社の初めてのカンファレンスである「OpenAI Dev Day 2023」で発表されたGPT Builderがついに利用可能になりました！ 上記の発表会にて、「自分で作ったGPTを公開して、たくさん他の人に利用されると、その利用量に応じて、収益がもらえる」という話は非常に話題を呼びました。 そこで、おそらく多くの方が「自分のGPTを作って、収益化したい！」「どうやって自分のGPTを作るのか知りたい！」と気になっている方が多いと思います！ そこで、この記事では、自分のGPTを作るためのツールである「GPT Builderの使い方（始め方）」を徹底解説します！ もしも自社のGPT開発の外注や相談をしたい方は、記事末尾のGoogleフォームよりお問い合わせいただければ、お力になります！ また、「ChatGPT」や「OpenAI Dev Day」につい
秋のブログ週間の9本目のエントリーになります。この企画もこんなに書く人が出てくるように育っていいですね。 「中間層を増やして柔軟性を高めるのがソフトウェアの歴史」 これは大学時代に2つ上の先輩が言っていた言葉です。例えばマシン語を直接書くのではなく、アセンブラで書けば、変換（コンパイル）の手間はかかりますが、他のCPUへの移植はしやすくなります。高級アセンブラと名高いC言語を使えばさらに移植性は上がります。C言語で書かれたVMを使う言語、例えばJava、Python、Rubyなんかはさらに移植性は上がります。 ストレージもそうです。最終的にストレージはビット列を保存するものですが、それにOSのファイルシステムというレイヤーがあり、そこにスキーマで管理されたデータを入れるDBMSが乗っかり、SQLなどの問い合わせ言語でデータ取得できるようにします。DBMSを挟むことで、レプリケーションでバッ
はじめに Pythonは世界的にも人気のあるプログラミング言語ですが、実行速度については課題があります。Pythonの実行速度を高速化したい、という要求は根強く、これまでにも様々な処理系が開発されています。 この記事はPythonで書かれたコードを35000倍に高速化するにはどのような方法があるかについてまとめたものです。 この記事は： Pythonで書かれたアルゴリズムを35000倍に高速化する 事前コンパイル、並列化、SIMD演算を駆使する 最終的に44000倍まで高速化できた なぜ35000倍？ 2023年5月2日にModular社よりPythonの使いやすさとC言語の性能を兼ね備える新しいプログラミング言語、Mojoの開発について発表がありました。低レベルのハードウェア向けにコンパイル可能なこと、文法的にはPythonを踏襲しており、既存のPythonライブラリを利用可能であること
この記事は Retty Advent Calendar 2019 の20日目です。 昨日は、平野さんの『Retty データ分析チーム - 立ち上げ2年目の振り返り 〜データプラットフォーム/データ民主化/統計モデル〜』でした。 はじめまして。20卒エンジニアとして現在 Retty でインターン中の幸田です。 とりあえず参加登録して何を書こうか迷いましたが、通っている大学の研究室で運用している入退出管理システム(電子錠)を自作したので、その話をしようと思います。 補足 はてなブックマークなどでたくさんの意見をいただきました。ありがとうございます。 一部の方からご指摘のあった通り、「夜間に室内から出られなくなった」という問題が発生した時の Slack 上でのリアクションは不適切であった為、削除させていただきました。 こういった内容を、ブログで取り上げたこともふさわしくないことだったと反省してお
会社員辞めて入学した大学院修士課程がそろそろ終わろうとしているのでまとめておく - seri::diary
これは何か 筆者について なぜ大学院に入ったのか 日本の大学院という場所について 大学院での研究内容について 自分の発表実績 大学院生活について おわりに これは何か 2018年3月に仕事を辞めて，2018年4月に筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻博士前期課程（修士課程）に入学した．それから早くも２年弱が経ち，もうすぐ修了なので大学院生活を忘れないうちにまとめておくだけのエントリである． 修了自体は2020年3月だが，あとは修論を仕上げて提出すれば終了なので研究自体はもう実質終わっている状態である*1． 筆者について 2009年3月に岩手大学農学部を卒業．新卒で上流系SIerに就職して2年半ぐらい勤務した後に，コード書きたくてwebアプリエンジニアに転向．その後，6年半ぐらいweb受託，webサービス運営企業などでソフトウェアエンジニアとして勤務．2018年3月
こんにちは。nino_piraです。 先日、強化学習の資料の引用ツイートをしましたら、それなりに伸びたので、「もしかして、みんな強化学習に興味ある！？」と思い自分が読んだ&好きな資料をまとめてます。 また、ブログを書いているうちに「何を持って基礎とするか」などカテゴライズも自分の中でも行方不明になっていましたので、色々思うところはあると思いますが、暖かい目で読んで頂ければ幸いです。。。。 あくまでも私の経験 強化学習基礎系 [Qiita] DQN（Deep Q Network）を理解したので、Gopherくんの図を使って説明 [書籍]これからの強化学習 [pdf] (小南さん作成) 強化学習入門 [pdf] (通称) Sutton本第2版 [書籍] 機械学習スタートアップシリーズ Pythonで学ぶ強化学習 [ブログ]強化学習 もう少し強化学習を詳しく知りたい系の人へ [書籍]速習 強化学
Visual Studio Code時代の到来
この記事は、著者の許可を得て配信しています。 https://blog.robenkleene.com/2020/09/21/the-era-of-visual-studio-code// 使用するツールを選ぶときに私が最も重視しているのは寿命です。ソフトウェアの学習は投資であり、後で別のアプリケーションに切り替えなければならない場合は、今まで投資してきた資産の一部を失うと言っても過言ではありません。 ほとんどのソフトウェアのカテゴリにおいて、寿命の長いソフトウェアを選ぶのは簡単で、最も人気のあるツールは、通常、最も長く続いているものです。Microsoft ExcelとAdobe Illustrator は両方とも1987年にリリースされましたが、今でもそれぞれのカテゴリで最も人気のあるソフトウェアであり続けています。 一方、テキストエディタは、最も人気のあるオプションが一番古いものでは
これ1つでどんなドキュメントも作れる！高度な自動化も簡単に実現可能な「Coda」を使ってみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、あらゆるドキュメントが作れて自分の好きなようにカスタマイズも可能なWebサービスをご紹介します。 簡単に言ってしまうと、Word・Excel・IFTTT・Trelloが融合したようなドキュメント作成サービスになっており、非エンジニアの方でも簡単に高度なカスタマイズができます。 また、知人を招待して一緒にドキュメントを共有・編集したり、パブリックに公開してブログのように使ったり、プライベートで自分専用の秘密メモを作ったり、さまざまなことができるのでご興味ある方はぜひ参考にしてみてください。 【 Coda 】 ■「Coda」の使い方 それでは、実際に「Coda」をどのように使っていけばよいのかを見ていきましょう！ まずはサイトのトップページにある【Sign Up】ボタンをクリックして無料のユーザー登録を済ませておきましょう。 Googleボ
筆者は「精度保証付き数値計算」という分野で研究をしている大学院生です． 「数値計算は分かるけど」「精度保証付き数値計算？ナニソレ？」という方がほとんどだと思います． 「精度保証付き数値計算」の研究自体は30年ほど前から盛んに行われていますが，世間に浸透しているとは言えない状況です． 自分の研究分野が世間に知られていないのは何か少し寂しい感じがするので「精度保証付き数値計算」を少しでも広めるべく記事を投稿することにしました．(シリーズ化するかも知れません) 本日は「精度保証付き数値計算」というワードだけでも覚えていただければ幸いです． 今回は"数値計算に潜むとんでもないリスク"に関してカジュアルにお話します． そして筆者の研究分野である「精度保証付き数値計算」の必要性を知ってもらえればなと思います． この記事を読み終える頃には計算機を信頼できなくなっているかも知れません(笑) ※不安を煽るこ
この記事は、 NTT Communications Advent Calendar 2022 7日目の記事です。 はじめに こんにちは、イノベーションセンター所属の志村と申します。 「Metemcyber」プロジェクトで脅威インテリジェンスに関する内製開発や、「NA4Sec」プロジェクトで攻撃インフラの解明・撲滅に関する技術開発を担当しています。 今回は「開発に使える脆弱性スキャンツール」をテーマに、GitHub Dependabot, Trivy, Grypeといったツールの紹介をさせていただきます。 脆弱性の原因とSCAによるスキャン 現在のソフトウェア開発は、多くのOSSを含む外部のソフトウェアに依存しています。Python、Go、npm など多くの言語は、様々なソフトウェアをパッケージとして利用できるエコシステムを提供しており、この仕組みを利用してOSSなどのコンポーネントをソフト
『わけがわかる機械学習』中谷秀洋（著）の書評 - StatModeling Memorandum
僕が中谷さんと初めて会ったのはみどりぼんの読書会で、初めて話したのは岩波DSの打ち合わせだったと思います。今でもそんなに親しくはないと思います。しかし、中谷さんのブログは10年ぐらい前から読んでいました。自然言語処理を中心とする機械学習に関連する理論（の解釈）・論文レビュー・数値実験の記事が多く、他のブログでは見られない独特かつ理解の深い内容で、毎日勉強させてもらっていました。今でも何度も読むべきブログです。その中谷さんが機械学習についてまるごと一冊書いたものが本書になります。もともと買うつもりでしたが、献本いただいたので簡単にご紹介いたします。 わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する 作者: 中谷秀洋出版社/メーカー: 技術評論社発売日: 2019/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見る 目次は以下になります。 0章： はじめ
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
0. Abstract 巨大地震（M>8のもの）は多くの場合、月による潮汐応力による地球の変形が、発生のトリガとなっているらしい 過去に発生した地震を、統計的に扱って潮汐との関連を議論した論文もいくつかあった しかし、当然といえば当然なのだが、Tidal Phase Angleについて議論していても、Lunar AgeやLunar Phaseを明確に示したものは見つからなかった Tidal Phase Angleは、Lunar Ageとほぼ同じような振るまいとなるので、当然といえば当然か 一般人が自分でTidal Phase Angleを計算できるとは到底思えない しかし、月と太陽の位置なら自分で見ればわかる なので、Lunar AgeとEarthquakeの発生状況を可視化した 1. Introduction この記事は、過去の地震が統計的にどのような 月の位置と位相の時に発生したのか
こんにちは、次郎花です☆ タイトル長い（笑）...ぱ、パクリなんかじゃないですよっ！ はい。 というわけで、今回はわたくしのお仕事「データアナリスト」についてご紹介したいと思います。データアナリスト／データサイエンティスト（以下、DA/DS）のブームもそろそろバブルがはじける頃かと想像していますが（もうはじけてる？）、いまだに一定数の方が憧れを持って、あるいは異世界転生を狙ってジョブチェンジしようとしているこれらの職業。最近では、実際にDA/DSである方の現場の声なども散見されるようになり、どのような職業なのか実態が少しずつ広まってきたようにも思います。ですので、今さら感はありますが、私もご多分に漏れず知見を共有できたらという思いでこの記事を発信しようと考えました。 次郎花って？まずは、次郎花って誰やねん、というところからですね。わたくし次郎花はとある外資系企業のCEO直轄の経営戦略部門で
ゼロからはじめるPython(62) PythonでExcelを自動操縦しよう - ExcelファイルをPDFに変換
今回はPythonを利用して、Excelを自動操縦する方法を紹介する。PythonからExcelを自動操縦できれば、事務作業の効率化に大いに役立つだろう。その一例としてExcelファイルをPDFに変換するプログラムを紹介する。 PythonでExcelを操作してPDFを出力した VBAよりもPythonで自動化しよう ところで、マルチプラットフォーム対応のプログラミング言語Pythonだが今回はWindows専用だ。というのも、今回はWindowsに備わっているCOM(ActiveX)機能を使うからだ。もともとExcelには処理を自動化するのためにVBAというマクロ機能が備わっているが、外部のプログラミング言語から操作できるよう考慮されている。そのため、このCOM機能を利用することでPythonからもExcelを自動操縦できるようになっている。VBAよりも柔軟で先進的なライブラリを多数備え
「もしも〜だったら」を確認するパスワード保護Excelファイル (俗に言う暗号化Excelファイル) のパスワードをcrackする難易度ってどれくらいだろうか？ と、ある事案 (参考リンク1) からの連想で急に確認したくなった。もちろん、事案のプレスリリースで述べられている「暗号化処理」が、Excelの機能を使ってExcelファイルをファイルレベルで保護する手法 (参考リンク2) なのか、それ以外の別の手法なのかは現時点で明らかになっていないので、これは「もしも前者だったら」の一種の私的な実証実験である。 実験の際には自分に条件を課し、手元のUbuntu環境にはもちろん純正のMicrosoft Excelは無いので、一連の内容をコマンドライン (CLI) のみでやってみようと考えた。 1. Secure Spreadsheetでパスワード保護Excelファイルを作成参考リンク3によると、次
はじめに Web技術は日進月歩で新しい技術が増えているが、実務でそれらすべてを触る機会はない。そこで、今回の記事では2023年下半期に赤の他人に勧めたいWeb技術を個人の独断と偏見で解説する。 対象者 これから何をすればいいのかわからないプログラマー 新しい技術に興味があるひと スキルセットを拡大したいひと タイトルでなんとなく気になったひと フレームワーク FastAPI FastAPIはPythonでAPIを開発するために開発された軽量のWebフレームワークだ。FastAPIでは、主に以下の特徴がある。 Node.jsやGo言語に匹敵する高速なアプリケーションを開発できる 構造が簡単(Flaskの影響を受けている) Pythonに型定義を含められる 環境構築がコマンド一つで終了する 非同期処理を簡単に実装できる Pythonで開発されているので、機械学習との相性が抜群 RESTとGra
シェル・ワンライナー 160 本ノックを完走した - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 4 日目の記事です。 こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦です。 普段は OpenStack の開発・運用をしています。 みなさんはシェル芸と聞いてどのようなコマンドを想像しますか？ 私は以下のような怖いコマンド 1 を想像していました # 無限に process を fork するコマンドです # 実行するときは自己責任でお願いします :(){ :|:& };: ですがシェル芸はもっと親しみやすくて 2 実用的なものです。 私はシェル芸のシェの字もできないくらいシェル芸初心者だったのですが、 1日1問、半年以内に習得 シェル・ワンライナー160本ノック という本を完走してシェル芸チョットワカルようになったので、本の宣伝をしつつ完走した感想を紹介しようと思います。 1日1問、
Ubie では、創業当初から Server-Side Kotlin を推進してきましたが、全社的な技術選定を再度行い、これからは Go と Node.js を中心とすることにしました。 本記事では、Go と Node.js を選定した理由や、それを普及させる取り組み、そして選定の流れを紹介します。 経緯 これまで Ubie では技術スタックを発散させてきていて、現在は Kotlin、Go、Node.js、Ruby、Python のバックエンドサービスが動いています。以前は新規開発が多く、それぞれに携わるメンバーが技術選定をすることにより、最大瞬間風速を出せるなどのメリットがありました。しかし、現在では弊害が目立ってきています。 まず、事業成長に伴って運用の重要性が増しています。人材が潤沢とは言えないスタートアップにおいて、様々な技術スタックを安定運用することはコストが高すぎると感じています
はじめに この記事はNuco Advent Calendar 2022の5日目の記事です 対象読者 Pythonが注目されている理由のひとつは機械学習プロジェクトの主要な開発言語であるからといってもよいでしょう。多くの企業の業務システムのAIの開発言語はPythonです。そんなPythonの学習を始めてある程度文法の理解が進んできて、機械学習に触れてみたい方を対象にしています。 Pythonの基本文法を理解している 機械学習を始めてみたい チュートリアル概要 Pythonは長年機械学習で使用されているので、ライブラリも豊富にあります。本記事では機械学習用ライブラリのscikit-learn(サイキット・ラーン)を使用して教師あり学習を行い住宅価格を予測してみます。 何ができるようになるか 機械学習で使われる基本的な用語を理解し、学習の全体像をつかめるようになります。 機械学習の目的 機械学
第0章. なぜ Scala を使うのか？ はじめに 本稿は、John C. Mitchell 氏らによる Concepts in Programming Languages を基に自身の見解を交え、私がなぜ Scala を好んで使うのかを論じた記事になります。 プログラミング言語の歴史 本題に入る前に、プログラミング言語の歴史について紹介します。 年代 言語・イノベーション 1950 Fortran and Cobol 1960 Lisp and Algol 1970 Abstract data types (Simula, C, SQL) 1980 Objects (Smalltalk, C++) 1990 Java, JavaScript, Python, Ruby これは、年代ごとに開発された言語およびイノベーションを表にまとめたものになります。ただし、この表には欠けている事柄があり
お近づきになりたい人向けシリーズです。 いろいろなトピックを詰め込みましたが、「これら全部を知らないといけない」のようなつもりではなく、いろいろなことを知るきっかけになったらいいなという気持ちなので、あまり身構えずにちょっとずつ読んでもらえたらうれしい気がします。 まえがき 予備知識 規格 用語 精度という語について 記法 表現について 有限値の表現について エンコードについて 丸めについて よくある誤差や勘違いの例 0.1 = 1 / 10? 0.1 + 0.2 = 0.3? 整数の誤差 Rump’s Example 基本的な誤差評価 用語に関して 実数の丸め 有理数の丸め 基本演算の丸め 差について 複数回の演算 補題たち 桁落ちについて Re: Rump’s example 融合積和 数学関数に関する式の計算 誤差の削減に関して 総和計算 数学関数の精度について 比較演算について 雑
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita
学校や企業で教材として使える「Python」入門書のPowerPoint/PDFファイルが無料公開中【やじうまWatch】
AWS Lambda CI/CD俺的ベストプラクティス - くりにっき
プログラマーのための行動経済学 (自信過剰とリーダブルコード) - techtekt
ギットハブ、「マスター」の用語を変更--BLM運動がきっかけに
バックエンド開発の基本を理解するために必要な10の知識 2022年版
どう書くんだっけ？ を一発解決！コピペ用コードスニペットを集めたオススメWebサイトまとめ
サーバーアプリ開発環境(Python／FastAPI) | フューチャー技術ブログ
ルーチンワークはPythonにやらせよう Seleniumで勤怠処理を自動化する - Qiita
Python Design Patterns
Pythonでニューラルネットワークを書いてみよう
【超入門】GPT Builderの使い方！【GPTs / ChatGPT】
データベースと向き合う決意 | フューチャー技術ブログ
Pythonコードを35000倍に高速化したい
研究室を IoT 化したら守衛さんを監禁してしまった話 - Qiita
自分が読んだ強化学習の資料達 - 下町データサイエンティストの日常
数値計算の研究をしている学生が"数値計算に潜むとんでもないリスク"について話してみる - Qiita
開発に使える脆弱性スキャンツール - NTT Communications Engineers' Blog
巨大地震のきっかけは月なのか？->月っぽい - Qiita
もし外資系企業の女子マネージャーが経営戦略部門の「データアナリスト」を務めたら｜次郎花｜note
暗号化Excelファイルのパスワードを「Amagasaki2022」とした場合の解析(crack)実験
2023年下半期に他人に勧めたいWeb技術まとめ
Ubie は Go と Node.js の会社になります
世界一わかりやすい機械学習プログラミングチュートリアル - Qiita
プログラミング言語論入門 - riswu’s blog
浮動小数点型の算術とお近づきになりたい人向けの記事 - えびちゃんの日記