ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
SNSのアカウントを見つけてくれるツール「Blackbird」のレビュースライドです。Read less
SNSのアカウントを見つけてくれるツール「Blackbird」のレビュースライドです。Read less
ノーン on Twitter: "ヤバいサイト見つけちまったかもしれん。 52個の主要プログラミング言語について、練習問題がそれぞれ100個くらいあってCLIまで整備されてる。で無料。 https://t.co/eFdUnytK9B"
ヤバいサイト見つけちまったかもしれん。 52個の主要プログラミング言語について、練習問題がそれぞれ100個くらいあってCLIまで整備されてる。で無料。 https://t.co/eFdUnytK9B
データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。 データ可視化とは？その重要性や手法、よくある課題と解決策を解説 データ分析における視覚化（ビジュアライゼーション）系のおすすめの本17選1 S
データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」
naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41
PHPとPythonとRubyの連想配列のデータ構造が同時期に同じ方針で性能改善されてた話 - hnwの日記
PHPとPythonとRubyの連想配列のデータ構造がそれぞれ4〜5年ほど前に見直され、ベンチマークテストによっては倍以上速くなったということがありました。具体的には以下のバージョンで実装の大変更がありました。 PHP 7.0.0 HashTable高速化 (2015/11) Python 3.6.0 dictobject高速化 (2016/12) Ruby 2.4.0 st_table高速化 (2016/12) これらのデータ構造はユーザーの利用する連想配列だけでなく言語のコアでも利用されているので、言語全体の性能改善に貢献しています1。 スクリプト言語3つが同時期に同じデータ構造の改善に取り組んだだけでも面白い現象ですが、さらに面白いことに各実装の方針は非常に似ています。独立に改善に取り組んだのに同じ結論に至ったとすれば興味深い偶然と言えるでしょう2。 本稿では3言語の連想配列の従来実
ここのところちょっと時間に余裕があり、暇を見つけてはQiitaの質問に答えるという取り組みをやっています。以前StackOverflowでも同様の取り組みをちょっとだけしてたことがあります。 9日間で35個の質問に回答してみて、正直に思うのは「質問の質が悪すぎるなー」ということです。ただ、どう質が悪いのか上手く言語化できず悶々としていました。 そんな折、今朝googleのおススメ記事に飛び込んできたQuaraのこちらの回答を読んで、「これこれ！こういうことよ！」という気持ちになったため、これから質問する人に向けてこの内容を少し嚙み砕いてまとめてみます。 ベテランはどうデバッグをしてるのか （自分をベテランと言っていいのかはさておき）日頃からコードを書いていると、デバッグには、その時使っている言語やフレームワークによらず、ある程度の行動パターンがあることに気付いてきます。 デバッグには難しい
ボーカルや複数の楽器で構成された音楽データを、機械学習を用いてそれぞれの音に分類したファイルとして出力する「spleeter」がGitHubで公開されています。ボーカルの声や伴奏の部分だけを抽出できるとのことで、実際に使ってみました。 deezer/spleeter: Deezer source separation library including pretrained models. https://github.com/deezer/spleeter 以下のURLにアクセスすれば、spleeterでサンプルの楽曲を分離することができます。 spleeter.ipynb - Colaboratory https://colab.research.google.com/github/deezer/spleeter/blob/master/spleeter.ipynb#scrollTo=
本教材は、個人的な用途で自由に使用できるだけでなく、「Python ゼロからはじめるプログラミング」を大学や専門学校での授業、または企業などでの研修の教科書として採用された教員・指導員が、授業などで活用することもできます（授業の進め方などに応じて改変いただいて結構です）。 ただし、民間企業が商用、ビジネス目的で利用する際には別途許諾が必要ですので、著者までご連絡ください。
はじめに# データビジュアライゼーションとは，数値や文章などのデータに基づいた情報を，人間が理解しやすい形に視覚化する技術を指します． このサイトは，文化庁のメディア芸術データベース・ラボ（MADB Lab）で公開されている四大少年誌（ 週刊少年サンデー， 週刊少年ジャンプ， 週刊少年チャンピオン， 週刊少年マガジン ）のデータを用いて，データビジュアライゼーションの学習を手助けすることを目指しています． データビジュアライゼーション（に限らずデータ分析全般）の学習において重要なのは，分析対象のデータに興味を持てるかどうかです． 本書では約47年の四大少年誌のマンガ作品データを採用しているため，モチベーションを保ちつつ学習を進めることが可能です．
オブジェクト指向がわからないあなたへ
どうも、都内の某企業に勤めるフルスタックエンジニアです。この記事では、ITの非専門家に向けて、オブジェクト指向の解説をしたいと思います。 小学生のプログラミング教育が開始されたり、AIやIoTなどの技術が身近になった今日、オブジェクト指向を理解しておくことは極めて重要です。なぜならば、オブジェクト指向はITエンジニアとっての「共通言語」であって、今やあらゆるソフトウェア技術がオブジェクト指向の上に成り立っているからです。したがって、オブジェクト指向を理解すれば、ITのすべての分野の基礎が身についたことになります。難しい概念がいくつか出てきますが、分かりやすく解説するので頑張ってついてきて下さい！ オブジェクト指向とはまず、オブジェクト指向とは何かを解説します。オブジェクト(object)とは、「モノ」のことです。言い換えれば「モノ指向」です。つまり、コンピュータのようなバーチャルな対象では
↓新作もよろしくやで！ ジェネリクスをもう少しだけ使いこなす。 コロナウィルス対策でリモートワークしてみたらReduxやVuexのメリットが分かった 36歳ザコーダーの休日 ワイ「何やこのコード、全然動かへんやん」 ワイ「怖いな～怖いな～…なんか嫌だなあ～」 よめ太郎「（何で自分が書いたコード見て稲川淳二みたいに怯えとんねん・・・）」 よめ太郎「（そんな鳥肌立つようなクソコード書いてんのかいな・・・）」 娘（4歳）「ねぇ、パパ」 ワイ「なんや、娘ちゃん」 娘「ちょっと、作ってほしい関数があるの」 ワイ「またかいな」 ワイ「娘ちゃんはホンマに関数が大好きやなぁ」 ワイ「しゃあない、パパはプログラミング苦手やけど、頑張って作ったるわ」 娘「ありがとう、パパ」 今回の要件 ワイ「ほんで、今回はどんな関数を作ればええんや？」 娘「えっとね」 娘「'あ'という文字列を渡したら」 娘「['あ', 'あ
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
この時期だからこそ自学しよう 海外って太っ腹な組織が多いのか、無料で読める専門書がすごく多い。 これ系のまとめ記事は他にもありますが、 翻訳済の日本の本と、原著を並べて表示していきたいと思います。 特にデータサイエンス分野に限って紹介。 お高いあの名著も実は原著なら無料かも？ (2020年5月時点) 続編、データサイエンスの名大学講座 を書きました (2020年8月) 1冊目 邦題 : 統計的学習の基礎(1万5千円) 俗に言う「カステラ本」です。 日本では2014年に翻訳されましたが、原著は2001年と今から約20年前に出版されました。 内容からしても、当時は体系的に理論学習ができる刷新的な一冊だったのでしょう。 まさに「アルゴリズム・理論の辞書」。 年代的に古い感じはしますが、基礎はいつだって大切です。 数字に強くないと絶対読み切れない。。。 原著 : The Elements of S
【書評】『頭がいい人のChatGPT&CoPpilotの使い方』 の『プロンプト』事例集が秀逸！（神田敏晶） - エキスパート - Yahoo!ニュース
KNNポール神田です。 『頭がいい人のChatGPT＆CoPilotの使い方』橋本大也 著を読んだ。 これは、ChatGPTの使い方がよくわからなかった人への再入門するのにピッタリな書籍だと思う。 この書のとてもユニークな点を述べるとするならば、著者の橋本大也氏の、『ChatGPT』や『Copilot』に対する、使い勝手の良い方法が、具体的な『プロンプト』として数多くの事例を散りばめられている点に尽きる。 そして、それらが、事例を元に、仕事で必要な調べ物を『調査』させ、『考え』させ、『要約』させ、『分類・整理』させ、『シミュレーション』させることができることをステップバイステップで進めている。最終的に多岐にわたるプレゼンの場での『グラフ』や『ダイアグラム』『映像』による表現にまで網羅している。 ■この本の『プロンプト』を『写経』するだけで、ビジネスパーソンのAIニーズに対応なによりも、ビジ
東京大学の講義「AWSによるクラウド入門」をTypeScriptで写経した - dackdive's blog
AWSによるクラウド入門 少し前に話題になっていた東京大学の講義資料をやってみたので、内容、感想などメモ。 講義で使用するソースコードはすべて Python で書かれていますが、自分が実際に使うとしたら TypeScript で書くだろうなと思ったので TypeScript で写経しました。 が、CDK のコードはすべて TypeScript で書けましたが、Lambda 関数や動作確認用のスクリプトなどを全て置き換えるところまでは至らず、Python のままです。 写経したリポジトリは https://github.com/zaki-yama-labs/intro-aws に。 学べること 本講義資料には全部で5つのハンズオンがあります。 各ハンズオンで利用する AWS のサービスについては以下の通り。 全般 AWS CDK: Cloud Development Kit CloudFor
日経 xTECH内に人工知能（AI）専門チャネル「ビジネスAI」を2019年10月に立ち上げたのを機に、知識共有サイト「Qiita」上でAI／機械学習の記事を同年12月に募集したところ、49本もの記事が集まった。投稿いただいた皆さん、ありがとうございました。 今回、ビジネスAIの編集担当として私が設定した「お題」は以下の3つ。各テーマについて日経 xTECHがQiitaアドベントカレンダーのスポンサーとなり、2019年12月1日～25日まで1日1本ずつ記事を募集した。 AI道場「Kaggle」への道 機械学習をどう学んだか 機械学習ツールを掘り下げる この結果、機械学習を独習するお薦めの書籍やサービス、Kaggleなどの機械学習コンペに入門する方法など、AIや機械学習に興味があるエンジニアにとって大いに参考になる記事が集まった。投稿者の属性についても「ゴリゴリの文系」や「おじさんSE」「中
べいえりあ🌙🌙🌙 on Twitter: "自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開され… https://t.co/OUokFft3ea"
自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開され… https://t.co/OUokFft3ea
横浜市のアパートからいなくなっていた体長およそ3.5メートルのペットの「アミメニシキヘビ」が22日夕方、飼い主の部屋の屋根裏で見つかり、捜索を行った専門家によって捕獲されました。いなくなってから17日目、ヘビによるけが人や被害はありませんでした。 今月6日、横浜市戸塚区のアパートの部屋でペットとして飼育されていた体長およそ3.5メートル、体重およそ10キロの「アミメニシキヘビ」がいなくなりました。 逃げ出してから2週間以上がたちましたが、これまでの捜索では手がかりは得られず、目撃情報もなかったことから、ヘビがアパート内にとどまっている可能性があるとして、22日、専門家が管理人立ち会いのもとで屋根裏のスペースなどを捜索しました。 その結果、午後5時前に飼い主が住んでいた部屋の屋根裏で、柱に巻きついたような状態でいるのが発見され、その後、捕獲されました。 いなくなってから17日目にしてようやく
Scratch とMagica Voxelと子どもたち @scratchhub31 ☆ Pythonの第一歩は大抵「print('○○○')」なんですが、 ここで「○○○にみんながニッコリするセリフ入れて」って言うと、1ミリも動けなくなっちゃう子がいます。特に学校の勉強ができる子に多い。 構文とかも大事なんだけど、そこんトコが人間のお仕事なんだけどなー、って感じ。#考える力 2021-03-11 08:13:10 よんてんごP @yontengoP 割とリプ・引用RT含めて 「は？🤔」「何だその指示💢」「ｸｿ客か？？？✊」って反応されてるけど、 どういう出題というか問い掛けしてるかだなぁ… 「例えばこういうニッコリ言葉があって…」って いくつか例示した上で 「皆も他のを考えてみて」とかならアリだと思う twitter.com/scratchhub31/s… 2021-03-12 10:
Python滅ぼす協会に入会したい
なぜ令和にもなって動的型付け言語を使うのか シフトレフトという概念が生まれたのは二十年以上も前のはずだ。 それにもかかわらず動かしてみるまで答え合わせもできない言語で開発をするという発想自体がどうかしている。 同じ動的型付けといってもJavaScriptはブラウザという事情があるし、型の表現力に優れたTypeScriptがあるからまだよい。 しかし、Pythonはどうだ。他にいくらでも選択肢があるなかで、サーバーサイドにわざわざ選定する言語ではなかろう。 貧弱な型ヒント、しかも書いたところで大した効用もない。 使っている外部ライブラリにひとつでも型ヒントがクソなものがあれば即座に破綻する。 型というガードレールもシートベルトもなしで糞を撒き散らしながらする開発にはうんざりだ。 シンタックスもキモい 動的型付けもさることながら、シンタックスもキモい。とにかく思考を妨げる語順になっている。 m
「プログラミングを学ぶ」ではなく「要件定義を学ぶ」 田中邦裕氏（以下、田中）：あと13分ぐらいになったので、今後の展望にいきたいのですが、その前に、質問が7個ほど来ているので、みなさんに聞きたいと思います。 一番投票数が多い質問が、「非エンジニアでAIを使ったスマホアプリを作りたいんだけれども、プログラミングをそもそも学ぶべきか？」という質問です。 生成AIがある今、何をどのように学ぶべきなのか。プログラムを学ぶべきなのか、それ以外になにか手段があるのか。目的によっても違うのですが、ざっくりとしたこの質問に対して、なにか答えられる方はいますか？ 比戸将平氏（以下、比戸）：じゃあ、私から。 田中：はい、お願いします。 比戸：先週ぐらいに、NVIDIAのジェンスン（Jensen Huang氏）が、「今後はAIがプログラムを書くから、もうプログラムを学ぶ必要はないよ」と発言したのが切り取られて、
ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお！ ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー！ (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >
「情報 I・II」を学んだ高校生の技術レベルってどのくらい？ 元エンジニア校長にホントのところを聞きました【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカス「情報 I・II」を学んだ高校生の技術レベルってどのくらい？ 元エンジニア校長にホントのところを聞きました【フォーカス】 「情報 I・II」を学んだ高校生の技術レベルってどのくらい？ 元エンジニア校長にホントのところを聞きました【フォーカス】 2024年5月22日 工学院大学附属中学校・高等学校 校長 中野 由章 芝浦工業大学大学院工学研究科修了（電気工学専攻）。日本アイ・ビー・エム大和研究所を経て、1993年から教職の道へ。三重県立尾鷲工業高等学校や大阪電気通信大学など、多様な機関で教鞭を執り、教育と情報科学を専門分野として研究を重ねる。2021年より現職。情報処理学会の初等中等教育委員会委員長も務める。愛称は、日本IBM時代に同僚に付けられた「ジョニー」。明確な由来はない。 工学院大学附属中学校・高等学校 高校における情報教育のあり方が、大きく変わろうとしています。20
ChatGPTが本当にヤバい。 断言する。新卒がこれを使いこなせば、今職場で「優秀」とされている5-6年目くらいの先輩なら余裕で出し抜ける。鬼になれる。 筆者はメーカー社員なので、メーカーの新入社員がChatGPTを使って鬼になる方法を1つ提案したい。 「ChatGPT×Python」である。 Pythonとは、ご存知のとおり物理シュミレーションからデータサイエンス、機械学習までカバーする汎用性をそなえたプログラミング言語だ。何でもできるわりには書ける人がなぜか少なく、いまだにスキルとして重宝されている。 そんなPythonにChatGPTを使おう。 ChatGPTを使えば、上司から求められるアウトプットを一瞬で出すことができる。それに対してフィードバックをもらい、それも一瞬で打ち返すことができる。 「あいつ"Python書ける"だけじゃないんだよな。こっちが言ったこと正確に理解するし、そ
2020年版Pythonを学習するためのオススメ本10冊と学んだことのQiitaへのメモ - karaage. [からあげ]
Pythonの勉強をしています 今年の2月29日「PyCon Mini Shizuoka」というイベントでキーノートスピーカーとして登壇予定です（詳細は以下参照下さい）。 キーノートスピーカーを引き受けたものの。よく考えると、私はPythonがあんまり分かっていません。「これは、幾ら何でもまずいのでは？」というお気持ちになりました。そこで、今年の年末年始を中心にPythonの本をいくつか読んで、PyConの議論についていけるように、少しでもPythonへの理解を深めておくことにしました。 学んだことは、折角なので以下のQiita記事にまとめていきます（随時追加中）。 この記事では、学習に使用した本と、簡単な感想を書いてみます。興味ある方は参考にしてみて下さい。 私のブログから買うのが嫌だ！という人は、タイトルをコピーしてAmazonで検索してもらえば大丈夫ですし、もちろん買わなくても大丈夫
![2020年版Pythonを学習するためのオススメ本10冊と学んだことのQiitaへのメモ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/86dec44b8c5acae148f7ed1102b0fef87e1bec10/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200104%2F20200104124809.png)
話題のStableDiffusionがオープンソースで8/23に公開されたので、手元のマシンで動かすまで試したいと思います🖼 (下記に記載していますが、自分の環境だとVRAMが不足しているエラーが出てしまったのでイレギュラーな対応をしています🙏) ※ ↑追記 コメント欄にて、 @kn1chtさんが紹介してくださっているように、マシンのVRAMが10GB未満の環境では半精度（float16）のモデルがオススメされています。 本記事では、別の最適化されたものを紹介していますが、こちらの利用も検討してみると良さそうです👉 https://zenn.dev/link/comments/7a470dc767d8c8 StableDiffusionがどんなものかは、深津さんの記事が参考になります。 1. 環境 Razer Blade (RTX 2070, VRAM 8GB) CUDA Toolk
イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る
AIったー - 自分以外全員AIのSNS
自由にAIキャラを育成して会話したり一緒にお出かけすることができるSNS風サービスです。
追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
コレステロールは最低摂取基準量はないので0としています（実はこれが伏線になっている）。 そして目的は、一日必要な栄養素を満たす最もカロリーの低い商品の組み合わせとします。金に糸目はつけません。健康第一！ 解く 商品の数が96個、栄養素の数が16個なので、とても人間の手では解けません。そこでコンピューターの力を借ります。幸いPuLPというPythonで無料で利用できるソルバーがあるので、これで計算します。ちなみにExcelにもソルバーが搭載されていますが、この程度の数の決定変数でもエラーになって計算できませんでした。 # Import PuLP modeler functions from pulp import * # A new LP problem prob = LpProblem(name="mac", sense=LpMinimize) # Variables AA = LpVar
弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 目次 1.はじめに 2.VSCodeの拡張機能紹介 3.コーディングのポイント 4.よく使われる英単語一覧 5.エラーとの向き合い方 6.テストで動作確認 7.検索の極意 8.公式ドキュメントに慣れる 9.リファクタリングでさらに読みやすく 10.資料作成で気をつけること 11.Gitで管理 12.よく使うLinuxコマンド一覧 13.仕事の進め方 14.プログラム以外で意識するところ 15.初心者こそ読んで欲しい本 16.まとめ 1. はじめに プログラミングは現代のデジタル社会において重要なスキルです。 AIがコードを書いてくれる時代ですが、それでも人の手によるプログラ
プログラミング言語勉強用の環境を Visual Studio Code + Docker で手に入れてみる - かずきのBlog@hatena
Visual Studio Code を入れます。 azure.microsoft.com Visual Studio のリモート開発の拡張機能を入れます。 marketplace.visualstudio.com そして docker を入れます。 www.docker.com Windows の人は入れたら設定からドライブ共有をオンにしておきましょう。 Python 3 の環境が欲しい 適当なフォルダーを Visual Studio Code で開きます。 F1 や Ctrl + Shift + P あたりでコマンドパレットを出して Remote Add あたりで検索すると Remote Containers: Add Development Container Configuration Files... という項目が出てきます。 どんな開発環境が欲しいのかリストが出てくるので Py
前回の記事が思いのほか好評だったので、今回はPythonの基礎を図解にまとめてみました。 これからPythonに入門する方、初学者の方への参考になれれば幸いです。 前回の記事↓ 押さえたい基礎 押さえたい基礎の分野は9つになります。 以下で詳しく見ていきます。 数値計算 数値計算は演算子を確認します。 数値の型（int・float）
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
Netflix Tech BlogのgRPC APIに関する以下の２つの記事に感銘を受けたので、ここにその概要を日本語で記します。 (めんどくさかったので)翻訳の許可は取ってませんが、再構成してますし元のJavaではなくPythonで書き直していますので、容赦して下さい… Practical API Design at Netflix, Part 1: Using Protobuf FieldMaskPractical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation OperationsまとめgRPCでは、FieldMaskをうまく使うことで、必要な情報だけ取得したりあるいは与えたりしたりできまっせ第一部まずField Maskをどのように使うかを述べています。 背景Remote Callというものは、そもそもコ
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
ChatGPT,使っていますか？ ChatGPTは文章を要約したり、プログラム作ってくれたり、一緒にブレストしてくれたりして本当に便利なのですが、社内情報などの独自データに関する情報については回答してくれません。 プロンプトに情報を記述して、そこに書かれている情報から回答してもらう方法もありますが、最大トークン4000の壁がありますので、限界があるかと思います。 この課題についてなんとかならないかと考えて色々と調べて見たところ、解決する方法が見つかり、いろいろと検証をして見ましたのでその結果をシェアしたいと思います。 サンプルコード（GoogleColab） 百聞は一見にしかずということで、実際に試したサンプルは以下にありますので、まずは動かしてみることをお勧めします。 このコードを上から順番に動かすと、実際にインターネット上から取得したPDFファイルに関する内容をChatGPTが回答して
抹殺は言い過ぎかもしれませんが簡易な名刺管理アプリであれば自作で十分という時代がきていたようです これで紙の名刺からはきっとバイバイできるでしょう！ この記事執筆以降claude3 opus, GPT-4oの発表があり、ますます途中でOCRを入れる意味が薄くなったものと思われます 私もGPT-4oを早速試してみたいと思います！ 名刺管理アプリ作ってほしいといわれた それは2/22のお話。 ことの発端は別の部署からかかってきた一本の電話でした。 新規事業の部署でいろいろな取引先様と付き合いがあるものの、紙の名刺が非常に多く管理に困っているとのことのことです。 私は小売業に勤務しているしがない一社員で、現在Eコマースの戦略立案に関する部署に所属しています。 電話先の方は、以前一緒の部署で勤務したことがある方です。現在新規事業のプロジェクト推進をしており、冒頭のような課題感を持っているため既存の
ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ視覚化のプロが選ぶデータ分析のオススメ本32選
Qiitaの質問に答えまくって気付いた初心者に足りないバグ解決スキル - Qiita
音楽データからボーカル・ドラム・ベースの音を個別に抽出できる「spleeter」
「Python ゼロからはじめるプログラミング」サポートページ
はじめに — マンガと学ぶデータビジュアライゼーション
4歳娘「パパ、具体的な名前をつけないで？」 - Qiita
PythonやAIのための数学の基礎を学べる講座が無料に | Ledge.ai
タダで学べるデータサイエンス名著5冊 【日本書は高額でも英語ができれば怖くない】 - Qiita
「AIをどう習得したのか教えて」と大募集し、技術者から集まった記事49本を紹介
飼い主の部屋の屋根裏で発見 捕獲 不明だった巨大ヘビ 横浜 | NHKニュース
プログラミングの授業で「みんながニッコリするセリフ」を考えさせた途端に動けなくなる子がいる→良い"問いかけ"とは何か？
「尖った人ではなく、暗黙知を形式知に変換する人がほしい」 “均質人材”を育成してきた日本でこれから求められる能力とは
Jupyter AIが出た！試した！！すごい！！！ - Qiita
新入社員のみんな、「ChatGPT×Python」で鬼にならないか？｜ピーナッツ
年末年始に振り返る 2021年の人工知能10大トレンドと必読論文
話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる
ChatGPTに自社データを組み込んで新しい検索体験を模索してみました｜masa_kazama
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
マクドナルドで一日分の栄養を取れる組み合わせを計算したら衝撃の結果に - Qiita
【11万文字越え】プログラミング初心者に贈る即戦力ガイド - Qiita
【図解】Python基礎64選 - Qiita
【自動化】PDF内の表をPythonで抜き出す - Qiita
Netflixにおける実用的なAPI設計: gRPCとFieldMask | pyspa
機械学習で競馬の回収率100%超えを達成した話 - Qiita
ChatGPTで独自データを学習させて回答してもらう方法 - Qiita
GPTが人知れず既存の名刺管理アプリを抹殺していた話 - Qiita
主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO