どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
Twitterに厳しい一時制限 未認証アカの閲覧件数は「1日600件まで」── 「Twitter終わり」「API規制」トレンドに【更新：1日1000件に緩和】
Twitterの投稿が読み込めないと、日本時間の7月1日午後11時ごろから話題になっている。これにより「Twitter終わり」や「API規制」といった単語がTwitterの日本トレンドに入った。Twitterを運営する米Xのイーロン・マスク氏は2日午前2時、「一時的な制限を加えた」とツイートした。例えば未認証のアカウントは1日当たり600件までの読み込みが上限になるとしている。その後、マスク氏は状況を更新し、2日午前7時時点までに段階的に制限を緩和している（記事下部に追記あり）。 認証済みのアカウントは1日当たり6000件まで、新規に作られた未認証アカウントは1日当たり300件まで。1日のリセットタイミングがいつあるのか、いつまでこの制限が適用されるのかは明らかにしていない。 一時的な制限を始めた理由について、マスク氏は「極端なレベルのデータスクレイピングとシステム操作に対処するため」と説
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
今回はエンジニアバブルの背景を整理することで、また大なり小なり起きるであろうバブルに備えることを目的としてまとめます。 有料設定していますが、最後まで無料でお読みいただけます。もしよければ投げ銭感覚で応援をお願い致します。 エンジニアバブルとは何かIT業界では新興の業界ということもあり、大小のバブルが発生しやすい特徴があります。この20数年の日本国内を振り返っても下記のようなものがありました。 ITバブル（1999-2000年） クラウドバブル（2010年前後） ソーシャルゲームバブル（2010年代前半） AIバブル（現在） このコンテンツで言うエンジニアバブルとは、プログラマを中心としたエンジニアが売り手市場となり、待遇が右肩上がりで提示されやすい状況を指します。エンジニアバブルでは求人倍率が上昇し、即戦力採用が活発化しました。提示年収が現年収比 1.25倍を超えたりすることも多々ありま
はじめに※2020年のやつ誰も作ってくれないので、自分でまとめ ※増田文学でない奴が混じってると思う ※「○○が入ってない」、「▲▲は増田文学でなはいのでは」等あればコメントよろしく頼みます 2020年増田文学ランキング100順位URLブクマ日付コンテンツ1旅が終わる気がする17792020/07/01暮らし★クソデカ羅生門16012020/06/112日本から捨てられた土地で生まれて15652020/10/26世の中3渡辺明の孤独な闘い15612020/07/18世の中4在宅勤務が始まり、いまが人生で1番幸せな春15602020/04/10暮らし5ほぼ叔父に育てられた14612020/06/17世の中6一軒家（借家だけど）に越したので犬を飼うことにした14262020/02/28暮らし7子どもが知的障害者になった13212020/05/25暮らし8防犯カメラの死角を必死で探したことがある
５万円のPS5を10万円で売ってるくらいで文句言っている人がいるけど、 もっと遥かに大きな転売については全然文句言わないよね。 不動産屋がオーナーからマンションを1億円で買って2億円で転売しても文句言わないよね。 独占販売契約などを利用して、買値の数倍から数十倍の価格で転売している商社とかにも文句言わないよね。 証券会社が手数料名目で何割も乗せた価格で証券を転売しても文句言わないよね。 結局、文句を言いやすい相手が転売で５万円儲けたら文句を言うけど、 文句を言いにくい相手が転売で５兆円儲けても文句を言わないよね。 弱いものを攻撃したいだけだよね。 メルカリでの転売なんて、需要と供給に基づいて市場価格が決まっていくだけじゃん。 たった5万円の手数料を払うだけで、店頭で買えない貴重な商品が買えるんだから感謝すればいいじゃん。 不動産屋に何千万円も手数料を取られた上で「いい物件を紹介してくれてあ
「pixivのイラストを非公開にしました」 フォロワー数十万の“有名絵師”から発表相次ぐ AI巡る対応に不信感
「pixivに投稿したイラストをいったん非公開にしました」──5月6日ごろから、Twitterで数十万のフォロワーを集めるイラストレーターの間で、こんな発表が相次いでいる。背景にあるのは、画像生成AIへの対応を巡るpixivへの不信感だ。 例えばTwitterフォロワー数24万人超のイラストレーター・あかもくさんは7日、pixivへの新規投稿を控える他、過去に投稿したイラストを全て非公開にしたとTwitterに投稿。「抜本的なAI対策とそれに伴うpixiv社の会社としての意思が明確になるまで」継続するという。 他にもフォロワー数64万人超のイコモチさん、約13万人の皐月恵さんなど、複数のイラストレーターが同様の方針を発表している。いずれも、pixivに投稿したイラストを勝手にAIに学習されることを危惧しての対応という。 イラストレーターの対応について、SNSではさまざまな反応が出ている。「
絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
Twitter機能不全の背後には何が？——セルフDDoS、支払い停滞、組織弱体化の疑惑｜星 暁雄（ITジャーナリスト）
[ 星暁雄の仕事はこちら ] 2023年7月1日、日本でもTwitterの不調、不具合を訴えるツイートが増える様子を見た。「API制限のメッセージが出て閲覧できない」「自分のツイートも見られない」などの内容だ。今回の機能不全に関して、メモを残しておきたい。一言でいえば、Twitterの経営判断ミスと技術的ミスの積み重ねにより、ユーザーに迷惑がかかる結果となった。その背後には組織の弱体化があると考えられる。 Twitterのオーナーであり、CTO（最高技術責任者）を名乗るイーロン・マスク氏は7月1日（現地時間）、Twitterユーザーが感じている不調の理由は「異常なスクレイピング（注：Webサイトから機械的にデータを取得すること）の負荷に対応するため、閲覧できるツイート数を制約したため」と説明した。 いくつかのアカウントが機械的に大量のツイートを収集する挙動をしているため、全ユーザーに対して
2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ
2024/2/14 タイトル一部変更 自分の意見は「二次創作が伝統的に許されてるのにイラストAIになった途端許容しないのはダブルスタンダードだろ」という意見が核になってます。 なんなら自分も二次創作は好きなんですが、「俺の作品！」みたいな面されると反感持つだけです。 とはいえ今から追記するとゴチャゴチャにしそうなので波線以下文章は手入れてません。 ・論点ボロボロ 本当にすみません ・お前のお気持ちだろ 仰る通りです 〜〜〜 「二次創作を有料に描いてる人が文句を言うなってのはお門違い過ぎないかなってね。今回のAIの問題点は「『人様の絵』を使うなって感じじゃないの？」とかのたまってるアホがいてイライラして書き始めた。 自分の立場として、 ・AIが話題になるずっと前からfanboxやFantiaのガイドラインに許可されていない二次創作で金取ることを批判していた。 ・イラスト生成AIは肯定派だが、
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
【2024年】ITエンジニア本大賞まとめ
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
こんにちは！ エンジニアのまうみです。 突然ですが、「今使ってるブログサービスからWordPressに引っ越ししたい」と検討中の方はいらっしゃいますか。 もし、現在のブログサービスに記事をエクスポートする機能がない場合、手作業で記事を更新する必要があります。10記事程度ならまだしも、100記事以上ともなると、それは流石に手作業では骨が折れますね。 そこで今回はGoogle Apps Script（以下：GAS）で、スクレイピングしたデータをスプレッドシートに保存するプログラムを作り方をご紹介します。 【前提】スクレイピングとは スクレイピングとは、あらかじめ指定したWebサイトを巡回して情報を取得し、新たな情報を出力するためのプログラムです。 今回は、開発環境を構築することなく簡単にプログラムを実行できるGASを使用します。特に開発環境は初心者がつまづくところなので、そこをスキップできるの
スクレイピングとは、サイト上のページの内容をHTMLで解析して（大したことではないし、大昔からある）データとして取得する、という手法を言います。 昔なら、Perlの正規表現でワンライナー、またはHTMLパーサーをかましてDOMにQueryかけたり、Linqで料理したり・・・最近ではノーコード、ローコード？ スクレイピングするのは大抵、そのサイトがRSS/Atomフィードやその他のXML形式などの扱いやすいデータを配信していない為、データとして利用するにはむりくりページ表示用のHTMLを解析して扱いやすいデータに整形する必要がある、という場合です。 サイト側が扱いやすいデータとして配信していないのは、単なる不親切か、一般にその必要性がないと思われている情報か、データを再利用してもらいたくない何か理由があるか、のいずれかです。 そこで、今、たまたまこんなのを見つけてしまったのですが・・・ 個人
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
文化庁は、今後もAIと著作権に関する法解釈について、今後も分かりやすい形で啓発していくと説明。「必要に応じて、著作者人格権や著作隣接権とAIとの関係（俳優・声優などの声を含んだ実演・レコードなどの利用とAIとの関係を含む）において、検討すべき点の有無や内容の検討を含め、『考え方』の見直しなど必要な検討を行う」（同庁） 関連記事 「生成AIは著作権保護の検討が不十分」新聞協会など声明 「著作権法30条の4は大きな課題」 新聞協会など4団体は、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘している。 クリスタに画像生成AIを搭載する予定ない──提供元セルシスが発表 「データセットがクリーンなものしか使わない」 クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが判明しました。 Perplexity AI Is Lying about Their User Agent • Robb Knight https://rknight.me/blog/perplexity-ai-is-lying-about-its-user-agent/ GoogleやBingなどの検索エンジンやChatGPTをはじめとする生成AIは、ク
読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピングなどの自動化した手段でデータ収集や抽出、加工、解析、蓄積などをする行為」「生成AIなどに学習させる行為、生成AIなどを開発する行為」を禁じた。 これらの禁止事項を含めた情報解析のために、同メディアの記事を利用したい場合は、読売新聞とライセンス契約を結ぶ必要があるとしている。 生成AIを巡っては、米The New York Timesは2023年12月に米Microsoftと米OpenAIを著作権侵害で提訴するなど、新聞業界は反発している。The New York Timesは「両社が
Threads
さっそく私もアカウントを作ってみました :) https://www.threads.net/@siva001 Elon Muskが買収してからのTwitterがどんどん壊れ、ついに無料ユーザーは一日600ポストしか見れない（有料ユーザでも一日6000ポスト）という事態が発生。 早くから避難先が叫ばれていたものの、MastodonやNostrは一般人にはなかなか難しい。BlueskyはきれいなUIで初期の頃のTwitterのような楽しい賑わいを見せているが、招待制でユーザー数の伸びは限定的。 そんな中、Metaが出してきたのがInstagramチームが開発した「Threads」。開始後7時間で1000万人、半日で3000万人とぶっちぎりのスピードでユーザー数を増やしています。これはある意味当たり前で、Instagramという成熟したSNSからユーザーもフォロワーも引っ張ってこれる。SNSと
個人開発を始めてみよう──「失敗」を避ける大事な考え方とは？
はじめに BASE株式会社でシニアエンジニアを務めているプログラミングをするパンダ（@Panda_Program）と申します。本連載は「フロントエンドカンファレンス沖縄2022」で私が発表した内容[1]を記事として再構成したものです。 対象読者 本連載の対象読者は、個人開発に興味があるソフトウェアエンジニアの方です。 個人開発に「失敗」しないための考え方 ソフトウェアの個人開発とは、ソフトウェアエンジニアが自分のプライベートな時間を使ってWebサイトやスマートフォン向けのアプリを作成、公開、運用する趣味活動です。では、本記事のタイトルに含まれている「失敗」という語の指す内容とは何でしょうか。本連載で私はそれを「学習またはリリースを目的としたときに、その目的が達成できていないこと」と定義したいと思います。 個人開発における最大の意思決定はリリースの有無です。自分が開発したソフトウェアをリリー
The New York Times紙（NYT)がサービス利用規約（TOS）を更新し、AI企業がAIモデルを訓練するために記事や画像をスクレイピングすることを禁止していることが明らかになったが、どうやら事態はそれだけでは収まらないようだ。 NPRの報道によると、NYTとOpenAIはライセンス契約をめぐって数週間にわたり難航しているが、合意に達することはできていない。交渉は行き詰まっており、NYTは現在訴訟を検討しているようだ。 NPRは、この件に関して“直接知っている”2人の匿名の情報筋の話を引用しており、訴訟の結果次第ではChatGPTのデータセットは再構築を余儀なくされ、侵害コンテンツ1つにつき最高15万ドルの罰金が科されるなど、OpenAIに壊滅的な打撃を与える可能性があると専門家は推測している。NYTの弁護士は、同紙の報道の “知的財産権を守るために”訴訟が必要かどうか熟考してい
OpenAIが、AIモデルのトレーニングに用いるために100万時間を超える分量のYouTube動画をダウンロードして利用していたことがThe NewYork Timesの指摘でわかりました。なお、YouTubeと同じ親会社AlphabetのもとにいるGoogleは、OpenAIの行為に気付いていましたが、自分たちも独自のAIモデルのトレーニングにYouTubeの動画を活用していたため、行動を起こさなかったとのことです。 How Tech Giants Cut Corners to Harvest Data for A.I. - The New York Times https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html Google reporte
女性声優と自動化 - Qiita
この記事は「Wake Up, Girls! Advent Calendar 2019」18日目の記事です この記事では推しの声優の情報を自動的に収集する仕組みである @yoppinews bot の開発や運用についてご紹介します。 1. はじめに: 趣味を自動化して怠惰なファン活動をしよう 声優のファン活動のなかで、どのような作品やイベントに出演するのかといった情報をおさえておくのは重要でありながら意外にも時間やコストを要します。 チケットの争奪戦が予想される場合、オタクはひっそりと情報を仕入れそっと eplus で抽選に申し込みます。気づけば行きたかったイベントの抽選は終わっているなんてことが初期にはよくありました（遠い目）。 だいたい同じ演者を追っている人間を twitter でフォローしておくと関連する情報が入ってきてベンリですが、声優オタク人生は山あり谷あり他界ありで、「お前が一番
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人開発で「Excel専用のWebAPI」を作りました
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
エンジニアバブルとは何だったのか｜久松剛／IT百物語の蒐集家
増田文学2020 ランキング100(仮) ※「〇〇が無い」、「これ文学じゃない」ってのあったら教えてね
PS5の転売は悪だとか言って ※11/17再追記
AWS認証情報が盗まれる2つのライブラリ改ざんについてまとめてみた - piyolog
イラストAIだめならそもそも二次創作で金を取るのをやめろ
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
【2024年】ITエンジニア本大賞まとめ - Qiita
GASを使ったスクレイピングの作成手順を紹介！ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
スクレイピングした物件データを利用した物件検索サービスは問題ないのか｜torum
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
文化庁、「AIと著作権に関する考え方について（素案）」のパブコメ結果発表 意見提出数は2万4938件
読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG
OpenAIはChatGPTを消去して作り直さなければならないかも知れない | TEXAL
100万時間以上のYouTube動画をOpenAIがAIモデルのトレーニングに利用していたことが判明