どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
Twitterに厳しい一時制限 未認証アカの閲覧件数は「1日600件まで」── 「Twitter終わり」「API規制」トレンドに【更新：1日1000件に緩和】
Twitterの投稿が読み込めないと、日本時間の7月1日午後11時ごろから話題になっている。これにより「Twitter終わり」や「API規制」といった単語がTwitterの日本トレンドに入った。Twitterを運営する米Xのイーロン・マスク氏は2日午前2時、「一時的な制限を加えた」とツイートした。例えば未認証のアカウントは1日当たり600件までの読み込みが上限になるとしている。その後、マスク氏は状況を更新し、2日午前7時時点までに段階的に制限を緩和している（記事下部に追記あり）。 認証済みのアカウントは1日当たり6000件まで、新規に作られた未認証アカウントは1日当たり300件まで。1日のリセットタイミングがいつあるのか、いつまでこの制限が適用されるのかは明らかにしていない。 一時的な制限を始めた理由について、マスク氏は「極端なレベルのデータスクレイピングとシステム操作に対処するため」と説
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
今回はエンジニアバブルの背景を整理することで、また大なり小なり起きるであろうバブルに備えることを目的としてまとめます。 有料設定していますが、最後まで無料でお読みいただけます。もしよければ投げ銭感覚で応援をお願い致します。 エンジニアバブルとは何かIT業界では新興の業界ということもあり、大小のバブルが発生しやすい特徴があります。この20数年の日本国内を振り返っても下記のようなものがありました。 ITバブル（1999-2000年） クラウドバブル（2010年前後） ソーシャルゲームバブル（2010年代前半） AIバブル（現在） このコンテンツで言うエンジニアバブルとは、プログラマを中心としたエンジニアが売り手市場となり、待遇が右肩上がりで提示されやすい状況を指します。エンジニアバブルでは求人倍率が上昇し、即戦力採用が活発化しました。提示年収が現年収比 1.25倍を超えたりすることも多々ありま
はじめに※2020年のやつ誰も作ってくれないので、自分でまとめ ※増田文学でない奴が混じってると思う ※「○○が入ってない」、「▲▲は増田文学でなはいのでは」等あればコメントよろしく頼みます 2020年増田文学ランキング100順位URLブクマ日付コンテンツ1旅が終わる気がする17792020/07/01暮らし★クソデカ羅生門16012020/06/112日本から捨てられた土地で生まれて15652020/10/26世の中3渡辺明の孤独な闘い15612020/07/18世の中4在宅勤務が始まり、いまが人生で1番幸せな春15602020/04/10暮らし5ほぼ叔父に育てられた14612020/06/17世の中6一軒家（借家だけど）に越したので犬を飼うことにした14262020/02/28暮らし7子どもが知的障害者になった13212020/05/25暮らし8防犯カメラの死角を必死で探したことがある
５万円のPS5を10万円で売ってるくらいで文句言っている人がいるけど、 もっと遥かに大きな転売については全然文句言わないよね。 不動産屋がオーナーからマンションを1億円で買って2億円で転売しても文句言わないよね。 独占販売契約などを利用して、買値の数倍から数十倍の価格で転売している商社とかにも文句言わないよね。 証券会社が手数料名目で何割も乗せた価格で証券を転売しても文句言わないよね。 結局、文句を言いやすい相手が転売で５万円儲けたら文句を言うけど、 文句を言いにくい相手が転売で５兆円儲けても文句を言わないよね。 弱いものを攻撃したいだけだよね。 メルカリでの転売なんて、需要と供給に基づいて市場価格が決まっていくだけじゃん。 たった5万円の手数料を払うだけで、店頭で買えない貴重な商品が買えるんだから感謝すればいいじゃん。 不動産屋に何千万円も手数料を取られた上で「いい物件を紹介してくれてあ
「pixivのイラストを非公開にしました」 フォロワー数十万の“有名絵師”から発表相次ぐ AI巡る対応に不信感
「pixivに投稿したイラストをいったん非公開にしました」──5月6日ごろから、Twitterで数十万のフォロワーを集めるイラストレーターの間で、こんな発表が相次いでいる。背景にあるのは、画像生成AIへの対応を巡るpixivへの不信感だ。 例えばTwitterフォロワー数24万人超のイラストレーター・あかもくさんは7日、pixivへの新規投稿を控える他、過去に投稿したイラストを全て非公開にしたとTwitterに投稿。「抜本的なAI対策とそれに伴うpixiv社の会社としての意思が明確になるまで」継続するという。 他にもフォロワー数64万人超のイコモチさん、約13万人の皐月恵さんなど、複数のイラストレーターが同様の方針を発表している。いずれも、pixivに投稿したイラストを勝手にAIに学習されることを危惧しての対応という。 イラストレーターの対応について、SNSではさまざまな反応が出ている。「
絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
Twitter機能不全の背後には何が？——セルフDDoS、支払い停滞、組織弱体化の疑惑｜星 暁雄（ITジャーナリスト）
[ 星暁雄の仕事はこちら ] 2023年7月1日、日本でもTwitterの不調、不具合を訴えるツイートが増える様子を見た。「API制限のメッセージが出て閲覧できない」「自分のツイートも見られない」などの内容だ。今回の機能不全に関して、メモを残しておきたい。一言でいえば、Twitterの経営判断ミスと技術的ミスの積み重ねにより、ユーザーに迷惑がかかる結果となった。その背後には組織の弱体化があると考えられる。 Twitterのオーナーであり、CTO（最高技術責任者）を名乗るイーロン・マスク氏は7月1日（現地時間）、Twitterユーザーが感じている不調の理由は「異常なスクレイピング（注：Webサイトから機械的にデータを取得すること）の負荷に対応するため、閲覧できるツイート数を制約したため」と説明した。 いくつかのアカウントが機械的に大量のツイートを収集する挙動をしているため、全ユーザーに対して
2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ
2024/2/14 タイトル一部変更 自分の意見は「二次創作が伝統的に許されてるのにイラストAIになった途端許容しないのはダブルスタンダードだろ」という意見が核になってます。 なんなら自分も二次創作は好きなんですが、「俺の作品！」みたいな面されると反感持つだけです。 とはいえ今から追記するとゴチャゴチャにしそうなので波線以下文章は手入れてません。 ・論点ボロボロ 本当にすみません ・お前のお気持ちだろ 仰る通りです 〜〜〜 「二次創作を有料に描いてる人が文句を言うなってのはお門違い過ぎないかなってね。今回のAIの問題点は「『人様の絵』を使うなって感じじゃないの？」とかのたまってるアホがいてイライラして書き始めた。 自分の立場として、 ・AIが話題になるずっと前からfanboxやFantiaのガイドラインに許可されていない二次創作で金取ることを批判していた。 ・イラスト生成AIは肯定派だが、
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
【2024年】ITエンジニア本大賞まとめ
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
量産型UIから脱却したくて。個人開発の賃貸検索「Comfy」が提言する“探しやすさ”の形【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカス量産型UIから脱却したくて。個人開発の賃貸検索「Comfy」が提言する“探しやすさ”の形【フォーカス】 ソフトウェアエンジニア・個人開発者 choo 大学では文学部だったが、卒業後、たまたま内定が出たため入った大手SIerでプログラミングの面白さに目覚める。2年半で退職した後、1年間アルバイトをしつつ情報科学を独学し、Webサービス開発会社にプログラマとして就職する。2019年から個人開発に取り組んでおり、手描き文字の美麗さをAIで判定する「Letters」というWebアプリも運営している。独学時代には生活費を切り詰めるため、格安の事故物件で生活していた。 X Comfy Letters 賃貸物件の検索条件を入力すると、地図上の地域がリアルタイムに色を変え、「この条件の物件は、この地域にこれくらいある」とひと目でわかるWebサービス「Comfy（コンフィ）」。条件にフィット
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
プロダクト開発体制を一挙公開〜メルカリ・エンジニア組織の大解剖〜 (2021/11/11 19:00〜)
お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。 新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 新機能 connpass APIに新しく、ユーザーのプロフィールを取得できるユーザーAPIを追加しました。APIリファレンスは こちら を、またAPI利用希望の方は こちら をご覧ください。
こんにちは！ エンジニアのまうみです。 突然ですが、「今使ってるブログサービスからWordPressに引っ越ししたい」と検討中の方はいらっしゃいますか。 もし、現在のブログサービスに記事をエクスポートする機能がない場合、手作業で記事を更新する必要があります。10記事程度ならまだしも、100記事以上ともなると、それは流石に手作業では骨が折れますね。 そこで今回はGoogle Apps Script（以下：GAS）で、スクレイピングしたデータをスプレッドシートに保存するプログラムを作り方をご紹介します。 【前提】スクレイピングとは スクレイピングとは、あらかじめ指定したWebサイトを巡回して情報を取得し、新たな情報を出力するためのプログラムです。 今回は、開発環境を構築することなく簡単にプログラムを実行できるGASを使用します。特に開発環境は初心者がつまづくところなので、そこをスキップできるの
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
スクレイピングとは、サイト上のページの内容をHTMLで解析して（大したことではないし、大昔からある）データとして取得する、という手法を言います。 昔なら、Perlの正規表現でワンライナー、またはHTMLパーサーをかましてDOMにQueryかけたり、Linqで料理したり・・・最近ではノーコード、ローコード？ スクレイピングするのは大抵、そのサイトがRSS/Atomフィードやその他のXML形式などの扱いやすいデータを配信していない為、データとして利用するにはむりくりページ表示用のHTMLを解析して扱いやすいデータに整形する必要がある、という場合です。 サイト側が扱いやすいデータとして配信していないのは、単なる不親切か、一般にその必要性がないと思われている情報か、データを再利用してもらいたくない何か理由があるか、のいずれかです。 そこで、今、たまたまこんなのを見つけてしまったのですが・・・ 個人
文化庁は、今後もAIと著作権に関する法解釈について、今後も分かりやすい形で啓発していくと説明。「必要に応じて、著作者人格権や著作隣接権とAIとの関係（俳優・声優などの声を含んだ実演・レコードなどの利用とAIとの関係を含む）において、検討すべき点の有無や内容の検討を含め、『考え方』の見直しなど必要な検討を行う」（同庁） 関連記事 「生成AIは著作権保護の検討が不十分」新聞協会など声明 「著作権法30条の4は大きな課題」 新聞協会など4団体は、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘している。 クリスタに画像生成AIを搭載する予定ない──提供元セルシスが発表 「データセットがクリーンなものしか使わない」 クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが判明しました。 Perplexity AI Is Lying about Their User Agent • Robb Knight https://rknight.me/blog/perplexity-ai-is-lying-about-its-user-agent/ GoogleやBingなどの検索エンジンやChatGPTをはじめとする生成AIは、ク
読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピングなどの自動化した手段でデータ収集や抽出、加工、解析、蓄積などをする行為」「生成AIなどに学習させる行為、生成AIなどを開発する行為」を禁じた。 これらの禁止事項を含めた情報解析のために、同メディアの記事を利用したい場合は、読売新聞とライセンス契約を結ぶ必要があるとしている。 生成AIを巡っては、米The New York Timesは2023年12月に米Microsoftと米OpenAIを著作権侵害で提訴するなど、新聞業界は反発している。The New York Timesは「両社が
Threads
さっそく私もアカウントを作ってみました :) https://www.threads.net/@siva001 Elon Muskが買収してからのTwitterがどんどん壊れ、ついに無料ユーザーは一日600ポストしか見れない（有料ユーザでも一日6000ポスト）という事態が発生。 早くから避難先が叫ばれていたものの、MastodonやNostrは一般人にはなかなか難しい。BlueskyはきれいなUIで初期の頃のTwitterのような楽しい賑わいを見せているが、招待制でユーザー数の伸びは限定的。 そんな中、Metaが出してきたのがInstagramチームが開発した「Threads」。開始後7時間で1000万人、半日で3000万人とぶっちぎりのスピードでユーザー数を増やしています。これはある意味当たり前で、Instagramという成熟したSNSからユーザーもフォロワーも引っ張ってこれる。SNSと
個人開発を始めてみよう──「失敗」を避ける大事な考え方とは？
はじめに BASE株式会社でシニアエンジニアを務めているプログラミングをするパンダ（@Panda_Program）と申します。本連載は「フロントエンドカンファレンス沖縄2022」で私が発表した内容[1]を記事として再構成したものです。 対象読者 本連載の対象読者は、個人開発に興味があるソフトウェアエンジニアの方です。 個人開発に「失敗」しないための考え方 ソフトウェアの個人開発とは、ソフトウェアエンジニアが自分のプライベートな時間を使ってWebサイトやスマートフォン向けのアプリを作成、公開、運用する趣味活動です。では、本記事のタイトルに含まれている「失敗」という語の指す内容とは何でしょうか。本連載で私はそれを「学習またはリリースを目的としたときに、その目的が達成できていないこと」と定義したいと思います。 個人開発における最大の意思決定はリリースの有無です。自分が開発したソフトウェアをリリー
The New York Times紙（NYT)がサービス利用規約（TOS）を更新し、AI企業がAIモデルを訓練するために記事や画像をスクレイピングすることを禁止していることが明らかになったが、どうやら事態はそれだけでは収まらないようだ。 NPRの報道によると、NYTとOpenAIはライセンス契約をめぐって数週間にわたり難航しているが、合意に達することはできていない。交渉は行き詰まっており、NYTは現在訴訟を検討しているようだ。 NPRは、この件に関して“直接知っている”2人の匿名の情報筋の話を引用しており、訴訟の結果次第ではChatGPTのデータセットは再構築を余儀なくされ、侵害コンテンツ1つにつき最高15万ドルの罰金が科されるなど、OpenAIに壊滅的な打撃を与える可能性があると専門家は推測している。NYTの弁護士は、同紙の報道の “知的財産権を守るために”訴訟が必要かどうか熟考してい
OpenAIが、AIモデルのトレーニングに用いるために100万時間を超える分量のYouTube動画をダウンロードして利用していたことがThe NewYork Timesの指摘でわかりました。なお、YouTubeと同じ親会社AlphabetのもとにいるGoogleは、OpenAIの行為に気付いていましたが、自分たちも独自のAIモデルのトレーニングにYouTubeの動画を活用していたため、行動を起こさなかったとのことです。 How Tech Giants Cut Corners to Harvest Data for A.I. - The New York Times https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html Google reporte
過小評価されている認知的美徳がある。それは「対象の永続性（object permanence）」、つまり以前に物事をどのように認識したかを継続的に記憶していることだ。ライリー・クインがしばしば思い出させてくれるように、左派は「対象の永続性」のイデオロギーだ。左派であるということは、CIAが一時的にトランプを苦しめている時でさえも、CIAを嫌い、信用しないことであり、あるいは、かつて労働者が自分の賃金で家族を養えていたことを覚えていることだ。 https://pluralistic.net/2023/10/27/six-sells/#youre-holding-it-wrong 問題は、対象の永続性が難しいということだ。光陰矢の如し。事実を覚えておくのは難しく、それらの事実がどの順番で起こったかを覚えておくのはさらに難しい。そして、その時にどう感じたかを覚えておくのはもっと難しい。 そこでブ
![“リンク切れ”――インターネットは砂上の図書館である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4a4b517a3c63d5a8577bd37a06e534e16b7884dd/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2F21May2024.jpg)
女性声優と自動化 - Qiita
この記事は「Wake Up, Girls! Advent Calendar 2019」18日目の記事です この記事では推しの声優の情報を自動的に収集する仕組みである @yoppinews bot の開発や運用についてご紹介します。 1. はじめに: 趣味を自動化して怠惰なファン活動をしよう 声優のファン活動のなかで、どのような作品やイベントに出演するのかといった情報をおさえておくのは重要でありながら意外にも時間やコストを要します。 チケットの争奪戦が予想される場合、オタクはひっそりと情報を仕入れそっと eplus で抽選に申し込みます。気づけば行きたかったイベントの抽選は終わっているなんてことが初期にはよくありました（遠い目）。 だいたい同じ演者を追っている人間を twitter でフォローしておくと関連する情報が入ってきてベンリですが、声優オタク人生は山あり谷あり他界ありで、「お前が一番
メルカリが考えるグローバルなエンジニア組織とは？〜 メルカリ・エンジニア組織の大解剖〜 (2021/11/25 19:00〜)
お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。 新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 新機能 connpass APIに新しく、ユーザーのプロフィールを取得できるユーザーAPIを追加しました。APIリファレンスは こちら を、またAPI利用希望の方は こちら をご覧ください。
AIアートと著作権：「Stable Diffusionを違法化するためのロジック」が人間のアーティストを苦しめるワケ投稿者: heatwave_p2p 投稿日: 2023/4/82023/4/8 Electronic Frontier Foundation アーティストたちは、Stabile Diffusionなどの自動画像生成ツールが自分たちの作品市場を縮小させる可能性を、当然のことながら懸念している。我々は自動化で仕事を奪われる人たちを見捨てるような社会に生きている。そして、ビジュアルアーティストという職業はすでに不安定な立場に置かれている。 こうした状況にあって、著作権にすがろうとするのは自然なことではある。著作権はアーティストが作品から対価を得られるよう保証するものだからだ。だが、一部のアーティストたちがStable Diffusionを相手取って起こした集団訴訟で主張している著作
![AIアートと著作権：「Stable Diffusionを違法化するためのロジック」が人間のアーティストを苦しめるワケ | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc6807254da006ce599b9242b30513d518d47bfd/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2023%2F04%2FSD20230408.jpg)
お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。 新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 新機能 connpass APIに新しく、ユーザーのプロフィールを取得できるユーザーAPIを追加しました。APIリファレンスは こちら を、またAPI利用希望の方は こちら をご覧ください。
共同でコードを書くサービスを悪用し、開発者がそれと気づかないまま公開してしまったOpenAIのAPIキーをスクレイピングしてGPT-4を無料で使う手口が確認されたことを、Motherboardが報告しました。 People Are Pirating GPT-4 By Scraping Exposed API Keys https://www.vice.com/en/article/93kkky/people-pirating-gpt4-scraping-openai-api-keys 記事作成時点でGPT-4などの大規模言語モデルを使いたい場合、OpenAIのサイトでアカウントを作成してクレジットカードを登録する必要があります。アカウントを作ると、AIを使用するための固有のAPIキーが付与されるので、アプリ開発者は自分のアプリにこのキーを組み込むことでAIを活用したアプリを開発できます。
以下の文章は、コリイ・ドクトロウの「“Disenshittify or Die”」という記事を翻訳したものである。 Pluralistic 先週末、ラスベガスで開催されたDefcon 32に参加し、トラック1で「脱メタクソ化か、死か！ ハッカーはいかにして計算手段を掌握し、クソボスたちのメタクソ化への飽くなき強欲に対抗する新しき良きインターネットを構築できるか」という単独講演を行う光栄な機会を得た。 https://info.defcon.org/event/?id=54861 これは昨年の講演「インターネットのメタクソ化（Enshittification）を止める大胆な計画」の続編で、その講演でのプラットフォームの衰退（「メタクソ化」）に関する私の分析には多くの国際的な関心が寄せられた。 https://www.youtube.com/watch?v=rimtaSgGz_4 Defcon
![「脱メタクソ化か、死か」 | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/c41d621fcbbca4e07e3709013fc76a23cf304bdb/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F08%2F9271a4dfe5a21142_2.jpg)
我々の位置情報はいかにしてデータブローカーに収集・販売・集約され、政府機関にわたっているのか投稿者: heatwave_p2p 投稿日: 2022/6/162022/6/16 Electronic Frontier Foundation この数年、データブローカーと軍、情報機関、法執行機関は、無数の市民の動きを監視するために、巨大かつ秘密のパートナーシップを構築してきた。我々のスマートフォンにインストールされた多数のモバイルアプリは、正確かつ頻繁に我々の行動を追跡している。データブローカーはアプリ開発者から我々の位置情報を収集し、政府機関に売却している。政府の手に渡ったデータは、軍による国外でのスパイ活動、ICEによる国内外の人物の監視、FBIやシークレットサービスなどの法執行機関に使用されている。本稿では、最近の調査や報道をもとに、この監視パートナーシップがどのように機能し、なぜ懸念しな
![我々の位置情報はいかにしてデータブローカーに収集・販売・集約され、政府機関にわたっているのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/508527582f7abffc77f487883d2047e7668f82a0/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2022%2F06%2Flocationdata_v2.mov1_.gif)
みんなアイカツ！についてどう思ってる？理解したいので、ツイートを形態素解析するサーバレスな構築を作ってみた | DevelopersIO
みんなアイカツ！についてどう思ってる？理解したいので、ツイートを形態素解析するサーバレスな構築を作ってみた データアナリティクス事業本部＠札幌の佐藤です。 先日『アイカツオンパレード！ドリームストーリー』が完結しましたが、皆さんご覧になられたでしょうか。 音城ノエルの頑張りを見て、泣いてしまう姉の音城セイラ……『アイカツ！』をくらえって感じでしたね。最高でした。 まだ見ていない人は、YouTubeバンダイチャンネルで配信中ですので是非ご覧ください。 1時間半程度で全話視聴可能です！ そんな感動した『アイカツオンパレード！ドリームストーリー』、みんな見てどう思っていたか気になりませんか？ 私は気になります。 ということで、Twitterのツイートを形態素解析してワードクラウドを作成、その結果をツイートする機能をサーバレスで構築したのでその話をしたいと思います。 なお、Twitterに対しての
【Pythonでスクレイピング】Mattermost BOT投稿機能 作り方 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに はじめまして。aqli_kuk120と申します。 ラクスの片隅でひっそりとインフラエンジニアをしています。 「エンジニアは常日頃の情報収集が肝要」とよく聞きますが、中々実践できない自分がいました。 技術系のニュースアプリをスマホに入れてみるも、三日坊主でついつい他の興味あることをネットサーフィンする日々…。 これではいかんと思い、対策を考えた結果、 「人気記事のリンクをスクレイピングして社内のチャットツール(Mattermost)にBOT投稿するようにしたら、昼休みにご飯食べながらみれるんじゃない？」と思い至りました。 ということで、インフラエンジニアと名乗ったものの、今回はPythonを使ったスクレイピングとMattermostへのBOT投稿についてブログを書いていきたいと思います。 はじめに スクレイピングとは Mattermostとは Pythonで今回作るもの 開発環境構
「PerplexityのAIがクローラーをブロックするrobots.txtを無視している」との指摘に対しCEOが「無視しているわけではないがサードパーティーのクローラーに依存している」と主張
生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘されています。これに対し、Perplexityのアラヴィンド・スリニヴァスCEOが、「robots.txtの指示を無視しているわけではない」「自社のクローラーだけでなく、サードパーティーのクローラーにも依存している」と釈明しました。 Perplexity AI CEO Aravind Srinivas on plagiarism accusations - Fast Company https://www.fastcompany.com/91144894/perplexity-ai-ceo-aravind-sriniv
Instagramキャンペーンに関して、2020年6月にFacebook社のガイドラインに変更がありました。 Instagramキャンペーンを実施している企業は、すぐに対応が必要な内容になっています。 インセンティブ付きのキャンペーンがガイドライン違反に？Instagramはこれまで、インセンティブ付きのキャンペーンを実質的に黙認していました。 しかし、今回の変更で「フォロー・いいね・コメントなどのアクションを促し、その対価を提供すること」がガイドライン違反になりました。 上記のガイドラインでは、すべてのInstagramキャンペーンが禁止になったわけではなく、あくまで「フォロー・いいね・コメントなどの見返りとして景品等を提供する行為」のみが禁止の対象となっています。 例えば、よくある「フォロー&いいねしてくれた方の中から抽選で10名様に商品をプレゼント」のようなキャンペーンは今後はできな
文：D-JEDI理事 熊田安伸 「ユニコーンに乗って」なんてドラマができるぐらい、猫も杓子も「スタートアップ」の昨今。でも、「つぶしのきかない記者」として何年も生きてきた自分に、今さら転職なんてできるわけないじゃないか、とお考えの方も多いのではないでしょうか。 でもしちゃったんですよね、転職。しかも勤続31年、間もなく54歳になろうとするオジサンが、「ダブルユニコーン企業」と呼ばれる資金調達を達成したスマートニュースの、さらに子会社に。社内公用語が英語、という規定があるわけではないのですが、グローバル企業なので会議も資料も基本は英語ですよ、英語。社内のフランクな会話になると、英語どころか多言語が飛び交っています。 ドラマの西島秀俊さんのような、基本スペックが高い中高年ならば、プログラミングなんてできなくても、ITオンチでも乗り切っていけるかも知れませんが、ワタクシにはそんな器量はなーい。で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人開発で「Excel専用のWebAPI」を作りました
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
エンジニアバブルとは何だったのか｜久松剛／IT百物語の蒐集家
増田文学2020 ランキング100(仮) ※「〇〇が無い」、「これ文学じゃない」ってのあったら教えてね
PS5の転売は悪だとか言って ※11/17再追記
AWS認証情報が盗まれる2つのライブラリ改ざんについてまとめてみた - piyolog
イラストAIだめならそもそも二次創作で金を取るのをやめろ
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
【2024年】ITエンジニア本大賞まとめ - Qiita
GASを使ったスクレイピングの作成手順を紹介！ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
スクレイピングした物件データを利用した物件検索サービスは問題ないのか｜torum
文化庁、「AIと著作権に関する考え方について（素案）」のパブコメ結果発表 意見提出数は2万4938件
読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG
OpenAIはChatGPTを消去して作り直さなければならないかも知れない | TEXAL
100万時間以上のYouTube動画をOpenAIがAIモデルのトレーニングに利用していたことが判明
“リンク切れ”――インターネットは砂上の図書館である | p2ptk[.]org
AIアートと著作権：「Stable Diffusionを違法化するためのロジック」が人間のアーティストを苦しめるワケ | p2ptk[.]org
はてなのモバイル開発大紹介！ (2024/09/19 19:00〜)
無料でGPT-4を使い倒して料金を他人に払わせる「海賊版GPT-4」が横行している
「脱メタクソ化か、死か」 | p2ptk[.]org
我々の位置情報はいかにしてデータブローカーに収集・販売・集約され、政府機関にわたっているのか | p2ptk[.]org
今、Instagramのガイドラインに大変動が起きている。｜ワタラユウ
オールドメディアのNHKから新進気鋭のスタートアップへ 転職の前に最低限しておいたこと｜一般社団法人デジタル・ジャーナリスト育成機構(D-JEDI)