どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
Twitterに厳しい一時制限 未認証アカの閲覧件数は「1日600件まで」── 「Twitter終わり」「API規制」トレンドに【更新：1日1000件に緩和】
Twitterの投稿が読み込めないと、日本時間の7月1日午後11時ごろから話題になっている。これにより「Twitter終わり」や「API規制」といった単語がTwitterの日本トレンドに入った。Twitterを運営する米Xのイーロン・マスク氏は2日午前2時、「一時的な制限を加えた」とツイートした。例えば未認証のアカウントは1日当たり600件までの読み込みが上限になるとしている。その後、マスク氏は状況を更新し、2日午前7時時点までに段階的に制限を緩和している（記事下部に追記あり）。 認証済みのアカウントは1日当たり6000件まで、新規に作られた未認証アカウントは1日当たり300件まで。1日のリセットタイミングがいつあるのか、いつまでこの制限が適用されるのかは明らかにしていない。 一時的な制限を始めた理由について、マスク氏は「極端なレベルのデータスクレイピングとシステム操作に対処するため」と説
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
今回はエンジニアバブルの背景を整理することで、また大なり小なり起きるであろうバブルに備えることを目的としてまとめます。 有料設定していますが、最後まで無料でお読みいただけます。もしよければ投げ銭感覚で応援をお願い致します。 エンジニアバブルとは何かIT業界では新興の業界ということもあり、大小のバブルが発生しやすい特徴があります。この20数年の日本国内を振り返っても下記のようなものがありました。 ITバブル（1999-2000年） クラウドバブル（2010年前後） ソーシャルゲームバブル（2010年代前半） AIバブル（現在） このコンテンツで言うエンジニアバブルとは、プログラマを中心としたエンジニアが売り手市場となり、待遇が右肩上がりで提示されやすい状況を指します。エンジニアバブルでは求人倍率が上昇し、即戦力採用が活発化しました。提示年収が現年収比 1.25倍を超えたりすることも多々ありま
はじめに※2020年のやつ誰も作ってくれないので、自分でまとめ ※増田文学でない奴が混じってると思う ※「○○が入ってない」、「▲▲は増田文学でなはいのでは」等あればコメントよろしく頼みます 2020年増田文学ランキング100順位URLブクマ日付コンテンツ1旅が終わる気がする17792020/07/01暮らし★クソデカ羅生門16012020/06/112日本から捨てられた土地で生まれて15652020/10/26世の中3渡辺明の孤独な闘い15612020/07/18世の中4在宅勤務が始まり、いまが人生で1番幸せな春15602020/04/10暮らし5ほぼ叔父に育てられた14612020/06/17世の中6一軒家（借家だけど）に越したので犬を飼うことにした14262020/02/28暮らし7子どもが知的障害者になった13212020/05/25暮らし8防犯カメラの死角を必死で探したことがある
５万円のPS5を10万円で売ってるくらいで文句言っている人がいるけど、 もっと遥かに大きな転売については全然文句言わないよね。 不動産屋がオーナーからマンションを1億円で買って2億円で転売しても文句言わないよね。 独占販売契約などを利用して、買値の数倍から数十倍の価格で転売している商社とかにも文句言わないよね。 証券会社が手数料名目で何割も乗せた価格で証券を転売しても文句言わないよね。 結局、文句を言いやすい相手が転売で５万円儲けたら文句を言うけど、 文句を言いにくい相手が転売で５兆円儲けても文句を言わないよね。 弱いものを攻撃したいだけだよね。 メルカリでの転売なんて、需要と供給に基づいて市場価格が決まっていくだけじゃん。 たった5万円の手数料を払うだけで、店頭で買えない貴重な商品が買えるんだから感謝すればいいじゃん。 不動産屋に何千万円も手数料を取られた上で「いい物件を紹介してくれてあ
「pixivのイラストを非公開にしました」 フォロワー数十万の“有名絵師”から発表相次ぐ AI巡る対応に不信感
「pixivに投稿したイラストをいったん非公開にしました」──5月6日ごろから、Twitterで数十万のフォロワーを集めるイラストレーターの間で、こんな発表が相次いでいる。背景にあるのは、画像生成AIへの対応を巡るpixivへの不信感だ。 例えばTwitterフォロワー数24万人超のイラストレーター・あかもくさんは7日、pixivへの新規投稿を控える他、過去に投稿したイラストを全て非公開にしたとTwitterに投稿。「抜本的なAI対策とそれに伴うpixiv社の会社としての意思が明確になるまで」継続するという。 他にもフォロワー数64万人超のイコモチさん、約13万人の皐月恵さんなど、複数のイラストレーターが同様の方針を発表している。いずれも、pixivに投稿したイラストを勝手にAIに学習されることを危惧しての対応という。 イラストレーターの対応について、SNSではさまざまな反応が出ている。「
絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
Twitter機能不全の背後には何が？——セルフDDoS、支払い停滞、組織弱体化の疑惑｜星 暁雄（ITジャーナリスト）
[ 星暁雄の仕事はこちら ] 2023年7月1日、日本でもTwitterの不調、不具合を訴えるツイートが増える様子を見た。「API制限のメッセージが出て閲覧できない」「自分のツイートも見られない」などの内容だ。今回の機能不全に関して、メモを残しておきたい。一言でいえば、Twitterの経営判断ミスと技術的ミスの積み重ねにより、ユーザーに迷惑がかかる結果となった。その背後には組織の弱体化があると考えられる。 Twitterのオーナーであり、CTO（最高技術責任者）を名乗るイーロン・マスク氏は7月1日（現地時間）、Twitterユーザーが感じている不調の理由は「異常なスクレイピング（注：Webサイトから機械的にデータを取得すること）の負荷に対応するため、閲覧できるツイート数を制約したため」と説明した。 いくつかのアカウントが機械的に大量のツイートを収集する挙動をしているため、全ユーザーに対して
2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ
2024/2/14 タイトル一部変更 自分の意見は「二次創作が伝統的に許されてるのにイラストAIになった途端許容しないのはダブルスタンダードだろ」という意見が核になってます。 なんなら自分も二次創作は好きなんですが、「俺の作品！」みたいな面されると反感持つだけです。 とはいえ今から追記するとゴチャゴチャにしそうなので波線以下文章は手入れてません。 ・論点ボロボロ 本当にすみません ・お前のお気持ちだろ 仰る通りです 〜〜〜 「二次創作を有料に描いてる人が文句を言うなってのはお門違い過ぎないかなってね。今回のAIの問題点は「『人様の絵』を使うなって感じじゃないの？」とかのたまってるアホがいてイライラして書き始めた。 自分の立場として、 ・AIが話題になるずっと前からfanboxやFantiaのガイドラインに許可されていない二次創作で金取ることを批判していた。 ・イラスト生成AIは肯定派だが、
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
【2024年】ITエンジニア本大賞まとめ
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
こんにちは！ エンジニアのまうみです。 突然ですが、「今使ってるブログサービスからWordPressに引っ越ししたい」と検討中の方はいらっしゃいますか。 もし、現在のブログサービスに記事をエクスポートする機能がない場合、手作業で記事を更新する必要があります。10記事程度ならまだしも、100記事以上ともなると、それは流石に手作業では骨が折れますね。 そこで今回はGoogle Apps Script（以下：GAS）で、スクレイピングしたデータをスプレッドシートに保存するプログラムを作り方をご紹介します。 【前提】スクレイピングとは スクレイピングとは、あらかじめ指定したWebサイトを巡回して情報を取得し、新たな情報を出力するためのプログラムです。 今回は、開発環境を構築することなく簡単にプログラムを実行できるGASを使用します。特に開発環境は初心者がつまづくところなので、そこをスキップできるの
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
スクレイピングとは、サイト上のページの内容をHTMLで解析して（大したことではないし、大昔からある）データとして取得する、という手法を言います。 昔なら、Perlの正規表現でワンライナー、またはHTMLパーサーをかましてDOMにQueryかけたり、Linqで料理したり・・・最近ではノーコード、ローコード？ スクレイピングするのは大抵、そのサイトがRSS/Atomフィードやその他のXML形式などの扱いやすいデータを配信していない為、データとして利用するにはむりくりページ表示用のHTMLを解析して扱いやすいデータに整形する必要がある、という場合です。 サイト側が扱いやすいデータとして配信していないのは、単なる不親切か、一般にその必要性がないと思われている情報か、データを再利用してもらいたくない何か理由があるか、のいずれかです。 そこで、今、たまたまこんなのを見つけてしまったのですが・・・ 個人
文化庁は、今後もAIと著作権に関する法解釈について、今後も分かりやすい形で啓発していくと説明。「必要に応じて、著作者人格権や著作隣接権とAIとの関係（俳優・声優などの声を含んだ実演・レコードなどの利用とAIとの関係を含む）において、検討すべき点の有無や内容の検討を含め、『考え方』の見直しなど必要な検討を行う」（同庁） 関連記事 「生成AIは著作権保護の検討が不十分」新聞協会など声明 「著作権法30条の4は大きな課題」 新聞協会など4団体は、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘している。 クリスタに画像生成AIを搭載する予定ない──提供元セルシスが発表 「データセットがクリーンなものしか使わない」 クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト
読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピングなどの自動化した手段でデータ収集や抽出、加工、解析、蓄積などをする行為」「生成AIなどに学習させる行為、生成AIなどを開発する行為」を禁じた。 これらの禁止事項を含めた情報解析のために、同メディアの記事を利用したい場合は、読売新聞とライセンス契約を結ぶ必要があるとしている。 生成AIを巡っては、米The New York Timesは2023年12月に米Microsoftと米OpenAIを著作権侵害で提訴するなど、新聞業界は反発している。The New York Timesは「両社が
Threads
さっそく私もアカウントを作ってみました :) https://www.threads.net/@siva001 Elon Muskが買収してからのTwitterがどんどん壊れ、ついに無料ユーザーは一日600ポストしか見れない（有料ユーザでも一日6000ポスト）という事態が発生。 早くから避難先が叫ばれていたものの、MastodonやNostrは一般人にはなかなか難しい。BlueskyはきれいなUIで初期の頃のTwitterのような楽しい賑わいを見せているが、招待制でユーザー数の伸びは限定的。 そんな中、Metaが出してきたのがInstagramチームが開発した「Threads」。開始後7時間で1000万人、半日で3000万人とぶっちぎりのスピードでユーザー数を増やしています。これはある意味当たり前で、Instagramという成熟したSNSからユーザーもフォロワーも引っ張ってこれる。SNSと
個人開発を始めてみよう──「失敗」を避ける大事な考え方とは？
はじめに BASE株式会社でシニアエンジニアを務めているプログラミングをするパンダ（@Panda_Program）と申します。本連載は「フロントエンドカンファレンス沖縄2022」で私が発表した内容[1]を記事として再構成したものです。 対象読者 本連載の対象読者は、個人開発に興味があるソフトウェアエンジニアの方です。 個人開発に「失敗」しないための考え方 ソフトウェアの個人開発とは、ソフトウェアエンジニアが自分のプライベートな時間を使ってWebサイトやスマートフォン向けのアプリを作成、公開、運用する趣味活動です。では、本記事のタイトルに含まれている「失敗」という語の指す内容とは何でしょうか。本連載で私はそれを「学習またはリリースを目的としたときに、その目的が達成できていないこと」と定義したいと思います。 個人開発における最大の意思決定はリリースの有無です。自分が開発したソフトウェアをリリー
The New York Times紙（NYT)がサービス利用規約（TOS）を更新し、AI企業がAIモデルを訓練するために記事や画像をスクレイピングすることを禁止していることが明らかになったが、どうやら事態はそれだけでは収まらないようだ。 NPRの報道によると、NYTとOpenAIはライセンス契約をめぐって数週間にわたり難航しているが、合意に達することはできていない。交渉は行き詰まっており、NYTは現在訴訟を検討しているようだ。 NPRは、この件に関して“直接知っている”2人の匿名の情報筋の話を引用しており、訴訟の結果次第ではChatGPTのデータセットは再構築を余儀なくされ、侵害コンテンツ1つにつき最高15万ドルの罰金が科されるなど、OpenAIに壊滅的な打撃を与える可能性があると専門家は推測している。NYTの弁護士は、同紙の報道の “知的財産権を守るために”訴訟が必要かどうか熟考してい
OpenAIが、AIモデルのトレーニングに用いるために100万時間を超える分量のYouTube動画をダウンロードして利用していたことがThe NewYork Timesの指摘でわかりました。なお、YouTubeと同じ親会社AlphabetのもとにいるGoogleは、OpenAIの行為に気付いていましたが、自分たちも独自のAIモデルのトレーニングにYouTubeの動画を活用していたため、行動を起こさなかったとのことです。 How Tech Giants Cut Corners to Harvest Data for A.I. - The New York Times https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html Google reporte
女性声優と自動化 - Qiita
この記事は「Wake Up, Girls! Advent Calendar 2019」18日目の記事です この記事では推しの声優の情報を自動的に収集する仕組みである @yoppinews bot の開発や運用についてご紹介します。 1. はじめに: 趣味を自動化して怠惰なファン活動をしよう 声優のファン活動のなかで、どのような作品やイベントに出演するのかといった情報をおさえておくのは重要でありながら意外にも時間やコストを要します。 チケットの争奪戦が予想される場合、オタクはひっそりと情報を仕入れそっと eplus で抽選に申し込みます。気づけば行きたかったイベントの抽選は終わっているなんてことが初期にはよくありました（遠い目）。 だいたい同じ演者を追っている人間を twitter でフォローしておくと関連する情報が入ってきてベンリですが、声優オタク人生は山あり谷あり他界ありで、「お前が一番
AIアートと著作権：「Stable Diffusionを違法化するためのロジック」が人間のアーティストを苦しめるワケ投稿者: heatwave_p2p 投稿日: 2023/4/82023/4/8 Electronic Frontier Foundation アーティストたちは、Stabile Diffusionなどの自動画像生成ツールが自分たちの作品市場を縮小させる可能性を、当然のことながら懸念している。我々は自動化で仕事を奪われる人たちを見捨てるような社会に生きている。そして、ビジュアルアーティストという職業はすでに不安定な立場に置かれている。 こうした状況にあって、著作権にすがろうとするのは自然なことではある。著作権はアーティストが作品から対価を得られるよう保証するものだからだ。だが、一部のアーティストたちがStable Diffusionを相手取って起こした集団訴訟で主張している著作
![AIアートと著作権：「Stable Diffusionを違法化するためのロジック」が人間のアーティストを苦しめるワケ | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc6807254da006ce599b9242b30513d518d47bfd/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2023%2F04%2FSD20230408.jpg)
共同でコードを書くサービスを悪用し、開発者がそれと気づかないまま公開してしまったOpenAIのAPIキーをスクレイピングしてGPT-4を無料で使う手口が確認されたことを、Motherboardが報告しました。 People Are Pirating GPT-4 By Scraping Exposed API Keys https://www.vice.com/en/article/93kkky/people-pirating-gpt4-scraping-openai-api-keys 記事作成時点でGPT-4などの大規模言語モデルを使いたい場合、OpenAIのサイトでアカウントを作成してクレジットカードを登録する必要があります。アカウントを作ると、AIを使用するための固有のAPIキーが付与されるので、アプリ開発者は自分のアプリにこのキーを組み込むことでAIを活用したアプリを開発できます。
以下の文章は、コリイ・ドクトロウの「Linkrot」という記事を翻訳したものである。 Pluralistic 過小評価されている認知的美徳がある。それは「対象の永続性（object permanence）」、つまり以前に物事をどのように認識したかを継続的に記憶していることだ。ライリー・クインがしばしば思い出させてくれるように、左派は「対象の永続性」のイデオロギーだ。左派であるということは、CIAが一時的にトランプを苦しめている時でさえも、CIAを嫌い、信用しないことであり、あるいは、かつて労働者が自分の賃金で家族を養えていたことを覚えていることだ。 https://pluralistic.net/2023/10/27/six-sells/#youre-holding-it-wrong 問題は、対象の永続性が難しいということだ。光陰矢の如し。事実を覚えておくのは難しく、それらの事実がどの順番
![“リンク切れ”――インターネットは砂上の図書館である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4a4b517a3c63d5a8577bd37a06e534e16b7884dd/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2F21May2024.jpg)
我々の位置情報はいかにしてデータブローカーに収集・販売・集約され、政府機関にわたっているのか投稿者: heatwave_p2p 投稿日: 2022/6/162022/6/16 Electronic Frontier Foundation この数年、データブローカーと軍、情報機関、法執行機関は、無数の市民の動きを監視するために、巨大かつ秘密のパートナーシップを構築してきた。我々のスマートフォンにインストールされた多数のモバイルアプリは、正確かつ頻繁に我々の行動を追跡している。データブローカーはアプリ開発者から我々の位置情報を収集し、政府機関に売却している。政府の手に渡ったデータは、軍による国外でのスパイ活動、ICEによる国内外の人物の監視、FBIやシークレットサービスなどの法執行機関に使用されている。本稿では、最近の調査や報道をもとに、この監視パートナーシップがどのように機能し、なぜ懸念しな
![我々の位置情報はいかにしてデータブローカーに収集・販売・集約され、政府機関にわたっているのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/508527582f7abffc77f487883d2047e7668f82a0/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2022%2F06%2Flocationdata_v2.mov1_.gif)
みんなアイカツ！についてどう思ってる？理解したいので、ツイートを形態素解析するサーバレスな構築を作ってみた | DevelopersIO
みんなアイカツ！についてどう思ってる？理解したいので、ツイートを形態素解析するサーバレスな構築を作ってみた データアナリティクス事業本部＠札幌の佐藤です。 先日『アイカツオンパレード！ドリームストーリー』が完結しましたが、皆さんご覧になられたでしょうか。 音城ノエルの頑張りを見て、泣いてしまう姉の音城セイラ……『アイカツ！』をくらえって感じでしたね。最高でした。 まだ見ていない人は、YouTubeバンダイチャンネルで配信中ですので是非ご覧ください。 1時間半程度で全話視聴可能です！ そんな感動した『アイカツオンパレード！ドリームストーリー』、みんな見てどう思っていたか気になりませんか？ 私は気になります。 ということで、Twitterのツイートを形態素解析してワードクラウドを作成、その結果をツイートする機能をサーバレスで構築したのでその話をしたいと思います。 なお、Twitterに対しての
【Pythonでスクレイピング】Mattermost BOT投稿機能 作り方 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに はじめまして。aqli_kuk120と申します。 ラクスの片隅でひっそりとインフラエンジニアをしています。 「エンジニアは常日頃の情報収集が肝要」とよく聞きますが、中々実践できない自分がいました。 技術系のニュースアプリをスマホに入れてみるも、三日坊主でついつい他の興味あることをネットサーフィンする日々…。 これではいかんと思い、対策を考えた結果、 「人気記事のリンクをスクレイピングして社内のチャットツール(Mattermost)にBOT投稿するようにしたら、昼休みにご飯食べながらみれるんじゃない？」と思い至りました。 ということで、インフラエンジニアと名乗ったものの、今回はPythonを使ったスクレイピングとMattermostへのBOT投稿についてブログを書いていきたいと思います。 はじめに スクレイピングとは Mattermostとは Pythonで今回作るもの 開発環境構
Instagramキャンペーンに関して、2020年6月にFacebook社のガイドラインに変更がありました。 Instagramキャンペーンを実施している企業は、すぐに対応が必要な内容になっています。 インセンティブ付きのキャンペーンがガイドライン違反に？Instagramはこれまで、インセンティブ付きのキャンペーンを実質的に黙認していました。 しかし、今回の変更で「フォロー・いいね・コメントなどのアクションを促し、その対価を提供すること」がガイドライン違反になりました。 上記のガイドラインでは、すべてのInstagramキャンペーンが禁止になったわけではなく、あくまで「フォロー・いいね・コメントなどの見返りとして景品等を提供する行為」のみが禁止の対象となっています。 例えば、よくある「フォロー&いいねしてくれた方の中から抽選で10名様に商品をプレゼント」のようなキャンペーンは今後はできな
文：D-JEDI理事 熊田安伸 「ユニコーンに乗って」なんてドラマができるぐらい、猫も杓子も「スタートアップ」の昨今。でも、「つぶしのきかない記者」として何年も生きてきた自分に、今さら転職なんてできるわけないじゃないか、とお考えの方も多いのではないでしょうか。 でもしちゃったんですよね、転職。しかも勤続31年、間もなく54歳になろうとするオジサンが、「ダブルユニコーン企業」と呼ばれる資金調達を達成したスマートニュースの、さらに子会社に。社内公用語が英語、という規定があるわけではないのですが、グローバル企業なので会議も資料も基本は英語ですよ、英語。社内のフランクな会話になると、英語どころか多言語が飛び交っています。 ドラマの西島秀俊さんのような、基本スペックが高い中高年ならば、プログラミングなんてできなくても、ITオンチでも乗り切っていけるかも知れませんが、ワタクシにはそんな器量はなーい。で
すみません、すごい前置きが長くなってしまったので、ランキングの結果だけ知りたい場合は目次から飛んでください！ 「本番環境でやらかしちゃった人 Advent Calendar」をご存知ですか おはようございます！ 自分が好きなアドベントカレンダーに、「本番環境でやらかしちゃった人 Advent Calendar」 というのがあります。インフラエンジニアとして働く自分は、毎年こんなにもリアリティのある やらかしと学びの集大成 を「明日は我が身」だと胃を痛めながらありがたく拝見していました…。 この分野における しくじり先生 がここまで一同に介する機会というのはあまりないことから、大変マニアックながらも知る人ぞ知るアドベントカレンダーという感じになっています。 このアドベントカレンダーのいいところ ポイントは、しっかりと ポストモーテム の要素がルール化されているところだと思っています。 振り返
レインズのデータについて、いわゆる「オープン」に「開放」して広く利用できるようにすべきだ、という声を聞くことがあります。 大昔からチラホラあった話しではありますが、近年は特に一部のいわゆる「不動産テック企業（日本では異業種）」による「自分らにもレインズのデータを利用させろ」というような声を聞くことが多くなりました。 その主張の背景にある様々な事情は十分に良く分かっているのですが、レインズの「オープン化」や「一般公開」、さらには「データ連携」などと抽象的な言葉でしか語られていない為、それが具体的どういう事を意味するのか、主張している側でも解釈が曖昧で（そもそも意味を分かって言っているのか疑問）、当然ながら受け取り側でも大きな誤解があったりで、混乱が見受けられます。 賛成か反対を言う以前に、まず言葉の具体的な意味と、論点を整理しなければ、そもそも議論すら噛み合いません。 ということで、適当に論
AIの開発・運用に関する包括的な規則を定めた欧州「AI法」が3月13日に欧州議会で可決され、5月に施行される予定だ。このAI法によって、これまでと何が変わって、何が変わらないのか、ポイントをまとめてお伝えする。 by Melissa Heikkilä2024.03.25 24 14 この記事は米国版ニュースレターを一部再編集したものです。 ついに正式に決定した。3年という歳月の末に、欧州連合（EU）の包括的な新「人工知能（AI）法」が3月13日、欧州議会で可決されたことで、最後の官僚的試練を乗り越えたのだ（AI法については、昨年 私が公開したこの記事で5つの重要ポイントを解説している。併せてお読みいただきたい）。 このニュースは、個人的にはひとつの時代の終わりのようにも感じる。2021年に、AI法の初期草案のスクープを入手した最初の記者が私だった。以来、それに続くロビー活動の混乱の行方を見
お久しぶりです！ 最近仕事で社内向けにRPA研修を行い、 そこで自動化禁止サイトを少しだけ調べたので共有したいと思います。 自動化禁止サイトのまとめ記事がないのが意外でした...！ ※注意：2020年6月24日時点の情報です！ ※注意：本記事に掲載していないサイトでも利用規約で自動化を禁止しているサイトはたくさんあります。自動化する前に一度ご確認ください。 Amazon ロボットなどのデータ収集・抽出ツールによる利用は許可されていません。 利用規約に明記されています。 RPAだけでなくプログラミング言語によるスクレイピングもNGだと思われます。 Amazon - 利用規約 - この利用許可には、アマゾンサービスまたはそのコンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、アマゾンサービスまたはそのコンテンツの二次的利用、第三者のために行うアカウント情報のダウンロ
イラストレーターをはじめとするクリエイターが、SNSやプラットフォームで作品を発表する──今まで当たり前のように行われていたことが、揺らぎはじめている。 生成AI（ジェネレーティブAI）の登場により、インターネット上にアップロードした作品が、権利者に無断（※）で学習データに利用されてしまうケースが頻発。 それに対抗し、SNSではクリエイター側が自分の作品について「無断学習禁止」を宣言したり、過去に投稿した作品をインターネット上から削除したりするなどの動きも増えてきた。 （※）なお現在、日本の著作権法では、AIの学習を目的とした著作物の利用は「その著作物に表現された思想または感情の享受を目的としない」かつ「著作者の利益を不当に害さない」場合、原則として権利者の許諾なく利用できるとされている（KAI-YOU.net調べ） そうした現状を受けて、クリエイターを守る新たなサービス「Oneup」が2
令和5年9月21日 公正取引委員会 第1 調査趣旨等 近年、ニュースコンテンツに係る消費者の接点として、新聞、雑誌等の既存のニュースメディアの利用が減少する一方で、インターネット上でニュースをまとめて表示するニュースポータルやインターネット検索のサービスなどのニュースプラットフォームの利用が増加している。 ニュースコンテンツが国民に適切に提供されることは、民主主義の発展において必要不可欠であり、また、消費者に情報を届けるという観点で、消費者における自主的かつ合理的な商品等の選択を通じた公正な競争環境の確保に資するものとしても重要である。この点について、ニュースプラットフォームを運営する事業者（以下「ニュースプラットフォーム事業者」という。）と取材に基づきニュースコンテンツを編集して提供する事業者（以下「ニュースメディア事業者」という。）との間の取引や、ニュースプラットフォームにおけるニュー
欧州連合(EU)で提案された人工知能(AI)を規制するための世界初の法案について、欧州連合(EU)の政策執行機関である欧州委員会(EC)、EUの政策決定機関であるEU理事会、EUの立法機関である欧州議会の三者協議が進められていたのですが、ついに合意に至りました。EUのAI規制法は2021年4月に提案されたもので、欧州企業から猛抗議を受けながら調整が進められていたものです。 Artificial Intelligence Act: deal on comprehensive rules for trustworthy AI | News | European Parliament https://www.europarl.europa.eu/news/en/press-room/20231206IPR15699/artificial-intelligence-act-deal-on-comp
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人開発で「Excel専用のWebAPI」を作りました
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
エンジニアバブルとは何だったのか｜久松剛／IT百物語の蒐集家
増田文学2020 ランキング100(仮) ※「〇〇が無い」、「これ文学じゃない」ってのあったら教えてね
PS5の転売は悪だとか言って ※11/17再追記
AWS認証情報が盗まれる2つのライブラリ改ざんについてまとめてみた - piyolog
イラストAIだめならそもそも二次創作で金を取るのをやめろ
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
【2024年】ITエンジニア本大賞まとめ - Qiita
GASを使ったスクレイピングの作成手順を紹介！ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
スクレイピングした物件データを利用した物件検索サービスは問題ないのか｜torum
文化庁、「AIと著作権に関する考え方について（素案）」のパブコメ結果発表 意見提出数は2万4938件
読売新聞、Web記事の“生成AIへの学習利用”を禁止に 利用規約を改定 スクレイピングなどもNG
OpenAIはChatGPTを消去して作り直さなければならないかも知れない | TEXAL
100万時間以上のYouTube動画をOpenAIがAIモデルのトレーニングに利用していたことが判明
AIアートと著作権：「Stable Diffusionを違法化するためのロジック」が人間のアーティストを苦しめるワケ | p2ptk[.]org
無料でGPT-4を使い倒して料金を他人に払わせる「海賊版GPT-4」が横行している
“リンク切れ”――インターネットは砂上の図書館である | p2ptk[.]org
我々の位置情報はいかにしてデータブローカーに収集・販売・集約され、政府機関にわたっているのか | p2ptk[.]org
今、Instagramのガイドラインに大変動が起きている。｜ワタラユウ
オールドメディアのNHKから新進気鋭のスタートアップへ 転職の前に最低限しておいたこと｜一般社団法人デジタル・ジャーナリスト育成機構(D-JEDI)
本番環境でやらかしちゃった人 Advent Calendar 2019〜2022 総合ランキング - Qiita
巷の「レインズの『オープン化』論」の論点を整理してみる｜torum
ついに成立した欧州「AI法」で変わる4つのポイント
【※絶対に自動化してはいけない】自動化禁止サイトまとめ！ - Qiita
AIからクリエイターを守るSNS「Oneup」 オタク文化愛が生む、無断学習させない仕組み
(令和5年9月21日)ニュースコンテンツ配信分野に関する実態調査報告書について | 公正取引委員会
世界初のAI規制法にEUが合意、政策執行機関の委員長は「世界初のAI法」であることを強調