どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
Twitterに厳しい一時制限 未認証アカの閲覧件数は「1日600件まで」── 「Twitter終わり」「API規制」トレンドに【更新：1日1000件に緩和】
Twitterの投稿が読み込めないと、日本時間の7月1日午後11時ごろから話題になっている。これにより「Twitter終わり」や「API規制」といった単語がTwitterの日本トレンドに入った。Twitterを運営する米Xのイーロン・マスク氏は2日午前2時、「一時的な制限を加えた」とツイートした。例えば未認証のアカウントは1日当たり600件までの読み込みが上限になるとしている。その後、マスク氏は状況を更新し、2日午前7時時点までに段階的に制限を緩和している（記事下部に追記あり）。 認証済みのアカウントは1日当たり6000件まで、新規に作られた未認証アカウントは1日当たり300件まで。1日のリセットタイミングがいつあるのか、いつまでこの制限が適用されるのかは明らかにしていない。 一時的な制限を始めた理由について、マスク氏は「極端なレベルのデータスクレイピングとシステム操作に対処するため」と説
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
今回はエンジニアバブルの背景を整理することで、また大なり小なり起きるであろうバブルに備えることを目的としてまとめます。 有料設定していますが、最後まで無料でお読みいただけます。もしよければ投げ銭感覚で応援をお願い致します。 エンジニアバブルとは何かIT業界では新興の業界ということもあり、大小のバブルが発生しやすい特徴があります。この20数年の日本国内を振り返っても下記のようなものがありました。 ITバブル（1999-2000年） クラウドバブル（2010年前後） ソーシャルゲームバブル（2010年代前半） AIバブル（現在） このコンテンツで言うエンジニアバブルとは、プログラマを中心としたエンジニアが売り手市場となり、待遇が右肩上がりで提示されやすい状況を指します。エンジニアバブルでは求人倍率が上昇し、即戦力採用が活発化しました。提示年収が現年収比 1.25倍を超えたりすることも多々ありま
はじめに※2020年のやつ誰も作ってくれないので、自分でまとめ ※増田文学でない奴が混じってると思う ※「○○が入ってない」、「▲▲は増田文学でなはいのでは」等あればコメントよろしく頼みます 2020年増田文学ランキング100順位URLブクマ日付コンテンツ1旅が終わる気がする17792020/07/01暮らし★クソデカ羅生門16012020/06/112日本から捨てられた土地で生まれて15652020/10/26世の中3渡辺明の孤独な闘い15612020/07/18世の中4在宅勤務が始まり、いまが人生で1番幸せな春15602020/04/10暮らし5ほぼ叔父に育てられた14612020/06/17世の中6一軒家（借家だけど）に越したので犬を飼うことにした14262020/02/28暮らし7子どもが知的障害者になった13212020/05/25暮らし8防犯カメラの死角を必死で探したことがある
５万円のPS5を10万円で売ってるくらいで文句言っている人がいるけど、 もっと遥かに大きな転売については全然文句言わないよね。 不動産屋がオーナーからマンションを1億円で買って2億円で転売しても文句言わないよね。 独占販売契約などを利用して、買値の数倍から数十倍の価格で転売している商社とかにも文句言わないよね。 証券会社が手数料名目で何割も乗せた価格で証券を転売しても文句言わないよね。 結局、文句を言いやすい相手が転売で５万円儲けたら文句を言うけど、 文句を言いにくい相手が転売で５兆円儲けても文句を言わないよね。 弱いものを攻撃したいだけだよね。 メルカリでの転売なんて、需要と供給に基づいて市場価格が決まっていくだけじゃん。 たった5万円の手数料を払うだけで、店頭で買えない貴重な商品が買えるんだから感謝すればいいじゃん。 不動産屋に何千万円も手数料を取られた上で「いい物件を紹介してくれてあ
「pixivのイラストを非公開にしました」 フォロワー数十万の“有名絵師”から発表相次ぐ AI巡る対応に不信感
「pixivに投稿したイラストをいったん非公開にしました」──5月6日ごろから、Twitterで数十万のフォロワーを集めるイラストレーターの間で、こんな発表が相次いでいる。背景にあるのは、画像生成AIへの対応を巡るpixivへの不信感だ。 例えばTwitterフォロワー数24万人超のイラストレーター・あかもくさんは7日、pixivへの新規投稿を控える他、過去に投稿したイラストを全て非公開にしたとTwitterに投稿。「抜本的なAI対策とそれに伴うpixiv社の会社としての意思が明確になるまで」継続するという。 他にもフォロワー数64万人超のイコモチさん、約13万人の皐月恵さんなど、複数のイラストレーターが同様の方針を発表している。いずれも、pixivに投稿したイラストを勝手にAIに学習されることを危惧しての対応という。 イラストレーターの対応について、SNSではさまざまな反応が出ている。「
絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
Twitter機能不全の背後には何が？——セルフDDoS、支払い停滞、組織弱体化の疑惑｜星 暁雄（ITジャーナリスト）
[ 星暁雄の仕事はこちら ] 2023年7月1日、日本でもTwitterの不調、不具合を訴えるツイートが増える様子を見た。「API制限のメッセージが出て閲覧できない」「自分のツイートも見られない」などの内容だ。今回の機能不全に関して、メモを残しておきたい。一言でいえば、Twitterの経営判断ミスと技術的ミスの積み重ねにより、ユーザーに迷惑がかかる結果となった。その背後には組織の弱体化があると考えられる。 Twitterのオーナーであり、CTO（最高技術責任者）を名乗るイーロン・マスク氏は7月1日（現地時間）、Twitterユーザーが感じている不調の理由は「異常なスクレイピング（注：Webサイトから機械的にデータを取得すること）の負荷に対応するため、閲覧できるツイート数を制約したため」と説明した。 いくつかのアカウントが機械的に大量のツイートを収集する挙動をしているため、全ユーザーに対して
2022年5月24日（米国時間）、SANS ISCのフォーラムでPython向けライブラリの1つ（その後PHP向けライブラリでも判明）が第三者により不正なコードを含むアップデートが行われていたとして注意を呼び掛ける投稿が行われました。その後この行為に関わっていたとして実行者とみられる人物が顛末を公開しました。ここでは関連する情報をまとめます。 改ざんされた2つのライブラリ 今回影響が確認されたのPython Package Index（Pypi.org）で公開されている「ctx」、Packagist（Packagist.org）で公開されている「PHPass」の2つ。 影響を受けたライブラリ インストール実績 改ざんされたとみられる期間 概要 ctx 約75万回 2022年5月14日～5月24日頃 辞書(dict型オブジェクト)を操作するユーティリティを提供するPython向けのパッケージ
2024/2/14 タイトル一部変更 自分の意見は「二次創作が伝統的に許されてるのにイラストAIになった途端許容しないのはダブルスタンダードだろ」という意見が核になってます。 なんなら自分も二次創作は好きなんですが、「俺の作品！」みたいな面されると反感持つだけです。 とはいえ今から追記するとゴチャゴチャにしそうなので波線以下文章は手入れてません。 ・論点ボロボロ 本当にすみません ・お前のお気持ちだろ 仰る通りです 〜〜〜 「二次創作を有料に描いてる人が文句を言うなってのはお門違い過ぎないかなってね。今回のAIの問題点は「『人様の絵』を使うなって感じじゃないの？」とかのたまってるアホがいてイライラして書き始めた。 自分の立場として、 ・AIが話題になるずっと前からfanboxやFantiaのガイドラインに許可されていない二次創作で金取ることを批判していた。 ・イラスト生成AIは肯定派だが、
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
【2024年】ITエンジニア本大賞まとめ
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
量産型UIから脱却したくて。個人開発の賃貸検索「Comfy」が提言する“探しやすさ”の形【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカス量産型UIから脱却したくて。個人開発の賃貸検索「Comfy」が提言する“探しやすさ”の形【フォーカス】 ソフトウェアエンジニア・個人開発者 choo 大学では文学部だったが、卒業後、たまたま内定が出たため入った大手SIerでプログラミングの面白さに目覚める。2年半で退職した後、1年間アルバイトをしつつ情報科学を独学し、Webサービス開発会社にプログラマとして就職する。2019年から個人開発に取り組んでおり、手描き文字の美麗さをAIで判定する「Letters」というWebアプリも運営している。独学時代には生活費を切り詰めるため、格安の事故物件で生活していた。 X Comfy Letters 賃貸物件の検索条件を入力すると、地図上の地域がリアルタイムに色を変え、「この条件の物件は、この地域にこれくらいある」とひと目でわかるWebサービス「Comfy（コンフィ）」。条件にフィット
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
プロダクト開発体制を一挙公開〜メルカリ・エンジニア組織の大解剖〜 (2021/11/11 19:00〜)
お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。 新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 新機能 connpass APIに新しく、ユーザーのプロフィールを取得できるユーザーAPIを追加しました。APIリファレンスは こちら を、またAPI利用希望の方は こちら をご覧ください。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人開発で「Excel専用のWebAPI」を作りました
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
エンジニアバブルとは何だったのか｜久松剛／IT百物語の蒐集家
増田文学2020 ランキング100(仮) ※「〇〇が無い」、「これ文学じゃない」ってのあったら教えてね
PS5の転売は悪だとか言って ※11/17再追記
AWS認証情報が盗まれる2つのライブラリ改ざんについてまとめてみた - piyolog
イラストAIだめならそもそも二次創作で金を取るのをやめろ
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
【2024年】ITエンジニア本大賞まとめ - Qiita