データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜(https://sansan.connpass.com/event/329234/) の発表資料です
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く(バックエンドとの通信を再現してデータを取得) LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
はじめに 会社員として働く上で評価は最も大きな関心事の1つでしょう。評価によって自身の職位や給料が決まるのでそれも当然です。 しかしながら、「納得感のある評価を受けられていますか?」と問うと明確にYesと答えられる人は稀でしょう。「成果を出したのに正しく評価されていない」と不満を持っていたり「評価は偉い人が勝手に決めるものだから…」と諦めている人もいるのではないでしょうか。少なくとも過去の私はそうでした。 そもそも、評価をどのように受けるべきか指導や研修を受けたことはありますか?私にはその記憶はなく、自身が評価者の立場になって初めて評価というシステムに真剣に向き合うことになりました。 評価の際に被評価者としてできることは、評価者に自分の成果や成長を適切にアピールすることです。そして、アピールの方法として最も確実かつ重要なのは伝わる自己評価を書くことです このエントリは、被評価者が評価者に正
ユネスコ無形文化遺産登録から10年を経て、登録当時には約5.5万店だった海外の日本料理店が、2023年には約18.7万店にまで増えるなど日々関心が高まっています。 京都府立大学、日本料理アカデミーでは京都から国内外を問わず和食のさらなる発展と和食文化を担う人材の育成を目指し、「日本料理大全 デジタルブック」を公開します。 ある料理を知るためには、まずその背景を知らないと始まりません。「日本料理大全」シリーズは手法のみを解説するのではなく、考え方の基礎を示していくことを目指しています。経験や勘に頼るのではなく、なぜこの味が生まれるのか、どうしてこの調理法になるのか、といった根拠や科学的な理由を示しています。それらをもとに料理する人が考え、取り入れ、オリジナルの料理を生み出す手助けとなることを目指しています。 このシリーズが日本料理の発展・普及の一助となり、多くの人々の健康と喜びを導くことにな
Pro Tips for Maximum Impact: Event Fundraisers that Make More Money
エンジニアのみなさま、日々の学習本当にお疲れ様です! また本記事まで足を運んでいただき本当に感謝です。 約1分程度で読めるので最後まで読んでもらえると幸いです。 はじめに コードを書くのに慣れてくると、いちいちコードを書くのが煩わしくなりませんか? そんな時 Visual Studio Code(以下、VSCode) の Emmet機能 を使えば、HTML等、特にWEB関連のコードを書くときに補完をしてくれるため、作業効率が格段にUPします。 騙されたと思ってぜひ一度お試しくださいませ! 設定方法 1. VSCodeを開き、画面左下の「⚙️」 > 「設定」をクリック 2. 「emmet」と検索し、画面中段にある「Emmet: Trigger Expansion On Tab」にチェック 以上になります。 どんな事をしてくれるのか? あるコマンドを入力後、「Tab」を押す事で良しなに補完をし
はじめに 私はMarkdownで文章を書くのが好きです。もちろんこの記事もVSCodeを開いてMarkdownで書いています。 おそらくエンジニアであればMarkdownとの出会いはGitHubにReadMeを書くことなんじゃないかなと思います。 私もプログラミングを勉強しはじめたとき、 簡単なデータベースの関係図を書くのが課題だったような気がします。 ご存じの通りMarkdownは文字だけで表が書けたりして h2やh3などの見出しを#の数で表現できたり自分の中ではかなり感動したのを覚えています。 今現在は生成AIでの出力にMarkdownが使われているので エンジニア以外にもすっかり馴染んだと思いきや... 意外とまだまだMarkdownが知られていないなと感じることがありました。 この記事ではまだMarkdownの魅力に気がついていない人に向けて 自分なりのMarkdown愛を語ってい
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる(かもしれない)Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
TeamsのIncomming Webhookコネクタが廃止されるようなのでPowerAutomateのワークフローに移行してみるMicrosoftTeamsTeamsPowerAutomate 要約 2024-07-24追記: 廃止スケジュールが少し緩和されましたが、廃止されることは変わっていません TeamsのIncomming WebhookやRSSなどのO365系のコネクタが 最短 2024-12-31 に廃止される 2024-12-31までにURL変更を行うことで 2025-12 まで延長できるようになった (2025-12で廃止なのかは明言されていない) 作成自体は 2024-08-15 から作成できなくなる 代替としてPowerAutomateのワークフローが案内されている ワークフローは個人の所有として作られ、変更できない。(ライセンス次第では所有者を変更できるようですが、
Anthropicは6月21日、同社の開発する大規模言語モデル「Claude」シリーズの最新版となる「Claude 3.5 Sonnet」を発表。利用制限はあるものの同社のチャット型AIサービス「Claude.ai」で無料で利用可能になった。 同時にユーザーがClaudeとやり取りしながらコンテンツを作成できる新機能「Artifacts」が、さらに25日にはプロジェクトごとに資料やプロンプトを集約できる「Project」が実装された。この記事では、新機能Artifactsを使うときに知っておきたいことをメインに紹介する。 なお、Claude 3.5 Sonnetの前の世代である大規模言語モデル「Claude 3」シリーズおよび「Claude.ai」については、こちらの記事に。Claude 3.5 Sonnetについての基本的なスペックなどはこちらの記事に詳しい。 Artifactsのキモは
従来の検索エンジン Perplexity.aiの検索 RAGとの関係 perplexity.aiでリサーチするときのプラクティス 英語で検索しよう しっかり調べたい時はPage機能を使う ちょっとした調べ物 今使えるモデル まとめ Perplexity.aiがすごく良かったです。何か知りたいことが出てきたら、Google検索するよりもPerplexity.aiで検索している。 Perplexity.aiは、生成AIを用いた検索エンジンと見なすことができるサービスで、情報収集の効率を劇的に向上させてくれます。ユーザーの質問に対してWebをクローリングし、関連情報を要約し、それらの参照リンクとともに高精度な回答を提供してくれる。 最初にネタバレしておくと、このエントリ自体もかなりの部分をperplexity.aiの要約と回答生成能力に頼りました(Github Copilotにもわずかに頼ってい
これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか?[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを割かれており、意外と奥深いのがサブクエリです。使いこなせると便利ですし、何よりちょっとSQLのコツみたいなのがわかって面白いよ、ということで記事にしてみました。 前提 この記事は以下の前提を含んでいます。 環境 MySQL8.0系 読者の知識 なんとなくサブクエリが書ける けど相関サブクエリとかになると「あーっ」つってGoogle meetを閉じてしまうくらいのレベル感 記事のボリューム 18,000文字 おれの卒論が20,000文字だった マサカリ 間違ってたら投げてくれ〜〜 それ
正木伸城 @nobushiromasaki 凄い本だ。 今後数十年は本書が人類史に関する議論の土台になるだろう。ビッグ・ヒストリーは万人にウケる。『サピエンス全史』もその先例だが、著者のハラリは専門家ではない。一方で、本書は専門家による人類史再検討書・素描書である。この本を読めば、『サピエンス全史』のヤバさがよくわかる。→ pic.twitter.com/Q7pMdsvSwB 正木伸城 @nobushiromasaki 人類史は長らくこう捉えられてきた。長い先史時代があり、農耕革命や定住革命はじめさまざまなテクノロジーの革新があり、さらには都市や国家の誕生などを経て共同体も巨大になる中で現在のグローバル社会が誕生したと。ハラリもジャレド・ダイアモンドもスティーブン・ピンカーもこの路線を基本的に→ 正木伸城 @nobushiromasaki 踏まえる。だが、このように総括するにしては、考古学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く