クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。むしろ提供していないケースの方がはるかに多いです。そのため、Webクローラーを作成して構造化されていないWebページを解析し、構造化データを生成する必要があります。 しかし、Webクローラーの運用には数多くの「つらみ」があります。特に大量のWebページを1日1回などの頻度で定期的にクロールする際には
アカハラを受けたので筑波大学ハラスメント相談センターに相談した - 未来永劫
この記事は 第二のklis Advent Calendar 2019 の25日目の記事です． adventar.org こんにちは klis13(slis17)の @ss_shopetan です． カレンダーの5年目の投稿です．今年3月に卒業したので老害枠です． 昨年は減量記事を書きました． shopetan.hatenablog.com tl;dr 修士論文審査においてアカデミックハラスメントと思わしき対応を副査読者から受けた 修了式の日までハラスメント行為が続いたので，式典終了後に大学院学務と大学院専攻長に相談の上ハラスメント相談センターに相談した 研究科内に調査委員会が設置され事実確認のインタビューが行われた 研究科としてアカデミックハラスメント行為が認定された 主指導と副査読者に「厳重注意」という処罰がなされた 本件について大学から一般公開することは無いそうなので主観を除いた事実に
台湾に嫁いで。知らない野菜で料理を作る日々。 - ふんわり台湾
台湾在住のやすまるです。 私がはてなブログで愛読しているジョルジョさんのブログです。 www.taichunglife.work ジョルジョさんは台湾在住の日本人男性で台湾人の女性とご結婚されています。 野菜炒めの記事を読み、心の中では1万スターを付けたくらい、激しく同意しました。 台湾人の夫の家に来た時、お義母さんの作る料理を見て学ぶことが多かったです。 お義母さんの作り方はたっぷりのお湯にサラダ油揚を少し入れ野菜を湯通しします。そこに塩もパラッと入れていた気がします。それで終わり。 胡椒は無しなの！？ってところにもまず驚きました。でも塩だけで美味しいんですよね。不思議と。 サツマイモの葉って食べれるんだ！とか、とにかく最初は驚きの連続でしたね。 サツマイモの葉を食べる時は具材は刻んだ生姜のみ。肉は！？その他の野菜は！？！？ 大皿にドンと盛られた緑一色。美味しけりゃ、これでもアリだな〜と
冷蔵庫に「ゆず胡椒」余ってません？→バターと合わせれば使い道倍増 - メシ通 | ホットペッパーグルメ
使いきれず冷蔵庫に長いこと置きっぱなしにしてしまうもの、ありますねえ。 以前にツイッターでアンケート取ってみたところ、いろんなお答えをいただきました。よく挙がったもののひとつが、ゆず胡椒。 鍋のシーズン過ぎると使われなくなってそのまま……というパターン、あるあるです。 ゆず胡椒ね、バターと組み合わせるのおすすめなんですよ。魚や肉を焼くと、なかなかオツな味わいになるんだ。早速、使い方ご案内します。 基本的な使い方 バターひとかけ（8～10g程度）に対して、ゆず胡椒小さじ1/2、この割合を覚えてください。辛いの好きな人はゆず胡椒をもうちょい多めでも。 ちなみに私はバター切り分けるのが面倒なので、いつも小分けになってるのを買っています。 1 フライパンにバターを入れて中火で熱する。 溶けてきたら全体に広げてください。 2 ゆず胡椒を投入。 3 ゆず胡椒も全体に広げます。 これで、焼きたいものを入
在宅勤務が招く3つの乱れを放置してはダメだ
新型コロナウイルス（COVID-19）感染拡大に伴う緊急事態宣言からはやくも2週間が経過し、在宅勤務になった方はそろそろ、慣れてきたころだと思います。満員電車での通勤がなくなり、自宅で過ごせるのは気持ちが楽ですが、外出自粛をしていると同時に身体も心もいつしかマンネリ化してしまうもの。今回は、在宅勤務で起こりうる3つの「乱れ」とその対策についてお話ししたいと思います。 朝日を浴びてサーカディアンリズムをリセット！ 1.生活リズムの乱れ 通勤やそのための準備がなくなると、つい夜更かしをしたり作業開始時間ギリギリに起きたりしていませんか？ こうした生活リズムの乱れは、仕事の生産性を低下させるだけでなく、不眠など健康問題の原因ともなります。 起床したらまず、カーテンを開けて日の光を十分に浴びましょう。基本的なことのようですが、これがいわゆる生活リズムを保つうえで意外と重要です。人間の身体は「サーカ
「『シン・ゴジラ』の公文書重視が今見るとファンタジーという話題」「それはモデルの民主党政権が今見るとファンタジーってだけでしょ」 - 法華狼の日記
そんな気持ちになるツイートが話題になっていた。 「日本は〇〇に対する対応が遅い！」や「〇〇をすぐに導入しろ！」って言う人にぜひ見て頂きたい pic.twitter.com/XcMNlvp2I4— まっきぃ@TRPGを嗜む紳士 (@makkiTOEFog) 2020年5月14日 現在の安倍政権の遅い対応について、民主主義のため効率の悪い文書主義を採用しているという会話を映画『シン・ゴジラ』から引用している。 シン・ゴジラ 発売日: 2017/03/22メディア: Prime Video しかし第二次安倍政権において公文書がたびたび隠蔽されて、時には改竄がおこなわれてきたことを思うと、あまりに的外れな弁護と思わざるをえない。 そもそも『シン・ゴジラ』は東日本大震災をモデルにした怪獣映画で、ゆえに取材した対象も当時の菅政権だったことがエンドロールでも明らかにされている。 ちなみに東日本大震災にお
検察庁法改正めぐる投稿 その実態は 専門家がデータ分析 | NHKニュース
検察庁法の改正をめぐる議論は、ツイッターで多くの著名人を含む投稿が相次いだことで、社会的な関心が高まりました。実態のある投稿はどのくらいあったのか、専門家が分析しました。 拡散したツイートのうち実態のある投稿はどのくらいあったのか、データ分析が専門の東京大学大学院工学系研究科の鳥海不二夫准教授が独自のシステムで分析しました。 調べたのは今月８日午後８時から11日午後３時までの投稿で、その数はリツイートを含め473万2400件余り、アカウント数は58万8065です。 分析によりますと、ツイートのうち、１回しか投稿していないアカウントは全体のおよそ80％で、「ボット」と呼ばれる自動プログラムによる発信は多くはみられなかったとしています。 また拡散の状況を調べたところ、リツイートでは70回以上行ったものがおよそ２％で、リツイート全体の半数を占めていたということで、少数のアカウントによって拡散され
検事長の定年延長 違法性検討の文書は「不存在」 開示請求に法務省回答 | 毎日新聞
男性の開示請求に対し、補正を求める法務省の文書（情報提供者が匿名希望であるため、宛先部分は消去しています） 政府が2020年1月に閣議決定した黒川弘務・東京高検検事長の定年延長について、法務省がその違法性や訴訟提起の可能性を検討した文書を保存していないことが明らかになった。同省に開示請求した東京都内の会社員男性（47）が毎日新聞の取材に明かした。検察庁法で定められた検察官の定年を法解釈変更で延長するという前例のない閣議決定に際して、政府がその法的根拠をどう検討したか検証できない状態だ。【山口朋辰/統合テジタル取材センター】 安倍内閣は1月31日、国家公務員法に定められた勤務延長制度に基づいて、黒川氏の定年延長を閣議決定した。検察庁法では、検察官の定年を63歳と定めており、国家公務員法は検察官に適用されないとの政府解釈が長年続いてきた。だが、政府はこの解釈を変更して、勤務延長制度を適用したた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
