ワールド・ワイド・ウェブの消失（八田真行） - エキスパート - Yahoo!ニュース
ピュー・リサーチ・センターの調査 日本のメディアでも報じられたのでご存じの方もいるかもしれないが、米国シンクタンクのピュー研究所が最近発表した報告が話題となっている。 この調査は定期的にウェブ全体をクロール（ダウンロード）し、収集したデータをオープンデータとして提供する非営利団体Common Crawlのデータに基づくものだが、報告によれば、膨大な量のウェブコンテンツが失われつつあるという。 例えば、2013年のクロール時に存在したウェブページのうち38パーセントはすでに消失した。該当ページが削除されたか、ウェブサイトごと消滅したためである。また、2013年から2023年の間に存在したウェブページの4分の1が、2023年10月現在アクセスできなくなっている。消えるのは古いページだけではなく、2023年のクロールで存在したページのうち8パーセントがすでに利用できなくなっているそうだ。 ソーシ
マルチテナント方式からセルフホスティング方式へ。リクルートはこうして横断プロダクトを横展開する - はてなニュース
2021年に7つの中核事業会社および機能会社を組織統合したリクルートでは、各社のデータエンジニアによって組閣された「データ推進室」が領域横断的に各事業領域のデータ戦略・立案を支援しています。前回記事では、そのデータ推進室が持つアジリティの高いボトムアップ文化をご紹介しました。 今回はその文化が実際にどのような形で活かされているか、「横断プロダクト（複数事業領域での利用を想定して開発されるリクルートの社内プロダクト）」の導入事例をもとに見ていきます。 さて、社内開発されたプロダクトを各事業部に“領域展開”するのは、案外難しいものです。すでに使用されているツールとの兼ね合い、慣習や制度の問題、リソースの問題、そして技術的な問題。さまざまな障壁が立ちはだかり、調整に苦労した経験のある方も少なくないはず。 組織間の連携を強化し、社内システムプロダクトの横展開を促進・効率化させる上では、どのよう
KyashとLenovoショッピングの組み合わせを踏み抜いて大変な目に遭った話（追記あり）
シンプルに言うと LenovoショッピングでKyashを使ってノートPC(約15万)を買った 商品が出荷されるまで毎月2回請求（計30万）引き落とされる 多重決済分は返金ではなくKyashポイント充足（60日後に行われる見込み） 納期未定のため、放置すると毎月30万クレジットカードからKyashにチャージするところだった 追記（2020/09/01 18:47） 大きな反響があり驚いています。いくつか漏れていた点があるので追記します。 Lenovoショッピングはプリペイドカードを使うなと言っている 私はコレを完全に見落としていました。というのも当時はKyashがプリペイドカードであるという認識がなかったためです（じゃあ何なんだと言われても、雰囲気で使っていたわけですね） Lenovoに注文した当時は今みたいな納期未定ではなく出荷の見通しが立っていた そういう意味でも不幸な事故という表現をし
データ収集の基本と「JapanTaxi」アプリにおける実践例
1. Mobility Technologies Co., Ltd. Data Engineering Study #2 データ収集の基本と 「JapanTaxi」アプリにおける実践例 株式会社 Mobility Technologies 渡部 徹太郎 2020/8/19 2. Mobility Technologies Co., Ltd. 自己紹介 2 ID ：fetaro 名前：渡部 徹太郎 学生：東京工業大学でデータベースと情報検索の研究 (@日本データベース学会) 職歴： * 野村総合研究所(NRI) - オンライントレードシステム基盤 - オープンソース技術部隊 * リクルートテクノロジーズ - ビッグデータ分析基盤 * MobilityTechnologies - データエンジニア エディタ：emacs派→ InteliJ派 日本AWSユーザ会(JAWS) ビッグデータ支部長
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn
クラウドにおける安全なデータの廃棄 | Amazon Web Services
Amazon Web Services ブログ クラウドにおける安全なデータの廃棄 クラウドにおける統制をお客様が考慮する場合、基本的な考え方は大きく異なるものではありません。ただし、クラウドならではの統制を考慮すべきケースがあることも事実です。その際には、従来のオンプレミスのやり方を無理にクラウドに当てはめようとしてもうまくは行きません。大事なことはその統制が何を目的としていたのかに立ち返り、その上で、New normal(新しい常識)にあった考え方や実装をすすめる必要性を理解し、実践することです。この投稿では、メディアやデータの廃棄を例として、セキュリティのNew normalを考えていきます。 メディア廃棄における環境の変化 データのライフサイクルに応じた情報資産の管理は多くのお客様の関心事項です。 オンプレミスの統制との変更という観点では、メディア廃棄時の統制は従来のオンプレミス環
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
提案書や企画書づくりが驚くほど捗る！無料で入手出来る統計データ総まとめ。
プロジェクトを開始する前に、市場調査などで統計データを分析し仮説をたてる事は重要ですが、それらの調査対象が世界規模、全国規模になるとコストが掛かりすぎて（特に個人や中小企業の場合）現実的ではありません。 そこで活用したいのが国や団体、民間企業が公開している無料の統計データです。今日はそんなマーケティング担当者ならきっと必見の情報公開を行なっているサイトをご紹介します。 1. 総務省統計局 総務省統計局では様々な統計データが入手可能です。 国税調査 人口推計 労働力調査 小売物価統計調査 土地統計調査 このようなデータはPDF版が一般的ですがExcel形式でダウンロードできるのも魅力ですね。その他にも以下URLより数多くの統計データが入手できます。 また、統計局ではメール配信サービスも行なっています。興味のある方は登録をおすすめします。 www.stat.go.jp 2. 法務省 法務省でも
国土交通省のデータを使って、緯度経度から市区町村までを取り出す - Qiita
FrogApps 技術ブログ始めました！ RailsやiOS、HTML5の情報を発信中!! → http://qiita.com/teams/frogapps ここ数年、位置情報を使ったアプリ・サービスが増えましたが、GPSから取得出来る緯度経度だけではデータとして使いにくい事があります。 GoogleのGeocodingサービスなどで、緯度経度から住所への変換ができますが、件数や速度の問題があります。 そこで、国土交通省のデータを元に、緯度経度から住所への変換を行ってみましょう。 国土数値情報ダウンロードサービス http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03.html から全都道府県を選択。最新の情報を全都道府県分選択します。 PostGISのセットアップ http://trac.osgeo.org/postgis/wiki/
国土情報ウェブマッピングシステム
国土数値情報をWebブラウザ上で簡単に閲覧することのできるシステムです。 国土情報ウェブマッピングシステムのWebサイトにアクセスして、国土数値情報の複数のデータ項目を選択すると、地図画面上に重ね合わせて表示させることができます。このように異なるデータを同じ地図の上に表示できるのがGISの特徴です。データには国土骨格、水文、施設、土地、自然、産業統計、指定地域、沿岸線などがあります。 地域は日本全国から選択でき、地図を拡大・縮小、移動することで地域を自由に表示させることができます。また、都道府県界や鉄道路線などの色を変えることもできます。 国土数値情報とは 本システムで閲覧できる国土数値情報の一覧 問い合わせ
「インターネット業界人が答えを知っている必要がある10の質問」で2011年を考える - FutureInsight.info
みんな大好きTechCrunchが掲載した「インターネット業界人が答えを知っている必要がある10の質問」が投資家向け情報ということを差し引いても非常によくできており、一度ブログ取り上げたいと思っていた。 インターネット業界人が答えを知っている必要がある10の質問〔スライド掲載〕 | TechCrunch Japan 投資銀行のMorgan Stanleyのアナリスト、Mary Meekerは今日（米国時間11/16）、Web 2.0 Summitでインターネットの世界的トレンドについて講演した。そのプレンゼンテーションスライドを入手できたので、ここにその「インターネット業界人が答えを知っている必要がある10の質問」を掲載し、概要を紹介しよう。 Internet Trends Presentation 一応、ブログのタイトルもFuture Insightなのでたまにはこんなヘビーネタもよいか
ネット学習教材 - ドキュメント - SUGSI
Changes集合論中村論理学の知識をベースにして数学の構造を理解し、集合、写像の概念を学ぶ集合論演習師玉公理的集合論を題材に，Mizarと呼ばれる数学証明の自動チェックシステムを用いて,証明法についての演習を行うコンピュータネットワーク山崎コンピュータネットワークの基本的考え方を学ぶ・OSI７階層モデル・通信方式・同期方式・データ伝送制御(ポーリング,トークン,CSMA/CD)・誤り制御・プロトコル(基本型データ伝送制御手順,HDLC)交流理論基礎と実験中村交流回路の知識はコンピュータのインターフェースや伝送系を考えるときに必須のものです.ここでは最低限の知識の習得と、それに伴う実験をしてもらいます. ・交流と複素数による表現・コンデンサーと交流・コイルと交流・各種波形と過渡現象Mizar5-基本群と不動点定理-師玉Mizar3の準備のもとに，基本群や２次元の不動点定理を題材に，位相数学
なんちゃって個人情報
なんちゃって個人情報は「Generator of the Year」にて【便利賞】を受賞いたしました！！ 投票して下さったみなさま、本当にありがとうございました。 今後もどんどん使ってやって下さい。 プログラム等に使えるかもしれない個人情報のテスト用データを作成できます。特に説明が必要なものでもないので、とりあえずやってみていただければわかると思います。 念の為書いておきますが、生成した偽個人情報により発生したいかなる損害も当方は一切関知しません。たまたま名前が実在の人物と同姓同名になってしまうかもしれませんし、特に電話番号や携帯については実際に使われている番号と重なることがありますから、扱いには十分注意して下さい。 何かご要望とかありましたらお気軽にブログまでコメント下さい。 HTML シンプルなHTMLのテーブルで出力します。 XML ルートを<records>、各レコードを<reco
BigTableの最大利用のための原則と指針
Google App Engineに関して活発になっている会話に基づき、Todd Hoff氏はBig Tableのような分散ストレージシステムの使用を最適化する手段である、一連の原則(source)を概説した。 Todd氏は、BigTableを 使用することの定義から始めている。さまざまなトレードオフを引き起こすことを仮定すると、Big Tableは以下のようなアプリケーションをビルドする必要のあるときに、値を付加する。a)「膨大な数のユーザに拡張」する必要があるアプリケーション、b)読み取りに対する更新の割合が制限されているアプリケーション。またTodd氏は、「読み取り速度および拡張可能性の最適化」をするためには、 概念的アプローチがリレーショナルデータベースで使用されたものとは根本的に違っているべきであり、また最初にややカウンターを認識して、さらにリスキーであるとよい。 リレーショナル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
事業分野別にパスコのサービスや技術を紹介 | 株式会社パスコ
都道府県市区町村｜データと雑学で遊ぼう！
IDEA * IDEA