22新卒技術研修で実施したデータベース研修(データベース基礎編)の講義資料です。 動画:https://youtu.be/dseGQ2MZF1U SQL演習編 https://speakerdeck.com/mixi_engineers/2022-sql-training
QDくん⚡️AI関連の無料教材紹介 @developer_quant 金融技術職/ChatGPT等の生成AI,データサイエンス,プログラミングの勉強に役立つ情報を発信/良質な無料教材,スライド,動画等を紹介/3千ポストで5万5千フォロワー獲得/過去の人気投稿はハイライトを参照/金融工学x機械学習ブログ運営 https://t.co/bQubHSMk4e /Amazonアソシエイト参加中 https://t.co/2Zd5MRXGw3 QDくん⚡️AI関連の無料教材紹介 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと
絶版などで入手困難となった資料をパソコンやスマートフォンで閲覧できるようにするサービスを国立国会図書館が5月19日から始めることになりました。 対象となるのは、国立国会図書館が所蔵し、すでに電子データ化された書籍や雑誌、論文など150万点余りです。 こうした資料を閲覧するには国立国会図書館や連携する図書館に出向く必要がありましたが、新型コロナウイルスの影響などを受けてインターネットを利用したサービスの導入を求める声が上がっていたということです。 事前に利用者登録を済ませたうえで、国立国会図書館のウェブサイトにアクセスすれば、5月19日以降、個人のパソコンやスマートフォン、それにタブレット端末での閲覧が可能になります。 国立国会図書館サービス企画課の福林靖博課長補佐は「国会図書館でしか得られない情報を手軽に利用するきっかけにしてほしい」と話していました。 これらの電子データは、来年1月から印
<path opacity="0" d="M0 0h24v24H0z" /> <path d="M17.207 11.293l-7.5-7.5c-.39-.39-1.023-.39-1.414 0s-.39 1.023 0 1.414L15.086 12l-6.793 6.793c-.39.39-.39 1.023 0 1.414.195.195.45.293.707.293s.512-.098.707-.293l7.5-7.5c.39-.39.39-1.023 0-1.414z" /> </svg>" data-icon-arrow-left="<svg width="28px" height="28px" viewbox="0 0 28 28" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://ww
写真はどこに保管するのが一番安全なのか?今回は1TB以上の大容量データ(RAWデータや動画含む)を管理していくことを想定しているため、保管先のストレージとして外付けHDDとNASをメインに考えつつ、補助的にクラウドストレージを使うことを想定しておきます。 バックアップ無しは論外この記事を読んでいる方なら大丈夫かと思いますが、バックアップ無しで大事なデータを運用するというのは問題外です。 データが飛ぶのが怖いからNASやデータセンター向けの高級HDDを使って安心している人がたまにいますが、どんな高級なHDD(SSD)を使っても壊れるときは壊れます。単に確率が低いだけです。どんなHDDでも壊れた場合はデータがゼロになります。(HDDの復旧サービスで運良くデータを取り戻せる場合もありますが、10万とか20万は軽く飛んでいき完全に戻る保証もありません) 消えては困る大事なデータは必ずバックアップを
イギリスの公共放送局BBCが新たにサイト「BBC Sound Effects」を立ち上げ、1万6000種類以上という膨大な量の音源素材の提供を開始しました。サイトではキーワード検索でお目当ての素材を探せるようになっており、非圧縮のWAVファイルをダウンロードすることも可能です。 BBC Sound Effects - Research & Education Space http://bbcsfx.acropolis.org.uk/ 1922年にラジオの放送を開始したBBCは、およそ100年にも及ぶ活動の中で膨大な音素材を蓄積してきました。BBC Sound Effectsはその名が示すとおり、数々の素材の中からサウンド・エフェクトとして利用できる音源の提供を行うサイトです。素材はRemArcライセンスで提供されており、著作権はBBCが所有しますが個人利用や教育利用、そして研究用途において
文:Daniel Sim 分析:Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁(LTA)による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
市場調査の結果など、客観的な統計データがあると企画書やプレゼン資料の信頼感がぐっとアップしますよね。 しかし、統計データを企画書やプレゼンの資料として使いたいと思っても、個人でできる調査には限りがありますし、本格的に調査するとそれなりに費用や時間がかかるのがネックです。 実はネット上には無料で統計データを公開しているサイトがあるので、企画書やプレゼンのテーマに沿った資料が手に入るなら活用しない手はありません。 無料で統計データが閲覧できるサイトを11個まとめましたので、企画書やプレゼンの資料に活用してみてはいかがでしょう。 ①総務省統計局 出典 http://www.stat.go.jp/index.htm 統計データといえば総務省統計局です。 国勢調査、人口推計、住宅・土地統計調査、家計調査、全国消費実態調査、小売物価統計調査、労働力調査などなど、さまざまな統計データを無料で閲覧できます
2016年06月07日 日本の産業分類別年収/労働時間ヒートマップ Tweet 厚生労働省は毎年産業分類別に賃金や労働時間の調査を行っている。10名以上の従業員を抱える5万余の民間事業所に対する調査をまとめたものであり、最新の調査結果は今年2月に公表された平成27年賃金構造基本統計調査だ。 そこで同調査にもとづき、産業分類別の年収、月間労働時間をヒートマップにしてみた。男性・女性の降順にソートしたバージョンも用意しているのでそちらも見て欲しい。サムネイルをみるだけで、男女に厳然とした差があることが一目瞭然だ。 産業分類別年収テーブル(男性ソート版・女性ソート版) 産業分類別月間労働時間テーブル(男性ソート版・女性ソート版) 産業別明細票 さらに産業分類ごとに調査結果を確認できる検索フォームも用意した。上部のプルダウンメニューを選択することで、所望の産業の給与/労働時間テーブルを参照すること
1.2人──。 これは2050年における老人と現役世代の比率だ。現在は老人1人に対して現役世代2.4人だが、30年少々でこれが半減してしまう[*1]。ホモ・サピエンスには20万年以上の歴史があるが、これほど苛烈な高齢化社会が出現したことはない。まるで〝サイエンス・フィクション〟のような世界に私たちは向かっている[*2]。 社会福祉は崩壊し、年金は有名無実のものになるだろう。日本語の通じない外国人介護士に虐待されて、殴られるのが怖いから糞まみれのオムツを枕の下に隠す。あるいは、一人暮らしの自宅で転んで骨折し、助けを呼べないまま餓死を待つ。これは妄想ではない。将来、私たちが直面する未来だ。 現代の医療なら、多くの人が100歳近くまで生きる。いま60代だからといって、少子高齢化のもたらす地獄から逃げ切れると思ったら大間違いだ。30年後、あなたは何歳だろう? 幸いなことに、出生率は死亡率ほど正確に
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。(私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので) 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み(あと多少のヒントも)だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
プロジェクトを開始する前に、市場調査などで統計データを分析し仮説をたてる事は重要ですが、それらの調査対象が世界規模、全国規模になるとコストが掛かりすぎて(特に個人や中小企業の場合)現実的ではありません。 そこで活用したいのが国や団体、民間企業が公開している無料の統計データです。今日はそんなマーケティング担当者ならきっと必見の情報公開を行なっているサイトをご紹介します。 1. 総務省統計局 総務省統計局では様々な統計データが入手可能です。 国税調査 人口推計 労働力調査 小売物価統計調査 土地統計調査 このようなデータはPDF版が一般的ですがExcel形式でダウンロードできるのも魅力ですね。その他にも以下URLより数多くの統計データが入手できます。 また、統計局ではメール配信サービスも行なっています。興味のある方は登録をおすすめします。 www.stat.go.jp 2. 法務省 法務省でも
去年から公開されてる「JR東日本アプリ」ですが、機能の一つに「山手線トレインネット」というものがあります。 これは山手線の各車両の現在位置、混雑状況、室内温が見えるというもので、 座りやすい車両を探すのに便利だったりします。 山手線トレインネットから取得した車両位置と混雑率 電車の運行情報がここまで時間粒度細かく公開されているのは世界的にも珍しいので、特に目的も無しにデータをクローリングして遊んでみました。 データをクローリングする まずは山手線トレインネットの車両位置・混雑情報をクローリングします。 JR東日本アプリの山手線トレインネット。 今の車両内の混雑や室内温が見える。すごい! 「山手線トレインネット」はブラウザから見えるページが存在しない、iPhone/Androidアプリ専用の画面です。 なので普段の「FirebugでAJAXの通信を見てAPIをリバースエンジニアリング」ほど簡
先日,2013年の「住宅土地統計」の確報結果が公表されましたが,県よりも下った区市町村別にいろいろな情報を知ることができるスグレモノです。 http://www.stat.go.jp/data/jyutaku/kekka.htm 前々回と前回は世帯の平均年収に注目しましたが,今度は平均家賃をみてみましょう。こちらは,原資料に計算済みの数値が掲載されています。各地域の借家世帯の平均家賃月額です。家賃0円の世帯は除外して算出された平均値です。 首都圏1都3県の214区市町村の値を収集し,マップにしてみました。8万以上,7万台,6万台,5万台,5万未満の5階級を設け,各地域をグラデーションで塗り分けています。 予想通り,都内の都心が濃い色になっていますね。それと横浜市の北部。周辺部に行くほど色が薄くなりますが,千葉で白色のゾーンがここまで広いとは初めて知りました。 上の地図では大まかな区切りにし
凶悪犯罪の件数の推移だけ見て「犯罪減ってます、はい論破!」は無意味。 大事なのは、データではなく、私たちの実感である。 そして、私たちの実感からいえば、凶悪犯罪は間違いなく増えてる。 では、犯罪の件数自体は減っているのに、なぜ私たちはそのように感じるか? 答えは、命の価値が上昇してきているからである。 これは地球規模で、そして歴史的な規模で進行していることであるが、 私たちは過去に比べて圧倒的に死ななくなっている。 病気で死ななくなった。事故で死ななくなった。そして、事件で死ななくなった。 私たちは、人類の歴史上、もっとも死から遠ざかった不死に近い人類なのである。 凶悪犯罪という行為は、そんな死ななくなった私たちを殺す行為なのである。 誰も死なない時代に、人の手で、残酷に誰かを嬲り殺す行為なのである。 それが、凶悪でなくてなんというか?これは、神殺しにも等しい行為だ。 件数の推移だけをもっ
2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜~19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル,機械学習/ビッグデータ, 数学/OR,プログラミング,統計 Analyzing the Analyzers, O’reilly 2013 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数,⽋欠損値,正規化,次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類,アルゴリズム,注意点 3. 評価のこと Keywords: 混同⾏行行列列,適合率率率,再現率率率,F値,ROC曲線 4. 分析のこと Keywords: 過学習,交差検証,学習曲線,バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです
2015年01月10日22:30 俺が長年貯め込んだグラフ・一覧・比較・図解フォルダが今、火を吹く Tweet 1: 名無しさん@おーぷん 2014/10/31(金)20:36:22 ID:ltanglYdy 転載元:http://open01.open2ch.net/test/read.cgi/news4vip/1414755382/ 大学生がよく着てる服のブランドを俺が勝手に批評するスレwwwwwwwwww http://blog.livedoor.jp/nwknews/archives/4807841.html それなりに面白そうなのを選んで貼っていく 3: 名無しさん@おーぷん 2014/10/31(金)20:39:42 ID:ltanglYdy まあすぐ終わると思うが 4: 名無しさん@おーぷん 2014/10/31(金)20:40:12 ID:SbSza7HjS これは期待 5
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く