StataとRの比較ツイートから見える社会科学研究者の統計解析ソフトウェア選択事情
StataとRは、医療統計や社会科学でよく使われている統計解析ソフトウェアだ。ユーザー層が被った代替的な選択肢である。Rの方が歴史は数年古いが、Stataの方が研究や教育での普及が早かった。これらの分野のユーザー数は、今でもStataの方が多いであろう。しかし、近年、ライセンス料の問題なのかStataをRで代替するようになってきており、両者を比較した言及を時折見かける。 1. プログラマ視点から見るとRの圧勝 プログラミング言語としてのStataは柔軟性の低い旧世代のマクロ言語といった趣で、オブジェクト指向関数型言語にシンタックスシュガーを被せたSのクローンであるRの方が洗練されている。Stataは最近のバージョンまで同時に複数データファイルをメモリに保持できなかったなど「無いわ～」と言いたくなることが*1。データ操作やグラフィックスもRの人気パッケージ*2を使うと、かなりRに分がある。し
pix2pixの枠組みを利用した動画の異常検知 - 緑茶思考ブログ
Abnormal Event Detection in Videos using Generative Adversarial Nets https://arxiv.org/abs/1708.09644 異常検知の難しさ 既存の異常データセットのサンプルサイズが小さいこと 異常の定義がはっきりしていないこと これらの課題に対して、正常なパターンのみ学習させた生成モデルで対処 学習時には（集めやすい）正常データのみ用意 正常データとの距離により異常を判定 生成モデルとしてGANを利用 GANを使った異常検知としては， https://arxiv.org/abs/1703.05921 もあったが，こちらとは異なる利用方法をしている 動画内の正常パターンを学習 時刻tにおけるフレームとそのときのオプティカルフローをデータとし， pix2pixと同じ枠組みのネットワークを構築し正常パターンを学習さ
ヤフーのデータを耳で聞くアートで特許を取得した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog メディアアートPJの駒宮大己と武藤直樹と吉岡重紀です。今回は私たちがメディアアートPJというヤフー社内の有志活動について紹介します。 メディアアートPJでは、ヤフーのサービス開発に関わるクリエイターやデータサイエンティストが集まり、テクノロジーを用いてデータを身近に感じ取ってもらえるためのアート作品を制作してきました。現在は新型コロナウイルスの影響で活動を自粛していますが、2018年は社内のオープンコラボレーションハブLODGEで、2019年には文化庁メディア芸術祭Future Questions（FQ）のオリジナルイベントやヤフーが開催しているHack Dayで作品の展示を行いました。 2018年の社内のオープンコラボレーション
僕とCSSとCSSの生きる道 - morishitter blog
この記事が2014年最後のものになる。年の瀬だし、今年1年を振り返って軽くポエむ。 CSSとの出会い CSSとの出会いはちょうど1年前くらいだと思う。約3年前からプログラミングを初めて、その頃からなんとなくCSSも書いていたけど、作っているWebアプリの見た目を表現したいものにできればいいぐらいにしか思っていなかった。だから、CSSという技術そのものと向き合い始めたのが1年前ということだ。そして2014年は、ひたすらCSSに投資した年だった。 去年の夏に2人で3000行くらいのCSSを書くことがあった。その頃の僕はCSSをどう書いていけばいいのかなんて考えたこともなく、好きなように書いて、破綻した。この頃になんとなくCSSはヤバい言語だという意識が生まれた。そして、今までめちゃくちゃ適当に書いていたHTMLとCSSについて勉強しなおすことにした。HTMLのセマンティックさなんて知らなかった
ネットラジオを聴きはじめた頃の思い出 【きっかけ編】 - ばななぼーと
中学生の頃（2004年ぐらい？）、ipod miniが発売され、 時代はMDからmp3プレイヤーへと移り変わりつつありました。 僕も当時、ipod miniが欲しくてしょうがなかったのですが、 如何せん、中学生の小遣いではなかなか買えませんでした。 しかし、それでも何とかお金を貯め、 オリンパスの「m:robe」というmp3プレイヤーを手に入れ、 大量の音楽データを持ち歩くことが可能になりました。 ipodほどオシャレではありませんでしたが、 使い勝手は良く、それから何年かこの機種を使い続けていました。 そして、mp3プレイヤーを手に入れたことで、 僕の生活にもう一つ大きな変化が現われました。 それは ネットラジオを聴くようになった ことです。 当時、「podcast」という言葉は一応あったのですが、 必ずしもitunesを介したものだけではなく、 ホームページにアクセスし、 音声ファイル
あるネットゲームを自分が終わらせた話
あるネットゲームを自分が終わらせた話 一つの世界の終わりに関わった、一人の冒険者の壮絶なる半生。 今、その物語を語ろう・・・。 1 ◆174jRJYo1M 2011/11/21(月) 22:55:40.25 ID:??? これは私が一つのネットゲームを終わらせた話です。 そのゲームが終わってからだいぶ経つので、 覚えている人は少ないと思いますし、 もともとがマイナーなゲームだったので、 そもそも知らない人も多いかもしれません。 それでも良ければ聞いてください。 2 ◆174jRJYo1M 2011/11/21(月) 22:57:24.88 ID:??? 私がそのゲームを始めたのは約１０年前、学校の友人の勧めでした。 当時UO全盛期で、UOをやりたいがために PCを買ってネット環境を整えた私に その導入の指南をしてくれた友人が勧めてきたのがそのネトゲでした。 まだβテストということでスタート
Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する - sambaiz-net
Glue DataBrewは、データを可視化してパラメータ間の相関を見たり、カテゴリー変数のエンコードや、欠損値や外れ値を置換する処理をコードなしで実行できるマネージドサービス。KaggleのHouse Prices Competitonの学習データで試してみる。全体のコードはGitHubにある。 KaggleのHouse Prices CompetitionのKernelからデータの探り方を学ぶ - sambaiz-net 料金は30分のセッションごとに$1と、Jobのノード時間あたり$0.48かかる。 ノードには通常のGlueのJobのDPUと同じく4vCPUと16GBのメモリが含まれ、時間あたりのコストの差は$0.04とそれほど大きくない。 使い分けとしては、非エンジニアが使う場合はGUIでデータを加工できるDataBrewを、独自の変換やカスタムコネクターを要する処理は通常のJob
EMR上のApache AtlasにAWS Glueのデータカタログ情報をインポートしてみた - YOMON8.NET
Hiveのメタデータ管理ができるApache Atlasですが、こちらのブログを参考にGlueのカタログ情報もインポートしてみました。 aws.amazon.com EMRのHiveメタストアとしてGlueを使うための設定を準備 EMRクラスタの起動 EMRクラスタへ接続 Glue接続確認 AtlasへHive(Glue)のデータをインポート AtlasへGlueのデータカタログのインポート Atlasへ接続 EMRのHiveメタストアとしてGlueを使うための設定を準備 こちらを参考に設定ファイルの準備 $ cat <<EOF > ./glue_settings.json [ { "Classification": "hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue
わたしのいいところは、テトリスが好きなところ。｜水沢環
テトリスにハマっている。 小学生の頃に、DSでずいぶんやり込んだ思い出がある。周りが「飽きた」とやめても、ひとり黙々とブロックを落としていた。 たまたま広告でテトリスのスマホアプリがあると知り、懐かしさでダウンロード。それ以来、すっかりハマってしまっている。15年ぶりのテトリスブーム。子どもの頃ほどできないが、「MARATHON」モードで自己ベストを目指す毎日だ。 ゲーム用デバイスは持っていないし、他にスマホゲームのアプリはひとつも入れていない。普段はまったくゲームをやらないのだけど、テトリスにだけは夢中になれるみたい。落ちてくるブロックを隙間なく埋めて、一列ずつ消していく感覚がとにかく気持ちいいのだ。快感。一歩一歩順番に進んでいく、ゲームの単純さもすごくいい。 この感情、日常生活でも思い当たる節がある。 たとえば仕事。 わたしは常にタスクリストをつくっていて、タスクがひとつ終わったら取り
AWS re:Post のアカウント作成に AWS SSO の認証情報は使用しない方がいいという話 - Qiita
事象 AWS SSO の認証情報を使用して AWS re:Post に登録済みのユーザーとしてサインインしようとすると、新規アカウント登録画面 (rePost-User-XXXXXX) に遷移してしまう。 あれ、自分のアカウントどこいった？ 原因 AWS re:Post のアカウントは特定の AWS アカウントの IAM 認証情報と紐づいている (と思われる) AWS SSO でアクセス許可セットの再割り当てが行われた結果、アカウントに接続する際の IAM ロールが再作成された AWSReservedSSO_AdministratorAccess_xxxxxxxxxxxxxxxx が削除され、AWSReservedSSO_AdministratorAccess_yyyyyyyyyyyyyyyy が新規作成された AWS re:Post には再作成された IAM ロールの認証情報に紐づくユー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
45歳ではじめるリモートワーク by 野水克也 - remote