君の知らない物語(あまり知られていないtidyverseの便利な機能) - Qiita
「なんでもは知らないわよ。知ってることだけ。1」 これはR Advent Calendar2018の第一日目の記事です。"tidyverse"という言葉がUser!2016で爆誕してから早くも2年が経ちました。皆さんは普段どれだけtidyverseのパッケージを使って作業をしているでしょうか。 今日は、日々進化を続けるtidyverseに含まれるコアパッケージの、（私的に）あまり知られていない関数を紹介したいと思います。なお各パッケージのバージョンは全て現在CRANに登録されている最新版となります。 「あなたの好きなtidyverseの関数を教えてください！」のコーナーだ（謎）！！ slice()わいも好き。 #tokyor — Uryu Shinya (@u_ribo) October 20, 2018 皆さんの好きなtidyverseの関数は何ですか?? それでは行きます。 ## ─
ESJ65-W07 それもRにやらせよう — 整然データの下ごしらえ
総研大 (SOKENDAI, The Graduate University for Advanced Studies) 下ごしらえを自動化してハッピーに Happy families are all alike; every unhappy family is unhappy in its own way — Leo Tolstoy “Anna Karenina” tidy datasets are all alike, but every messy dataset is messy in its own way — Hadley Wickham 出発点となるデータはさまざま 実験ノート、フィールドノート、 データベース、シミュレーション。。。 解析や作図に使えるデータ形式はほぼ決まってる glm(..., data, ...), ggplot(data, ...), … 整然データ
ggplot2で人口ピラミッドを描く - Ｒ言語による電子カルテデータの二次利用
まずはサンプルデータを落としてきます。 library(dplyr) library(RCurl) # This is not actual patient data. url <- getURL("https://raw.githubusercontent.com/Algo1970/EHR_data/master/pt_master_sample.csv") df <- read.csv(text = url, header = TRUE)よく見る患者マスターは、こんなデータ構成かと思います。（下記はコンピューターでランダムに作成されたデータです） > df %>% tail() facility_code id name kana gender 995 1234567 10995 金田 彩華 かねだ あやか 女 996 1234567 10996 藤森 兼 ふじもり けん 男 997
Rでヒアドキュメント的な何かを実現する、たったふたつの冴えたやりかた - kkobayashi_a’s blog
Rでヒアドキュメント的何か - yasuhisa's blog 出来心でコメントしてしまったのだけど、ダイアリーの方でも少し反応してみる。そんな面倒なことしなくても、Rはちゃんと直感的なインターフェイスを用意してくれているよ！というお話。 マニュアルによると、read.csv()はファイル名、またはコネクション*1が通るようです。 the name of the file which the data are to be read from file can be a readable connection コネクションが通るということは・・・ ファイル名 URL gzip等の圧縮されたファイル パイプ、標準入力 クリップボード などなど、何でも通ってしまいます。 問題の、こういうデータをdata.frameとして読み込みたい時は、クリップボード経由かテキストコネクションとして読み込むと簡
Adobe Illustrator 2023で漫画の集中線を作成する方法 | 「クリーティフ」Creatif
今回は、Adobe Illustrator で漫画の集中線を作成する方法についてです。 ポスターやチラシなどで「漫画風」のデザインをする事があると思いますが、簡単にベクターデータで集中線を作成する事が出来ます。 イラストレーターでの集中線の作り方 まずは、指定のサイズで新規作成をしましょう。 ベースとなるパスを作る まずはベースとなるパスを作成しましょう。 今回はこのように作りました。 集中線を作りたいパスの上に正円形のパスを作成 集中線を作りたいパスの上に正円形のパスを作成します。 このとき、ベースとなるパスより大きめの正円を作りましょう。 正円 パスの変形「ラフ」 正円形を変形させます。 「効果」＞「パスの変形」＞「ラフ」をクリックします。 ラフ 「プレビュー」にチェックを入れて、「サイズ」と「詳細」の値を変更します。 いい感じになったらOKをクリック。 ギザギザ アピアランスを分割
コードレビューは活発に活動している人ほど引き受けてくれる - ソフトウェア工学研究の日々
今月末に開催されるソフトウェア工学の国際会議 ICSE にて、Journal-First Track という「論文誌に採択されたが国際会議では未発表」という原稿について、私たちの研究室から１件発表があります。 arxiv.org この論文は、オープンソースソフトウェアプロジェクトで行われているコードレビュー活動を調査し、「誰に依頼すると、引き受けてもらえるのか」を機械学習で予測する方法を考えた論文です。データセットには、Android, LibreOffice, OpenStack, Qt プロジェクトに投稿されたパッチ 230,090 個を使っています。 この論文では、コードレビューは誰でも引き受けてくれるわけではなく、16％から66％のパッチで、レビューのお願いに反応してくれないレビュアーが 1人以上いることを報告しています。引き受けてくれないことがあるからと多数の人に依頼を出すのは迷
コーヒーをみんなで飲むとすごくいい☕️ - pixiv inside
コーヒー、美味しいですよね。 ピクシブにもコーヒー好きは多く、Slackにコーヒー好きの人が集まるチャンネル #z-coffee があります。(ピクシブでは業務に関係ない話題で盛り上がれる雑談チャンネルを作れます) そこではコーヒーの美味しい淹れ方やおすすめのお店の情報などがやり取りされていたのですが、2019年5月のオフィス改装でバーカウンターが新設された際に「作業しやすいバーカウンターを使えばコーヒーを手淹れしてみんなで楽しめるのでは」というアイデアがあがりました。 (作業スペースとして目をつけたバーカウンター) このアイデアは無事形になり、そこから #z-coffee メンバーを中心に社内でコーヒーを手淹れする文化が生まれました。 場が行動を促進する、オフィス設計を行ったデザイナーも狙い通りだと満足していることでしょう。 以下にコーヒーを淹れてみんなで楽しむ流れをご紹介します。 コー
スポーツアナリティクスの歴史：シリーズ第1回「スポーツアナリティクスの歴史を振り返る」｜Sports Analytics Lab
※第2回「サッカーのデータ分析の歴史と戦術ブロガーの未来」 https://www.sportsanalyticslab.com/column/football-data-analytics-history.html ※第3回「現代におけるスポーツアナリティクスの役割」 https://www.sportsanalyticslab.com/column/sports-analytics-for-business.html 近年、日本でも盛り上がりを見せているスポーツアナリティクス業界ですが、意外とその歴史を知らない方も多いのではないでしょうか。今回は私の専門分野のサッカーに限らず、野球やテニス、アメフト、ラグビーそしてバスケットボールなど世界中、多岐に渡るスポーツでいかに分析が進化していったのかを探っていこうと思います。序盤はスポーツアナリティクスに関する歴史やキーとなった人物に焦点を当て
Data Version Control(DVC)でデータ分析のモデル作成を再現可能にする - Qiita
Data Version Control(DVC)とは？ データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保
「スタバなう」ツイートをニューラルネットで学習してラーメン判定器を作る(keras+Tensorflow+VGG16) - Qiita
この記事の抜粋したコードの完全版はGitHubでご覧いただけます。 また、この記事で作成したモデルはTwitterのスタバ警察botで実際に試せるので、ご興味があれば適当な画像を「スタバなう」という文字列と一緒にリプライしてみてください。 こういうtweetが機械学習界隈からの怒りを買ってます(笑) https://t.co/COV1IHyh03 — Yuki Suga (@ysuga) July 26, 2019 というツイートからも分かるように、現在のスタバなうツイートは完全に関係ない画像で蹂躙されており、実際にスタバで撮影された画像は全体の24%しかありません。 逆にここまで来ると、残り76%の画像に着目した方が良いのではという気すらしてきます。 というわけで、「スタバなうと言いながら投稿される関係ない画像」の筆頭であるラーメンの分類器を、スタバなうツイートだけで作れるかどうか試して
セキュリティ・キャンプ全国大会2019に参加してきた。 - ぶうううん's Cafe
セキュリティ・キャンプとは 「セキュリティ・キャンプ」は、学生に対して情報セキュリティに関する高度な技術教育を実施し、次代を担う情報セキュリティ人材を発掘・育成する事業です。2004年に開始され、現在は全国大会を首都圏で毎年1回、2013年に開始された地方大会を毎年各地で10回程度開催しています。 全国大会、地方大会とも、参加するには応募課題を提出し、書類審査に通過する必要があります。[1] 全国大会参加者には、地方大会であるミニキャンプ経験者も多くおりましたが、私は参加しておりません。 応募課題について 応募課題については別の記事に書きたいと思います。書いたらリンク貼ります。追記、8/26日に書きました。(本当は先に応募課題の記事書くんでしょうけども) buuuuuuun3939.hatenablog.com 参加したコースについて 私はBコース(開発と運用トラック)に参加しました。私自
Data Engineering & Data Analysis #8
Data Engineering & Data Analysis #8でのTalk資料
Data Engineering and Data Analysis Workshop #8 を開催しました！ | CyberAgent Developers Blog
Data Engineering and Data Analysis Workshop #8 を開催しました！ こんにちは、株式会社サイバーエージェント 秋葉原ラボの白井徳仁です。 今回は2019年6月28日に開催された「Data Engineering and Data Analysis Workshop #8」をレポートしたいと思います。 秋葉原ラボは「分散システム・検索・機械学習・データマイニングなどを扱う研究開発組織」です。「Data Engineering and Data Analysis Workshop」は秋葉原ラボの所属メンバーが中心となって開催する勉強会でサイバーエージェントのデータ分析基盤とデータ活用、及びそれらのための技術をテーマにしています。 前回の第7回は RecSys2018 ならびに AWS re:Invent 2018 の参加レポートについてお話頂きました
pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ
200,000 Req/sec をさばく広告入札システムを支えるパフォーマンスチューニング術
200,000 Req/sec をさばく広告入札システムを支えるパフォーマンスチューニング術 #jjug_ccc #ccc_g6 JJUG CCC 2018 Fall で発表したスライドです。 秒間20万リクエストをさばくWeb広告入札システム "Logicad" 開発におけるパフォーマンスチューニング術を紹介します。 私たちが日々観ているWebサイトの広告枠。それは、ページビューごとに広告を表示する権利がオークションにかけられ、自動入札によって枠の買い付けが行われ、入札額の最も高かった入札者の広告だけが表示される、という世界です。国内外の各社が最適な広告をベストな金額で入札・表示するため、日々アルゴリズムの改良やデータセットの変更などを繰り広げており、まさに技術者たちの闘いの世界と言えましょう。私たちも日々様々なコードの追加をしています。一方、そのオークションの開催期間はわずか100ミリ
スタートアップが地雷デザイナーに遭遇しないための4つの基準｜Taiki IKEDA｜note
お久しぶりですイケダです。プロジェクトの立ち上げやリニューアルなどを一時的に外部のデザイナーに依頼して開発をブーストさせるという手法を採用する組織が増えつつあるように思えます。社内にデザイナーがいなかったり、社内のデザイナーの経験が浅かったりなど動機は様々ですが、一様に問題になってくるのが「誰に依頼するか」ですね。 「有名そうな◯◯さんに依頼したら期待値を超えてこなかった」、そんな相談を今月は3件も受けました。結論から言うとこれは慎重にデザイナーを選択しなかった発注者側の責任です。ではプレゼンスは高いのにパフォーマンスが残念ないわゆる「地雷」を避け、当初の目論見通りプロダクト開発を加速させるためにどのような基準を持ってデザイナー選定に臨むべきなのか今日は書いていこうと思います。 なお、本記事はスピーディーに意思決定が行えるスタートアップなどのスモールチームに限定してお話しています。上司の説
Presto Infrastructure at Lyft
OverviewEarly in 2017 we started exploring Presto for OLAP use cases and we realized the potential of this amazing query engine. It started as an adhoc querying tool for data engineers and analysts to run SQL in a faster way to prototype their queries, when compared to Apache Hive. A lot of internal dashboards were powered by AWS-Redshift back then and it had data storage and compute coupled toget
プログラミング無しで「つながり」ネットワーク解析（2部グラフの隣接行列の計算） - おいしい健康 開発者ブログ
こんにちは。データ分析チーム(仮)の花井です。最近は、社内に蓄積されたデータを分析し可視化する方法を模索しています。 過去の記事では協調フィルタリングによるレシピ類似の可視化があります。 oishi-kenko.hatenablog.com 「つながり」を解き明かすネットワーク科学は、これまで薬品設計・代謝工学などの分野で研究者の間で応用されてきましたが、最近では人事に関わる「ピープル アナリティクス」*1といった分野が急速に発展しています。弊社では、ホットなネットワーク科学を食と医療に応用して様々な「つながり」を分析・活用していこうとしています。 今回は、 弊社のSlackデータを例にして、スプレッドシートを使ったネットワークの解析を説明します。BigQueryやPythonを題材にしようと思ったのですが、エンジニアに限らず誰でもネットワークの解析ができるよう、ノンプログラミングできる表
which コマンドでPATHにある同名のコマンドを全部列挙する - それマグで！
PATH の優先順位に悩まされるたときに which which コマンドを使うと 環境変数 PATH にあるコマンドのうち、最初に見つかったもの（実行されるもの）を表示してくれます。 which python どのコマンドが実行されるのか調べるのに便利ですし、よく使ってると思います。 同名のコマンドで上書きされてないか？ pyenv や nvm や rbenv などを使っていると、あれ？バージョンが合わない？パスがおかしい？？？？ などという事がよくあります。 こういうときにPATHに含まれる全てのもの列挙できたらと思いませんか すべてを表示する which -a / --all コマンドがいくつも同じ名前で入っている場合に、全てを表示してくれます。 表示順は、PATHの優先順位が高い順に表示してくれます。 takuya@-api$ which -a grep /Users/takuya
シフトJISの誕生 - 未来のいつか/hyoshiokの日記
パソコンで最もよく利用されているエンコーディングの一つがシフトJISなのだが、その誕生については、なかなかまとまった資料がない。当時の関係者の証言を断片的にまとめたものしかない。 まづ小形さんの以下のBLOGとコメントを読む。当時の当事者が証言をしている。 http://d.hatena.ne.jp/ogwata/20051228/p1 シフトJISを発明したのは誰か？ http://d.hatena.ne.jp/ogwata/20051229/p1 シフトJISを発明したのは誰か？(2) http://d.hatena.ne.jp/ogwata/20051230/p1 「BASIC80を漢字化した経理専用マシン」のこと http://d.hatena.ne.jp/ogwata/20060102/p1 たくさんのコメント、ありがとうございます 安岡さんの日記も参考になる。 http://s
グラフの読み方、使い方
きしだൠ(K1S) @kis この棒グラフ、横軸が等間隔じゃなくて、急激に増えてるように見せてる詐欺グラフやな 「Life with open mind: /etc/hosts はホスト数が増えると急激に遅くなる」 http://t.co/hXPqNZOr8d 2013-08-23 00:10:46 NaOHaq(苛性ソーダ) @NaOHaq 折れ線でそれやったら詐欺ですけど、この場合の棒グラフの使い方は問題ないのでは？その下でも「線形に」ってちゃんと言及してるし。 RT @kis: この棒グラフ、横軸が等間隔じゃなくて、急激に増えてるように見せてる詐欺グラフやな … http://t.co/rgl56jWs6o 2013-08-23 00:16:48 NaOHaq(苛性ソーダ) @NaOHaq ここではhostsとdnsmasqのそれぞれのケースでの速度比較をしていて、dnsmasqがほ
Spark and shark
Spark and Shark: Lightning-Fast Analytics over Hadoop and Hive DataJetlore
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10年目の『エブリスタ』を支える技術