【R】転職ドラフトのデータをスクレイピングして分析（集計）する - 歩いたら休め
お久しぶりです。 最近上司と「機械学習とかその辺の技術が発展したら、真っ先に自動化されて仕事なくなるのはハンパなエンジニアと中間管理職だよね〜」という話をして危機感を募らせている @takeshi0406 です。 WEBエンジニアにはご存じの方も多いと思いますが、転職ドラフトというWEBサービスがあります。 job-draft.jp このサービスは、次のような理念や問題感から始まった作られたものだそうです。素晴らしいです。 企業による公開競争入札。 これなら、自由競争でのリアルな相対価値がわかるようになる。 エンジニアだからこそ、より明確に。 誰が評価され、誰が評価されないのか。 自分の価値向上には、これから何をすべきなのか。 私も「友達を紹介してオライリー・ジャパンの本をGETしよう！」の文言につられて、友だちを3人紹介した上で登録したのですが、レジュメを丁寧に読んでダメ出ししてもらえ（
【Python】RプログラマーのためのPython入門 - 歩いたら休め
会社に優秀な後輩が入ってきて、優秀な先輩（私でゎない）の助けを得ながら、立派な分析者・Rプログラマーとして成長しつつあります。 しかし、R言語だけで全ての作業が完結できるわけではありません。手元でデータを加工・分析するための環境としては素晴らしいのですが、大規模な計算では遅かったり（パフォーマンスを上げるにしても工夫が必要だったり）、クラスベースのオブジェクト指向が無いため、プログラムが大きくなるにつれて関数の整理が難しかったり、言語としてつらい面も多いです。 また、データ分析して作ったモデルをサービスに乗せる際には別の言語を使う必要があると思います。一応、shinyというWEBアプリを作るためのライブラリもあるものの、「社外向けのサービスでバリバリ使ってるぜ！」という話は聞いたことがありません。 というわけで、R言語メインのプログラマーが、一歩進んでスクリプト言語（Python）が抵抗な
【R】ふつうのスクリプト言語プログラマーのためのR言語入門 - 歩いたら休め
「他のスクリプト言語ならそれなりに触れるけど、Rって変な機能が多いから難しい」と感じている人のために、Rの独特な点、ハマりどころ、そして特にデータの集計での強力な機能やパッケージをまとめてみました。 社内のデータリソース移行の作業の中で、前任者が（良い意味でも悪い意味でも）すごいRプログラマーだったのと、DBからのデータの取得からデータの整形・確認が一気に行えるという理由で久しぶりにRを触りました。 （先輩！僕が「%>%ってなんですか？」みたいな質問すると、チャットでgithubのリンクを貼られたり、AdvancedRを薦められたりするの、めっちゃ困りました！） 数年前Rを使っていたときは、 Rのプログラムってよくわからないなあ…、後から自分のコード見ても意味が読み取れないよ… Pythonでpandasとかmatplotlibってパッケージを使えばRっぽいことができるの？じゃあそっち使お
【R】SQLのクエリをいい感じに作ってくれるRの関数 - 歩いたら休め
DBにクエリを投げてテストする際、RStudioからRPostgreSQLなどのライブラリを利用すると非常に便利です。 なぜかというと、DBからの戻り値をRのデータフレーム型の変数に格納することができ、 その値をR言語の豊富な関数によって集計することができるからです。 overlap.hatenablog.jp ただ、私の場合sqlのクエリの文字列を手入力しなければならず、毎回面倒な上自由度が低く、ぐんにょりしていました。 sql <- " SELECT date, sum(sales) AS amount FROM table WHERE amount > 100 ORDER BY date " db.con <- RPostgreSQL::dbConnect( drv = dbDriver("PostgreSQL"), host = "192.********", user = "ta
【物理学 Advent Calendar】物理学の人が社会シミュレーションを手がけるときに気をつけてほしいこと - 歩いたら休め
物理学 Advent Calendarの16日目です。 物理学（特に理論物理）を学んでいる人が、社会シミュレーションモデルやエージェント・ベース・モデルを使って社会科学に参入するとき、戸惑うことや気をつけるべきことについて簡単にまとめておきます。 最初はPython + numpyでらくらく物理シミュレーションって記事を書こうと思ったのですが、書き尽くされちゃってる気がしたので変えました。でもオススメです、Python。 計算結果よりも、モデルの前提の議論のほうが100倍重要だ 少なくとも「社会」は膨大な変数が存在している系です。最初から、その中のすべての変数（例えば社会心理学的な要素）を全て組み込んだモデルを作ることは不可能です。つまり、どこかの段階で調べたい系の範囲や変数を制限する必要があり、どうしても恣意性が入ってしまいます。 つまり、「数理的にシミュレーションをした」ということより
【本】『イスラーム国の衝撃』がめっちゃ面白かったし、文化人類学みたいなものも勉強したい - 歩いたら休め
最近はひたすら修論を書いていた…と言いたいのですが、物書きに飽きて本を読んでいる時間も長かったです。 最初はコレ。最近世間を賑わせているISISやダーイッシュと呼ばれるテロ組織（イスラム国を自称するアレ）の話。超面白いです。 イスラーム国の衝撃 (文春新書) 作者: 池内恵 出版社/メーカー: 文藝春秋 発売日: 2015/01/20 メディア: 単行本 この商品を含むブログ (18件) を見る 彼らが「オレンジ色の囚人服」などのモチーフを利用しつつ、残虐である一方演出され尽くした映像を使って、インターネットを介して共鳴者を探す戦略が興味深かったです。「共鳴者や敵対者を（宗教的な）物語に引き込む」方法、つまりマーケティングや組織運営の視点から、参考にできることも多いように思います（彼らはその力を最悪な方向に使ってますが）。 自らの理論を『グローバル・イスラーム抵抗への呼びかけ』として著し、
【R】arrows関数を使って相空間のベクトル場を書く - 歩いたら休め
データ分析っぽいブログですが、自分の専門は物理です。 私はMATLABやgnuplotの使い方がよく分からず、描画関係では専らRを使っていました。そのときRで相空間のベクトル場を描いたことがあり、Rで似たことをやってる記事も無さそうなので一応まとめておきます。 とはいってもMATHMATICAやMATLABには専門の関数があるようなので、素直にこっちを使ったほうがいいかもしれません（汗） よくある連立微分方程式を考えてみます。 今回は、次のような簡単な場合のベクトル場を描いてみます。 Rのarrows関数を使って矢印をプロットしていきます。詳しい使い方はこちらを見ていただきたいのですが、矢印の始点と終点を指定する引数を持っています。 そのため下のコードでは、arrows(u,v,u+f(u,v)/10,v+g(u,v)/10) という感じで、終点を始点+差分という形で指定しました。ちなみに
【ディープラーニング】AlchemyVisionの画像タグ付けAPIで動物画像をひたすらタグ付けするbotを作りました - 歩いたら休め
タイトルの【ディープラーニング】はちょっと釣りくさいですが; AlchemyVisionという、画像解析やテキスト解析にDeep Learningを利用できるAPIが話題になっています。 機械学習系サービスの簡単な紹介記事を書きました。深い話はおいおい。 AlchemyAPIのAlchemyVisionを使ってみる http://t.co/nxbUY7b7h3 #techsketch — Jun Saeki (@sobeit) June 23, 2014 AlchemyAPIは米国のコロラド州デンバー発の人工知能系の技術を応用した自然言語処理や文書解析のサービスを、主に法人向けに展開している企業です。設立自体は2005年とすでに9年ほど経っていますが、シリーズAのファンドを受けたのは2013年になってからですし、名前を目にするようになったのは最近になってからです。 実際にいろいろな写真をデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
