秋山です。 サービスを運営していると、いろいろなデータから必要な情報だけを取得して分析するような機会もたくさんあるかと思います。 分析に使えるツールは世の中にたくさんあるので、どれが使いやすいかは人それぞれですが、今回は「分析を始めたばかりで何をどうすればいいのかわからない…！」という方のために、Pythonを使って初心者向けのデータ分析のやり方を紹介します。 ■使用する環境 paizaでは、Pythonを使ってスキルチェック問題の回答データや、ユーザーの情報等の分析をしています。（R言語を使っていたときもありましたが、私がPythonのライブラリにある便利機能を使いたかったのと、R言語があまり得意ではなかったので移行しました） 今回は、Python3がインストール済みの環境を想定しています。これから出てくるコードもPython3を推奨しています。 下記のライブラリを使用します。 Jupy

こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ

理論から学ぶデータベース実践入門 ~リレーショナルモデルによる効率的なSQL (WEB+DB PRESS plus) 作者:奥野 幹也技術評論社Amazon 積ん読に入っていたので読んだ。 この本はリレーショナルモデルを理解することによってRDBの知識を深めようというような本。RDBを実践で使っている人がさらに知識を深めるための本という感じ。内容としては重要な理論がRDBと紐付けられて解説されていて面白かった。一方で、専門用語が文章中に多く使われていて、個人的には何か頭に入ってこなかった点は残念だった。 この本を読みながらわからないところを調べていて見つけたのだけど、この本の著者の昔の発表資料である「データベース設計徹底指南！！」がこの本の端的なまとめになっていて、しかも非常に良い資料なので本当におすすめ。本で紹介されているリレーショナルモデルや正規化理論などがわずか15分程度で理解できる

ロジスティック回帰分析においては確率pをオッズ p/(1-p) に変換し，更にオッズの対数（ロジット）を取って回帰分析を行います．この意味を少し考えました．元々は二項分布と言って，ある目的とする事象が起きるか起きないかいずれかの値しか取らない現象を重回帰分析するために考えだされた方法です．世界恐慌直後の米国である疫学調査が行われ，その際に考案された手法だとされています． 確率 p は 0 から 1 の範囲でしか値を取りません．これをマイナス無限大からプラス無限大の範囲に拡張するのがロジットです．グラフを見たほうが分かりやすいでしょう． 確率pは 0 以上 1 以下の実数です．横軸を p, 縦軸を にグラフを描くと下図のようになります．縦軸のオッズの範囲が 0 以上プラス無限大に拡張しました． Fig1. probability and logit 次に横軸にオッズ，縦軸に対数オッズ（ロジッ

どーも。 なぎにゃぎです。 毎年4月になると多くの新人ＩＴエンジニアの方が職場に配属されますね。 僕は新人時代にしっかりとした研修を受けられず、苦労した記憶があります。 自分で色々と技術書などを買い漁って勉強しましたけど、その中でも特に若いうちに読んでおきたい書籍を紹介したいと思います。 追記 おすすめしたい本が増えてきたので随時更新していきたいと思います。 コーディング リーダブルコード プリンシプル オブ プログラミング3年目までに身につけたい一生役立つ101の原理原則 リファクタリング テクノロジー Webを支える技術 絵で見てわかる Oracleの仕組み アルゴリズム図鑑 絵で見てわかる26のアルゴリズム その他 入門 考える技術・書く技術 なぜ、あなたの仕事は終わらないのか 「納品」をなくせばうまくいく まとめ コーディング リーダブルコード リーダブルコード ―より良いコードを

言語処理100本ノック 2015 初心者がPython(3.x)で頑張ります。同様の記事はたくさんあると思うのですが、個人的な備忘録として。アドバイスやご指摘などありましたら是非コメントをください！ ソースコードはgithubにもあげています。 https://github.com/hbkr/nlp100 Chapter1 00. 文字列の逆順 文字列"stressed"の文字を逆に（末尾から先頭に向かって）並べた文字列を得よ．

シンジです。会社や自宅で「歩かずに」ポケモンGOをやってるときって、起動させっぱなし画面付けっぱなしでヤリスギ感が半端ないので、近くにポケモンが出現したらSlackに通知させてお手軽にゲットしちゃおうという話です。 とりあえずソースはこちら Send Slack notifications whenever a Pokémon spawns nearby using a Pokémon GO SlackBot https://www.themarketingtechnologist.co/pokemon-go-slack-notifications/ Slack連携できるとこんな感じ とりあえずSlackに通知が来ます。ポケモンの名前が英語表記になってますが、これは後ほど説明します。 ほっほーと思いながらおもむろにリンクをクリックするとPOKEVISONの地図が出ます。 そして突如訪れる世

この記事が想定する読者層 もしあなたが「プログラマー」ならば、この記事はまるで不要かもしれません。 ここで言うプログラマーとは、たとえば以下のような習慣を持っている人です。 ほとんど同じ処理をソースコード中に2回以上書いていたら違和感を感じる 出力結果が変わらなくても、実行速度や理解しやすさのためにソースコードを書き直すことがある Gitなどのバージョン管理システムを使うことができ、過去のソースコードを「日付の含まれたファイル名でバージョンごとに別ファイルとして保存しておけばよい」とは考えない 動作テストを自動化し、ソースコードを書き換えてもそれぞれの関数の挙動が意図したものになっているかを確認できる この記事は、ひょんなことからRに出会い、コードをコピペで動かせるようになり、 「いつかコピペじゃないコードが書けるようになりたい」 「他のプログラミング言語もできるようになりたい」 とぼんや

弊社に５年間在籍していたロシアの天才ハッカーが先日退職しました。 ハッキング世界大会優勝の経歴を持ち、テレビ出演の経験もある彼ですが、正直こんなに長く活躍してくれるとは思っていませんでした。彼のようなタレントが入社した場合、得てして日本の大企業にありがちな官僚主義に辟易してすぐに退職するか、もしくはマスコットキャラとして落ち着くかのどちらかのケースがほとんどなのですが、彼は最後まで現場の第一線で活躍してくれました。 そんな彼が最後に残していった退職メールがなかなか印象的だったので、その拙訳をここに掲載します（転載について本人同意済み。弊社特有の部分は一部省いています。） ああ、なんという長い旅だったろう。この会社で５年間もセキュリティを担当していたよ（諸々の失敗は許してくれ） 俺は他の退職者のように面白いことは書けないが、私のこの退職メールを読んでくれている人、特に新人エンジニアのために、

どうも、まさとらん（@0310lan）です。 今回は、面倒な登録手続きやトークンなどが一切不要で、今すぐ利用できる便利な「Web API」を厳選してご紹介しようと思います。 これらのAPIを使うことで、Web制作がちょっと便利になったり、独自性のあるユニークなサービスを構築できるようになるでしょう。 また、簡単に扱えることから、「Web APIを使って何か作ってみたい…」と思っている初心者の方にもオススメですよ！ ■「Web API」の使い方！ 今回ご紹介する「API」は、いずれも「JSONP」形式でデータが取得できるので、普通のJavaScriptだけで試すことが出来ます。 以下のコードを、HTMLファイルに記述するか、新規にJSファイルを作って読み込むようにしましょう。 var script = document.createElement('script'); script.src

こんにちは、エディターのエリーです。 先日、長澤まさみさんのSNSをハッキングしてプライベートを覗き見た男性が逮捕されました。芸能人をふくむ約1000人分のアカウント情報を把握していたそうです。 うらやまけしからん。 じゃなくて、怖いですね。「いまハッキングされたら社会的に死ぬ」という人も多いんじゃないでしょうか。 ということで、お呼びします。 現役ハッカーの浜辺将太さんです！ 長年勤めたヤフーを昨年卒業し、現在は六本木「Hackers Bar」のバーテンダーや、ドクターズモバイルという医療IT系スタートアップの取締役CTOをしています。 穏やかな物腰で、「東京23区内だったらどこでも行きますよ」と言ってくれた男気のある方。埼玉県の浦和まで来てもらいました。 肩書きが「ハッカー」の人ってはじめて……。あるんだ、実際。 どうやってハッキングをするのか、血の気が引くような本当にあった怖い話を聞

「AIなどの最新テクノロジーをどう見ていますか？」グロービス・高宮慎一さんの感じる最先端の技術とビジネス ※編集部注意：120円で販売しておりましたが、無料公開に変更になりました。ご購入していただいた方には別途ご対応いたしますので、ご連絡いただけると幸いです。VRやAI（人口知能）といったテクノロジーが急激に進化し、「あれもできるようになった」「これもできるようになった」というニュースをよく見るようになりました。「人間がやっている仕事は、いずれロボットに取って代わられるのでは」とも言われています。一方で、こういったテクノロジーを使ったビジネスで起業しようとする人もいます。 ところで、最近のテクノロジーの進化について、投資家のみなさんはどのように感じていたりするのでしょうか。グロービス・キャピタル・パートナーズの高宮慎一さんに聞いてみました。 （聞き手：古川健介） 高宮慎一・・・ベンチャーキ

【更新・値上げ中】好評につき再度 値上げしました。 なおご要望に応じて、プログラムの一部は以下のようになります。 仕事や研究でディープラーニングによる回帰分析・クラス分類をする必要のある方もいらっしゃると思います。ディープラーニングによる回帰分析・クラス分類の実用的方法はこちらに書きました。 しかし、ディープラーニングによる回帰分析・クラス分類のやり方はわかってそのソースコードはあっても、実際にディープラーニングができるようになるわけではありません。ネットでディープラーニングのプログラミングを説明しているページはいくつもありますが、実際に自分の手でディープラーニングを行うには、いくつものページを調べる必要があり一手間かかります。 そこでコピペするだけでディープラーニングによる回帰分析・クラス分類を実行可能なプログラムを記載しました。以下に示す形式のデータ(data.csv, data_pr

Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi

従来は人工知能の開発というと、高度なスキルがないと手が届かないイメージがあった。 しかし現在では、多少のプログラミングの知識があれば、人工知能を使ったアプリケーションやシステムを開発できるようになった。 そこで今回は、手軽にはじめられる人工知能を使ったアプリケーションの開発方法をまとめてみた。 「言語処理AI」「音声処理AI」「画像処理AI」など様々な種類の技術を、入門者向けに広くピックアップした。興味のある分野について、それぞれ掘り下げてみることをおすすめする。 ※2016.07.23「Amazon ML」を追記 目次 目次 関連記事 開発方法1．ユーザーローカル社の「全自動会話API」 タイプ 難易度 特徴 開発方法2．Locl Interactive Incの「Meya」 タイプ 難易度 特徴 開発方法3．ユーザーローカル社の「形態素解析API」 タイプ 難易度 特徴 開発方法4．P

みなさん、連日 GitHub をブラウジングしてると思うんですが、より快適にブラウジングできる拡張機能を紹介したいと思います。

ホーム / その他 / Excelマクロ初心者が実践できる！懐かしファミコンゲームをExcelで再現／中古車のナビクルcar 「Excelマクロを使いこなしてみたいけど、なにやら敷居が高そう」「Excel上級者がやることじゃないの？」と、半ば諦めている方も多いのではないでしょうか。しかし昨今では技術職に限らず、最低限のExcelマクロが触れることを求められることも増えています。 私自身もExcelマクロを始めた際はほぼ独学でしたが、最初の「何か難しそう」というハードルを越えるのに相当時間がかかった記憶があります。マクロ初心者の方にマクロを教える際には、どうしたら「意外とやってみると簡単」と思ってもらえるかを試行錯誤しています。 そんな私が、新人に楽しんでマクロを実践してもらおうと思い立って作ってみた「懐かしのファミコンゲームをExcelマクロで作ってみる！」チャレンジが非常に好評なので、今