なぜ日本企業は「ビッグデータ集めなきゃいけない病」にかかるのか？ | Business Insider Japan
大企業に蔓延する「データ集めなきゃいけない病」とは？Shutterstock弊社のクライアント企業の経営陣は、よく以下のような質問を投げかけて来ます。 • 集められるデータを集められるだけ収集しないと、AI活用できないのか？ • 分析するのは「ビッグデータ」じゃないといけないのか？ • どれだけの容量のデータが集まれば、「解析するのに十分だ」と言えるのか？ データが十分に集まっているだけでは、ゴールにたどり着けません。それを考えるきっかけとなる例が、少し前にみつけたこの記事にありました。 IoTで取得できるようになった健康データの量と、アメリカ人の肥満率レベルをまとめたものです。 関連記事：Does More Data Really Lead To Better Decision Making?（Forbes） 記事が投げかける疑問は端的でユニークです。 IoTデバイスやウェラブルが溢れた
Pythonしかやりたくない！？一つの言語にこだわる未経験者がエンジニアとして採用されない理由 -
Photo by Ray Bouknight こんにちは、谷口です。 「Python最高！」 「Pythonってほかの言語と比べて何がいいの？」 「ほかの言語は知らんけどPython最高！」 「……」 みたいな若いエンジニア（もしくはエンジニア志望者）、皆さんの周りにもいませんか？ エンジニアとして「好きな技術がある」のはもちろんとてもよいことですが、 実務経験もないのに「Pythonの求人にしか応募したくない」 「ほかの言語は使ったことがない」と言って好きな言語しかやりたがらない みたいな感じで、経験が浅いにもかかわらずこだわりが強すぎる人は、転職活動ではマイナスになってしまうケースがよくあります。（別にこれはPythonに限った話ではないのですが、特にPythonにこだわりたがる人があまりにも多いので例にしました…） 今回は、「この言語しかやりたくない！」と言う人が勘違いしていることと
はてブの闇を可視化してみた - 坂本から君へ
三ヶ月ほど前に僕が「作ります！」と宣言していた、はてブホッテントリの感情分析サイトだが、ようやく完成したので公開したいと思う。 hotentry-sa.appspot.com このサイトでできること はてなブックマークのホッテントリ内の各エントリーについた全てのブクマコメントを解析して、感情的なネガティブ度・ポジティブ度を算出して表示している。 次の３種類の分析結果が表示できるようになっている。 闇ホッテントリ⇒ネガティブなコメントの多いエントリを順に表示する。 きれいなホッテントリ⇒ポジティブなコメントの多いエントリを順に表示する。 揺れホッテントリ⇒ネガティブとポジティブの間の揺れ幅が大きい、つまり賛否両論の激しいエントリを順に表示する。 サイトが出来上がるまでの経緯 今年の始めにネットのどこかのサイトを覗いていたら、グーグルが自然言語処理に関するWebAPIを提供しているということを
「なるんだ！」を実現する「逆算」のキャリア設計 ─ 野球エンジニアへの挑戦 - GeekOutコラム
皆さま、初めまして。 渋谷で野球のエンジニアをしている中川伸一と申します。 エンジニアのコミュニティやネット上では「シンヨーク（@shinyorke）」や「野球エンジニア」と呼ばれています。 今年（2018年）2月から、野球データ解析・分析のベンチャー「ネクストベース」のCTO（野球エンジニア）として、 データ解析システム「BACS（バックス）」などを通じてプロ野球チームのデータ解析サポート データと科学の力で野球の未来を発信する「Baseball Geeks（ベースボールギークス）」の運営 その他、野球に関するデータ解析およびプロダクト開発 といった事業を、エンジニアリングの側面でフルサポートしています。 「野球のデータ」に携わる仕事は昔からの夢で、「なるんだ！」の気持ちをもって活動した結果、縁あって野球エンジニアになれました！ という話をする機会を「Developers Summit
データ分析や機械学習にバリバリ使える上にブラウザで使用できて環境構築不要のPython実行環境「Google Colaboratory」
「Jupyter notebook」というツールは、Pythonのコードを部分ごとに実行できてその場で結果を確認できるため、試行錯誤を積み重ねる必要があるデータ分析や機械学習によく用いられてきました。「Colaboratory」はそのJupyter notebookを元に「ブラウザで実行」「ファイルはGoogleドライブに保存」「共同編集」などの機能を加えて作成されたツールです。 Google Colab https://colab.research.google.com/ Google Colaboratoryのサイトにアクセスすると「最近のノートブック」という画面に。ひとまず右下から「ノートブックを新規作成」してみます。 実行するPythonのバージョンを選択できます。今回は「PYTHON 3」を選択。 ノートブックには「セル」が存在し、左側の実行ボタンを押すとセル内のコードを実行して
3月1日、Homebrew のデフォルトの Python が Python 3 になります。 - methaneのブログ
以前からアナウンスされていた 通り、 3/1 （日本時間では 3/2 になるかも）にデフォルトの Python が Python 3 に切り替わる予定です。 現在そのプルリクエストがレビュー中です。 github.com 具体的には、今まで "python" という formula は Python2.7 でしたが Python 3.6 になります。 Python 2 をインストールするには brew install python2 もしくは brew install python@2 とします。（これまで使えていた python3 という Formula は python への alias になります。） 何らかの理由で意図的に Python 2 を選択しているユーザー以外は、 brew install python で（推奨される）Python 3をインストールできるようになるので、こ
初心者でもPythonの数値計算ライブラリ「NumPy」の使い方が学べるコンテンツ6選 -
Photo by thekirbster こんにちは。谷口です。 最近は機械学習が流行っていることもあって、Numpyなどの数値計算系のPythonライブラリなどが人気ですよね。 NumPyは機械学習、データマイニング、ディープラーニングなどでも非常によく利用されているPythonの数値計算ライブラリです。 Pythonは、数値計算を素直に書くと処理が遅めな言語ではありますが、NumPyを使えばC言語のネイティブコード上で計算してくれて、処理がとても早くなります。 今回は、初心者の方でもNumpyの使い方を学べるコンテンツを6件ご紹介していきます。 ■初心者でもNumpyの使い方を学べるコンテンツ ◆Numpyの公式ドキュメントとチュートリアル 「配列の基本の使い方」といった、Numpyの基礎的な部分は公式ドキュメントとチュートリアルで学べます。 ◆SciPy Cookbook Numpy
東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]
新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ
![東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/a4eb2d91cb902c2c811e7c093d7f8838394826d3/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fcadd2fa36be798e6b375aad30f479092b61c1f74%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180127%252F20180127134253.png)
ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball
今日で週休七日生活が終わる野球エンジニアこと@shinyorkeです. 昨年末に,BigQueryに突っ込んだ野球データでダルビッシュ有さん（@faridyu）の投球データについてかる～く調べてみました. 「今年こそPythonでデータ分析するぞ！」 「BigQueryをPythonから使いたいぞ！」 っていう野球好きの方の参考になれば幸いです. なお今回はホントにデータを覗き見した程度の軽いネタです. TL;DR 投球コースを散布図で可視化するといい感じになる 球種と結果をSankey Diagramにするのも面白い BigQueryとJupyter,pandasの組み合わせすっごい楽 次回はPySparkあたりで学習とかさせたい 多分おそらく@faridyuさんはここに書いた分析と傾向の斜め上をいくと思ういや行って欲しい（ファンとして） Starting Member TL;DR St
マイクロサービスとしての機械学習――Wantedly Peopleの事例から
Wantedlyの開発現場で活用されている技術や手法は、日々進化するプロダクトに合わせて柔軟に変化しています。この連載では実際の開発で取り組んでいる技術や手法を、実務に使える形でお伝えしていきます。今回は名刺管理アプリ「Wantedly People」の事例を踏まえながら、実際のプロダクトに機械学習がどう活用されているのか、また、マイクロサービスとしての機械学習について紹介していきます。 はじめに 本連載は、WANTEDLY TECH BOOK 2から抜粋し、再編集したものになります。 こんにちは。Wantedlyでサーバサイドと機械学習サイドを扱っている丹治です。名刺管理アプリ「Wantedly People」を作っています。 Wantedly Peopleは「人工知能」と「機械学習」を用いて賢く名刺管理を行うことができます。この記事では、アプリケーションの裏側で動いている機械学習サービ
未経験者から機械学習エンジニアになるために必要な知識と勉強法 -
Photo by Strelka Institute for Media, Architecture and Design 秋山です。 最近、機械学習の勉強をしている人や、機械学習に関連した研究開発の求人を探す人がすごく増えてきましたね。弊社のエンジニアにも機械学習を勉強中の人達が何人かいます。 ただ、「機械学習を勉強したいけど、難しすぎて何から手を付けたらいいのかよくわからない」という人も多いです。それなりに開発経験のあるエンジニアでもそうなので、経験の浅い人だと、なおさらかと思います。 機械学習と一言で言っても、実践するのに必要な知識の分野は多岐に渡ります。 そこで今回は、未経験者が機械学習エンジニアとして転職するにはどういった知識や勉強が必要なのかを書いていきます。 ■最低限必要な知識 ◆プログラミングスキルとライブラリを使える知識 Pythonには、Tensorflowやsciki
メルカリの分析チームとは？その全ての疑問にひとつひとつ答えます | メルカリエンジニアリング
この記事はMercari Advent Calendar 6日目の記事です。 メルカリのBIチームのアナリスト/マネジャーの @hikaru が、メルカリの分析チームの事情についてお送りします。 ※ BIチーム…メルカリ内の分析を一手に担うチーム。Business Intelligenceチーム。 この記事について イベントやカジュアル面談などでメルカリの分析チームの内幕についてよく聞かれる質問があります。 いえ、それどころか場合によっては社内であまり一緒に仕事する機会がない方々からも、チームに関して質問されることがあります。 ※ カジュアル面談…メルカリでは、社内のポジションに興味ある方にオフィスに来ていただいて1on1でざっくばらんに話す会を頻繁に行っています。 正直、分析チームというのは外部から何をやっているか見えづらい面もあるため、理解できます。 よく頂く質問としては、 組織的なこ
Chainer v4 ビギナー向けチュートリアル - Qiita
Update (2018/04/20): Chainer v4に合わせ内容を更新しました。 注意： 今回はニューラルネットワーク自体が何なのかといった説明は省きます。 この記事はJupyter notebookを使って書かれていますので、コードは上から順番に実行できるようにチェックされています。元のJupyter notebookファイルはGoogle Colabを使ってブラウザから実行することができます。Google Colab上ではGPUを使った学習を実際に実行することができますので、「ドライブにコピー」ボタンをクリックしてご自分のドライブにコピーしてから、ぜひ実行してみてください。：Chainer Beginner's Hands-on.ipynb Qiitaだとページ内リンクつきの目次が勝手に作成されるので、全体概要はそちらを眺めて把握してください。 インストール Chainerの
【Day-1】データ分析/機械学習を行うために知っておきたいことを列挙する - プロクラシスト
データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★ : 周辺ツール、知っていればより便利になるよという感じ ★ : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし
Amazon Echoとラズパイで、音声で照明をon/offする - Qiita
はじめに (Alexaで家の任意の機器を制御したい) Amazonのスマートスピーカー、Echo (やEcho Showなど)は、音声で家電などを制御できて非常に未来的な感じで楽しいのですが、操作できるのは基本的には対応デバイスだけです。 ですが、APIは公開されているので、対応機器以外でも操作できるようにする方法はあるだろうと思っていました。そして探してみたらやっぱりありました。 Echosim.ioを使うと日本でもAlexaでSmart Homeを実現できるので、安価なBlack Beanで照明やエアコンを制御してみた キモはNode-RED Alexa Home Skill Bridgeで、これがNode-REDで記述可能な、Alexaから操作できるデバイスを定義してくれるサービスです。このサービスを使えば、家の任意のデバイスをAlexa(Echo)上に見せられるのです！！ 上の例で
データを「飼いならしたい」人のための「Pythonではじめるデータラングリング」（書評） - Lean Baseball
久しぶりのブログになってしまった...こんにちは,野球データサイエンティストです.*1 最近はちゃんとワールドシリーズや日本シリーズを観る余裕ができて野球好きらしい生活できてます.*2 今日は野球の話...ではなく,最近読んだPython本で感動した書籍があるので紹介&簡単な書評を記したいと思います. 今年（2017）の4月に発行された「Pythonではじめるデータラングリング」という書籍です. www.oreilly.co.jp Pythonではじめるデータラングリング ―データの入手、準備、分析、プレゼンテーション 作者: Jacqueline Kazil,Katharine Jarmul,嶋田健志,長尾高弘出版社/メーカー: オライリージャパン発売日: 2017/04/26メディア: 単行本（ソフトカバー）この商品を含むブログを見る 誕生日プレゼントとして友人*3から頂きました,誠に
AWS SDK for Python (boto3)でAmazon Pollyの声を使い分けてみる | DevelopersIO
はじめに 小ネタです。先日Amazon Pollyに待望の日本人男性声であるTakumiが追加されました。 [新機能] Amazon Pollyが東京リージョンに！そして新しい声としてMatthewとTakumiが追加！ なので、「男性と女性の会話の台本を作って、AWS SDK for Pythonを使ったPythonスクリプトに読み込ませて、MP3ファイルを作る」ということをやってみました。 やってみた 環境 Pythonスクリプトを動かしている環境は以下の通りです。 $ python --version Python 2.7.10 $ python -m pip freeze | grep boto3 boto3==1.4.4 #!/usr/bin/env python # -*- coding: utf-8 -*- from boto3 import Session import o
データ収集だけ解説しても意味がない―『Pythonによるクローラー＆スクレイピング入門』インタビュー
経験がないのに突然クローラー開発を任された――そんな人が頼りたいのは入門書。データ収集のノウハウだけでなく、データ活用までトータルで解説したのが『Pythonによるクローラー＆スクレイピング入門』です。今回、クローラー開発に関心がある方に向けて、本書の著者である横山裕季さんと加藤勝也さんに、本書やPythonの魅力についてうかがいました。 データ収集のニーズが拡大 ――本書『Pythonによるクローラー＆スクレイピング入門』はデータ収集の需要に応える形で書かれた解説書ですが、実際にお二人は需要が増していると体感されていますか？ 横山：自分自身は業務でクローリングに携わっているので身近ですが、ネットでもそういう声を見かけることが増えました。その理由として、機械学習ブームが大きい気がします。たとえば自然言語処理でも、Twitterのツイートを収集してデータ分析するのが有効ですからね。 加藤：機
いまさら聞けない？scikit-learnのキホン | DevelopersIO
こんにちは、小澤です。 今回は、scikit-learn入門として、機械学習を使ったシステム構築の流れを見てみましょう。 機械学習というと複雑な数式などを駆使して難しいプログラムを実装するイメージがあるかもしれませんが、 ライブラリを利用するだけであれば簡単であることがわかるかと思います。 機械学習の種類 機械学習には様々な種類のものがあります。 ここでは、分類方法として以下のようにしています。 教師あり学習 教師なし学習 その他(半教師あり学習、強化学習など) 教師あり学習 教師あり学習ではデータと正解ラベルの2つの情報が渡されます。 大量のデータから「このデータの正解はこのラベルであった」というパターンを見つけ出して、正解ラベルのないデータに対してもそれを予測するものになります。 教師あり学習はさらに正解ラベルの種類によって回帰と分類に分けられます。 回帰は、正解となる値が連続した数値
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TensorFlowで作ったモデルをCore MLで利用する - Qiita
