「OK word2vec ! "マジ卍"の意味を教えて」 Pythonでword2vec実践してみた - Np-Urのデータ分析教室
さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy.tokyo (こちらとても高評価頂いております。ありがとうございます！！） 上のリンク先でも書きましたが、簡単にまとめると、word2vecを使うことで単語の意味をベクトル表現化することができます。 単語の意味をベクトル表現できると、 近い意味の単語を調べる 単語同士の意味を足したり引いたり といった嬉しいことが実現できます。 ということで今回は、タイトルにもある通りJK用語の代表格である”マジ卍”という言葉の意味を、word2vecに聞いてみたいと思います。 本当は"マジ卍"の意味を直接JKに聞きたいのですが、JKの知り合いも当然いないですし……まぁここは頭を使ってデータを使えばなんか分かるっしょという
非エンジニアが最速でSQLをマスターする方法 - Gunosy Tech Blog
こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。 例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。 それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。 これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。 個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。 そこで今回は特別プログラミングなどの経験が無い人でも、SQL
OSSのデータ可視化ツール「Metabase」が超使いやすい - Qiita
Metabase、まじでイケてる。 1日で、Re:Dashから乗り換えました。 Metabaseとは OSSのデータ可視化ツール。Re:Dashとかと同じ類。 AWSとかに乗せて、誰もが見れるダッシュボードを作ったりする時に使うと、俺かっけーってなります。 スクリーンショット 実際に社内で運用している様子をモザイク付きでお見せします。 毎日みているダッシュボード。これの4倍くらいの数値見てる。 ダッシュボードの編集。マウスで簡単に位置や大きさの変更ができる。 クエリビルダー的なやつがあり、グルーピングとか超絶便利。SQL書けない人でも、単一テーブルとかだったら余裕かと。 グラフ化も簡単。 SQLでのクエリ編集画面。ちゃんと補完してくれる。 Metabaseの良い所 見た目が格好いい。 インストールが簡単。 openjdk-8-jdk入れて、jarファイル置くだけ。 豊富なデータソースに対応
データを見続けて6年。ウェブ編集者が知っておくべき13のルール（消さずにすんだ） - @d_tettu blog
（アドベントカレンダーで13日までに何か書く、と言いつつこんな日になってしまいました） これまで某Yahoo! JAPANや某BuzzFeed Japanでデータを元に編成 / 編集 / 目標設定 / 評価などをしてきました。たまに書いたり撮ったりしますが、主にはグロースと業務改善。 データを使ってメディア面を伸ばしていく、打てる手は全て打て、みたいな感じです。PDCAよりもOODAループ派です。 現場レベルでいうとデータを見て細かいメソッドを抽出したり、各プラットフォームのアルゴがどう変化しているのか分析したりしています。Facebookがマジでエグい。 で、編集界隈の人たちと話をしていると、データにふれる機会がなかったり、そもそもデータをどう見れば良いのか分からないという雰囲気を感じます。データ面白いのになー。 というわけで、これまで見つけたぼんやりとした法則を共有しておこうかなと思い
野球データ分析を支えるPythonなノウハウ〜Jupyter notebookとpandas,SQLを添えて - Lean Baseball
※2017/12/19 20:45 この分析結果の詳細スライドを追加 Top写真（サムネイル）は雰囲気です,あまり気にしなくてOK.*1 Jupyter Advent Calendar 2017 19日目の記事です. ここでは,本年私がやった野球ネタの主に分析環境まわりについての話をサンプルや選定理由を絡めて紹介します. 本日開催されたBaseball Play Study 2017冬の発表資料「うわっ...アイツの年俸、高すぎ...？」を作った時のコードスニペットから作成しています. speakerdeck.com Python初学者〜中級者および,私と同じく野球が好きでたまらないンゴな方の参考になると嬉しいです. 上級者および強者の方には是非もっといい方法があったらコメント頂けると嬉しいです. 申し遅れましたこんにちは,私が「野球の人」ことshinyorke（シンヨーク）です. この記
データエンジニアとデータの民主化 〜脱・神 Excel 〜 - 一休.com Developers Blog
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってきましたので、副題とさせていただきました。 今回は一休社内でのデータエンジニアリングにまつわる負担、それらを解決する Redash, Embulk, DatabaseMEMO の導入の流れを書こうと思います。 また、その過程で副次的に発生した FLOSS へのコントリビューションなどなどについては、 14 日目のエントリで説明したいと思います。 一休とデータ活用 一休は今日まで上質な宿・レストランの予約サービス
GitHubによる2018年の予想。データがすべて、ワークフローの戦い、OSSは上位レイヤへ、など
年末が近づいてくると、メディアに様々な今年の振り返りや来年の予想記事が並ぶようになります。GitHubは自社ブログで来年の予測「GitHub's technology predictions for 2018を公開しました。 予想は全部で6個あります、そのいくつかを手短に紹介しましょう。 データがすべてを統べる、ワークフローの戦い Data will rule all（データがすべてを統べる） 1つめの予想は「Data will rule all」でした。クラウド1.0ではコンピュートが中心でしたが、クラウド2.0では機械学習などを含むデータ中心時代になり、それがもっとも重要な資産になるとしています。 The workflow war will heat up—and so will mergers and acquisitions (M&A)（ワークフローの戦いが熱くなり買収や統合が起き
メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
ID生成大全 - Qiita
セッションIDやアクセストークン、はたまた業務上で使う一意の識別子など、いろんなところで一意のIDを生成しなきゃいけないケースが存在します。 そこで世間で使われているIDの生成方法について調べてみました。 選択基準 ID生成における要求として、以下の観点が上げられるかと思います。 生成の速度 大量にデータを短期間で処理し、それらにIDを付与する場合、ID生成そのものがボトルネックとなることがあります。 推測困難性 IDを機密情報と結びつける場合、IDを改ざんされても、機密データが見れないようにできている必要があります。 順序性 採番した順にデータをソートする必要がある場合は、IDがソートキーとして使えないといけません。 それぞれについて各生成手段を評価します。 ID生成の手段 データベースの採番テーブル 採番用のテーブルを作り、そこで番号をUPDATEしながら取得していくやりかたです。古い
Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog
出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった． データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る はじめに 目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
「情報セキュリティ対策ベンチマーク バージョン4.6」と「診断の基礎データの統計情報」を公開：IPA 独立行政法人 情報処理推進機構
IPAは、2005年8月からIPAのWebサイトで公開している「情報セキュリティ対策ベンチマーク」の診断の基礎データを最新のデータに入れ替え、バージョン4.6として新たにサービスを開始しました。 URL：https://www.ipa.go.jp/security/benchmark/ 情報セキュリティ対策ベンチマークは、組織の情報セキュリティ対策の取組状況（27項目）と企業プロフィール（19項目）を回答することにより、他社と比較して、セキュリティ対策の取組状況がどのレベルに位置しているかを確認できる自己診断システムです。診断時の回答項目は、ISMS(*1)認証基準（JIS Q 27001:2006(*2)）附属書Aの管理策(*3)をベースに作成しており、ISMS適合性評価制度を用いるよりも簡便に自己評価することが可能です。 本システムのバージョン4.6では、情報セキュリティを巡る環境変化
データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション（以下、バッチ）を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない（ノウハウを必要としない、フレームワークに頼る必要のない）、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに
クックパッドのデータ活用基盤 - クックパッド開発者ブログ
インフラ部 & 技術部の青木峰郎です。 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 今日はその全体像についてお話ししたいと思います。 データ活用基盤の全体像 まず、以下にクックパッドのデータ活用基盤の全体像を示します。 大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。 入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。 そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。 以下1つずつ説明していきましょう。 入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。 このインポート処理には、つ
エンジニア向けデータ分析サマーインターンシップに参加して - Gunosyデータ分析ブログ
こんにちは、来年度からデータ分析部に所属する山田です。 今はまだ学生です。 一足先にGunosy Summer Internship 2017 データ分析コースのメンターアルバイトとして参加したので、その様子や知見を記していきたいと思います！ Gunosy Summer Internship 2017 について 「データ分析コース」の様子 講義 ランチ・新卒トーク ワーク ベンチマークシステム 作業環境 結果発表 インターンでの気付き（メンター山田） インターン参加者の感想 第一回 京都大学大学院 澤田さん 手法について 限られた時間で形にすること 教訓みたいなもの 東京大学 原田さん 用いた手法について 参加してみての感想 東京大学 丹羽さん 用いた手法、時間の使い方 学びと感想 筑波大学 小林さん 用いた手法について 感想 インターン参加者の感想 第二回 大阪大学 中村さん 分析に用い
【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる - Np-Urのデータ分析教室
今回はツイッターからツイートデータを取得し、それをWordCloudというライブラリを使って可視化してみたいと思います。 Word Cloud関連の記事は、既に多くあり特に目新しいものではないですが、可視化ツールとしてはなかなかインパクトがあるので、テキストマイニング関連の分析の一例として今回やってみました！ ちなみに、今回、好きな芸人の中の一人である、スピードワゴン小沢さんのツイートを取得して、可視化してみました。（勝手にごめんなさい。。。） 結果をまず先にお見せします！ 今回の流れWord Cloudでは、頻出する単語ほど、つまり特徴的な単語ほど大きな文字で表示されます。右下の「好き」「幸せ」「友達」という言葉がまず目に入りました。 小沢さんのツイートは、とても詩的で素敵です。そんな小沢さんの人柄、芸術性溢れたツイート内容がうまく可視化できているのではないかと思います！ さて、この図を
データ分析からUI改善 - クックパッド開発者ブログ
こんにちは。サービス開発部デザイナーの平塚です。 クックパッドでは一部のデザイナーは日々の業務でSQLを書いて数値を見たり、リリースした施策の分析を行っています。 このエントリーでは機能をリリースしてデータ分析し、そこからUI改善を行った事例について紹介したいと思います。 なぜデザイナーがデータ分析？ サービスやプロダクトを改善するには現状について定性的・定量的の両方を理解しておく必要があります。 そのため、自分が進める施策やデザインするものを数値で把握しておくことで、より納得感を持って施策を進められます。 データ分析というと数学や分析の深い知識が必要そう…と構えてしまう印象ですが、日頃から自分の担当分野の基本的な数値を見ておくだけでもデザインで悩んだときの判断材料として使えるなど、デザイナーが数値をみる利点は多々あります。 分析の流れ 私は最近からデータ分析に取り組み始めたのですが、今は
Rails + GraphQL で REST じゃない API を作る - まっしろけっけ
はじめに ここに書いている内容は僕が仕事で開発を行なっている minne の API に GraphQL を導入するにあたり gist に雑にまとめてメンバーに共有した内容で公開できない部分をアレしたやつです。 (minne の API は現状オープンなものではないです。 GraphQL #とは プログラミング言語ではなく、クエリ言語 GraphQL というミドルウェアでは無い 専用の server を立てるとかも必要ない 開発は FB GraphQL 標準化を目指して Draft RFC が公開されている メリット クライアントが必要とするデータを 1 回のリクエストで取得できるようになる REST に近い API だとモバイルアプリで 1 画面を表示するために複数回のリクエストを投げる必要がある どのデータが必要なのかは投げられたクエリから判断するので無駄なデータを返す必要がなくなる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通、撮影したモノの計測データが瞬時に反映されるIoTメジャー「ハカルノ」
Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ - Qiita
