私たちの周りには、カフェインが入った、さまざまな商品があふれています。コーヒーにお茶、そして眠気防止の錠剤、栄養ドリンク、そして、特に成長が著しいのがエナジードリンクです。一般的にはカフェインを多く含む飲料を指します。私たちが確認しただけでも、日本で４０種類以上が売られています。多いものでは、１缶でカフェイン１６０ミリグラムと、コーヒーおよそ２杯分の分量が入っているんです。 田中：こうしたカフェインの過剰摂取による中毒の実態が初めて明らかになりました。７月、日本中毒学会が、全国３８の病院を対象に実態調査をしたところ、急性カフェイン中毒で救急搬送された患者が、５年間で１０１人いたことが分かりました。症状は吐き気や意識の低下、中には心肺停止状態で運ばれた人も。そのうち３人が亡くなっています。搬送された人の平均年齢は２５歳。圧倒的に若い世代が多いのが特徴です。さらに、こんなデータもあります。去年

gccとccの違い by 言霊 (06/09) Windows に OpenSSH をインストールする by くじら (03/21) Ubuntu サーバの設定　SSH ログファイルの確認 by nyu (10/19) Windows に OpenSSH をインストールする by 韓国 スーパーコピー ウブロ gショック (07/14) Ubuntu インストールしたらやること：Eclipseのインストールと日本語化 (Mars) by 師子乃 (03/11) Ubuntu インストールしたらやること：Eclipseのインストールと日本語化 (Luna) by 師子乃 (12/04) Ubuntu インストールしたらやること：時刻を同期するNTPサーバーを変更する by (07/14) Ubuntu インストールしたらやること：時刻を同期するNTPサーバーを変更する by doskouUE

以前「なぜ『金ちゃんヌードル』は西日本でしか販売されていないのか」という記事を書いた。 静岡や沖縄で定番のカップ麺・金ちゃんヌードルは、静岡を境に西日本でしか販売されていないという情報を元に、なぜ西日本でしか販売されていないのか、なぜ静岡が境目になっているのかなどを調べた。 販売元の徳島製粉へのインタビューでその理由はわかったのだが、それとは別に「静岡県民は静岡のことを西日本だと思ってるんかい」というツッコミを多数いただいたのだ。 そうか、静岡は西日本ではないのか。ん？だからといって東日本という感じもしないし、どっちだ？ この疑問をきっかけに、さまざまな物事の境目がいったいどこにあるのか調べてみた。

2022年度下期開業を目指して新線建設工事が進む「相鉄・東急直通線」。相模鉄道（相鉄）は、東急東横線・目黒線を経由して渋谷・目黒方面と直通するこのルートを走る新型車両「20000系」を公表した。車体幅を、東急線のトンネルをくぐれるように2770mmに抑えた。相鉄沿線と都心を結ぶ新線は、この相鉄・東急直通線と、JR東海道貨物線・横須賀線などを経由する「相鉄・JR直通線」の2ルート。相鉄・JR直通

データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細

なのですが…てんでダメ！ダメなんです！！ 何がダメかというと、そもそもこのアンケートの目的って何だったっけ？というのがすっぽ抜けているんですね。 今回は、このアンケートの目的をもう一度考え直します。 そして、その目的を達成するにはどの要素が重要なのかを相関係数という統計のテクニックを使って明らかにしていきたいと思います。 あ、そんなに難しくないですから、最後までお付き合いしてもらえると嬉しいです。最終的にはエクセルでちょちょいですから。 どうぞよろしくお願いいたします！ ラーメン屋さんのアンケートの目的とは おさらいなのですが、今回行ったアンケートの結果はこちらでした。 どのラーメンを食べたか、当店を知った認知経路は何か、という点に加えて、味や価格や接客などの各要素に対して5点満点で評価を頂いています。 冒頭に紹介した記事でピボットテーブルを使って簡単に集計したり色々な切り口で見たり、とい

みなさん、こんにちは！ この一連の記事を見ているラーメン屋さんがどれだけいるのか気になっているタカハシ(@ntakahashi0505)です。 とあるラーメン屋さんがリピーターを増やしたいと考えています。そこでアンケートを実施して、相関係数というちょっとした統計的なテクニックを使って、「接客」と「味」が「来店意向」との関係性が強いことを発見しました。 というのが、前回までのお話です。詳しくはこちらの記事をどうぞ。 さて、この「接客」と「味」なのですが、どちらか一方しか改善できないとしたら、どちらを選びますか？ 看板娘にもっと接客を頑張ってもらうか、また別の良いスタッフを募集するか、はたまたこれまで大事に守ってきたスープのレシピを変えるのか…いずれにしてもお金も時間も限られていますから、全部が全部の対策をとることはできません。 そんな時に使えるテクニックとして、相関係数と満足度から作る散布図

グラフ仕事人六道数人～陥りやすいデータ分析の誤りと効率的なグラフの利用方法 第14回万能の散布図 その2：散布図＝相関関係ではない。昨対比、予実比、満足度比較など、ビジネス情報の整理にも有用 ※本稿では『直感でわかるデータ分析』（⁠2015年9月30日、技術評論社刊）の一部内容を参考にし、データなどを転載しています。 様也は数人の描いた散布図に目を奪われていた。 店舗別売上利益率（棒グラフ） 「いいですか、お父さん。ご覧のように散布図なら利益率と売上がともに高い店舗をひとめで見つけることができます。同様に、どちらも低い店舗も一目瞭然です」 「た、確かにそうだ。こんな使い方があるなんて、知らなかった」 縦軸を利益率、横軸を売上にすることによって、同時に両方の数値の大きいものと小さなものを把握できるようになっている。 「ふーむ、これはいわば常識と思っていたのですが、そうでもないようですね。それ

スピアママン順位相関係数とは ２つ順位データに対して、相関を表す指標。 詳しくは下記のURLに書いてあるので参考に。 Wiki:スピアマン順位相関係数 朱鷺の杜Wiki:Spearman順位相関係数 いくつか計算式がありますが今回は、こちらの計算式を使用します。 また、作ったプログラムの答え合わせには、下記のURLにあるものを使用するといいと思います。順位相関係数は有名なので調べれば他のサンプルも拾えると思います。 スピアマンの順位相関係数 統計学入門 計算プログラム def spearman(list_a, list_b): N = len(list_a) return 1 - ((6 * sum(map(lambda a, b: (a - b) ** 2, \ list_a, list_b) / float(N ** 3 - N) ) こんな感じで、簡単に計算ができます。 引数のlis

※コラム「統計備忘録」の記事一覧はこちら※ 「幾つデータが必要か？　-　相関係数の有意性検定」をアップして以来、「相関係数の有意性検定」を調べている方のアクセスが増えているので、Excelを利用した検定の方法についても書いておきます。 相関係数の有意性検定は、「母相関係数が 0 である」を帰無仮説としています。「母相関係数が 0 」ということは2つの変数が独立している、「無相関」ということです。このことから相関係数の有意性検定のことを「無相関の検定」と言います。 計算の結果、P値が有意水準を下回れば、帰無仮説が棄却され、無相関では無いだろうということになります。 検定方法はいたって簡単です。 1) correl関数を使って相関係数(r)を求める。 2) 相関係数(r)とサンプルサイズ(n)から、検定統計量(t)を求める。 3) tdist関数を使って P値を求める。 次の例では、A,B、2

「相関」って何． 統計学を学んだことがあれば、誰もが一度は聞いたことがある「相関」という言葉。最近では、高校でも扱われる概念になったようですが、「相関」っていったい何でしょうか？教科書（という名のWikipedia）にはこういう風に書かれています。 相関係数（そうかんけいすう、英: correlation coefficient）とは、2 つの確率変数の間の相関（類似性の度合い）を示す統計学的指標である。原則、単位は無く、−1 から 1 の間の実数値をとり、1 に近いときは2 つの確率変数には正の相関があるといい、−1 に近ければ負の相関があるという。0 に近いときはもとの確率変数の相関は弱い。因みに 1 もしくは −1 となる場合は 2 つの確率変数は線形従属の関係にある。 ここでは、相関ではなく、相関係数という言葉を用いていますね。「相関」というのは、2つ以上のもとがあるときに、それら

相関係数とは？ 相関係数については、８月のエントリーを参照してもらうと良いかと思います。 「相関係数」ってなんですか？ -意味と利点と欠点をわかりやすく- - Data Science by R and Python 簡単に説明しておくと、相関というのは「2つの変数の間に存在する、直線的関係」を指しています。相関係数というのは、その直線度合いを0~1の数字で表したものと言えます。ただし、値には大小関係しかありません（相関係数0.8は、相関係数0.4のときよりも2倍相関が強いという意味ではないので注意してください）。 さて、データの分析・解析に関わらず、いくつかの変数があるデータでは、相関係数を計算して、変数の間に関係があるかをチェックするのが一般的です。前のエントリーにもあるようにこれは「直線的な関係」しか調べられないですし、色々と制約もあり、いちいち確認するのは面倒ですが、それでも使い勝

今回は Python でゼロパディングする方法をご紹介します。 int の場合 str の場合 1. int の場合 整数型の場合は str 型の format() メソッドや % 演算子を使う方法が最もシンプルかと思います。 format() メソッド: number = 50 number_padded = '{0:04d}'.format(number) print(number_padded) # => '0050'

結論はタイトルの通りです。公式ドキュメントにも書かれています。 同僚が「pandasのassignメソッドは内部でデータフレームのコピーを作っているから、メモリ食ってしまって遅くて困っているんだよ」という話をしました。 「Python/pandasのデータ処理で再帰代入撲滅委員会」を読み、統計のバッチ処理をメソッドチェーンを使ってきれいに書くことにハマっていました。 ところが、実際のpandasのコードを見ると、 # コメントや他のメソッドは略 class DataFrame(NDFrame): def insert(self, loc, column, value, allow_duplicates=False): data = self.copy() # do all calculations first... results = {} for k, v in kwargs.items

データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新

こちらの続き。 上の記事では bool でのデータ選択について 最後にしれっと書いて終わらせたのだが、一番よく使うところなので中編として補足。 まず __getitem__ や ix の記法では、次のような指定によって 行 / 列を選択することができた。 index, columns のラベルを直接指定しての選択 index, columns の番号(順序)を指定しての選択 index, columns に対応する bool のリストを指定しての選択 ここでは上記の選択方法をベースとして、ユースケースごとに Index や Series のプロパティ / メソッドを使ってできるだけシンプルにデータ選択を行う方法をまとめる。 補足 一部の内容はこちらの記事ともかぶる。下の記事のほうが簡単な内容なので、必要な方はまずこちらを参照。 簡単なデータ操作を Python pandas で行う - S

二次元配列でこれを表現するとき、「ハチマン」「ユキノ」「ユイ」や「数学」「国語」「英語」といった文字の扱いに困る。Dataframeではこれをcolumnsやindexで表せる。 しかし、この型はいろいろと厄介な仕様があり、私はのっけから躓いてしまった。 これはpandas超初心者の私が自分用に作った、超初歩的なpandas操作マニュアルである。 pythonのバージョンは3.5.2（標準pythonではなく、Anacondan4.2.0を使っている） pandasのバージョンは0.18.1 コードはiPython5.1.0で実行している状況をイメージしている。 pandasを使う前の準備 pandasのインストール 私はAnacondaで一括で入れた。（Anacondaはpython+よく使われるライブラリみたいなものである。NumpyやiPythonも入れられる） そのほかにも、pip

>>> >>> import pandas as pd >>> >>> data_dict = {'A':[100, 564, 347], 'B':[1200, 853, 139]} >>> df = pd.DataFrame(data_dict) >>> >>> print(type(df)) <class 'pandas.core.frame.DataFrame'> >>> >>> print(df) A B 0 100 1200 1 564 853 2 347 139 >>> >>> print(df['A']) 0 100 1 564 2 347 Name: A, dtype: int64 >>> >>> print(df['B']) 0 1200 1 853 2 139 Name: B, dtype: int64 >>> >>> df['A * B + 2*A'] = df['A

Help us understand the problem. What is going on with this article?

Python でリストから辞書を作成する方法についてご紹介します。 要素数 2 のタプルからなるリストの場合 まずは元のリストが要素数 2 のタプルからできている場合です。この場合はそのまま dict() を使います。 # リストの要素がすでに2個組のタプルとなっている li1 = [("a", 3), ("b", 2), ("c", 5)] di1 = dict(li1) # => {'b': 2, 'c': 5, 'a': 3}

Ruby on Rails チュートリアル プロダクト開発の０→１を学ぼう Railsチュートリアルとは？

df3 = df1[~df1['row1'].isin(df2['row2'])] こういうことをやりたい あるデータフレームdf1から、 そのデータフレームのもつcolumn 'row1'と、 比較対象データフレームdf2のもつcolumn 'row2'を比較し、 row2には存在しないrow1をもつ行をdf1から抽出したい。 SQLで書くとこうです。

Pandasにて、dictionary objectからDataFrameを作る時 完全に自分用メモ。 dictからDataFrameに変換したいとき、下記のやり方で実現できる。 df = pd.DataFrame.from_dict(my_dict,orient='index') だが、これだと、カラム名がない。 当然、下記のような書き方はできない。 df = pd.DataFrame.from_dict(my_dict,orient='index',columns=['column1','column2']) そういう場合は少しだけ遠回りして、下記のような書き方でDataFrameを作成する。 df = pd.DataFrame(list(my_dict.items()),columns=['column1','column2']) 情報源はstack overflow stackov

はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは、アナリティクスサービス部の辻 陽行です。 今回は、データ分析を行う際のデータの前処理や集計を行う時に非常に役に立つ、PandasというPythonの便利なモジュールを紹介したいと思います。 モジュールを紹介する前に、分析作業の流れとPandasがどのあたりに関与してくるかを先に説明しておきます。 私たちの仕事は、さまざまなデータ分析をお客さまへ提供し、それを付加価値の核としているわけですが、 行き当たりばったりでデータを分析していくのでは、到底価値のある結果を導きだすことはできません。 大抵の場合、以下の手順に沿って分析を進めていくことになります。 データ分析のフロー ヒアリング・仮説形成 （お客さまからの）データ受領 データの前処理・整形 基礎集計 仮説の修正・分析方針の再検

天正十年六月二日、天下統一目前であった織田信長は、京都の本能寺において、家臣である明智光秀の謀反にあい、弑されてしまう。これを「本能寺の変」という。 日本の義務教育で歴史の授業を受けた人ならだれでも知っているこの事件。 舞台となった本能寺に実際に行ってみたところ、なんだかちょっと様子がおかしいのだ。 本能寺の「能」が変なのである。

BiSのプー・ルイさんが活動休止に。「拒食症や過食症になる場合もあるという可能性を一切無視している」と研究者は警鐘を鳴らす。