開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
コラム - クラウド時代のオープンソース実践活用 | 第92回 確率のトリックをJupyterでシミュレーション｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第92回 確率のトリックをJupyterでシミュレーション (中井悦司) 2016年6月 はじめに 前回は、JupyterのPython実行環境を科学技術教育に利用するという話題をお届けしました。―― と言っても、Pythonで高度な数学の計算を行うというだけの話ではありません。高校生レベルの物理学の問題を動画にする例を紹介したように、学習する内容にかかわらず、「自分でコードを書いて実際に試してみる」という環境が何よりも有用だと言えるでしょう。 とくに、Jupyterの面白いポイントとして、「理屈はわからなくても、まずはコードで試してみる」という使い方ができる点があります。今回は、簡単な確率の問題を例にして、Jupyterを用いた「シミュレーシ
「喜多方ラーメン」誤表示、原因は１２年前の… ＪＲ東：朝日新聞デジタル
ＪＲ会津若松駅（福島県会津若松市）の電光掲示板に「喜多方ラーメン」と誤表示された問題について、ＪＲ東日本福島支店は２０日、１２年前に端末に入力したデータが誤って送信されたことが原因だと明らかにした。２００４年２月に仙台―喜多方駅間を走った列車「喜多方ラーメンフェスタ号」のデータが端末に残っていたという。 同支店によると、誤表示されたのは１８日午後３時ごろ。国鉄時代につくられた特急車両４８５系が「特急あいづ」として最終運行するため、駅員が１７日、「さよなら ４８５系（特急あいづ）」と駅舎内の端末で打ち込んだ。だが、実際に電光掲示板に正しく表示されるかどうかの確認を怠ったという。 担当者は「なぜ、誤送信されたのかはまだわからない。確認不足でご迷惑をおかけした」と話している。（江戸川夏樹）
前年比に頼るのがキケンな理由 経営判断を誤る可能性も……
読者がテレビメーカーの社員だとします。前年同月にオリンピックがあってテレビが売れました。今月の売上げの前年比はマイナスでした。社長から「サボっていたのか？」と聞かれた時、どう答えれば良いでしょう？ 簡単なのは「2年前、３年前の同月と比べて減っていないので、問題ありません」と答えることですが……。 今回は、統計の前年比の問題点とその克服策について考えてみましょう。 前年比は便利だが…… 企業レベルの数字でもマクロ統計（日本経済のような国全体の統計）でも、前年比は便利です。多くの統計には季節性があるからです。たとえばチョコレートはバレンタインデーのある２月に良く売れますので、2月のチョコレートの売上げを1月と比べても意味はありません。しかし、前年の2月と比べて増えたか減ったかは重要です。バレンタインデーの影響を考えずに単純に比べれば良いからです。 経済統計も同様です。6月と12月はボーナス月な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
