開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
ビッグデータが拓く農業という成長産業
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2013年6月から2014年の7月の一年にわたり、「通信のゆくえを追う」というテーマで連載コラムを書かせていただいた。 おかげさまで好評をいただいたが、一方で、通信事業者や端末メーカーやコンテンツプロバイダーなど、サービスや製品を提供する立場に主眼を置いていたため、「通信サービスの利用形態が、これまであるいは今後、どのように変遷していくのかという視点があればもっと興味深かった」という声もいただいた。 なるほど、もっともな指摘であり、今やどのようなシーンにおいても情報通信から離れることはできないと言っても過言ではないくらい、情報通信技術（ICT）は生活に密着したものになっている。そう考えると、利用者の視点がなければ不十分と言える。 ICT
リアルタイム分析を実現する強力なツールシリーズ～Jubatus～
こんにちは！HALです。 今回は、前回の『Kinesisで実現するlot』でご案内したリアルタイムにデータを処理する技術のCEPを実現するためのツールをご紹介したいと思います。 CEPにおいて、一般的に言われている課題点として、「複数の分析を行う場合に処理が複雑になりメンテナンスに負荷がかかる」といわれておりました。 そうした課題を解決できるのが、データに潜むパターンや規則性などを見つけ、それを予測に生かすことができる「機械学習」の技術です。 この機会学習を実現できるソフトの一つに「Jubatus」というオープンソースがあります。 機械学習とは？ 機械学習（Machine Learning）とは、人工知能の研究分野の一つで、人間が事例から学ぶのと似たようなデータからの学習をコンピュータで実現しようとする技術・手法のことです。 センサデータ等を入力して目的別の解析を行い、有用な規則、ルール、
「Hadoop Summit 2012」に見るツール/事例の最新動向
本連載では、オープンソースの大規模分散処理基盤「Hadoop」を利用している技術者向けに、数回にわたりHadoop運用の最新情報やノウハウ、活用の勘所を紹介する。 HadoopやHadoop周辺ツールは、現在も活発に開発が進んでおり、安定化に加えて高機能・多機能化も図られ、適応領域が広がりつつある。それだけにHadoopユーザーは周辺ツールや利用動向について、常にアンテナを張っておくべきであろう。 そこで、今回は2012年6月13日と14日の2日間、米国カリフォルニア州サンノゼにて開催された、Hadoop Summit2012の模様を要約して紹介する。 米ヤフー!と、米ホートンワークス（米ヤフー!のHadoop専門チームがスピンアウトしたHadoop専業ベンチャー企業。2011年6月設立）が共催する同イベントは、今回で5回目の開催となる。 2008年の第1回開催時は200人だった参加者が今
Facebook上場後の行方 ～ビッグ･データの背後にある2種類の技術からの予想（小林 雅一） @gendai_biz
5月21日、米NASDAQ市場にIPO(上場)を果たしたFacebookだが、大方の期待を裏切り、上場直後から株価は冴えない値動きを続けている。その直前まで同社に寄せられた過度な期待の大部分は、彼らが保有する膨大な個人情報に依拠する。 Facebookのようなソーシャル･メディアに蓄えられた大量の個人情報(データ)は、最近、IT業界のバズワード(流行語)となっている「ビッグ･データ(Big Data)」の重要な一部を為している。ビッグ･データの厳密な定義は存在しないが、印象としては現代社会に存在する、ほぼ全てのデータを網羅している感がある。 たとえば「企業が保有する大量の顧客情報や売上げデータ」、「政府機関や公共団体が保有する各種の統計情報やデータベース」、最近では「ブログやSNS、Twitterなどソーシャル･メディアに投稿される無数のコメントや写真」、さらに「各種センサーを搭載した様々
RIETI - ビッグデータが迫る研究開発の変革
最先端の研究開発現場からビジネスまでのありとあらゆる場面で大きな変革―第四のパラダイムと呼称されることが多い―が起きつつある。それは、この一、二年"ビッグデータ"と総称される、質的に極めて多様で膨大な量のデータ群を有効利用することにより、地球から人間にいたるまで様々な対象をモデル化し、目的に応じた、より良い予測情報やサービスを提供する研究開発手段の台頭である。ビッグデータの取扱に必須の基幹的な科学技術は、巨大データベースに関わる工学領域をはじめとして、統計科学、数理工学、機械学習、データマイニングといった、日本では人材が量的に不足している研究分野で生まれている。 このBBLセミナーでは、ビッグデータを取りまく日米の現状を概説するとともに、ビッグデータの利活用を阻む日本独自の問題点について論じてみたい。 昨今、データを取り巻く環境が激変しています。以前はデータの質・量ともに不足しており、地球
導入事例からIT製品・サービスを探す｜キーマンズネット
基幹系システム ERP 会計システム 電子帳票システム ワークフロー 勤怠管理システム もっと見る 情報共有システム・コミュニケーションツール グループウェア Web会議 テレビ会議/ビデオ会議 ファイル共有 文書管理 もっと見る 情報システム SFA CRM コールセンター/CTI BPM PLM もっと見る メール 電子メール メールセキュリティ メールアーカイブ その他メール関連 もっと見る エンドポイントセキュリティ アンチウイルス 暗号化 認証 ID管理 メールセキュリティ もっと見る ネットワークセキュリティ ファイアウォール WAF IPS UTM セキュリティ診断 もっと見る 運用管理 統合運用管理 IT資産管理 サーバー管理 ネットワーク管理 統合ログ管理 もっと見る バックアップ バックアップツール バックアップサービス テープバックアップ その他バックアップ関連 もっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ウェアラブル、AI、無人配達航空機――革新的技術の裏に「データサイエンス」あり
TechCrunch | Startup and Technology News
（ギークだけでなく）誰もがビッグデータを気にすべき理由