AI機械学習を用いた経営問題の解決や幅広い業種へ多数のコンサルティングの経験を持つ。AIプロジェクトに関するコンサルティングだけではなく、AI人材の育成、会社全体のDX化など幅広い分野で活躍中。AIに関わる講演を多数行なっている。 こんにちは、AI研究所の三谷です。 自動運転やスマートスピーカーなど、人間の生活を大きく変える可能性のあるサービスで使われているAI(人工知能)技術。 実際に自分でも作ってみたいと思う方も多いのではないでしょうか。 人工知能はプログラミング言語で作られていて、何万というソースコードが集積されたものです。 そのプログラミング言語にもたくさんの種類があり、プログラミング言語の中にはAI開発に向いている言語とそうでない言語というものがあるのです。 この記事では、AIを開発するのによく使われるプログラミング言語を中心に解説していきます。 ぜひご一読ください。 AIについ
追記(2017年8月) こちらの記事へのアクセスが未だに多いようですが、書かれてから既に4年が経過しており業界事情もだいぶ様変わりしております。このブログの「データサイエンティスト」カテゴリの他の新しい記事も是非ご覧ください。 以前の記事の続き再び。前回に引き続きまさにお題の通りで「未経験者はどうすればデータサイエンティストになれるか」ということなんですが、 そんな方法論あったら誰も苦労しねーよ。 ってのはウソ。笑 とは言え、僕自身「自分はデータサイエンティスト」と嘯くぐらいのことはできますが*1、かと言って本当にデータサイエンティストって言えるの?と真顔で迫られたら色々もにょることもあるわけで*2。ある意味僕も未経験者からデータサイエンティストと称される職種に転じた人間なので。 もっとも、僕は一方でアカデミック業界にいた頃はデータマイニングを駆使するquantitative resear
データサイエンティスト協会ではデータサイエンティストに必要なスキルや知識をスキルチェックリスト・タスクリストという形で定義し、高度IT人材の育成と業界の健全な発展への貢献、啓発活動を行ってきました。デジタル時代の人材育成や教育改革は国全体の重要な課題となっており、ビジネスを推進する上でデータ・AIの活用戦略や実装を担うデータサイエンティストへの期待が高まっています。 本検定の取得により、データサイエンティストに必要なデータサイエンス力・データエンジニアリング力・ビジネス力についてそれぞれ見習いレベルの実務能力や知識、また、数理・データサイエンス・AI教育のリテラシーレベルの実力を有していることを証明することができます。 データサイエンティストを目指す人達とそれを必要とする産業界を結びつける一つの指針となることを目指しています。 データサイエンティスト検定™ リテラシーレベルとは 本試験の対
データを取り扱う仕事に深く関わるSQL。データサイエンティストを目指している方やデータ分析を行いたいと考えている方にとって必修のデータベース言語です。しかし、「耳にしたことはあるものの、名前しか知らない……」という方も少なくないのでは? この記事ではSQLの概要や種類、簡単な使い方についてご紹介します。基本を押さえてデータ分析の最初の一歩を踏み出しましょう! SQLはデータベースと対話するための言語の一種 SQLは最も汎用的に用いられているデータベース言語の一種で、「エスキューエル」「シークェル」などと呼ばれます。データベースとは一定の形式で整理されたデータの集まりのこと。SQLを用いてRDBMS(リレーショナルデータベース管理システム)を操作することで、データベースと対話して大量のデータの効率的な取得・追加・削除・更新などができるようになります。この際、データベースに対して出される命令を
最終更新日: 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX(ユーザー体験)を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
オラクルのコンサルティング部門にてデータベースのエンジニアとして従事した後、退職してバイオインフォマティクスとゲノム科学の学位を取得。その後、日本オラクルに復帰し、現職にて機械学習やグラフ分析の製品担当として、ビッグデータ活用ソリューションの提案をリードしている。 機械学習のこれまでと技術トレンド 機械学習というのはどういうものか、おさらいから始めてみましょう。 まず初めに人間の学習について考えてみると、一定のデータが貯まってくると、ある程度行動の予測を立てることができます。 例えばコンビニの店員をしていると、「若い女性はお菓子をよく買う」とか、「中年の男性は雑誌をよく買う」といったデータが貯まってきます。すると経験則から「新商品のお菓子は若い女性に売れそうだ」という「予測」を立てることができるようになります。 この予測を導く部分が「分類モデル」といえますが、人間の学習の場合、経験や記憶と
機械学習でもっとも重要な存在と言っても過言ではないのが、データセットです。本記事では、保存版として、インターネットで公開されている機械学習用のデータセットをまとめました。まだまだ日本国内では、公開されているデータセットが少ないので、海外で公開されているデータセットも含めています。 常時、リストを更新してますが、もしまだ含まれていないデータセットをご存知の方は、コメント欄にてお知らせ頂けますと幸いです! 【最終更新 : 2018年08月23日】 Kaggle データの量・知名度ともに最も有名な予測モデル/分析を競い合うプラットフォーム。企業や研究機関などが様々なデータを公開。英語のみ。無料会員登録必要。 Kaggle 初級者向けチュートリアル Kaggleとは? Kaggle 入門 タイタニック予測 メルカリチャレンジ価格予測チャレンジ ホットペッパー予約来客数予測チャレンジ Amazon
ビッグデータ分析に特化したアーキテクチャとは アシスト データベース技術本部 河西大樹氏 データ分析の結果に基づいた意思決定においては、ビッグデータ活用が重要となる。昨今では、従来の企業が持っていた顧客情報だけでなく、あまり活用してこなかったさまざまなログデータ、気象情報などのオープンデータも活用するようになっているという。 データドリブン経営を実現するためには、ビッグデータ分析を数多くのユーザーがストレスなく使える分析基盤にする必要があるだろう。セッションでは、分析に特化した次世代型データベースVerticaが解決してきた大量データと高速処理に関する4つの課題事例についてアシストデータベース技術本部の河西大樹氏が解説した。 【Vertica 4つの事例】 (1)JOIN処理ボトルネックを解消し、174倍のパフォーマンス向上 (2)マスターノード不要アーキテクチャでDBのボトルネックを解消
We help companies test and improve machine learning models via our global AI Community of 1 million+ annotators and linguists. Our proprietary Ground Truth AI training platform handles all data types across 500+ languages and dialects. Our AI Data Solutions vastly enhance AI systems across a range of applications from advanced smart products, to better search results, to expanded speech recognitio
「SQLは何となく苦手」という人は意外と多いものです。すでに何らかのプログラミング言語を習得している人を見ても、SQLを苦手としている人は少なくありません。そこで、実際にSQLを入力して結果を見ながら学習する連載を始めます。用意するのはインターネットにつながったWebブラウザだけ。気軽に始めてみてください。(編集部) 皆さんこんにちは。今日から始まるこの連載は、すぐに試せるリレーショナルデータベース管理システム(RDBMS)の環境を使って、実際に操作しながらSQLを体得していただく実践型のSQL講座です。詳しくは後述しますが、あなたのパソコンにRDBMSをインストールする必要もありません。Webブラウザさえあれば、気軽に試していただけます。 「SQLを勉強したいけれど、どこから手を付けたらいいのか……」とちょっと途方に暮れている方や、「普段の業務でSQLを使っているけれど、いつもその場しの
SQLをはじめよう - 初心者でもわかる、構文とデータ取得の基本 リレーショナルデータベース管理システム(RDBMS)において、データの操作や定義を行うためのデータベース言語であるSQL。“データ”の重要性が謳われるようになった昨今において、この言語はより重要性を増しています。本稿では日本MySQLユーザ会の副代表であり、データベースを中心とした業務システムの設計・コンサルティングを手掛ける坂井恵さんが、「SQLを学びはじめたばかりの若手IT技術者」や「社内のデータを利用したい非IT技術者」に向けて、SQLによるデータ操作の基礎を解説します。 企業活動において、近年ますます、蓄積されたデータの活用が重要になっています。自社の持つ大量のデータの中から必要なデータを抽出・集計するという操作は、以前はITエンジニアが用意した画面を通して限定的にのみ行うことができるのが一般的でした。 しかし最近は
SQLでデータを処理したいものの、 ・データベースの基礎知識が分からない…。 ・SQLの使い方が知りたい…。 という方も多いのではないでしょうか。そこでこの記事では、 ・SQLやデータベースとは何か ・MySQLの基本的な使い方 について、サンプルコードを交えて解説します。 SQLを使うのが初めての方でも、この記事を読めば、SQLの文法やデータベースの扱い方が身に付きます。 公開日:2024年5月29日 SQLとは?【データベース言語の1つ】 SQLとは、「Structured Query Language」の略で、直訳すると「構造化問い合わせ言語」という意味です。コンピュータ言語の一つですが、プログラミング言語ではありません。リレーショナルデータベース(RDB)のデータを操作するための言語です。 データベースへ指示を出す言語は「SQL文」と呼び、命令文を組み合わせて処理を実施します。SQ
Webスクレイピングについて Webスクレイピングは、HTMLから自分が欲しいと思うデータを取得すること。 これを行うプログラムをスクレイパとも呼びます。 Web上のデータを取得する上では、欠かせない技術となっています。 クローラにより、自分が欲しいと思うデータのあるWebサイトにアクセスし、スクレイパによって情報を取得していくという流れです。 スクレイピングをする前に スクレイピングは、HTMLとCSSを知っておかなければ、何もできません。 そのため、自信のない人は「Progate」などで復習、または学習しましょう。 また、Selenium(セレニウム)を使ってのスクレイピングやDOM解析には、JavaScriptの知識が必要になる事がよくあります。 JavaScriptについてよく知っておくのも、スクレイピングに役立ちます。 スクレイピングを行う際の注意点 スクレイピングは、禁止してい
Webスクレイピングとは Webスクレイピングとは、Webページの情報をプログラムを使って取得できる技術です。他のプログラミング言語でもWebスクレイピングはできますが、今回はPythonを使ってWebスクレイピングする方法を紹介します。 Webスクレイピングで何ができる? では具体的にWebスクレイピングでは何ができるのでしょうか? たとえば、以下のようなことができます。 あるサイトの特定部分のテキストを定期的に取得 ネットオークションの価格を自動で取得 自動でサイトにログインして、ほしい情報を取得 Webスクレイピングは、業務の自動化などで活躍します。 [PR] Pythonで挫折しない学習方法を動画で公開中 Webスクレイピングのためのライブラリ・フレームワーク PythonでWebスクレイピングをするための代表絵的なライブラリやフレームワークをいくつか紹介します。 urllib.r
「Webスクレイピングは違法なの?」 「Webスクレイピングのメリットや活用事例が知りたい!」 このようにお悩みではありませんか? データ活用の前提として、まず材料となるデータがなければなりません。 そのために例えば機械学習のために大量の画像データを収集する、Webサイトから情報を集め、CSVファイルにまとめるといった作業を行いたい場合があるでしょう。 その際、役に立つのがWebスクレイピングです。 本記事ではWebスクレイピングとは何なのか、実際の実行方法、法律・マナーに反しないために押さえるべき注意点など基本事項を初心者向けにわかりやすくご紹介します。 Webスクレイピングの意味とは“データを収集し使いやすく加工すること” Webスクレイピングとは“データを収集し使いやすく加工すること”です。 英単語のscraping(こすり、ひっかき)に由来し、特にWeb上から必要なデータを取得する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く