Python向け自然言語処理ライブラリ「spaCy 3.0.0」がリリース
「spaCy 3.0.0」では、新機能としてマルチタスク学習をサポートするトランスフォーマーベースのパイプラインや、18以上の言語用に再トレーニングされたモデルファミリーと5つのトランスフォーマーベースパイプラインを含む計58のトレーニング済みパイプラインが追加されている。 ほかにも、サポートされているすべての言語用に再トレーニングされたパイプラインとともに、マケドニア語とロシア語用の新しいコアパイプライン、新しいトレーニングワークフローと構成システム、PyTorch、TensorFlow、MXNetといった機械学習フレームワークを使用したカスタムモデル、前処理からモデル展開までのエンドツーエンドのマルチステップワークフローを管理するためのspaCyプロジェクトが実装された。 機能改善としては、データバージョン管理（DVC）、Streamlit、Weights＆Biases、Rayなどとの
GCPを効率よく学ぶには？ GCPエキスパートが教える認定資格、トレーニング活用のすすめ (1/3)：CodeZine（コードジン）
たくさんのパブリッククラウドサービスがある中、どうしてGoogle Cloud Platform（GCP）なのか、他のパブリッククラウドとの違いはなんでしょうか。GCPの魅力とは何か、それらを知るにはGCPを実際に触るしかありません。では、どうやって始めればいいのでしょうか？ GCPには50以上のサービスがあり、何から手をつければよいか迷ってしまう人もいるでしょう。せっかく勉強しても実は目的にあっていなく、全く関係ないサービスだったなんてことも起こりえます。また、勉強してもその実力を証明するためのものがほしいという人もいるでしょう。今回はそんな不安を解消するための手助けをしたいと思います。 具体的には以下のことについて説明していきます。 どうしてGCPなのか GCPの効率的な学び方 認定資格について 認定トレーニング概要 はじめに 筆者は、もともとはフリーランスのAndroidエンジニアで
Python製Webフレームワークの比較とDjangoの環境構築
9年ぶりとなるメジャーバージョンアップを控えて、盛り上がりを見せているDjango。この連載では最新のDjangoとDjango REST frameworkを用いたプロダクト開発の手法を、実務に使える形でお伝えしていきます。今回はDjangoの特徴を確認してからDjangoプロジェクトの環境構築についてをご紹介します。 はじめに データ分析や機械学習の隆盛に伴い、Pythonの人気は近年とても高まっています。それはNumPyやChainerといった便利なPythonライブラリが充実しているという理由がもちろん挙げられますが、Pythonが汎用プログラミング言語であることも人気の後押しになっています。 実際、「収集・分析したデータの二次活用として、Webアプリケーションを作りたい」という声をよく聞くようになりました。Pythonならデータ処理からWeb開発まで一貫して同じ言語で書くことがで
リクルートテクノロジーズ、「2016年おすすめプログラミング言語」ランキングを発表、初めて習得する人にはどの言語？
リクルートテクノロジーズは、事前調査で「過去に習得または勉強したことがあるプログラミング言語が3言語以上である」と回答した20代～40代のITエンジニア 507名を対象に、プログラミング言語に関するアンケートを実施。一定以上の学習を積んだITエンジニアが「初めて習得」「これから最も重要」と考えるプログラミング言語が明らかになった。 【補足：リクルートテクノロジーズからの「お詫びとお知らせ」（2016/6/20）】 リクルートテクノロジーズは、このアンケート結果を伝えるプレスリリースを「お詫びとお知らせ」（PDF）に変更し、プレスリリースを閲覧した方に多大なご迷惑をお掛けしたとしてお詫びを述べるともに、本件に関する問い合わせ・質問を下記窓口で受け付けている。 株式会社リクルートテクノロジーズ PR 事務局 アウル株式会社内 TEL：03-5545-3888 FAX：03-5545-3887
米Microsoft、機械学習サービス「Azure Machine Learning」に関する無料の電子書籍を公開
米Microsoftは、無料の電子書籍「Microsoft Azure Essentials series」の第3弾として、Azureによる機械学習について解説した『Microsoft Azure Essentials: Azure Machine Learning』のPDF版を、4月15日（現地時間）に公開した。MobiおよびePub版も、近日中に公開する。 『Microsoft Azure Essentials: Azure Machine Learning』は、Azure Machine Learning Studioを利用した機械学習における基本的な情報を紹介しており、データサイエンスについて学びたい人や、データサイエンスに関する深い知識を持つ人、これから機械学習やクラウドコンピューティングについて学ぶITプロフェッショナルや開発者など、幅広いユーザーを対象にしている。 全8章で構
Amazon Redshiftへのデータ投入からBIツールによる可視化までの手順
データの入手、整形 Amazon S3へのデータのアップロード Amazon Redshift：テーブルの作成 Amazon Redshift：データの投入 Amazon Redshift：SQLによるバッチ処理（ETL） BIツールからの接続確認 また、利用するBIツールはTableau社が提供している『Tableau Desktop』というデスクトップツールを利用したいと思います。文中『Tableau』という言葉が出て来た際はこの『Tableau Desktop』のことを示しているとご理解ください。 データの入手・整形 では分析を行いたいデータを準備するところから見ていきましょう。Tableau社では各種デモで用いることができるようなサンプルデータを公開していますが、今回はそのサンプルデータを利用したいと思います。 以下のリンクで公開されているものは、架空の店舗別・地域別売り上げデータ
Pythonディープラーニングライブラリのツートップ「Pylearn2」「Caffe」とは～PyData Tokyo Meetup #1イベントレポート
PyData Tokyoは「Python＋Dataを通じて、世界のPyDataエクスパートと繋がれるコミュニティーを作る」ことを目的として設立されました。その達成に向けた活動の一つとして、月1回のペースで勉強会を開催しています。勉強会はゲスト講師による講演＋ディスカッションという構成です。2014年10月に開催された第1回勉強会「PyData Tokyo Meetup #1 - Deep Learning」では、非常に活発な議論が行われ、今後の発展が期待できる内容となりました。 本連載では、勉強会を含む活動を通じてPyData Tokyoが得た「Python＋Data」の可能性やナレッジを、読者の方にお届けしていきます。機械学習や大規模データ解析など、幅広いテーマを取り扱っていく予定です。 データ解析に関心を持つ人たちのコミュニティ 「PyData Tokyo」の設立 こんにちは。PyDa
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
PostgreSQLの分析関数の衝撃2 （Lag関数と累計と移動累計）
はじめに 2009年7月に正式リリースされたPostgreSQL 8.4で、分析関数（window関数）がサポートされました。本連載では、分析関数の衝撃シリーズをPostgreSQL用にアレンジした内容と、OracleやDB2の分析関数をPostgreSQL 8.4で代用する方法を扱います。 本稿では、『分析関数の衝撃2 （中編）』を、PostgreSQL8.4用にリニューアルした内容を扱います。 対象読者 PostgreSQLでwindow関数を使ってみたい方 分析関数の理解を深めたい方 『自己結合の使い方』と 『相関サブクエリで行と行を比較する』に記載されているSQLをwindow関数を使って記述していきますので、『自己結合の使い方』と『相関サブクエリで行と行を比較する』を読まれてからのほうが理解しやすいと思います。 必要な環境 本稿で扱うSQLは、PostgreSQL 8.4 bet
SQLで集合演算
SQLは集合論をその基礎の一つとする言語ですが、これまで、SQLが集合演算の整備を怠ってきたことも手伝って、その機能は十分に活用されてきませんでした。しかし近年、ようやくSQLにおいても基本的な集合演算の機能が出揃い、本格的な応用が可能になってきました。本稿では、SQLの集合演算を利用したSQLを紹介し、その背景にある考え方を解説します。 はじめに SQLが集合論に立脚する言語であるということは、この連載で一貫して強調してきたテーマの一つです。その特性のゆえに、SQLは「集合指向言語」と呼ばれていますし、実際、集合的な観点から見たときに初めて、その強力さが理解できると私は考えています。しかし現実には、SQLのこの側面は長らく無視されてきました。 その背景には、SQLにも責任の一端があります。というのも、SQLはちょっと前まで、高校で習う程度の基本的な集合演算子すら持っていなかったからです。
サーバー側コーディング不要のGoogle App Engine開発環境「jsonengine」
はじめに 本稿では、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するツール「jsonengine」について紹介します。 対象読者 Google App Engineに興味はあるが経験のない方。JavaScriptやActionScriptによるクライアント開発、またはiPhoneやAndroidによるスマートフォン開発の経験のある方。JavaやPythonの開発経験は不要です。 必要な環境 最低動作環境は次のとおりです。 Java SE 5 jsonengineって何？ 「jsonengine」は、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するオープンソースのツールです。このツールは、昨年開催された「Mashup Awards 6」において「
HTML5で進化したフォーム機能 ここが違う！サンプルで見るHTML5（5）
はじめに この連載では、今日のウェブ業界の流行語となっている「HTML5」をとりあげ、全6回に分けて、これまでの技術とどのような違いがあるのか、具体的にサンプルのコードを示しながら解説していきます。 過去の連載も読む 第1回：HTML5が注目を浴びる理由とは？ 第2回：HTML4から変化したHTML5のマークアップ 第3回：HTML5で再定義された要素と属性 第4回：HTML5で実現できるマルチメディア系機能 新たに導入されたフォームコントロール これまでウェブにおける入力フォームコントロールは、非常に限られたものしかありませんでした。皆さんがよくご存じのテキスト（パスワード）入力フィールド、ラジオボタン、チェックボックス、セレクトメニュー、テキストエリア、ファイル選択です。お問い合わせフォームであれば、ほとんどのシーンで十分といえるでしょうが、ウェブアプリケーションにおいては、不足してい
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
Rやりはじめました (CodeZine編集部ブログ)
とあるデータマイニング勉強会にいったのですが、いまさらというか遅すぎだとおもうのですが、Rのすばらしさに気づいて、やりはじめました。豊富なライブラリで、いろんなことがすごく簡単にできて、図で表現して理解できるところが楽しいです。 実際に、この資料を基にやってみます。 統計的テキスト解析(6)～語のネットワーク分析～ http://mjin.doshisha.ac.jp/R/61/61.html 菅首相の信表明演説をグラフ化してみます。 第１７４回国会における菅内閣総理大臣所信表明演説 http://www.kantei.go.jp/jp/kan/statement/201006/11syosin.html ライブラリを読み込んで、 library(igraph) ibrary(RMeCab) 形態素解析で名詞だけにします。 kekkaDF <- NgramDF("kan.txt", t
400万行のコードを15分で見える化！ プログラム解析ツール『Understand』で開発効率アップ
システムの多機能化により、プログラムの内容が複雑化している。テクマトリックスの『Understand』は、プログラムの構造を可視化することで、ソースコードの解析時間を大幅に削減できる開発支援ツール。今回は同社の福永一寛氏に、Understandの機能や特徴について聞いた。 システムの多機能化により、プログラムの内容は複雑化している。既存コードの改修や多人数での開発における情報共有のためには、プログラム構造の理解が必須だが、ドキュメントと実装内容とが乖離している場合も多く、解析自体に工数がかかることもある。テクマトリックスの『Understand』は、プログラムの構造を可視化することで効率的なソフトウェア開発をサポートするソフトウェア開発環境。「組込みシステム開発技術展（ESEC）」にて、同社の福永一寛氏にその特徴を聞いた。 ソースコードの解析作業時間を大幅に削減する『Understand』
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロからはじめるSparkアプリケーション入門一覧
総務省、オープンデータ推進のためAPI利用可能な統計データを拡充
私がScalaを選んだ理由
「Python」に関する記事一覧
文章の中のはてなキーワードをハイライトさせる