Sparkアプリケーションの基本と、はじめに押さえておきたい重要な概念
はじめに はじめまして、IBMの田中裕一です。 デバイスやセンサの高度化による、モバイルから取得できるデータの多様化、IoTの本格化といったハードウェアの面、機械学習の本格的な広がりといったソフトウェアの面、双方の進歩もあり、ビッグデータのキーワードのもと、大規模なデータ分析基盤を構築するデータエンジニアやデータサイエンティストの重要性が増しています。 昨今いろいろな分散処理基盤や機械学習ライブラリが登場してきましたが、本連載では数回に分けてApacheプロジェクトでも人気が高いApache Spark（以下、Spark）を使い、Sparkでのプログラミングやデータ処理を中心に見ていきます。 また、分散処理系で入門時につまづくことが多いClusterでの動作や、Sparkの詳細な挙動を連載後半に回すことで、Sparkを使う際のハードルを下げられればと思っています。 対象読者 連載を通して、
モダンアプリケーションのための軽量・高性能プラットフォーム「Vert.x」の概要と導入手順
対象読者 Javaのフレームワークというと、いまだにStrutsに代表されるServletベースのMVCフレームワークを経験されている方がほとんどだと思います。 Node.jsも経験されている方であれば比較的理解しやすいかもしれませんが、ここでは「伝統的な同期型のマルチスレッドプログラミングになれているJavaプログラマー」を対象とし、Vert.xのアーキテクチャを理解して実際にアプリケーションを作成する手助けになることを目指していきます。 なお、この記事は執筆時点で最新の安定版である2.1.5を前提に記述していきます。 Vert.xのインストール Vert.xは、2012年5月に1.0、2013年に2.0がリリースされ、現在3.0が開発中のまだまだ若く枯れていないオープンソースです。 公式サイトのインストール解説を見てもらえば早いとは思いますが、簡単にインストール手順を説明しておきます。
知らないなんてもったいない！ 障害発生の原因を洗い出すOSSのJavaVM解析支援ツール「HeapStats」を使ってみよう
避けるべき状況ですが、残念なことにこのようなことは珍しくありません。解析に必要な情報を漏らさず取得するためには、サービス開始前に入念な準備が必要ですが、現実にはそこまで時間をかけられない場合もあり、往々にして準備不足となる場合があるからです。 こういった不幸な状況を防ぐ手段の1つとして、本稿では「HeapStats」というツールを利用した障害解析方法を紹介します。 HeapStatsとは 「HeapStats」は、NTT OSSセンタが開発を行い2013年にOSS（オープンソースソフトウェア）として公開したJavaVM障害解析支援ツールです。 Javaアプリケーションにおけるメモリ不足（OutOfMemoryError）やデッドロックといった障害を素早く解決することを目的として開発されました。特に、Javaヒープメモリ内の状態など、従来は高い負荷をかけて取得する必要があった情報を、低オーバ
サイバーエージェントのGitHub活用 ～ 導入から運用体制、開発フロー、勉強会による現場への普及活動まで
また、Organization[1]の数も360を超え[2]、リポジトリ数もOrganizationのものだけでも2000近く作られています[3]。 新規のプロジェクトは基本的にGitを利用しており、既存プロジェクトもほとんどがSubversion（以下SVN）などからGitに移行しました。 本記事では、Ameba事業本部がどのようにGitを組織内に普及させていったか、その運用体制、現場でどのように利用されているのかをご紹介します。 [1] 複数アカウントをまとめるグループ機能です。リポジトリは個人単位だけでなく、Organization単位で作ることもできます。 [2] プロジェクト単位で1つのOrganizationを用意しています。 [3] 個人アカウントで作成したり、他からforkしたリポジトリは除いた数です。 GitHub Enterprise導入への道のり GHE導入以前の標準
Webアプリをあっという間にカッコよく！ BootstrapによるレスポンシブWebレイアウト
筆者は、このような画面を頻繁に目にします。なぜなら、デザインに疎い筆者自身がWebアプリを開発すると、このようなシンプルな画面がたくさん出来上がるからです。 そもそも業務アプリケーションでは、業務で取り扱う数多くの情報を、データベースや他システムなどから取得し、アプリケーション内でそれらの情報を、安全かつ正確に処理するためのコーディングを行う必要があります。開発規模が大きくなれば、再利用性の高い設計になるようさまざまな知恵を使う必要がありますし、取り扱う情報には機密性の高いものも含まれるため、セキュリティなどにも細心の注意を払う必要があります。そのため、どうしてもビジネスロジックの開発に注力しがちで、画面デザインやレイアウトなどのフロントエンド開発は、ついつい後回しになってしまいます。 しかしながら、Webアプリの操作性は、システムの顧客満足度を左右する重要なポイントになります。また、パソ
ScalaのWebアプリケーションフレームワーク「Play Framework」入門 ～（1）環境構築とスタートアップアプリの作成
はじめに 最近の関数型言語ブームの中で、高い生産性と高い品質を誇る言語であると注目を浴びているのが「Scala」です。今回は、このScalaのWebアプリケーションフレームワークである「Play Framework」（以下、Play2）について紹介します。 「Scala」はTwitterやLinkedInなどのサービスで利用されており、2013年は日本で初めてScalaに特化した大規模なカンファレンスが開かれたり、さまざまな情報媒体で取り上げられたりと、ここ1、2年で急激に人気が高まっているのではないでしょうか。 Play2はJVM上で動作し、これまでのJavaで開発するエンタープライズアプリケーションで多く採用されたサーブレットやJSPのアーキテクチャを採用せず、独自のMVCモデルのアーキテクチャを持っており、スケールアウトしやすい構造になっています。 本連載では、開発者にもフレンドリー
構成管理ツール「Chef」の一歩進んだ使い方 ―独自のResourceを定義する―
Chefを使っていると、Recipeのコード量が膨大になってしまったり、Recipeを使い回したりすることがあるかと思います。本稿では、そのような場合にコードの見通しを良くしたり、コードの再利用性を向上したりできる独自のResourceを定義する方法について、独自Resource導入前後のコードを紹介しつつ、解説したいと思います。 構成管理ツール「Chef」とは 有名なツールなのでご存じの方も多いかもしれませんが、ChefはChef社（旧Opscode社）が提供しているインフラ環境の構築や構成管理の自動化ツールです。Chefを使えばOS環境の設定やパッケージのインストール、ミドルウェアの設定など、インフラエンジニアが今まで人手で行ってきたような作業を自動化することができます。また、ChefはApache License,Version 2.0でOSSとして公開されているため、誰でも利用が可
WindowsにGit環境をインストールする
はじめに 本連載はWindows上でGitを利用しようとしているユーザー向けに、これから数回かけて解説します。今回はWindows上へのGitのインストールおよび基本的な使用方法について触れていきます。 対象読者 今回の対象読者は下記のとおりです。 Windowsに関する基礎的な知識 Gitに興味がある方 Subversionなどの別のバージョン管理システムを利用したことがある方 必要な環境 Git for Windows（フリー） Git Extensions（フリー） Gitとは Gitとは分散型のバージョン管理システムです。バージョン管理システムは、主にソースコードの履歴、構成管理に用いられていますが、Gitもその一つです。 バージョン管理システムの歴史は古く、SCCS、RCS、CVS、Subversion（SVN）そしてVSSなど数多くの実装が存在しますが、開発者なら、これらのうち
ContentProviderのアクセス範囲 ――Dropboxにおける脆弱性の修正
本連載では、セキュアコーディングスタンダード「CERT Oracle Secure Coding Standard for Java」の内容をベースに、Android特有の情報を交えつつ、堅牢なプログラムを開発するためのノウハウを具体的な事例とともに紹介していきます。第2回では、さっそくAndroidの話題をとりあげます。AndroidのContentProviderを使うときの注意点を解説します。 はじめに Androidにはデータを読み書き/共有するための仕組みとしてContentProviderがあります。データの読み書きを簡単に実装するためのインターフェースも備えていて便利なものです。また、Androidでは基本的に他のアプリケーションとデータをやり取りすることはできません。自分が作成したアプリケーションのデータを他のアプリケーションで利用してもらう場合、データを共有する方法の一つ
Eclipse×PhoneGapでAndroidアプリ開発！ ～インストールからアプリ実行まで
はじめに AndroidはGoogleが提供するオープンソースのモバイルオペレーティングシステムです。Samsung Galaxyシリーズのスマートフォンやタブレット、AmazonのKindle Fireタブレット、Barnes and NobleのNookタブレットをはじめ、様々なメーカーのスマートフォンやタブレットデバイスで使用されています。PhoneGapは、ネイティブにインストールできるモバイルアプリケーションをHTMLおよびJavaScriptで作成するためのオープンソースのアプリケーションプラットフォームです。 必要な環境 Eclipse Classic Android SDK PhoneGap Eclipseをセットアップする Android用のPhoneGapアプリケーションを開発するための環境をセットアップするには、まず、Eclipse IDEをダウンロードしてインストー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これは強力！ AWKとパイプの新しい関係 ～ 時刻を取得する関数、Socket通信、双方向パイプ
Git操作の基礎