第456回ではUbuntu 16.04 LTS上にCUDA 8.0をインストールする方法を紹介しました。これをもっと簡単に環境構築できるよう、今回は第458回で紹介したDockerを使ってみましょう。 NVIDIAのDocker 第458回で紹介しているようにDockerはカーネルのコンテナ技術などを利用して、アプリケーションをサンドボックス環境の中で動かす仕組みです。Dockerではカーネルの名前空間機能を用いてプロセスなどのリソースをホストの他のリソースから隔離することで、独立したサンドボックス環境を構築しています。KVMやVirtualBoxといった仮想マシンともっとも異なるのは、「⁠ホストとコンテナのカーネルは共通である」ことでしょう。ホストもコンテナも同じカーネルインスタンスの上で動いています。つまりコンテナの操作によってカーネルがハングアップしてしまったとしたら、当然のことなが

2016年9月22日紙版発売 2016年9月22日電子版発売 中久喜健司　著 A5判／416ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-7741-8388-6 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 科学技術計算向けの，Pythonの実践的な入門書。理工系の学部や研究室等でもPython採用実績が増えてきています。本書では，実験やシミュレーション等で役立つPythonによる開発の基本を徹底解説。冒頭でロケットシミュレータの作成場面を想定し，コーディングの基礎からデバッグやテストまで，いつ，何をするか，具体的なフローを平易に紹

第21回Sparkの設計と実装［2］～Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔，山田浩之 2016-06-08

はじめに 前回は、これまで説明してきたアルゴリズムの性能を定量的に見積り、比較しました。今回は、これらの性能見積りを用いて行うデータ処理（問い合わせ）の最適化方法について説明します。 データ処理（問い合わせ）の最適化 第4回で述べたように、HadoopのSQL処理系であるHiveをはじめとし、ImpalaやPrestoなどの宣言型言語を用いるデータ処理系においては、利用者は何を（What）処理してほしいかを処理系に指示するのみであり、どのように（How）処理をしてほしいかは指定しません。すなわち、当該処理系においては、どのように処理をするかは処理系自体が決める必要があり、与えられた問い合わせ（クエリ）を最も良いと思われる方法で処理します。このように、問い合わせにおいて最良と思われるデータ処理の方法を見つけることを「⁠（⁠問い合わせ）最適化」と呼びます。 最適化においては、問い合わせを実行す

はじめに 鈴木たかのりです。 前回に引き続きPythonエンジニア養成読本という書籍の読書会イベントについてレポートします。 第3回の読書会は7月23日(木)にアライドアーキテクツ株式会社の会議室で開催されました。 当日はだいたい以下のタイムテーブルで進めました。 19:00-19:15 参加者の自己紹介 19:15-21:00 「⁠第4章 PyData入門」 21:00-22:00 ビアバッシュ（ビールとピザでの参加者懇親会） 今回も過去2回と同様に書籍の読みあわせはせず、ページ数の関係で削ったところや、出版後の追加情報を中心に解説を行いました。 写真1 Pythonエンジニア養成読本読書会03 自己紹介 いつものように参加者全員で自己紹介を行いました。全部で21名の方が参加してくださいました。 自己紹介の中では3回全て参加されている方から「集合知プログラミングのコードがだんだん読めるよ

AWSの機械学習サービスAmazon Machine Learning 機械学習（Machine Learning）は、ビッグデータの応用事例としてもよく取り上げられ、たとえばECサイトで商品のレコメンデーションに利用されたり、未来予測の技術としても使われることから、非常に注目を集めています。 今回（米国時間4月9日）AWSは、そのビッグイベントであるAWS Summit 2015（San Francisco）で、AWS初の機械学習サービスである「Amazon Machine Learning」を発表しました。 ※） 現時点では US-EAST（N.Virginia）リージョンでの利用が可能となっています。Redshiftと併用する場合は、RedshiftのデータをUS-EASTに転送することで利用可能となります。 このAmazon Machine Learningは実際にECサイトである

$ aws ec2 modify-instance-attribute --groups sg-d2e353b7 sg-b15eeed4 sg-b4ac1fd1 --instance-id i-44eb0fb1 $ aws rds modify-db-instance --vpc-security-group-ids sg-b4ac1fd1 --db-instance-identifier test-db Security Groupを変更してみて、EC2からデータベースにアクセスできるのかどうかを確かめてみる。 $ mysql -h test-db.**********.ap-northeast-1.rds.amazonaws.com -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ;

あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行

2014年は非常にDockerが盛り上がった1年でしたね。 Dockerは2013年の夏ごろから注目を集めはじめました。その後バージョンが0.9となった2014年の春ごろからさらに注目を集めるようになり、それ以降はさまざまなサービスやベンダーがDockerをサポートしたり、Docker関連のプロダクトを出したりするニュースが駆け巡った気がします。 Dockerに関係する勉強会が数多く開催されるようになり、Docker Meetup Tokyoなどは募集が始まった途端に定員に達するという活況ぶりでした。 Dockerは「コンテナ技術」そのものではなく、Dockerがやりたいことを実現するための技術要素の1つとしてコンテナを使っています。このDockerの盛り上がりと共にそれまでどちらかというとマイナーな技術であった「コンテナ」も2014年には非常に注目される技術となりました。 実際、筆者が主

多くの開発現場でGitが使われている理由 ソースコードのバージョン管理を効率化するためのツールとして、これまで多くの現場で使われていたのがApache Subversionです。それ以前に使われていたCVS（Concurrent Version System）と同様の操作性を実現しつつ、CVSが抱えていたさまざまな課題を解決したことで、Subversionは人気を博しました。 ただ、Subversionにもいくつか難点があります。その中でもとくに大きいのは、複数の拠点で開発する際のレスポンスの問題でしょう。Subversionは中央のサーバでソースコードを集中的に管理するクライアント／サーバ型のモデルであるため、サーバから物理的に離れた拠点でアクセスすると必然的にレスポンスが低下し、開発効率にも影響が生じてしまいます。また、機密情報であるソースコードに遠隔地からアクセスするときにはセキュリ

鈴木：先のセッションで権限があったから入れましたという話が挙がっていましたが、インフラエンジニアだから入れられるというのは結構あると思います。 道井：インフラエンジニアは基本どこのサーバでもSSHログインできるため、勝手にFluentdを入れて、勝手にログをもってくることができます。 伊藤：待って、この話はあまり一般的でないと思う（会場：笑） 吉田：僕の会社も同じような感じです。2、3年前に、ログ解析やクエリログの収集をしたくなり、トレジャーデータのFluentdが良さそうだというのが分かりました。木曜にメールをして、翌月曜には全台にデプロイが完了していました。 伊藤：それはインフラエンジニアとしての業務にあたっていたんですか？ 吉田：趣味です。 伊藤：なぜ、皆さん趣味でやってるんですか（苦笑） 鈴木：僕はもともとはサーバサイドエンジニアで、インフラエンジニアの人にFluentdを入れるか

第4章何を学ぶか、何を作るか―問題の探し方と成果の出し方 西尾泰和 2014-07-25

2014年6月1日（日⁠）⁠、東京・渋谷マークシティにおいて、GitHubユーザグループ主催によるイベント「GitHub Kaigi」が開催されました。500人の定員に対し800人を超える参加申し込みのあったこのイベントには、日本におけるGitHub活用の第一人者たちはもちろん、米GitHub社から招いた開発者たちも登壇し、いずれ劣らぬ濃いセッションが繰り広げられました。ここではその様子を紹介します。 GitHub実践入門 ─⁠─ Pull Requestによる開発の変革 トップバッターとして登壇したのは、WEB+DB PRESS plusシリーズ『GitHub実践入門 ─⁠─ Pull Requestによる開発の変革』の著者である大塚弘記氏です。 『GitHub実践入門』の著者、大塚弘記氏 同氏はまず、「⁠GitHubを利用した開発の世界を知る」「⁠GitHubを（利用｜活用）する違いを

今回でこの連載も最終回です。これまでAmazon Web Services、さくらのクラウド、Windows Azure、Google App Engineについて触れてきました。最終回ということでこれらのベンチマークを比較してみたいと思います。 unixbenchで比較 Amazon Web Services（AWS⁠）⁠、さくらのクラウド（以降さくら⁠）⁠、Windows Azure（以降Azure）は、IaaS（仮想サーバ）がありますが、Google App EngineはPaaSなので単純な比較はできません。まずは前者の3つについて、比較をしてみましょう。 今回はパフォーマンス計測の定番、unixbenchで比較をしてみました。 https://code.google.com/p/byte-unixbench/ 計測対象は下記の通りです。 ディスクについては、AWSではProvis

日米で異なるソフトウェアの作り方 私がシアトルに来たのは1989年なので、こちらに来てもう20年以上になる。最初の10年をMicrosoftのソフトウェアエンジニアとして過ごし、後半の10年は起業家としてソフトウェアベンチャーを3つほど立ち上げている。こうやって1年の大半を米国西海岸で過ごしながらも、日本には毎年数回仕事で帰国しているし、日本語でブログや記事を書いてもいて、ある意味で「日本のソフトウェアビジネスを、一歩離れてちょうどよい距離で見る」ことができる立場にいる。 そんな私が常々感じているのは、日本でのソフトウェアの作り方が米国のそれと大きく違っていること。そして、日本のソフトウェアエンジニアの境遇が悪すぎること―そして、それが「日本のソフトウェアが世界で通用しない」一番の原因になっていることである。 そもそもの成り立ちが違う日米のソフトウェア業界 日米のソフトウェアの「作り方」の

2008年8月23日(土)、ジュンク堂書店大阪本店にて、(株)はてなの伊藤直也氏によるトークセッションが開催された。今回のイベントは、『⁠［24時間365日］サーバ/インフラを支える技術』（⁠伊藤直也／勝見祐己／田中慎司／ひろせまさあき／安井真伸／横川和哉著、技術評論社）発刊に関連して、ジュンク堂書店大阪本店企画／主催で実現された。 はてな伊藤直也氏 私にとっての技術書、読書 今回のテーマは「私と技術書⁠」⁠。トーク中に「プログラミングは世界を変える（※注⁠）⁠」⁠「⁠ハッカーになりたい⁠」⁠、そんな率直な思いを言葉にした伊藤氏にとっての技術書とは、読書とは、いかなるものなのだろうか。 テーマは「私と技術書」 ※注） 伊藤氏は、小学校時代のパソピア7（東芝製パソコン）でのプログラミング体験に始まり、数々のソフトウェア、インターネットで世界が変わったその時期に高校／大学時代を過ごし、ユーザ数

PCを長く利用していくと、どうしてもハードウェア故障は避けられません。不慮の故障による影響を減らすことは非常に重要なことですが、HDDやファイルシステムの異常はバックアップなしに回避することができません。Ubuntuを利用したデスクトップ環境で、バックアップを行うツールを中心にしたレシピを紹介します。 今回は「デスクトップで手軽にバックアップを行う」レシピと、「⁠バックアップとはどう考えるべきか？」ということを説明します。「⁠サーバ用途でのバックアップ」や、「⁠リモートバックアップ」など、より詳細なバックアップを実現する方法を来週お届けする予定です。 Simple Backup(SBackup)によるバックアップ Simple Backup(SBackup)は、Ubuntu向けに開発されている[1]バックアップソフトウェアです。その名の通りきわめてシンプルな機能を持っており、データ保存のた