Vagrantイメージを自作した話 Packer編
こんにちは、村上です。 少し前のことですが、弊社も新卒のエンジニア向けに新人研修を行いました。 私の担当はLinuxの基礎や環境構築の話だったのですが、あまり使ったことがなく調度良い機会だったのでVagrantを使うことにしました。 http://www.vagrantbox.es/ からイメージを落としてきても良かったんですが、せっかくだったので、Vagrantイメージを作ったことが無かったし自作することにしました。 最近Dockerが話題になっていることもあり、Packerを使うことにしました。 前置きはそんなところで先に結果を書きますが、実際にPackerを使って作ることはできませんでしたorz 今回はその時の作業内容です。 packerは単一の設定ファイルからマルチプラットフォーム向けに仮想マシンイメージを作ってくれるツールです。 オフィシャルサイトからダウンロードして使うか、Ma
CentOS6.5を VM ImportでEC2にインポートする - aws memo
CentOS6.5を EC2にインポートする手順のメモ。 ( CentOS6.5 HVM AMI (SR-IOV対応) - aws memo の公開でやった手順のメモ) 準備 VirtualBoxをインストールしておく CentOS6.5 minimal CD のisoファイルをダウンロードしておく EC2 API Tools をセットアップしておく(参考) 手順 VirtualBox上にCentOS VMを作成し、ディスクイメージを用意する VM Import用のS3 Bucketを作成する VM Import実行 インポートしたEC2インスタンス(stop状態)をStartし内容を確認した後にAMIを作成する 作成したAMIからインスタンスを起動して動作確認 手順詳細 VirtualBoxでCentOS6.5をisoファイルから普通にOSインストールする(インストール手順は省略) L
Amazon LinuxをVirtualBoxで動かす - Qiita
はじめに AWSのEC2でサービスの運用しているんだけど、手元のPCでも環境を再現したいなーと思うことって無いですか？ここではAWSのEC2インスタンスのイメージを取得し、VirtualBoxで利用する方法を記述します。 全体の流れ EC2インスタンスをRAWイメージで取得 新しいRAWイメージファイルを用意 最初に取得したRAWイメージを新しいイメージファイルにコピー 新しいイメージファイルにGRUBをインストール 新しいイメージファイルをVMwareのvdiフォーマットに変換 VirtualBoxで起動 手順 0.事前準備 コピーしたいEC2インスタンスにGRUBをインストールしておきます コピーしたいEC2インスタンスにsudoできるサーバアカウントを作成しておきます EC2だとrootアカウントのパスワードがわからないため、VirtualBoxで起動した後にコンソールからログインし
[Java8] はじめて触るStreamの世界 | DevelopersIO
札幌は大荒れ、の予想だったのですが、今のところ大変穏やかな天候です。こんにちは。こむろです。 この記事はJava Advent Calendar 2014の17日目になります。 昨日16日は@zephiransasさんの「Lambda-behaveでテストを書こう」でした。 Java8の素晴らしき世界 Java8を使ってプログラミングしていると、新しい機能を色々と使うことで簡潔で読みやすいコードを記述することが出来ます。これが思いの外楽しくるんるん気分でコードを書くことが出来ます。今までのように型をいちいち書かなきゃとかネスト地獄みたいなところを、少しだけ、でも大胆に改善することが出来、久々にJavaでコードを書いていて楽しいと思った時間でした。AndroidはJavaではｎ（ｒｙ 特にここ数ヶ月、Play for JavaでJava8を利用した開発をしていたのですが、その中でStream
![[Java8] はじめて触るStreamの世界 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/30a2d47409e2c1d5a3c01b1ecbba01690af9a821/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fjava.png)
Java Streamメモ(Hishidama's Java8 Stream Memo)
概要 Stream系クラス Stream系メソッド Stream生成 [/2018-10-01] メソッド Stream [/2021-03-21] BaseStream プリミティブStream [/2021-03-21] onClose [2015-12-13] Streamの例 [/2021-03-21] 概要 JDK1.8で導入されたStreamは、複数の値（オブジェクト）に対して何らかの処理（変換や集計）を行う事を分かりやすく記述できる。 import java.util.stream.Stream; Streamの値の持ち方はjava.util.Listのようなイメージ。 しかしStreamの操作は一度しか行えないので（ScalaのTraversableOnce相当）、java.util.Iteratorの方が近いかも。 つまり複数の値を保持し、順次処理していく。 なお、Str
Java8のStream APIの使い方（中間操作編① - filter, map） - TASK NOTES
Stream API の中間操作について一番使う機会の多い filter と map について使用方法などをまとめました。 filter : 抽出 引数：Predicate<T> ／ 戻り値：Stream<T> 関数型インターフェース filterメソッドはPredicate<T>を引数に取り、Streamのオブジェクトから条件に一致する（Predicateがtrueを返す）オブジェクトを抽出します。 Predicateは判定を行うための関数型インターフェースです。実装が必要なメソッドはboolean test(T t)で引数を1つ受け取り、booleanを返します。 filterの使い方 IntegerのStreamから数値が200以上のデータを抽出するサンプルです。 List<Integer> prices = Arrays.asList(100, 200, 300, 400, 500
Java8のStreamを使いこなす - きしだのHatena
さて、Java8で関数型っぽいことをやって遊んでみたわけですが、実際はそんな書き方しませんよね。 Java8で実際に使うのは、Streamです。 ということで、Streamの使い方をひととおり見てみます。 ※5/17 仕様変更があったので、修正しました 基本 まずは、Iterableインタフェースに用意されたforEachメソッドを見てみましょう。 List<String> names = Arrays.asList("hoge hoge", "foo bar", "naoki", "kishida"); names.forEach(s -> System.out.println(s)); これで次のように表示されます。 hoge hoge foo bar naoki kishida いままでの拡張forだと次のように書いてました List<String> names = Arrays.a
Python + pyftpdlibでカスタムFTPサーバーを作成２ ディレクトリの表示
pyftpdlibでFTPサーバーをカスタムしてみています。 Python + pyftpdlibでカスタムFTPサーバーを作成１ 起動とユーザー認証 Javaでやったときと同様に、仮想のファイルシステムを生み出してみます。 Java + MockFtpServerでFTPサーバー側のプログラムを作成する その２ ダミーのファイルシステム 架空のディレクトリ情報を返す「MyFileSystem」クラスを実装してみます。 最上位のディレクトリを表示するための、最小限のプログラムは以下の通り。 # -*- coding:utf-8 -*-from pyftpdlib.authorizers import DummyAuthorizerfrom pyftpdlib.authorizers import AuthenticationFailedfrom pyftpdlib.handlers imp
Python でダミーサーバーを立てよう！ - もろず blog
2015年一発目の記事です！ 今年もよろしくお願いします さて、開発していく中で外部APIとの連携、メール送信などのテストのためにダミーのサーバーが必要になる場面はよくあると思います 最近仕事でまた必要になったんですが、わざわざ専用のサーバーを入れるほどでもなかったので Python で動くスタブのサーバーをつくりました いろいろインストールして準備する必要がないように CentOS 6.4 にデフォルトで入っている Python 2.6.6 上で動かせるようにします この記事では 1. ダミーサーバーの立て方 2. ダミーサーバーをカスタムする 3. ダミーサーバーをデーモン化する 4. まとめ について説明します 1. ダミーサーバーの立て方 今回は以下の2つのダミーサーバーを用意します 外部 API をシミュレートする Web サーバー メール送信時に接続する SMTP サーバー ま
requests と mock を使ってみる - Twisted Mind
テストを書くときに、外部の HTTP API を叩く処理が組み込まれている場合は、何かしらモックが必要です。 どう書くのがスマートなのか良くわからないので色々試してみる 準備するモノ python 2.7.x mock simplejson requests nose covarage テストのデファクト あまりまとまってるのがないので、まとめておきます。 テストランナーは nose または py.test nose はプラグインがステキ py.test はなにやら色々嬉しい事があるらしい モック/スタブは mock テストは unittest (unittest2) カヴァレッジは covarage ? これは良くわからず、基本 Jenkins に食べさせらるタイプで出力できればおｋ この辺が今のところデファクトでしょうか、ご意見お待ちしております。 mock patch を使うと綺麗に
Overview - Spark 1.3.0 Documentation
Spark Overview Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala and Python, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools including Spark SQL for SQL and structured data processing, MLlib for machine learning, GraphX for graph processing, and Spark Streaming. Downloadi
Java で Apache Spark を使用 - なんとなくな Developer のメモ
以前、sbt を使って Scala で Hadoop MapReduce 実装 や Groovy で Storm を使う で実施したお金の数え上げ処理を Spark 0.8 を使って Java で実装してみました。 Spark は以前、Spark を使って単純なレコメンドを実施 で 0.4 を試しましたが、0.8 でも API に大きな変化はないようです。（パッケージ名は org.apache.spark へ変わってますが） Apache Spark 0.8.0 サンプルソースは http://github.com/fits/try_samples/tree/master/blog/20131116/ はじめに 実装する処理内容は、下記のようなファイルを読み込んで数値毎にカウントするだけの単純なものです。 input_sample.txt 100 1 5 50 500 1000 10000
Gradle使い方メモ - Qiita
systemProp.https.proxyHost=<プロキシホスト名> systemProp.https.proxyPort=<プロキシポート番号> systemProp.https.proxyUser=<認証ユーザ名> systemProp.https.proxyPassword=<パスワード> 上記設定を、以下のいずれかに記述する。 プロジェクトのルートに配置した gradle.properties Gradle ホームフォルダ（<ユーザのホームフォルダ>\.gradle）に配置した gradle.properties 簡単な Java プロジェクトを作る コマンドラインから実行して Hello Gradle!! と出力するだけの簡単なプロジェクトを作る。 build.gradle を作成する プロジェクトのルートフォルダに、 build.gradle という名前のテキストファイル
Asakusa on Spark - 急がば回れ、選ぶなら近道
Asakusa on Spark AsakusaがSpark上で動くようになりました。 Asakusa on Spark (Developer Preview) — Asakusa Framework Developer Preview 0.2.2 documentation すでに実際に本番に利用しています。 ノーチラス・テクノロジーズがさくらインターネットにAsakusa Frameworkで開発した大規模データの高速処理基盤を導入し、顧客単位での精度の高い原価計算を実現高速処理基盤はApache Spark™で構築 | NAUTILUS OSSとしての公開を行いましたので、内容や位置づけをまとめておきます。例によってノーチラスは社内でいろんな意見は当然出ていますが、今回は概ね一致している感じです。 パフォーマンス 概ね「業務バッチ処理という観点で見れば、すべからくHadoopMapR
Gradle入門 - Qiita
追記1: コメントでの指摘を受け、gvmに関する記述を削除 この記事は、日経ソフトウェア 2013年 06月号 04/24発売 のステマ記事です。 6月号に、@keiji_ariyama(前座部分担当) と 僕(Gradle概要担当) と @sys1yagi(Android対応部分担当) という分担でGradle入門的な記事を書きました。 ですが、僕の目的としてはトップゲート社員への布教を主目的と考えて書いたため、本来要求されている分量を(わざと)大幅にオーバーして書いていました。雑誌に掲載されなかった溢れ分をネットで公開して良いか打診した所、「全文掲載でも良いですよ」という豪気なお許しを頂いたのでここに公開します。この場を借りてお礼申し上げます。 プロの編集さんの手を経て、だいぶわかりやすく噛み砕かれたものが雑誌のほうには掲載されていますので、ここに書いてある内容が難しいなぁ…と思ったら
UCI Machine Learning Repository
This is one of the earliest datasets used in the literature on classification methods and widely used in statistics and machine learning. The data set contains 3 classes of 50 instances each, where each class refers to a type of iris plant. One class is linearly separable from the other 2; the latter are not linearly separable from each other. Predicted attribute: class of iris plant. This is an e
Apache Sparkをスタンドアロンで実行 - Qiita
Apache Sparkをスタンドアロンで実行してみます。 ↑公式にある「Standalone Applications」ってやつです。 Sparkのアプリケーションを実行するには、 というコマンドを使うみたいです。 注意点として、実行前にアプリケーションをコンパイルして、jarにしておく必要があるとのことです。 それでは、実行してみます。 環境など ・mac os x 10.8.5 ・apache sparkはspark-1.1.1-bin-hadoop2.4使用 ・使用言語はscala(v2.11.4) ・アプリケーションのコンパイルにはsbtを使用(v0.13.7) ※scalaとsbtのインストールについては↓でやってみました http://qiita.com/kanuma1984/items/6f599c815cc8f9232228
FLINTERS Engineer's Blog
2023-04-06 DigdagからBigQueryを動かす - ChatGPTを使用してエラーを解決した話 AI BigQuery Digdag こんにちは、植村です。今回は弊チームで使用しているワークフローエンジンのdigdag(AWS, EC2)からGCPへアクセスしてBigQueryを動かした時のお話を書きます。やりたいこと：DigdagからBigQueryのExport機能を使用してGCSにデータを格納するGCPの環境は既にで… digdag BigQuery Chat GPT 2023-04-01 週休7日に興味あり？新しいBingが弊社の魅力をご紹介します！ AI こんにちは、菅野です。 もう一年の4分の1が終わりましたね。 新生活の季節となった4月1日なので(?)唐突に弊社を紹介する記事を書きました！ と言っても、私が紹介するのでは面白くないので「新しいBing」に会社の
CDH5対応のSparkをビルドする方法 - nobusueの日記
このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/6担当分です。 CDH5対応のSparkバイナリはどこに? Sparkアプリケーションの開発を行っていると「Hadoopクラスタに接続してxxする」というケースがあると思います。いちいちアプリケーションのJARをアップロードするのは面倒なので、できれば「手元のマシン(Macとか)からリモートのHadoopクラスタに接続してxx」したいところです。 しかし、Hadoopエコシステムのプロダクトはライブラリの依存関係がシビアなため、バージョンやディストリビューションが異なると接続できないことが多いです。(しかも状況によって発生するエラーが異なるので原因究明が大変です。特に、自分のようにHadoopの経験が浅い人間は素直にディストリビューションの標準構成に従っておいた
Apache SparkのMLlibを使って、RandomForestをAWS EMR上で試す - Qiita
前回、Apache SparkのMLlibを使って、RandomForestをローカル環境で試してみました。今回はそれをjarにして、AWS EMRのクラスタ上でバッチとして動かしてみます。 当方開発環境がWindowsでして、AWS Cliは入れておりません。ということで、出来るだけWebのAWS Management Consoleからやっていく方針で。 Steps RandomForestを呼び出すコードをScalaで作る 前回と異なるのは、以下3点: SparkContextでMasterを設定しない => spark-submitでの実行時に投げるので、ここではいらない。 入力ファイルの場所をs3n://として、S3のロケーションを指定する。 printlnでの出力は止めて、SparkContext.saveAsTextFileでS3に結果を出力する => 引き続きリダイレクトで
自分流Elasticsearch入門 - $shibayu36->blog;
【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（1）（1/2 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。初回は全体的なアーキテクチャ、採用技術、開発体制について。 連載目次 大規模BtoCサービスで求められる検索基盤は、どうあるべきなのか カスタマー（消費者）が求めるものが日々変わっていく現在において、BtoCの検索基盤はどうあるべきなのでしょうか。 例えば、リクルートで使われている検索基盤の「Qass（Query analyze search system）」は単に全文検索機能を提供するのではなく、以下を軸としています。 サービスごとに最適化され
カエルでもわかる！Spark / MLlib でやってみる協調フィルタリング（後編） - ALBERT Engineer Blog
はじめに 前編では MLlib で実装されている協調フィルタリングについて、アルゴリズムの面から解説してみました。 いわば理論編です。 後編は実践編として Java コードや性能評価実験の結果を見ていきます。 MLlib 協調フィルタリングの実行 MLlib の協調フィルタリング org.apache.spark.mllib.recommendation.ALS を利用する Java のコード例を以下に示します。 import org.apache.spark.api.java.JavaRDD; import org.apache.spark.mllib.recommendation.ALS; import org.apache.spark.mllib.recommendation.MatrixFactorizationModel; import org.apache.spark.mll
funcgraph で Linux カーネル内のボトルネックをミクロに追跡する - ablog
perf + Flame Graphs で Linux カーネル内のボトルネックを特定する - ablog で Linux カーネル内のボトルネックをマクロに分析する方法を紹介しましたが*1、 strace でI/Oシステムコールのレスポンスを調べると遅く*2、 iostat の await でカーネルのブロックレイヤーのI/Oレスポンスを調べると速い場合、 システムコールインターフェースとカーネルのブロックレイヤーの中間(ファイルシステムレイヤーなど)で詰まっていると考えられます*3。 このようなケースで、1回のシステムコール発行の所要時間の内訳*4をミクロに追跡するには Brendan Gregg の funcgraph が便利です*5。 実行結果 # ./funcgraph -Htp 4511 vfs_write Tracing "vfs_write" for PID 4511...
Packer+AnsibleによるAMIの作成 | DevelopersIO
渡辺です。 クラスメソッドのAWSチームは基本的に自分が使いやすいツールを選択するので統一されていません。 が、誰からいいね！と推しはじめると流行していく、そんな雰囲気です。 Ansible AnsibleはChefなどと同じ構成管理ツールのひとつで、AWSチームではAnsibleを使う人が多くなってきました。Ansibleの紹介は、構成管理ツール Ansibleを使ってみるを読んでみてください。 Packer Packerも広義には構成管理ツールですが、マシンイメージを作成するためのツールです。 AWSで言えばEBSマシンイメージを作るのに利用できます。 Packerについては、PackerでAmazon LinuxのAMI(Amazon Machine Image)を作成するを参照ください。 PackerでAnsibleによる構成管理 Packerはマシンイメージを作成するためのツール
Amazon マシンイメージ (AMI) - Amazon Elastic Compute Cloud
Amazon マシンイメージ (AMI) は、AWS がサポートおよび管理するイメージで、インスタンスの起動に必要な情報を提供します。インスタンスを起動するときは、AMI を指定する必要があります。同じ設定で複数のインスタンスが必要な場合は、1 つの AMI から複数のインスタンスを起動できます。さまざまな設定のインスタンスが必要なときは、各インスタンスをそれぞれ異なる AMI から起動できます。 AMI には次が含まれています。 1 つまたは複数の Amazon Elastic Block Store (Amazon EBS) スナップショット、または、instance-store-backed AMI、インスタンスのルートボリュームのテンプレート (オペレーティングシステム、アプリケーションサーバー、アプリケーションなど) AWS アカウントが AMI を使用してインスタンスを起動可能
jQuery+非同期通信でスマフォライクなチャットを作る その２ - 北海道苫小牧市のホームページ制作 STUDIO KEY
jQuery+非同期通信でスマフォライクなチャットを作る その２ 2014年08月17日 2015年7月9日追記 : jQueryチャットの高機能版の記事を書いていますので合わせてどうぞ Sqlite版 https://studio-key.com/646.html お絵かき版 https://studio-key.com/1018.html 以前、jQueryでチャットを作る記事を書いたのですが、jQueryチャットというキーワードで来られる方が割と多くびっくりしています。LINEなどがある現代ではブラウザチャットなんて過去の遺物だと思ってましたので。 いつかもうちょとマシなものをと思っていたのですが、このお盆中の深夜、ふいに書きたくなり、朝まで掛かって新しいものを作りました。 2014-08-18追記 ちょっとスタンプ機能を付けてみました。素材はhttp://iconhoihoi.oo
perf + Flame Graphs で Linux カーネル内のボトルネックを特定する - ablog
Linuxでddで1GBのファイルを作成し perf でプロファイリングし、Flame Graph (炎のグラフ？)にして可視化したものです。 Flame Graphs は perf(Linux)、SystemTap(Linux)、DTrace(Solaris、Oracle Linux(UEK)、Mac OS X、FreeBSD)、XPerf.exe(Windows) などでのプロファイリング結果を可視化して最も使われているコードパスを早く正確に特定することができます。実体はプロファイリング結果をグラフ(SVG)に変換する Perl スクリプトです。 下から上に行くほどコールスタックが深く、左から関数名のアルファベット順でソートされています。一番上で横幅が広い関数がCPUを長く使っています。今回は "_aesni_enc1" つまり暗号化がボトルネックになっていることがわかります。 システ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentdでログが欠損する可能性を考える : sonots:blog
GitHub - chjj/ttystudio: A terminal-to-gif recorder minus the headaches.
https://docs.aws.amazon.com/search/doc-search.html?searchPath=documentation&searchQuery=creating+ami&x=0&y=0
Hammrとは | Hammr - クラウド時代のコマンドラインツール
Docker入門 - 基礎編 いまから始めるDocker管理
