エンジニア新人研修、始めました。 - エムスリーテックブログ
こんにちは、エンジニアリングGの池田(@progrhyme)です。 エムスリーではこれまでエンジニアの集団研修を実施しておりませんでしたが、昨年度に続き新卒採用のエンジニアが若干名入社したことをきっかけに、新人研修を企画して実施しました。 手探りではありましたが、最終的に5〜7月にかけて12本の講義を実施し、のべ250以上の受講数*1を達成することができました。 本記事では、その内容の一部を紹介し、簡単に振り返ってみます。 コンセプト 最初の企画段階で、新卒エンジニアメンター陣とミーティングを行った際に、以下のような大まかな方針が決まりました。 新卒入社者だけでなく、中途入社者でも希望者は誰でも参加できるようにする。 以下のようなコンテンツを用意する: Webエンジニアとして幅広い人に必要な基礎知識 → 「Webエンジニア基礎編」 エムスリーエンジニアとして必要な社内知識 → 「エムスリー
[AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開 こんにちは、マーケティングの鬼形です。 先日(2018/4/24)開催しました AWS Black Belt Online Seminar「AWS で構築するデータレイク基盤のアーキテクチャ」の資料を公開致しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180424 AWS Black Belt Online Seminar AWSで構築するデータレイク基盤のアーキテクチャ PDF 録画（オンデマンドセミナー） Q1. データスチュワードは、DataLake の TIer 1,2,3 および DWH 全てを定義・管理するイメージでしょうか？ A1. 企業ごとに運用事情は
![[AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/141080df98c22afffd695ac57fd22878dd829707/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2018%2F04%2F26%2F0424.png)
リクルートテクノロジーズ 新人研修特別編を公開します
こんにちは。アプリエンジニアの五味です。 2017年4月にリクルートホールディングスの新卒Web採用枠で入社した新卒社員のうち、21名がリクルートテクノロジーズに配属となりました。（いらっしゃい！） リクルートテクノロジーズでは「ブートキャンプ」と呼ばれる新卒社員向けの技術研修を3か月間実施しています。 もともと高い能力を持つ彼・彼女らですが、「これからのリクルートをリードしていく存在」になって欲しいという期待を込め、プロとしての重要な立ち上がり期を支援しています。 今年からは社外講師の既存プログラムに加え、より実践的な内容を求める経験者をターゲットに、総勢12名の現場エンジニアが担当する特別講座を開催しました。 各分野のスペシャリストがこれまで現場で培ってきた「本当に必要な生きた知識・技術」のインプットは、彼・彼女らの成長を加速させ、これからのエンジニア人生の礎になってくれるものと僕らは
R で Amazon Athena を活用する | Amazon Web Services
Amazon Web Services ブログ R で Amazon Athena を活用する データサイエンティストはしばしば、R から SQL クエリを投げるときに、その裏側のビッグデータ基盤のインフラ管理を気に掛けなければなりません。Amazon Athena はインフラ管理の必要がなく、標準 SQL で簡単に S3 上のデータを直接分析できる、インタラクティブクエリサービスです。R と Amazon Athena の連携によって、データサイエンティストはインタラクティブな分析ソリューションのための、強力なプラットフォームを手に入れることができます。 このブログポストでは、Amazon EC2 インスタンス上で動作する R/RStudio から Athena に接続します。 事前準備 Athena との連携を開始する前に、以下のステップを完了してください。 AWS アカウントの管理者
psqlコマンドのオプションとパスワード入力を省略する - 青木ブログ
psqlコマンドの設定シリーズ第二弾。 ホスト名とかのデフォルトを設定する psqlでDBに接続するときはこんなコマンドで接続しますが…… psql -h xxxx.ap-northeast-1.redshift.amazonaws.com -p 5439 -U myuser dev これオプション多くて面倒じゃないですか。 そこで以下のように環境変数を設定しておけばオプションは全部省略できます。 export PGHOST=xxxx.ap-northeast-1.redshift.amazonaws.com export PGPORT=5439 export PGDATABASE=dev export PGUSER=myuser ユーザー名だけ変えたいみたいなときは、 変えたいものだけ明示的にオプションを指定すればよいです。 パスワード入力を省略する 最後に残るのがパスワード入力ですが、
AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する - 午睡二時四十分
動機とやったことの概要 AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する from mizugokoro スポットインスタンスで学習をして、無駄なくインスタンスを止めたい Step Functionsへの入力を変えるだけで様々な条件での学習を実行させたい 機械学習のコード自体にこのStep Functionsへの依存性は持たせなくて良い方針で作ったので、ディープラーニング以外のバッチ処理でも同じように使えるはず 詳細 Lambdaに付与する権限 たぶん以下くらいの権限がLambda実行時に必要。 AWSLambdaAMIExecutionRole AmazonS3FullAccess AmazonEC2SpotFleetRole AWSLambdaBasicExecutionRole AmazonSNSFullAccess EC2ReadOnly (
AWS Solutions Architect ブログ
AWS Bigdata BlogよりIan Meyers著"Top 10 Performance Tuning Techniques for Amazon Redshift"を翻訳しました。 原文）https://aws.amazon.com/jp/blogs/big-data/top-10-performance-tuning-techniques-for-amazon-redshift/ 翻訳）岩永亮介、下佐粉昭 ※2017/02/20更新：原文ポストURL変更に伴い、翻訳側のリンク先を更新 著者Ian MeyersはAmazon Web Servicesのプリンシパルソリューションアーキテクト Zach ChristophersonはAmazon Redshiftデータベースエンジニアで、このポストに協力しました Amazon Redshiftはフルマネージドな、ペタバイト規模でも使
AWS Solutions Architect ブログ
AWS Black Belt Online Seminar「金融機関向けAWSセキュリティ・FISC安全対策基準への対応」の資料およびQA公開 こんにちは、ソリューションアーキテクトの舟崎です。 2016/8/31に開催いたしましたAWS Black Belt Online Seminar「金融機関向けAWSセキュリティ・FISC安全対策基準への対応」の資料およびQAを公開いたしました。 頂いたご質問および回答は以下となります。回答可能なものに限り掲載させて頂いております。予めご了承ください。 Q1：データセンターの実地調査は出来ないということでしょうか？ AWS のデータセンターは複数のお客様をホストしており、幅広いお客様が第三者による物理的なアクセスの対象となるため、お客様によるデータセンター訪問は許可していません。このようなお客様のニーズを満たすために、SOC 1 Type II レ
Blendo: #1 ETL Tool | Data Integration & Pipeline Tool
Access your cloud data from sales, marketing, support, or accounting, to accelerate data-driven business intelligence and grow faster.
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
Grafana: The open observability platform | Grafana Labs
Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster
Amazon EC2でCentOS6を使用するときのハマリポイント | DevelopersIO
森永です。 弊社はリモートワークが可能なので、私は休みを取らずに帰省し地元のゆめタウン内でこの記事を書いております。 テーマソングが頭に残るのでどうにかして欲しいです。 さて、先日CentOS6の公式AMI（Amazon公式ではなくCentOS公式）を使って構築を行いました。 その時ハマるポイントがいくつかあったので、まとめておきます。 CentOS7が出た今でも未だに6を使う案件が多いので役立つ方がいれば幸いです。 AMIの選択 MarketplaceでAMIを選択しようとした私に一つ目の関門が現れます。 CentOS6の公式AMIがなんだかいっぱい現れるのです。もうてんやわんやです。 どれを選ぶかはバージョンの要件などでまちまちなのですが、CentOS6をというだけであれば「CentOS 6 (x86_64) - with Updates HVM」をオススメします。 CentOS 6.
AWS Solutions Architect ブログ
Amazon Redshiftは、高速でフルマネージドでスケーラブルにペタバイトのデータを扱えるデータウェアハウス(DWH)です。AWSのお客様は、分析処理の一部をオフロードするため、もしくは完全にクラウドでDWHを管理するために、Amazon Redshfitに大量の構造データを移しています。ビジネスインテリジェンス/分析のチームは、InfomaticaやTableauといったお気に入りのツールからJDBCやODBCで接続してデータのインポート、読み込み、分析を行えます。 Rはオープンソースのプログラミング言語であり、統計計算、可視化、データ分析のソフトウェア環境として設計されています。柔軟なパケージシステムと強力な統計エンジンにより、Rは大量のデータを管理・処理する手法とテクノロジーをもたらします。Rは世界で最も速く成長している分析プラットフォームであり、そのロバストネス性、信頼性、正
RStudio Server Amazon Machine Image (AMI) - Louis Aslett
What's new recently? Updated R and RStudio CUDA 10.1 and cuDNN 7.6.5 enabling easy use of GPU instances with Tensorflow/Keras Magma 2.5.3 GPU linear algebra library Elastic Network Adapter support allowing launching newest instance types, including new Intel Xeon Platinum CPUs with AVX-512 support. Julia remains temporarily removed due to global package difficulties IMPORTANT NOTE! ... The default
Launch Apache Spark on AWS EC2 and Initialize SparkR Using RStudio | Emaasit's Blog
This post was first published on SparkIQ Labs’ blog and re-posted on my personal blog. Introduction In this blog post, we shall learn how to launch a Spark stand alone cluster on Amazon Web Services (AWS) Elastic Compute Cloud (EC2) for analysis of Big Data. This is a continuation from our previous blog, which showed us how to download Apache Spark and start SparkR locally on windows OS and RStudi
AWS Lambda を計算リソースとして使う - いもす研 (imos laboratory)
Amazon EC2 は 1 時間単位，Google Compute Engine も 10 分単位でしか借りられず，試行錯誤しながらプログラムを書いている時に計算リソースを使い切ることは困難です．そこで 100 ミリ秒単位で使える AWS Lambda を計算リソースとして使ってみました． AWS Lambda は表向きは Node.js あるいは Java が使えると書かれていますが，実際には最近流行りのコンテナ技術を使っており言語レベルでの制限はかけられておらず，exec 関数を呼び出すことにより（静的リンクされていれば）任意のバイナリを実行することができます．そこで C++ で書かれたプログラムを実行する方法について紹介します． Linux 上で x86-64 向けにコンパイル・静的リンクされたバイナリがあれば，それを AWS Lambda 上で実行することは簡単にできます．コンパ
SparkRをEC2上で動かして分散処理してみる
こんにちは！美味しいコーヒーを飲むために、毎朝早くにデスクでコーヒーミル回してます、アナリティクスチームの高柳です。 アナリティクスチームでは、じゃらんnetやホットペッパービューティーをはじめとしたリクルートライフスタイルのサービスに対して、基礎集計やレポーティング、また、データマイニング（データ分析）を活用し、高速にサービスを改善していくというミッションを担っています。 本記事では、データ分析環境としてのApache Spark、特にver 1.4から利用可能になったSparkRを、当チームのAWS上の分析環境に導入検討していたので、その辺について書きたいと思います。 SparkRは、まだリリースから日が浅いことから、日本語の記事が相当に少ないので、この記事がみなさんの"Happy SparkR ライフ"のお役に立つことを願っております。 Apache Spark導入の背景 サービスを
AWSにRStudio入れてからkaggleのデータを読み込む話。 | 分析のおはなし。
アメリカへの交換留学とノルウェーへの大学院留学を経た後に、データサイエンティストを目指そうとする人の戯れ言。 さびびさにRの話です。 仕事でこの先AWSから逃げれないなと思ったので、生活に取り入れようと決心した今日この頃。 とりあえず自分のＰＣのメモリに載らないデータを扱う決心をすれば必要性が生じるのでkaggleのclick-through competitionのデータを使って何かしてみようと決めた訳です。 という事でこの辺を参考にしながらやってみました。 1. AWSのアカウントを取る。 とってくださいｗ 2. AMIがあるので見つける。 こちらのサイトへ行くと右側にrstudioのAMIを利用してAWSを立ち上げる画面へのリンクが置いてあるので、立てたいリージョンのリンクをクリックする。 あとは、ポチポチやっていけばr-studioがインストールされた状態のものが立ち上がる。 ちな
Setting Rstudio server using Amazon Web Services (AWS) – a step by step (screenshots) tutorial | R-statistics blog
(this is a guest post by Liad Shekel) Amazon Web Services (AWS) include many different computational tools, ranging from storage systems and virtual servers to databases and analytical tools. For us R-programmers, being familiar and experienced with these tools can be extremely beneficial in terms of efficiency, style, money-saving and more. In this post we present a step-by-step screenshot tutori
Amazon EC2: Upgrading R | R-bloggers
[This article was first published on Exegetic Analytics » R, and kindly contributed to R-bloggers]. (You can report issue about the content on this page here) Want to share your content on R-bloggers? click here if you have a blog, or here if you don't. After installing R and Shiny on my EC2 instance I discovered that the default version of R was a little dated and I wanted to update to R 3.2.0. I
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
