目的 クライアントで作成したキーペアでSSH接続する パスワード認証方式を無効にする 構築した仮想環境に公開鍵認証でSSH接続するケースが多くなってきたので、まとめておく。 SSHの基礎はココを参照すると良い。 1. クライアントで、キーペアを作成してSSHでリモートに接続するまで 鍵を作成して、リモートへ接続するまでの簡単な手順。鍵はデフォルトの ~/.ssh/id_rsaを作成して使った場合。 # クライアントPCで鍵を作る ssh-keygen -t rsa -b 4096 # リモートへ公開鍵を転送する ssh-copy-id -i ~/.ssh/id_rsa.pub [リモートユーザー]@[リモートサーバーのホスト名] # リモートにSSHで接続する ssh -i id_rsa [リモートユーザー]@[リモートサーバーのホスト名] 2020.06.05 補足 以前は ssh-rs

はじめに MPIを使って並列処理をする際に必要な準備やコマンド、ホストファイルの書き方を勉強したので、ここにざっとメモっときます。 以下の説明ではCentOS7で実行する場合を想定しています。 (追記: 2/22) ホストファイルの書き方の説明を一部修正しました。 (プロセス割り当ての設定の書き方が、MPICHとOpenMPIとで違っていました) MPIとは MPI (Message Passing Interface) は、並列コンピューティングを利用するための標準化された規格のことです。 並列処理には共有メモリ型と分散メモリ型の2通りの処理形態がありますが、MPIは分散メモリ型の並列処理を行います。 (共有メモリ型の並列処理を行うものにはOpenMPなどがあります) MPIの主な実装としてはMPICH (エムピッチ) とOpenMPI (オープンエムピーアイ) などがありますが、基本的

こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある

解説 tensorflowは普通に使うとGPUメモリを取れるだけ取りにいっちゃいます。大きいモデルを１つだけ学習するならそれでも良いんですが、小さいモデルで学習する場合もガッツリメモリをもっていかれるのがイマイチです。例えばmnistを隠れ層128ノード1層で学習してもこんな感じになっちゃいます。 こんなに必要なわけないので、最小限だけ使うように設定します。 tensorflow1系 tensorflow1系を使ってた頃はkerasとtensorflowが別packageだったので、keras.backend.set_session()の引数にtf.Session(config=hoge)を渡すことでコントロールしてました。 from keras import backend as K config = tf.ConfigProto() config.gpu_options.allow_g

はじめに リアクティブシステムを構築するためのライブラリ「Akka」を開発する Lightbend社 から、リアクティブシステムやマイクロサービスについて学習できる有償のオンライントレーニング「Lightbend Academy」を提供されていますが、2020年夏の間（※）は無償で受講できるようになっています。 ※2020/07/14現在。当初は無償期間が6月末まででしたが、7月末 -> 夏いっぱいと期間が延長されています。 ※「Lightbend Academy」の受講については、こちらのスライド「Lightbend Academyオンライントレーニングを受けてみた」もご参照ください。 この記事では「Lightbend Academy」を受講して学んだ、リアクティブな性質を備えたマイクロサービスを設計・開発するために知っておきたい知識や理論 を、私なりに整理・再編してご紹介したいと思いま

まず11位の「クラウドプラクティショナー」ですが、2018年に新設されたAWSのエントリーレベルの認定です。AWSの基本的な概念や、AWSのベーシックなサービスの特長、請求・アカウントマネジメント・料金モデルなどに関する理解が問われます。エンジニアだけでなくマネージャーや営業など様々なポジションを対象とした認定であるため、問われる知識の範囲は意外に広いです。ただ、知っていれば解ける問題が多いため、この順位にしています。 10位の「Alexaスキルビルダー - 専門知識」は、文字通りAlexaのスキル開発に関する知識が問われます。専門知識と銘打たれていますが、内容自体はそこまで難しくなく、Alexaスキル開発に関して知っていれば解ける問題が多かった印象です。これまでにAlexaスキルを開発したことがあり、クラウドプラクティショナーレベル以上のAWS知識があれば、問題なく合格できると思います。

先日、サイバーエージェントさんの「身に着けた技術をいかに捨てられるか。エンジニア歴39年、今でもエンジニアで居続ける理由。」という記事が大変話題になりました。 プログラミングやテクノロジーが大好きでWeb業界で働いているエンジニアの方の多くは、「可能であれば50代以降も現場で"手を動かすエンジニア"として働きたい」と考えてらっしゃると思いますが、平松さんのような方はかなり例外的で、Web業界で多数の現場を経験してきた私でも、50代以上の現役エンジニアの方とご一緒にお仕事をさせて頂いた経験は残念ながら一度もありません。 私は現在、雑食系エンジニアTVというYoutubeチャンネルで、Web系エンジニアのキャリアに関する情報を色々と発信させて頂いているのですが、視聴者の方から「Web系エンジニアの50代以降のキャリア」に関してご質問頂いても、完全に未知の領域になる＆ロールモデルとなる方があまり

はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対

本稿ではサブスクリプションサービスを提供するシステムの裏に潜む仕様を考察しながら、DBの設計を中心として設計を考察していきます。 サブスクリプションサービスは日本語で「定期購読」「会費」等と訳しますが、購読以外にも定期的に一定金額を自動で請求するシステム全般をさして「定額課金」とします。 本稿ではこれ以降、サブスクリプションについて「定額課金」と記します。 1. 毎月1回、固定の金額の請求をする 定額課金のサービスではサービス提供者から利用者へ「月額〇〇円」として毎月請求を出します。利用者は請求の支払う度にサービスを継続して利用できるようにします。 支払方法はクレジットカードや携帯電話の契約による支払、その他の電子決済サービスが主になると想定します。 支払方法の一つとして、利用者が毎月口座振込をする方法もありますがここでは省き、システム的に処理できる支払方法のみを想定します。 このようにシ

FlutterにどんなWidgetが用意されているか確認しようと思い、Widget catalogをチラ見してみたけど把握しづらかったので、一つ一つ確認しがてら一覧に整理してみました。 (2019/10/20 - BasicsとMaterial Componentsの画像やカテゴリの追加を反映しました) (2019/12/25 - Interaction modelsのカテゴリ追加を反映しました) (2020/03/11 - CupertinoとMaterial Componentsのウィジェットを追加しました) (2020/08/17 - AnimatedAlign を追加しました(Widget Index: 158個時点)) Basics - 最初に知っておくべきウィジェット Material Components - マテリアルデザインを実現するウィジェット Layout - レイア

はじめに 過去三年間、技術者ではない方々に OAuth（オーオース）の説明を繰り返してきました※1,※2。その結果、OAuth をかなり分かりやすく説明することができるようになりました。この記事では、その説明手順をご紹介します。 ※1：Authlete 社の創業者として資金調達のため投資家巡りをしていました（TechCrunch Japan：『APIエコノミー立ち上がりのカギ、OAuth技術のAUTHLETEが500 Startups Japanらから1.4億円を調達』）。Authlete アカウント登録はこちら！ ※2：そして２回目の資金調達！→『AUTHLETE　凸版・NTTドコモベンチャーズ・MTIからプレシリーズA資金調達』(2018 年 2 月 15 日発表) 説明手順 （１）ユーザーのデータがあります。 （２）ユーザーのデータを管理するサーバーがあります。これを『リソースサーバ

はじめに 2020/4/23にAWSの新たなサービスとしてAmazon AppFlowなるものが登場しました。 このサービスを検証し、どんな使い道やメリットがあるのかを探ってみました。 更新履歴 2020/4/23 : 初版。サービスリリースに合わせて執筆 2020/9/15 : 更新。S3に出力可能なファイルのフォーマットに、JSONに加えて新たにCSVとParquetが指定可能に Amazon AppFlowとは? まずは、公式サイトの英文を翻訳して紐解いてみます。 https://aws.amazon.com/jp/appflow/ ※引用 Amazon AppFlowは、Salesforce、Marketo、Slack、ServiceNowなどのSoftware-as-a-Service（SaaS）アプリケーションと、Amazon S3やAmazon RedshiftなどのAWSサ

はじめに Google I/O 2019 にて provider というパッケージについて言及があり、公に Google 推奨になりました。 provider | Flutter Package https://pub.dev/packages/provider 使用例を探してみたのですが、scoped_model の代わりに ChangeNotifierProvider を使う例ばかりで、他の多数のプロバイダの情報はほとんど見当たりません。 各プロバイダの使用例について 要望 が上がっているので、そのうち公式に用意される可能性がありますが（結局なし）、まず自分で探り探りサンプルを作りながら調べてみました。 文字どおり「探り探り」ですので、誤りがあった場合にはご容赦ください。 2019/12/25 追記 投稿から一年が経った今では非常に有用なパッケージとしてメジャーになっています。 202

この記事は 学生団体 P&D Advent Calendar 2017 2日目の投稿です． 担当は前日の後輩から謎のプレッシャーをかけられた3000万です． 全力投球で頑張ります． はじめに 最近P&Dで機械学習やデータ分析に興味もってそうな人がチラホラ見られたので，自分の勉強も兼ねてとっかかりやすい決定木の話を調べてなるべく丁寧にまとめようと思います． と言っても厳密な数学で話を進めていませんし，機械学習やデータ分析について素人に近いので間違いがありましたらコメントお願いします． 決定木(Decision Tree) 決定木とは木構造を用いて分類や回帰を行う機械学習の手法の一つです． 分類木と回帰木の総称して決定木といいます． 名前の通り分類木は対象を分類する問題を解き，回帰木は対象の数値を推定する問題を解きます． 文字だとわかりにくいので以下に具体例を示します． (以下の例と図はこちら

本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆

コメント欄にも他の方のおすすめAPIを書いてくれているので是非見てください！ Google Sheets API 公式：https://developers.google.com/sheets/api/reference/rest/ 数万行のGoogleスプレッドシートの読み取り・書き込み処理などができます 読み取りだけであればAPIkeyの発行だけでできますが、書き込みにはOAuth認証が必要です 参考：PythonとSheets API v4でGoogleスプレッドシートを読み書きする Google YouTube Data API 公式：https://developers.google.com/youtube/v3/docs/ YouTubeを検索して動画・再生リスト・チャンネルなどの一覧などを取得したり、更新したりすることができます 検索条件で地域(regionCode: JP)

はじめに O`REILLY発行の マイクロサービスアーキテクチャ を読みました。 非常に興味深く、これまで主に企業向けエンタープライズ開発に関わってきた自分にとっては、今後のソフトウェアエンジニアとしてのキャリアを作っていくには、考え方の転換が必要だと気付かされる内容でした。 本書の内容は広範囲に渡りますが、特に重要と感じた要点を整理(かなり長いですが)しておきたいと思います。（後編 との2部構成です） 要点 はじめに マイクロサービスを取り巻く技術の進歩は早く、マイクロサービスを実現する特定の技術を習得することよりも、その本質的な考え方を理解することが重要である。 １章．マイクロサービス マイクロサービスとは マイクロサービスはSOA(サービス指向アーキテクチャ)のひとつの実現形態であり、DDD(ドメイン駆動設計)、CI・CD(継続的インテーグレーション・デリバリ)、インフラ仮想化、自動

アジャイル開発におけるプロジェクトの進め方 アジャイル開発において、色々悪い意味で誤解をしている方々が沢山いるので、 アジャイル開発をした事が無い方々の指針になればと思い書いております。 はじめに ここに記載している内容を読む前に、必ず以下の点を考慮してください。 全てのチームに同じように適用できるとは限らない。 そもそもプロジェクトの段階で、アジャイル開発の適用が出来るものとできないものがある。 やり方は一つじゃない。 スケジュールの立て方 アジャイルにせよウォーターフォールにせよ、まずはスケジュールがあります。 アジャイルにスケジュールなんて( ´,_ゝ｀)ﾌﾟｯ っと思うかもしれませんが、そもそも1年後か10年後か100年後か成果を何時出せばいいか わからないようなプロジェクトは極僅かしかありません。 アジャイルとウォーターフォールの上のスケジュールの違いは、 スケジュールの粒度とス

来たる 2 月 4 日、ついに React 16.8 の正式版がリリースされます。この React 16.8 には、アルファ版が公開されて以来常に React ユーザーたちの関心をほしいままにしてきたReact Hooksが正式版となって追加されます。 ※追記：アメリカ時間で 2 月 5 日になっても React 16.8 がリリースされませんでした。事前情報で 2 月 4 日と言ってたのに……。いつになったらリリースされるのかはよく分かりません。2 月 6 日に React 16.8 がリリースされました！ 熱心な React ユーザーの方は、当然 React Hooks の情報を常に追っており正式版がリリースされたらすぐにでも自分のコードで使いはじめる準備ができていることと思います。しかし、この記事をご覧の方々の中には React を使っているにも関わらず「React Hooks のこ

私はアプレッソで主にDataSpiderという製品のプリセールスエンジニアをやって10年になります。さすがにタイトルは煽りすぎだよと自分自身で思いますが、それでも普段の仕事の中でプリセールスって仕事は多種多様なスキルを求められる非常に奥深い役割だなと思うことがよくあります。 今回はその辺りを改めてまとめてみて、プリセールスエンジニアかっこいい！と思わせて、プリセールスエンジニアの地位向上を狙いたいと思います。 プリセールスエンジニアとは プリセールスエンジニアとはどのような役割のエンジニアでしょうか？ 素直に定義すると以下のようになるかと思います。 製品やサービスを導入する前の顧客に対して、製品やサービスの技術的な説明やアドバイス、また技術支援を行い意思決定を促進するエンジニア このような職種のエンジニアは外資系の企業によくいます。名前はそれぞれで以下のような名前を持っていることが多いです