こんにちは、臼田です。 みなさん、業務設計してますか？(挨拶 今回はMarkdownでシーケンス図やフローチャートなどの図を記述できるMermaidを使って業務フローを書いてみたら、意外と書けたので自分なりのTipsを紹介したいと思います。 その前に 注意点として、まだMermaidを使い始めたばかりなので、「もっとこうしたらいいぞ」とか「こっちのほうがいいぞ」とかあれば建設的なフィードバックとしてSNSとかでいただけるとありがたいです。 あと業務フローって表現しましたが、人によって思い描く業務フローが違うと思うので、業務フローの定義に関するツッコミはご容赦ください。私が今回Mermaidで書いたのは以下の図です。(内容はブログ用に簡素化しました) この図のコードは以下のとおりです。(後ほど解説します) sequenceDiagram autonumber actor お客様 partic

列の各単語がその文書内にいくつ出現するか を表すのが BoW です。 後述の TF-IDF 計算で必要となってきます。 各ブログの BoW を計算する CountVectorizer を作成します。 from sklearn.feature_extraction.text import CountVectorizer import random vectorizer = CountVectorizer() vectorizer.fit_transform を使って全ブログの BoW を計算します。 結果(各ブログの BoW ベクトル) を BLOG[i]["bow"] に格納します。 X = vectorizer.fit_transform([BLOG[i]["wakati"] for i in BLOG.keys()]) for i, bow in enumerate(X.toarray

概要 こんにちは、データインテグレーション部のyoshimです。 この記事は機械学習アドベントカレンダー１８日目のものとなります。 今回は「k近傍法(k-NN)」という手法を説明してみようと思います。 目次 1.k-NNとは 2.処理の流れ（概要） 3.考慮すべき点 4.k-NNの特徴と補足説明 5.まとめ 1.k-NNとは ざっくり言うと、「回帰や分類を行う際に、似たようなデータをk個集めてそれらの多数決から目的とする値を求める」という手法です。 もし「回帰」に使うのなら、似たk個のデータのそれぞれの値の平均値や中央値、もしくは重み付けした集計値を予測結果に用います。 また、もし「クラス分類」に使うのなら、似たk個のデータそれぞれの「クラス」でもっとも数が多いクラスにデータを分類します。（多数決の原理です） こちらはk-NNのイメージです。緑色の円が新しくクラス分類をしたいデータとした時

せーのでございます。 機械学習というワードはかなり一般化され、エンジニアじゃない方なら「ああ、自動運転とかのやつでしょ」くらいに浸透しています。 特にエンジニアの方であれば「教師あり学習」「教師なし学習」「強化学習」がどういうものを指すか、というのはぼんやりイメージできるかと思います。 そんな機械学習、せっかくなので始めてみたい、とざっくり中身を見出した、、、くらいの方が今日のエントリーの読者対象となります。 今日のテーマは「転移学習」です。 転移学習のやり方を知りたい。最短で。 転移学習、というのはざっくり言うと「元々学習されているモデルを使って自分たちの使いたい方向に再学習すること」です。 機械学習をやりだすと必ず当たる壁が「データが足りない」というものです。特にディープラーニングを使って例えば画像の分類をしたい、とした場合、精度を出すには最低でも数百枚、一般的には数千枚〜数十万枚とい

Pythonでシステム構成図を書ける、DiagramsというOSSが便利そうだったので試してみました。 Diagrams · Diagram as Code 対応プロバイダ 現在、Diagramsは以下の7種類のプロバイダに対応しています。各プロバイダが提供している各種サービスがノードとして対応されています。以下は対応プロバイダとそのノード一覧へのリンクです。 AWS Azure GCP Alibaba Cloud Oracle Cloud Kubernetes オンプレミス オンプレミスプロバイダには、GitHubやCircleCIといったサービス、汎用的なクライアント、各種DBなど幅広い種類のノードが含まれています。このアイコンないかなと思った場合は、オンプレミスプロバイダを調べてみるともしかしたらあるかもしれません。 試してみる AWS上のシステム構成図を書いてみて各機能を試していき

どうも、DA事業本部の大澤です。 Visual Studio CodeのPython拡張機能のJupyter Notebook用エディタを触ってみました。Jupyter Notebookと似たインターフェイスでスクリプトが実行でき、エディタのインテリセンスのサポートも受けられて便利そうだったので、今回はその内容をご紹介します。 Working with Jupyter Notebooks in Visual Studio Code やってみる Python拡張機能を有効にする Jupyter Notebookをネイティブサポートするエディタを利用するにはPython拡張機能を有効化する必要があります。有効化してなければマーケットプレイスから検索し、有効化しましょう。 Python - Visual Studio Marketplace Python の環境を選択する コマンドパレットからP

こんにちは、コカコーラ大好きカジです。 はじめに AWSを全く知らない状態で入社して5年が経過、中途採用のAWSエンジニアの育成リーダーを1年間担当しています。 どのように勉強したのかを聞かれる機会が増えました。（優秀な人ばかりなので、すぐ一人前になって行きますが...） 今更ながら、自分がAWSに関するスキルアップために実践したことについてまとめてみました。 どなたかのお役に立てれれば光栄です。 目次 実際に触ってみるためにAWSアカウントを用意して試す AWS Black Belt Online Seminar シリーズを見て学習する 一度は読むべきブログ（私個人の選定） JAWS-UGの勉強会に参加する AWSのRSSフィードを見る SNSの利用してみる AWS資格勉強する 必要に応じてインフラスキルの底上げする 試したらブログでアウトプット まとめ 実際に触ってみるためにAWSアカ

こんにちは、小澤です。 最近はAlteryxについて書くことが多い私ですが、今回はどういったツールを使うか以前にどういったプロセスでデータ分析を行っていけばいいかについて、書かせていただきたいと思います。 これによって、Alteryxなどのツールがどういった場面で活用できそうかのイメージもしやすくなるのではないかと思います。 Alteryx – 特集カテゴリー – データ分析のプロセスについては、いくつかの方法論が提案されていますが、今回はその中のCRISP-DMというものについて紹介させていだきます。 CRISP-DMとは CRISP-DM(CRoss-Industry Standard Process for Data Mining)は、同名のコンソーシアムによって提唱されたデータ分析プロジェクトのプロセスモデルとなります。 CRISP-DMでは以下のようなサイクルでデータ分析を行いま

このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー

hub とは hub は、GitHub に対する操作をコマンドラインから簡単に行うためのツールです。プルリクエストの作成やリポジトリのクローン、リポジトリページのブラウザでのアクセスなどといった操作をコマンドだけで操作することができる、GitHub を使っている開発者には欠かせない便利ツールです。 hub を紹介している記事はすでに数多くありますが、本記事では hub の基本 をまとめつつ、 より簡単に使うための Tips を紹介したいと思います。 hub のインストール Mac をお使いであれば Homebrew で簡単にインストールすることができます。 $ brew install hub $ hub --version git version 2.6.2 hub version 2.2.2 エイリアスの設定 hub は、git コマンドとほぼ同等に使うことができます。clone や

こんにちは。こむろです。 今年の札幌の夏はハードモードだ（湿気と暑さ） この先生きのこるためにエアコンが投入されました。 はじめに クラウドネイティブなアプリケーションを設計・構築・運用している皆さんは、普段どのようにアプリケーションやインフラの更新作業を行っているでしょうか。 順次インスタンスやコンテナを切り替えていくRolling Update？それとも環境を複製してDNS Routingの切り替えによるBlue-Green Deploymentでしょうか。他にも様々な方法があるかと思いますが、今回もまたBlue-Green Deploymentにおける実際の現場で発生した事象について報告したいと思います。 あまりネット上にもこういった情報が出てこないようなのですが、皆さんこういった問題は軽々とクリアされているのでしょうか。自分がポンコツなだけなのかととても不安にかられるばかりです。

ご機嫌いかがでしょうか、豊崎です。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の1日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。1日目のテーマは『AWS』です。 そもそもAWSとはなに？というかた向けにAWSに対する再入門から始めていきたいと思います。 目次 目次

当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の14日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。14日目のテーマは『AWS Glue』です。 目次 AWS Glueとは AWS Glueの概念・構成要素 データストア、データソース、データターゲット データカタログ クロ

こんにちは、CX事業本部の夏目です。 Golangは最近人気の言語で手を出そうとは思っていたのですが、環境構築がいまいちよくわからなくてできてませんでした。 (goenvを使ってGolangをインストールするときGOPATHはどうしたらいいとかよくわからなかったのです) 今日はVisualCodeとDockerを使って、Golangの開発環境をMac上に作成しようと思います。 環境構築 事前準備 VSCodeとDockerをインストールします。 Visual Studio Code - Code Editing. Redefined Docker Desktop for Mac and Windows | Docker Version 2.0以上 拡張機能のインストール VSCodeのExtension "Remote-Containers"を使用して開発環境を作ろうと思います。 Micr

PlantUMLとは PlantUMLはシンプルな記法でUMLダイアグラムが作成できる、超便利なツールです。UMLをはじめ、以下のような図の作成もサポートしています。 ワイヤーフレーム アーキテクチャ図 仕様及び記述言語 (SDL) Ditaa ガントチャート マインドマップ WBS図(作業分解図) AsciiMath や JLaTeXMath による、数学的記法 Entity Relationship diagram 実際に業務で使う場合はテキストを書く→画像に書き出すという順序になりますが、基本的にはプレビューを確認しながら書くと効率良く作成できます。 プレビューを確認しながら書くには、例えばWebアプリなども公開されているのでそちらで済ませてしまう方法もあります。 https://planttext.com しかしながら テキストをファイルとして残しながら作業したい場合はやはりローカ

どうも！大阪オフィスの西村祐二です。 突然ですが、私はPython環境をPipenvで管理しています。 本番で利用するライブラリと開発時のみ利用するライブラリとで分けれたり、npmみたいな使い方ができてとても便利です。 ただ、作成される仮想環境がプロジェクトディレクトリとは別の場所の~/.local/share/virtualenvs/配下に作られて、エディタの設定や取扱が面倒なときがたまにあります。 そこで今回は備忘録兼ねて、Pipenvで仮想環境をプロジェクトディレクトリ配下に作る設定をしてみます。 環境 pipenv: version 2018.11.26 どうやるか ドキュメントを眺めていたら設定項目がありました！ https://pipenv.readthedocs.io/en/latest/advanced/#pipenv.environments.PIPENV_VENV_IN

AWS Innovate 2019 が本日より開催中です。 AWS Innovate は、AWS に関するオンラインカンファレンスです。 2019 年 4 月 8 日から 5 月 7 日までの開催期間中、いつでもオンデマンドセッションを視聴できます。(一部ライブセッションもあります。) そのオンデマンドセッションの中に、資格試験に役立つセッションがありますのでご紹介いたします。 AWS 認定 - 試験対策 「ソリューションアーキテクト - アソシエイト」 ソリューションアーキテクト アソシエイトに関する普段有償のトレーニングコースを、Innovate 期間中は無料で受けることができる、というものです。30 分のセッションが計 5 本公開されています。 セッション 1：回復性の高いアーキテクチャを設計する セッション 2：パフォーマンスに優れたアーキテクチャを定義する セッション 3：セキュ

はじめに サーバーレス開発部の藤井元貴です。 サーバーレスな設計や開発は意外と難しいものです。特に「やりたいこと」が「サーバーレス」で実現できるのか？ を常に意識し続け、トライ・アンド・エラーを繰り返すことが重要です。 そこで、先日みつけた形で始めるサーバーレス設計をご紹介します。簡単ですが、ひとことコメントもあります。 上記の内容を知らなくとも、結果的に「あ、同じ構成（考え方）だ！」となる場合が多いです。 そのため、事前に知っておくことで手札を増やすことができ、より効率よくサーバーレスな設計を実現できると思います。 おすすめの方 サーバーレスに興味がある サーバーレスな設計を知りたい 形で始めるサーバーレス設計 下記となります！ 形で始めるサーバーレス設計 動的 Web / モバイルバックエンド API Gatewayを用いる王道パターンです。業務でもプライベートでも、よく使う構成ではな

こんにちは、AWS営業部の洲崎です！ 2/19~2/21の3日間でArchitecting on AWSのトレーニングを受けてきました。 とても内容が濃いトレーニングでしたので、本ブログにてレポートします。 受講するきっかけ・理由 AWSサービスの営業としてお客様先にお伺いする中、AWSの膨大なサービスと専門用語の多さに、技術的なところの話が出たらプリセールス等の方々に任せてしまっているところがありました。 打ち合わせの中で日々勉強不足を実感しているところに、たまたまAWS研修を受けるチャンスを頂きましたので、日程を調整してトレーニングを受けてきました！ 結果としては、AWSの基礎からベストプラクティス(最適な設計パターン)までを叩き込まれ、行ってよかった！と思えるトレーニングでした！ Arcitecting on AWSとは Arcitecting on AWSとは、AWSが公式で行って

AWS再入門2018 の記事一覧です