はてなブックマーク

Software Engineer | Architect | Applied Data Scientist @ Microsoft Follow

背景 Code Interpreter の可能性を探るシリーズです。今回はデータの分析を取り扱います。Python のコードと標準的なパッケージは入っているので、やれるのはわかっています。後はどこまで出来るのか?つまり教養としての教育どまりなのか、実ビジネスでも使えるのか?という可能性を探りたいわけです😊 データの分析の基礎情報については、こちらの Blog が大変参考になります。私も良くデータ分析の体験会・演習・ハンズオンなどで使っているコンテンツになります。 データの分析の現場は、いつでも整形済みのデータを相手にできるわけじゃないです。というか、それは寧ろレアケースで。というか私そんなデータを1度も見たことはないです。 全部を一度に検証しきれないので。 技術的な難易度の低いところから検証していきます。 ここでのチャレンジは以下とします。 構造化データのデータクリーニングをどこまでやっ

はじめに ChatGPT とは別に Codex にてコード生成の専用モデルが用意されています。それでも、対話で話を前に進められる ChatGPT でもコード生成の能力は相当高いです。 現状のモデルでも、プロトタイプの作成には十分機能します。 この Blog では、その可能性の一端を見てみます。 ChatGPT での Promptの結果を皆さんに共有します。私の試行錯誤の後が見えるかと😊: アプリとしての ChatGPT は、このチャットを広く多くの方に共有する機能がついているのがいいですねー。CDN をうまく使っていますよね。見習いたいところです。 Prompt のサンプル。皆さんが直ぐに始められるように: 注意 ChatGPT が生成したコードを、そのままプロダクション環境で使うのは避けてください。主に以下の理由からです。他にもあると思います。 ChatGPT には入力文字数の制限があ

予算を取るための厳密なプロセスに、この Blog の内容だけで臨むのは絶対にさけてください。専門家のアドバイスを必ず得てください。 この Blog は、私個人の見解であり、私の所属会社が何かを保証してくれるわけではありません。 もう一点。Bing Chat も ChatGPT も。出力文字列で毎回同じものにするかどうかの揺らぎの設定が出来ます。この Blog では Bing Chat の [バランス]設定を行っています。ですので、同じ Prompt でも異なる出力結果になる事があります。 背景 皆さんご存じの通り、Cloud の費用は、アクセス数が10倍になれば、10倍近くのコンピューターリソースが必要になることもあります。もっと少なかったり、もっと必要になる場合もありますが。 それが1万円なのか、1億円なのか? やはり費用の規模によって、どこまで行うのか? という事の判断に繋がる事は多い

更新記録 2021/6/17 - 「Cloud 型ベンダーロックイン」「Cloud Native DB」について加筆 2021/6/16 - 「OSS」 について加筆 2021/6/14 - 「業界標準」について補足 はじめに IT企業 = ベンダーロックインの塊 プラットフォーマー = ベンダーロックインの塊 残念ですが、その視点の方は、多くいらっしゃいます。ソフトウェア自身が期待していたほど正しく動作しなかった、もっと言うと枯れていなかった時代には、それしか選択肢が無かったかもしれません。 IT業界は Dog Year だと言われて久しいわけですが、Cloud 全盛の今。ベンダーの儲けどころは大きく変わっています。ベンダーロックインは「囲い込み戦略」であり、その負の部分の方が大きい事をベンダーは知っています。 定義 ベンダーロックインの定義を Wikipedia から拾ってみます。 W

背景 Azure Machine Learning には、ハイパーパラメーターチューニングや、クラウド上の仮想マシンの起動・停止、そして、諸々の学習うジョブの管理をまとめてやってくれる AutoML という機能があります。クラウドを使わない学習もサポートしています。 その中で、テキストのデータがあった場合に、Embedded Featurization をしてくれる機能があります。 この記事は熟読ください。 自動機械学習による特徴量化: https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-configure-auto-features なんと賢い事に、学習環境のGPUの有無を判断して: CPU のみ: Bidirectional Long-Short Term neural network (BiLSTM) GPU

注: クラウドサービスは、いわゆる パブリック クラウド を指します。 見えてくるもの 特にオンプレミスとクラウドの違いという観点で列挙してみます。 クラウドサービス と オープンソース の変化は速い もはや、機能比較 は、殆ど意味がない! どうせ半年もすれば、AWS, Azure, GCP は、ほぼ同じサービスを出す 強いて言うなら、現時点で、GCPに PaaSの 動画配信 と(YouTubeがある?)、全文検索(Google Searchがある?) が無いくらい 値段もほぼ一緒 機能追加の要望は出しやすい 例えば、議事録作成のために、Speech to Text にて文字起こし機能を実装するのは構いませんが。いずれ、Office 365 に実装されるのでしょう。実際に議事録ソフトウェアとして OneNoteがあり、Web会議機能をもった Teams がありますからね サービス利用期間は