Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。後半は実際のデータマネジメントの方法ついて。 データマネジメントの11領域 ゆずたそ氏（以下、ゆずたそ）：そういったつらい状況の中で、解決のために何ができるかという話をしていきたいと思います。ちょうど今折返しぐらいの時間なので、後半、この話をやっていきます。 今回テーマにもあるように、データマネジメントという概念・手法が鍵になるかなと自分は考えています。 じゃあ「データ

RDS Auroraを使っているところで、OSの空きメモリが少なくなったアラートが出たので、それについて細かく考察したら、それなりの量になったのでまとめた感じです。 別にAuroraじゃなくRDS MySQLでも、MySQL Serverでも同じ話なのですが、クラウドならではの側面もあるなということでタイトルはRDSにしております。 RDSのメトリクス監視 RDSはブラックボックスとはいえ、必要なメトリクスはだいたい揃っているので、CloudWatch を見たり……APIで取得してどっかに送りつけたりして利用します。 なので、まずは接続数とメモリについて復習です。 SHOW STATUS 的には Threads_connected です。 CloudWatch Metrics 的には、DBInstanceIdentifier → DatabaseConnections です。 見た感じ、ど

国内外でDX（デジタルトランスフォーメーション）の重要性が叫ばれ、企業の様々な取り組みがニュースになっている。経済産業省は「2025年の崖」という言葉を使い、旧来のIT運用や老朽化したシステムを刷新しなければ、国際競争力の低下や経済の停滞などで2025年以降最大12兆円／年の経済損失が生じる可能性があると危機感を強めている。 世界のDXリーダーに共通する6つのアプローチ EY社は9つの業種にわけてDXの進捗状況を調査した 多くの日本企業がDXを進めるべく、デジタル部門の設置や投資を行っているものの、「実際のビジネス変革には繋がっていない」というのが経済産業省のDXレポートにおける現状認識だ。では、世界のDXの流れはどうなっているのか。EY（アーンスト・アンド・ヤング）社が2020年3月に発表した最新レポートから、世界のDX最新事情を探ってみよう。 EY社は世界12カ国9業種の大手企業500

本記事は、電通インターナショナル傘下のデジタル・パフォーマンス・エージェンシー、アイプロスペクト・ジャパン株式会社でCOO (チーフ・ オペレーティング・オフィサー)を務める渡辺大吾氏による寄稿となります。 ◆　◆　◆ […] 本記事は、電通インターナショナル傘下のデジタル・パフォーマンス・エージェンシー、アイプロスペクト・ジャパン株式会社でCOO (チーフ・ オペレーティング・オフィサー)を務める渡辺大吾氏による寄稿となります。 ◆　◆　◆ いつの時代も新たなビジネスのそばでは新しい言葉が次々と生まれます。言葉の威力は時として非常に強く、組織に猛威を振るう。近年のもっともパワフルな波は、DX（デジタル・トランスフォーメーション）でしょう。 Advertisement 競争力はDXなしに高めることはできない、DXは多くのことを解決できる、という潮流に乗り「DXを推進するための○○○○」の大

技術広報のsyoneshinです。 今回は当社の開発組織メンバー達に 読んでよかった 自身が影響を受けた 他者にも読んでほしいと思った という観点で 『おすすめの技術書』とおすすめポイントを聞きました。 質問：皆さんの「おススメの技術書」 を教えてください。 【目次】 おすすめの技術書ランキング 『リーダブルコード―より良いコードを書くためのシンプルで実践的なテクニック (Theory in practice)』 『マスタリングTCP/IP 入門編』 『体系的に学ぶ 安全なWebアプリケーションの作り方 脆弱性が生まれる原理と対策の実践』 『達人プログラマー 職人から名匠への道』 『Webを支える技術』 『SQLアンチパターン』 『Java言語で学ぶデザインパターン入門』 『はじめて学ぶ　ソフトウェアのテスト技法』 『UNIXという考え方―その設計思想と哲学』 『Effective Jav

こんにちは、次郎花です☆ タイトル長い（笑）...ぱ、パクリなんかじゃないですよっ！ はい。 というわけで、今回はわたくしのお仕事「データアナリスト」についてご紹介したいと思います。データアナリスト／データサイエンティスト（以下、DA/DS）のブームもそろそろバブルがはじける頃かと想像していますが（もうはじけてる？）、いまだに一定数の方が憧れを持って、あるいは異世界転生を狙ってジョブチェンジしようとしているこれらの職業。最近では、実際にDA/DSである方の現場の声なども散見されるようになり、どのような職業なのか実態が少しずつ広まってきたようにも思います。ですので、今さら感はありますが、私もご多分に漏れず知見を共有できたらという思いでこの記事を発信しようと考えました。 次郎花って？まずは、次郎花って誰やねん、というところからですね。わたくし次郎花はとある外資系企業のCEO直轄の経営戦略部門で

お久しぶりです、かとじゅん(@j5ik2o)です。テックブログを書くのは何年ぶりか…。 サービスが停止したり応答性が低下すると、お叱りや逆に励ましをいただきますが、エンジニアとして設計レベルからそういった問題に対処するにはどうするか、日々精進しているところですmm。この記事はそういう論点で注目されている「リアクティブ原則」についてまとめてみたいと思います。 それなりのボリュームになってしまったので、時間があるときに読んでいただければと思います。 さて、Linux Foundation内の新たなトップレベルプロジェクトであるReactive Foundationが主催する、Reactive Summit 2020が11月10日にオンラインで開催されたので参加しました。 www.reactivesummit.org 参加されていたスピーカーはLightbendをはじめ、Netflix, Fac

Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に

我々は1990年代初頭にスクラムを開発した。世界中の人たちがスクラムを理解できるように、スクラムガイドの最初のバージョンを2010年に執筆した。それ以来、機能的に小さな更新を加えながらスクラムガイドを進化させてきた。我々は共にスクラムガイドを支援している。 スクラムガイドにはスクラムの定義が含まれている。フレームワークの各要素には特定の目的があり、スクラムで実現される全体的な価値や結果に欠かせないものとなっている。スクラムの核となるデザインやアイデアを変更したり、要素を省略したり、スクラムのルールに従わなかったりすると、問題が隠蔽され、スクラムの利点が制限される。場合によっては、スクラムが役に立たなくなることさえある。 成長を続ける複雑な世界において、スクラムの利用は増加しており、我々はそれを見守っている。スクラムが誕生したソフトウェアプロダクト開発の領域を超えて、本質的に複雑な作業を必要

オープンソースのCI/CDツールとして広く知られているJenkinsを開発した川口耕介（@kohsukekawa）さんが新たに友人と立ち上げたLaunchable（ローンチャブル）は、データサイエンスの技術を利用したテスト自動化のプラットフォームを提供すると表明しており、開発プロセスの改善をさらに推し進めるスタートアップとして注目されています。 このLaunchableにプリンシパル・ソフトウエア・エンジニアとして参画したのが、庄司嘉織（@yoshiori）さん。ソフトウェア開発者のキャリアを25歳でスタートし、Javaエンジニアとしてさまざまな経験を積む傍ら、若手エンジニアによるjava-jaというコミュニティも取りまとめてきました。 未経験のRubyにチャレンジしようと転職したクックパッドでエンジニアリングマネージャーや人事部長まで務めるなど、複数の領域で多様なキャリアを歩んできた庄司

HTTPといえばHTML/CSS/JavaScriptや画像などの小さめの限りがあるデータを手に入れるためによく使われている印象がある。REST APIのようなHTTPを使ったAPIでも限りのあるデータがリクエストとレスポンスになる印象が強い。

邦銀最大手のMUFG（三菱UFJフィナンシャル・グループ）が2020年4～9月の決算を発表しました。 コロナ禍の影響を受けているものの、冷静に見て数字は悪くはないでしょう。 今回はMUFGの2021年3月期2Q決算を簡単に見ていきたいと思います。 決算概要 MUFGの決算は本当に良いのか 所見 決算概要 まず、MUFGの2020年度上期業績の概要は以下の通りです。 （出所　MUFG「2020年度第2四半期決算ハイライト」） 一般企業の売上高に相当する業務粗利益が増加した一方で、営業費（経費）は増加が抑制されたことから、一般企業の営業利益にあたる業務純益は増益となりました。 一方で、不良債権処理費用等によって経常利益・純利益は減益となっています。 これをもう少し詳しく説明したのが以下の図表です。 （出所　MUFG「2020年度第2四半期決算ハイライト」） この図表の①～④に対応する説明は以下

こんにちは。最近Slackのカスタム絵文字作りにハマっている友野です。Holmesでサーバーサイドエンジニアをしています。 Holmesが提供するホームズクラウドは、今年8月にサービスローンチ3周年を迎えました！ これまでの支持に感謝し、これからも長く使ってもらえるようにプロダクト改善に取り組んでいます。そのひとつとして、ドメイン駆動設計（以下、DDDと表記します）適用に関する取り組みについてご紹介します。似たような状況や同じ課題を持つ誰かの一助になれば幸いです。 背景と現状 まずはじめたこと 戦略的モデリング そして、戦術的な設計 採用するパターン2つ ドメインモデルを反映したオブジェクトを置くパッケージの作成 既存テーブル構造に依存しないRepository+Adapterパターン ふりかえり まとめ 最後に 背景と現状 ホームズクラウドはPMF（Product Market Fit：

仕事やプライベートの悩み、ストレスの原因の大半は、人の話を聞くことができない点に集約されると主張するのは、『自己満足ではない「徹底的に聞く」技術』（赤羽雄二 著、日本実業出版社）の著者。 人はとかく、「聞かなければならない」「聞いたほうがいい」とわかっていても、我慢できず、途中で相手の話をさえぎってしまいがちだというのです。 しかし、それでは相手が「もう話したくない」と思っても当然。それが原因でコミュニケーションにひびが入ってしまっても、無理はないわけです。 つまり、それほど「聞くこと」は重要で、だからこそ本書で説明されている「アクティブリスニング」が大きな意味を持つというのです。 著者のカウンセリングを受ける人の多くも、「なぜ私はあの人を許せないのだろう？」「なぜ、私はあの人から許されないのだろう」、そして、「そもそも“許す”ってなに？」という疑問について考えているのだとか。 そして、結

データアナリティクス事業本部の森脇です。 本日AWSから、PythonのRedshiftドライバーに関する情報 がアナウンスされました。 元々クローズドで開発されていたドライバーがOSS化され、amazon-redshift-python-driver という名称で一般公開されました。 以下の特徴をそなえています。 Apache 2.0 License Pure Pythonライブラリ Database API 2.0 準拠 pandas, numpyと簡単に連携可能 今まではpsycopg2を使うことが一般的でしたが、今後はこちらのドライバーを使うのが良さそうですね。 早速試してみました。 (pythonのバージョンは3.8.3で試しています) インストール pipを使ってインストールできます。 [tmp]$ python --version Python 3.8.3 [tmp]$ rm

この記事は、大塚淳『統計学を哲学する』（2020年、名古屋大学出版会）についての記事である。特に、哲学の観点から、本書における認識論への言及について論じる。 先に自己紹介をしておこう。私は数年前に大学院の修士課程を修了し、それ以降は特に哲学とは関係のない仕事をしている。大学では、学部・院を通して分析的認識論を勉強・研究していた。伝統的・非形式的な認識論のほうが詳しいと思っているが、形式認識論（特に確率を用いるベイズ認識論）についても関心を持っていて、博士課程に進んでいたらベイズ認識論を中心にした研究を行おうとも思っていた。数年前の記事になるが、私がどのようなトピックを学んでいたかは、現代の分析的認識論を紹介したこのブログ記事を読むとより把握できると思う。 踏まえて、以下の文章は主に哲学の視点からみたものになり、記述の大半は哲学的認識論に割かれている。帰納推論や因果推論などのトピックについて

大英博物館 ロゼッタストーン 記事のねらい 読者の英語力が上がる 注意 科学的根拠はありません。再現性も未確認です。とあるソフトウェアエンジニアがチラシの裏を公開した程度に過ぎません。 筆者の英語力 ネイティブレベルの英語力は持ってませんが、アメリカで7年以上働いてます。 OctopusをOculusに聞き間違えられることはないと思います。たぶん。 と、さりげなく、どこで働いているか暗示してみたところで、本題に入ります。 ロードマップ この記事は、とあるソフトウェアエンジニアが実践として語る、英語学習の方法論です(6年間の実体験を元に、http://blogger.splhack.org/2014/09/blog-post.html を洗練させたものです。前述通り、科学的根拠はありません。アメリカの会社のコーディングインタビューを通り、一日中英語だけの環境で働きながら、他のソフトウェアエン

「文章力」は、社会生活を送るうえで基本的かつ重要なスキルです。きれいで伝わる文章を書ける人はやはり信頼したくなりますし、逆に文章がめちゃくちゃだと「この人は大丈夫かな……？」と敬遠したくなるもの。メールやチャットがコミュニケーションの主流となった現代では、文章力がその人の印象を左右すると言っても過言ではないでしょう。 そこで今回は、「文章を書くのが苦手……」「文章だとなぜか理解してもらえない……」と悩んでいる人のために、文章力向上のコツを5つご紹介します。 【1】ゴールから逆算して必要なことを書く かつて進研ゼミ小論文編集長を務めた文章表現インストラクターの山田ズーニー氏は、「文章の良し悪しは目指すゴールによって違う」と述べます。たとえば、依頼メールであれば「人を動かすこと」、履歴書やエントリーシートであれば「内定」、小説であれば「感動」がゴールになるでしょう。このゴールがあやふやだと、た