はじめに 皆さんのログに対する理解はどんなものでしょうか？仕組みから設計方法まで完璧に理解しているエンジニアもいれば、なんとなく使用しているエンジニアも多いことでしょう。 ログとは、システムに着いてエラーや障害の発生、利用者による操作や設定の変更、外部との通信などを時系列に記録したものです。ログに関する理解を深めることで、複雑なシステム開発や運用が可能となります。また、AWS、Azure、GCPなどのクラウドサービスを利用している場合はシステムの開発が可能になるだけでなく、経費削減に繋がる可能性も考えられます。 本記事では、ログの基本を押さえるためにその設計方法について解説します。少しでも自信がない方は、ご一読ください。 ログを出力する理由は？ ログの基本や、ログの設計について解説する前にそもそもログを出力する理由を押さえましょう。大きく4つの理由が考えられます。 ・問題が発生した時に調査

何度かこちらのブログでも触れていますが、昨年末から、出身県の高校生を対象とした留学奨学金の立ち上げに動いていました。直近、無事に県庁、県教育委員会経由で募集要項を高校側に通知してもらうところまで至り、一つのマイルストーンに達した感があります。これから書類選考、面接、送金、その後のサポートと続きこれからが本番ではあるのですが、全部終わってから振り返ると色々忘れそうなので、記憶が残っている内に立ち上げに関して感じたことを振り返っておきます。 そもそも何をやっているのか 毎年、出身県の高校生を対象に、50万円×2名の奨学金を出します。留学関連であれば参加するプログラムは指定しませんが、金額的にサマースクールや交換留学の費用に充てることを想定しています。 そもそもなんでやっているのか 嫌な気持ちになる人もいるかもですが、思っていることをそのまま書きます。私は海外留学界隈の、「全て自分の努力しにより

本記事が目指すこと dbt-coreにおけるOSS活動を始めるにあたってやるべきこと、学びになったことを紹介する 複数回に渡り連載する予定 これまでの投稿記事 dbt-coreにおけるOSS活動ことはじめ ~投稿記事まとめ~ 注意 本記事は筆者が所属する会社と関係なく、個人の記事であることをご了承ください 背景 筆者は、ちゅらデータ株式会社に務める会社員であるが、就業時間中に職務としてのdbt-coreのOSS活動を始めた（OSS活動自体が初めての経験） CONTRIBUTING.mdには明示的に記載されてない部分があったため、それらの解説を含む 本編 dbt-coreにおけるOSS活動を進めていくうちに、何らかの疑問や質問が浮かぶだろう。 そんなときに役立つコミュニティを紹介する。 公式ドキュメントに記載のコミュニティ dbtの公式ドキュメントには、コミュニティに関するページが設けられて

国際会議で欧米の人のプレゼンテーションを聞いたとき、こんなことを思ったことはありませんか？　内容的には、それほど大したことないが、彼らはプレゼンテーションがうまい。大したことない話でも、いい話のように聞こえる。その点、日本人は下手だよなぁ、と。 実は、欧米の人たちは、子供の頃から、下記に述べる「構造的プレゼンテーション」の教育を受けているのです。下記は口頭プレゼンテーションを前提に述べますが、文章でも、基本は同じです。以前、ドイツで、小学校の時からドイツで暮らしている日本人の方から伺いましたが、ドイツでは小学校のときから、文章を書くときは構造を意識せよ、ということをしつこく叩き込まれるそうです。 プレゼンテーションの世界は実は非常に奥深く、極論すれば、内容に応じて、内容の数だけ、それにふさわしいプレゼンテーションのスタイルがあります。ですが、まずはプレゼンテーションの基本形を身に付けましょ

現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアのキャリアパスとしては面白い仕事の一つだと思います。マネージャーになるかどうか考える前に、是非一度読んでください。 この記事では、ClouderaのようなB2BのITソフトウェアベンダーのセールスエンジニアを想定して執筆しています。他の業界のセールスエンジニアについては確実に状況が異なりますのでご注意ください。 要約 セールスエンジニアとは、お客様が自分たちの製品を正しく活用できるよう情報を提供していき、営業が製品・サービスを販売するのを助ける仕事です。お客様への製品紹介と提案が主要業務ですが、その方法は様々です。お客様の要望を満たすようなサンプルプログラムを

ランサーズ Advent Calendar 2020 24日目の記事です。 昨日は まなみん さんの 「思考発話法でUXリサーチをしてみた話」 でした。 概要 社員ではなく、1人のフリーランス人材（ランサー）として、ランサーズ社を手伝っています。 「こんなことをやってきたよ！」という話を、書ける範囲で書きます。 CRM（顧客管理）x データ活用 の案件を主に担当しています。 注意 本稿は筆者個人の見解に基づく内容であり、関係組織を代表するものではありません。 不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものです。 どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 もくじ 概要 注意 もくじ きっかけ 案件1:顧客セグメント可視化 案件2:社内システム改善 案件3:オープンデータ活用 その他:データプラットフォームのメンテナンス性向上 意識している

こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ

たくさんデータ投入したら無料プランから外れちゃった 前提 状況 解決 手順 新データベースの追加 新/旧 データベース情報の確認 データベースのデータ移行 環境変数の更新 Dyno の再起動 旧データベースの削除 Links 前提 Rails アプリケーションを作っていて、データベースはとくに複数利用せず1つだけ扱う 利用者が自分だけの、趣味プロジェクトなので、サービス止まっても困る人がいない(ので、止めちゃうやりかたを採る) 状況 Heroku から「すぐ対応して」とメールを受け取る The database contains 26,642 rows, exceeding the Hobby-dev plan limit of 10,000. INSERT privileges to the database will be automatically revoked in 7 days

まとめ 良い進捗報告とは、自分が行っている作業やプロジェクトを順調に進めるのに役立つ手助けが得られやすい報告である 教員にとって良い進捗報告 学生が行っている作業やプロジェクトが自分の研究のプロジェクトの一部であったり、研究室で取り組んでいるプロジェクトの場合とそうでない場合では教員にとって作業の進捗の意味がある程度変わる。前者の場合は、自分のプロジェクトの一環なので、作業やプロジェクトの進捗がそのまま自分のプロジェクトの進捗に反映されるので、より真剣に、場合によっては過剰に干渉して進捗状況を制御しようとする可能性がある。後者の場合は、学生が順調に卒業／修了できるかどうかが興味の焦点になるので、学生が援助を求めてきたならば援助しようという程度の干渉の可能性がある。ここいらへんは指導教員の性格による。 どちらの場合にしても、教員が知りたいのは「どこまで進んでいるか」と「援助は求められていない

はじめに scipyの階層型クラスタリングを使う機会がありましたが、使い方がわかりづらいと思ったのでまとめておきます。 目次 はじめに 関数がいっぱいある 使い方 linkage fcluster cophenet dendrogram 実践編 データを作る 手法を選ぶ クラスタに分ける デンドログラムを描く 遊ぶ まとめ 関数がいっぱいある いっぱいあるんですよ。 Hierarchical clustering (scipy.cluster.hierarchy) — SciPy v1.3.0 Reference Guide 私の数え間違えがなければ31個。多いですね。 とはいえ、本質的なもの（実際によく使うもの）は以下くらいです。 linkage 実際に階層型クラスタリングを行う。これがないと始まらない。 fcluster 任意の深さで木を切り、クラスタに分割する。 cophenet y

今回は、書籍「続・わかりやすいパターン認識」の13章で紹介されている無限関係モデル（Infinite Relational Model）のギブズサンプリング（MCMC）による推論を、3次元にカスタマイズした3D-IRM（勝手に名前）をPythonで実装します。 モデルと推論方法に関しては、書籍「続・わかりやすいパターン認識」の13章を参考にしています。詳しくはこちらをご参照ください。 続・わかりやすいパターン認識―教師なし学習入門― 作者: 石井健一郎,上田修功 出版社/メーカー: オーム社 発売日: 2014/08/26 メディア: 単行本（ソフトカバー） この商品を含むブログ (2件) を見る 今回のコードを全てgithubに載せています。遊べるようにnotebookもつけてます。githubはこちら Twitterフォローよろしくお願いいたします！ twitterはこちら 無限関係モ

疎行列計算用のモジュール scipy.sparse について解説します。 https://docs.scipy.org/doc/scipy/reference/sparse.html 疎行列クラス 疎行列とは要素のほとんど(90%以上)が0で構成される行列です。 レコメンドやソーシャルグラフなどの分野ではしばしば現れ、総じて巨大な行列(数千×数千〜)のため、そのままではCPUキャッシュやメモリに乗り切らずに非効率な計算になりやすく、扱いが難しいデータです。 こうした疎行列を効率的に扱うために、Pythonではscipy.sparseがよく使われます。 scipy.sparseで提供されている疎行列クラスはいくつかあります。 詳細は公式ドキュメントを参照ですが、代表的な3つのクラス(lil_matrix, csr_matrix, csc_matrix)について紹介します。 https://d

背景 先日、CSR (Conflict Serializability)について説明しました。 今回は、CSRを満たすスケジューリングを動的に生成する方法について、整理してみます。 なお、ここで書くその方法とは、2PL (Two Phase Lock)なのですが、一応念のため書いておくと、2PC (Two Phase Commit)と混同しないでください。 2PCは、複数のDBでトランザクションを管理する分散トランザクションを実現する方法の一つです。 分散トランザクションは、また別の機会に書きたいと思います。 PaxosやRaft、Spannerなど。 成長層と縮退層 2PLは、トランザクションが開始しデータにアクセスすると、そのデータにロックをかけていきます。 そして、トランザクションの終了時に、全てのロックを解除します。 ロックをかけていくフェーズを成長層 (Growing Phase

PandasのDataFrameを縦持ちから横持ちにする方法とその逆(横持ちから縦持ちにする方法)についての備忘録です。 縦持ちと横持ち 縦持ちは、以下のように、カラム固定で1行に1つの値を持たせている表です。カラムをおいそれと変更できないDBのテーブルなどはこういった形かと思います。 customer_id product_id count C1 P1 1 C1 P2 2 C2 P2 2 C2 P2 1 C3 P3 3 一方で、横持ちは、カラム数が可変で1行に複数の値をもたせている表です。行列はこういう形になるでしょう。 P1 P2 P3 C1 1 2 0 C2 0 3 0 C3 0 0 3 縦持ちから横持ちへ変換する それでは縦持ちとなっている以下のデータを横持ちへ変換します。 import pandas as pd import numpy as np orders_df = pd.

はじめに 私生活でも仕事でも「カテゴリ変数を[0,1]実数で表現したい」という欲望に駆られる． どういうことか？下のように入っているデータがあるとする． Category A B C これを，下のように変換したい． Category_A Category_B Category_C 1 0 0 0 1 0 0 0 1 界隈ではこのようなデータの変換をone-hot encodingという． 自前でアルゴリズムを組んでみるのもためになるが，納期は迫る．焦る． そんなときのdummiesパッケージ． 開発元は下． github.com 大したことやっていない実装例は下． github.com インストールはみなさんおなじみinstall.packages("dummies") 使うデータも皆さんおなじみirisを使う． install.packages("dummies") dat <- iri

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 「レコメンドつれづれ」は、レコメンド手法の概念や実装方法を中心に、レコメンドに関する基礎的な内容から最近流行りの技術まで幅広くご紹介する連載です。第3回は、レコメンドの評価方法について、代表的な評価方法・指標をピックアップしてご紹介します。 こんにちは。アナリティクスサービス本部の小田です。レコメンドについて考察していく連載の第3回です。 第1回 協調フィルタリングのコンセプトを知る 第2回 協調フィルタリングの実装 第2回では、協調フィルタリングの実装を行いました。本連載では今後各種手法を実装しながら比較していく予定ですが、その前にレコメンドの評価について確認したいと思います。といっても、レコメンド全体の評価となるとシステムやユーザビリティの評価など広範にわたりますので、今回はアルゴリズ

自分のlaptopのプライベートIPアドレスがどのように割り当てられているか、調べる。 ターミナルから$ ifconfig をうつ。複数のインターフェースが表示される。 上記は「lo0」「gif0」「stf0」「en0」が表示されている。 他にも「en1」「en2」「p2p0」「awdl0」「bridge0」「utun0」が表示された。 各インターフェースの名前と役割 lo0(loopback) ネットワークのテストに使えるよう用意された仮想インターフェース、NICがなくても、このloは表示される。inetの127.0.0.1がIPアドレスとして自動で割り当てられる。 gif0(generic tunnel interface) IPv6/IPv4トンネリングを行うときに使うインターフェース。IPv6/IPv4トンネリングとは、IPv4(またはIPv6)をサポートするネットワークに、IPv