みなさん、こんにちは。 Classiデータ/AI部でデータサイエンティストをしている、てつろう（@tetsuroito）です。 Classiでもエンジニアやデータサイエンティストの人数も増えてきたことから、テックブログを開設し、積極的に情報を発信していこうという機運が高まり、新たにブログを開設しました。今後の情報発信にご期待ください！ 新型コロナウイルスへの対応 今はどこもかしこも新型コロナウイルス関連で大変な時期に差し掛かっていますね。いち早く事態が収束することを願ってやみません。 当社でも1月末ごろからプロジェクトチームが発足し、現在は全社員が原則在宅勤務にて対応するという状況になっています。 詳細は当社のお知らせに記載がありますので、もしご興味があればご覧いただければと思います。 さて、教育業界の対応についてですが、ニュースなどでも盛んに報道された、2020年2月27日に開催された「

CRUDのうちUPDATEがもっともシステムを複雑化する。更新には複雑なルールが伴うからだ。業務的に複雑なルールが存在するのは仕方ないこともあるが、システム、設計で複雑さを更に増さないようにしたい。UPDATEに着目し、その発生をできるだけ削ることによって複雑さをおさえるためには、まずデータモデルをそのように設計しておかなけれなならない。このイミュータブルデータモデルは、それを手助けする手法で、手順に沿って実施すればある程度のスキルのバラつきも吸収できるように組み立てられている。

こんにちは、DSOC 研究開発部の奥田です。以前の私のブログ記事ではコーギーの動画を見ていると書きましたが、とうとうコーギーを家族として迎え入れ、現在生後6ヶ月の子犬と暮らしております。 さて私たちDSOCでは、SansanやEightの価値を高めるために様々な自然言語処理のタスクに取り組んでおります。例えばニュース記事からの固有表現抽出では、私たちのサービスに特化した固有表現を対象に研究開発しています。その他にも様々あるなかで、特に重要かつ困難とされているものの一つに「名寄せ」というタスクがあります。AIや人工知能と呼ばれるものが発達した現代においても、人間には当たり前にできるタスクが機械には難しいことがまだまだ存在します。 今回は、その「名寄せ」というタスクにおける日本語でのデータセットを作成してみました。これをきっかけに、日本語での名寄せというタスクの研究が進み分野が活性化することを

コロナの影響からか、カフェで隣の人がテレワーク？してるんだけど、仕事の電話を店内でガンガンしてるせいでその人の名前・勤務先・電話番号はおろか客先の名前・役職・業務内容が全部店内に漏れまくってるけど大丈夫なのか.....?? — 電子レンジ📺3.15シンステま-12 (@denshirenjip) 2020年3月6日 ツイートにある通り、40歳前後の男性が、テレワークなのか、カフェで仕事をしていた。 パソコンを広げてカフェで作業する姿は今となっては珍しい光景ではなくなったけれど、カフェ内で随分と（5本以上）電話をかけていたので、 隣にいる僕としては嫌でも話の内容が聞こえて来てしまって（イヤホンをしてるのに！）不可抗力的にその人の勤め先・電話番号・業務内容・得意先の方の名前・役職・そこでのトラブル内容が完全に筒抜けになってしまっていたので、「セキュリティー意識だいじょーぶ？！」と思ってしまっ

人はなぜ、「食べ物のSlack名」を名乗るのか。 こんにちは、メルカン編集部のnatukifmです。突然何を言い出したのかというと、ここ2週間ほど、妙に気になっていたことがありました。それが「メルカリ・メルペイで“食べ物のSlack名”になっているメンバー多くない？」でした。 こんな感じになる でも、本当に多いのか？気のせいではないのか？数えてみたところ、メルカリ・メルペイには28名の「食べ物のSlack名」さんがいることがわかりました。わりといた！しかし、なぜ食べ物を名乗っているんだ…？理由を聞いてみました。 @cocoitiさん（メルペイBackendエンジニア） 「僕の本名は新井啓太というのですが、『あらいけいた→からいけいた→辛い＝カレー→CoCo壱番屋＝cocoiti』となりました！」 @shishamoさん（メルカリAndroidエンジニア） 「大学時代からこの名前です。きっか

TL;DR 2019/07/19(金)に、ヤフー株式会社様コワーキングスペースの LODGE において、「データとML周辺エンジニアリングを考える会」という勉強会の第二回目を開催しました。 data-engineering.connpass.com データエンジニアリングとサイエンス、アナリティクスにざっくり被るような少し広く曖昧なドメインで開始した勉強会です。 今回は前回より少々多めで、 40 人強の参加者が参加してくれました。 発表、 LT に合わせて懇親会も議論が弾み、主催のひとりとしては実現したかったことがある程度できたのではないかと考えています。 つらつら発表内容 せっかくなので覚えているうちに発表資料のリンク記載と超個人的な感想載せてみます。 15 分枠 GCPでStreamなデータパイプライン運用しはじめた by @shoe116 メルカリでのログ収集のためのパイプラインの構

1月末で約2年ほど働いたIndeedを退職して、UbieというAI×医療のベンチャーに転職します。せっかくの節目なので、社会人になってからを振り返りたいと思います。 目次 ・リクルートについて ・Indeedへの異動に向けて ・Indeedについて ・Ubieへの転職のきっかけ ・これから リクルートについてもともとは新卒でリクルートにデータサイエンティストとして入社して社会人生活を始めました。リクルートは様々なデータを保有しており、データ分析のしがいがありました。また、上司、同期、後輩は優秀な人ばかりで、常に学ぶことばかりでした。特に、データにどのように向き合って、仮説をたてて分析するのか、また、データの裏側にいる実際のユーザーやクライアントの課題を把握してどうしたら解決ができるのかといったスタンス面の土台がこの頃にできたように思います。技術面においても、GCPやAWSを使って機械学習プ

2020/01/24 大規模データ集積/分析基盤 Meet-up! の発表資料です。

TL;DR Podcast（音声配信サービス）のログを用いて、曜日・時間帯ごとに再生回数を集計し、ダッシュボードに可視化します。 BigQueryとGoogle Data Studioを利用しています。 事業概要 今回はポッドキャスト制作会社PitPa（ピトパ）のデータを扱います。 人…

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

じゆうちょう Advent Calendar 2019 18日目の記事です。 概要 データエンジニアリングという業務を扱うにあたって、どのように人事評価を実施するか。 本稿では実践可能なレベルで「評価基準」の例を提示します。 もくじ 概要 もくじ 背景 注意点 本題: 人事評価の設定例 1. マイルストーン（計画） 2. QCDS（構築） 3. サービスレベル（運用） 4. 利益目標（企画） まとめ Appendix 前提1: 本稿のスコープ ＝ 査定でボーナスが上下するような状況 前提2: 被評価者がコントロールできない事象に対してはフォローする 応用編1: 「データ基盤」という固有トピックにおける技術や案件の評価について 応用編2: 「データの民主化」の目標設定をどうするか おわりに 背景 データエンジニアリング業務に伴う「人事」（採用・アサイン・育成・評価）について質問を受けることが

この記事はデータ活用 Advent Calendar 2018 - 16日目の記事です。 ダッシュボードに関する登壇をしたところ「自社でも地図データを活用したい」と相談いただいたのでTipsを共有します。 もくじ もくじ はじめに この記事のゴール 解決したい課題 実行方針 完成イメージ 注意点 作業手順 1: リーガルチェック 2: データの準備（独自データ：アクセスログ） 3: データの準備（公開データ：ジオコーディング用の変換テーブル） 4: データの準備（公開データ：都道府県マスタ） 5: SQLを書く 6: DataStudioでデータを読み込む 7: DataStudioで地図を描く おわりに はじめに この記事のゴール WEBメディア訪問者のIPアドレスを元に、エリア別のPV数を可視化します。 （データが整備されていたら＆リーガルチェックがOKなら＆情シス部門に権限を縛られて

※ この記事はICT Advent Calender 2019の参加記事です。ICT委員会関連の方に読んで頂く想定で書いています。 はじめに ICTに数年前所属していたりいねこです。 年寄りなので参加せずに眺めて楽しもうと思ってたのですが、参加の圧ご招待が来たので僭越ながら筆を取らせて頂いた次第です。 今回は何を題材に書くか全然思い浮かばなかったので、Reactの雰囲気を掴むための4コマを描いてみました。 4コマで(というかマンガで)技術系のネタはしんどいですね。セリフが長くなるから分割したくなるのですが、分割するためにはコマを増やすことになり、その分追加で絵を描く必要が出たりします。 今回も本当はもっと細かく・広く説明をしようと思っていたのですが、途中で疲れてきちゃいました。ほんとは仮想DOMの話とかもしたかったしhooksとかの話も入れたかったなぁ…。流石に量がヘビー過ぎる。 ただ、マ

近年、Pythonの求人数・案件数が増加すると同時に単価も上がってきており、エンジニアの中で人気が高まっています。 これからプログラミング言語Pythonを学んで、Webアプリケーション開発エンジニアや機械学習エンジニアになりたいと思っている方も多いのではないでしょうか。 この記事では以下のような方向けに、Pythonを未経験からどのような手順で学びPythonエンジニアになるのか、またPythonエンジニアになった後にどのように学び続けていけばいいのか、具体的な方法をまとめています。 この記事の対象読者 エンジニアではないけど、未経験からPythonエンジニアに転職したい方 エンジニアではないけど、未経験からPythonでデータ分析や業務効率化をしたい方 非Web系の会社で働いているけど、Web系のPythonエンジニアに転職したい方 Pythonとは Pythonとは何か Python

※最新版（2021年バージョン）がこちらにありますので合わせてご覧ください！ 毎年恒例, Python本と学び方の総まとめです！*1 プログラミング, エンジニアリングに機械学習と今年（2019年）もPythonにとって賑やかな一年となりました. 今年もたくさん出てきたPythonの書籍や事例などを元に, 初心者向けの書籍・学び方 仕事にする方（中級者）へのオススメ書籍 プロを目指す・もうプロな人でキャリアチェンジを考えている方へのオススメ を余す所無くご紹介します. 来年（2020年）に向けての準備の参考になれば幸いです. ※ちなみに過去に2019, 2018, 2017と3回ほどやってます*2. このエントリーの著者&免責事項 Shinichi Nakagawa（@shinyorke） 株式会社JX通信社 シニア・エンジニア, 主にデータ基盤・分析を担当. Python歴はおおよそ9年

概要 「個人開発がやりたくなるLT会」という勉強会に参加してきました。 LT枠しかあまってなかったので、当日慌ててスライド作って発表もしてきました。（2日連続） alchemy-rb.connpass.com 2019/12/14 追記 主催者さんがまとめていただけました。 morizyun.github.io 私の発表 speakerdeck.com イベントの主催の方も関わっている書籍を読んで、個人的に悩んでて刺さったところについてまとめて発表してきました。 昨日の反省を活かしてゆっくりしゃべってきた。 全体の感想 ただの感想 オフレコな話題が多くてあまり詳しくは書けないのですが、使っていたり知っているサービスを開発した方もちらほらいて、すごい刺激になりました。 現実的な悩みと、開発・プロダクトに対する熱い思いが共存していて、スタートアップ界隈とも全然違う独特の雰囲気でした。良かった。

🐼読んだきっかけ・理由は？自分は個人開発を始めていてモチベーションに悩んでいたのがスタートだよ この本関連のイベントに参加する事になったのが直接的なきっかけ。 イベントに参加した理由自体が、個人開発しててモチベーションについて悩んでいたのですが、この本と、イベントで大いに刺激を受けました👍 👆この本の概要個人開発の色々について書いた本だよ！ 👆概要個人開発者13名による、個人開発の体験談をまとめた合同誌です！ WEBサービスやスマホアプリを開発するコツ、失敗談やバズった話、他では言えないお財布事情まで！ これから個人開発を始めたい方、サービスを運営中の方におすすめです！ Amazonでの紹介文から引用 個人開発って？一人で（2、3人だったら許容される場合もありますが）、サービスとかアプリを開発してリリースする事です。 普通サービス（はてなブログとかTwitterとかなんでもいいんで

Pulling xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/xxxxx:latest (attempt 3 of 3)... Error response from daemon: Get https://xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/v2/: dial tcp: lookup xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com on 172.18.0.3:53: read udp 10.254.0.122:48372->172.18.0.3:53: i/o timeout デプロイまでのフローは ボタンクリックすると、 git clone -> docker build -> docker push -> k8