Microsoftが次世代光ファイバー技術「中空コアファイバー」を開発する「Lumenisity」を買収
Microsoftが次世代の中空コアファイバー(HCF)ソリューションのリーダー企業である「Lumenisity」を買収したことを発表しました。 Microsoft acquires Lumenisity®, an innovator in hollow core fiber (HCF) cable - The Official Microsoft Blog https://blogs.microsoft.com/blog/2022/12/09/microsoft-acquires-lumenisity-an-innovator-in-hollow-core-fiber-hcf-cable/ Microsoft acquires startup developing high-speed cables for transmitting data | TechCrunch https://t
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
中国が世界で１００カ所以上の警察署を開設、一部の国は支援も 報告書
オランダ・ハーグの中国大使館入り口。オランダはアイルランドと同様、国内で見つかった中国の警察署を閉鎖した/Bart Maat/ANP/AFP/Getty Images ロンドン（ＣＮＮ） 中国政府が世界各地にいわゆる「海外警察署」を１００カ所以上開設していることが、ＣＮＮが入手した最新の報告書から明らかとなった。この報告書によると、中国は亡命した中国人に対する監視やいやがらせ、場合によっては送還を行う目的でこうした警察署を設置し、国境を超えたプレゼンスを確保しようと欧州やアフリカ諸国と締結した二国間の安全保障協定を利用しているという。 今年９月、マドリードを拠点とする人権活動団体「セーフガード・ディフェンダーズ」はこうした海外警察署が全世界５４カ所に存在することを明らかにした。同団体はその後、新たに４８の海外警察署が中国により運営されている証拠をつかんだという。 「巡回と説得（Ｐａｔｒｏｌ
Cloud Buildで何かを定期的に実行するノウハウ | メルカリエンジニアリング
この記事は、Merpay Advent Calendar 2022 の10日目の記事です。 こんにちは。メルペイ Data Management TeamのData Managerのhyrrot（@hyrrot）です。 メルカリグループでは、社員がデータに基づく意思決定を行えるようにするために、Google BigQueryを使って構築したデータウェアハウスを管理・運用しています。様々なデータソースからBigQueryにデータを取り込んでから、dbt（data build tool）を利用してデータウェアハウスに取り込まれたデータを変換し、利用者がスムーズにデータを利用できるようにしています。 引用: mercari engineering 本記事では、こちらのdbtを実行するシステムをどのように設計・実装したかについて説明します。 dbtに限らず、何かを定期的に実行するシステムをGCP
GitHub - exaloop/codon: A high-performance, zero-overhead, extensible Python compiler using LLVM
Codon is a high-performance Python implementation that compiles to native machine code without any runtime overhead. Typical speedups over vanilla Python are on the order of 10-100x or more, on a single thread. Codon's performance is typically on par with (and sometimes better than) that of C/C++. Unlike Python, Codon supports native multithreading, which can lead to speedups many times higher sti
Virtual Thread導入の背景 - Javaのマルチスレッドの歴史を振り返る
このエントリーは Java Advent Calendar の9日目のエントリーです。 qiita.com Virtual ThraedはJava 19でPreview (JEP 425)、Java 20でSecond Preview (JEP 436)となり、うまくいけば次のLTSであるJava 21で導入予定です。 パフォーマンスを考える時に、一般的にはスループットと応答性の2つがあります。スループットは単位時間あたりにどのくらいリクエストをさばけるか、応答性は処理のリクエストから結果が帰るまでの時間です。Virtual Threadのこの2者のうち、スループットを向上させるために導入されます。 では、なぜ今になってVirtual Threadが導入されるのかということを、歴史を振り返りながら考えてみるのがこのエントリーです。 いにしえの時代 - Java 1.0からJ2SE 1.4
dbt Labs のベストプラクティス全部違反してみた。そして dbt project evaluator を使って全部直してみた。
dbt Labs のベストプラクティス全部違反してみた。そして dbt project evaluator を使って全部直してみた。 サマリ dbt Labs では、dbt のプロジェクト、並びに変換パイプラインに関するベストプラクティスを紹介しています。 さらに、いくつかのベストプラクティスについては、自動で評価可能な dbt project evaluator というツールも公開されています。 今回は、dbt project evaluator で評価可能な、20 個のベストプラクティスを全て「違反」した dbt プロジェクトを１から作成し、このツールを当てて評価した上で、修正をかけました。 実際にツールがうまく検知してくれるのかを確認し、検知された項目を修正する場合の手続きとその難所や、現実的な運用方法をまとめています。 ※この記事は dbtアドベントカレンダー2022 の 12/1
夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話 - ABEJA Tech Blog
皆さんこんにちは！ ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られていて全部探すのも難しくない 今回解く課題 土地探しにおける意見の違いとは？ どうやってデータサイエンスを使って夫婦の擦り合せを行う？ アプローチ 実装 1. 架空の土地条件をランダムに沢山作る 土地条件の項目数や取りうる範囲が増えすぎないようにする 自分たちにとって関連性が高い項目を入れる 2. 作った土地に対して夫婦それぞれで値段をつける LINE Botの概要 バックエンド 土地情報の作成とFireStoreに登録 妻からのフィードバック
【資料公開】マネージャーのしごと
みなさんこんにちは。@ryuzeeです。 2022年12月9日に行われたイベント「Developers CAREER Boost」の登壇資料を公開します。 今回は、「マネージャー」と名のつく職種を分類して、それぞれの職務や定義を確認した上で、有効なマネージャーであるにはどうしたらよいかを整理してみました。 資料を作るにあたって、過去の日記を読み返したり記憶を思い起こしたりして、当時の活動や出来事、悩みを整理してみたのですが、自分はやっぱりマネージャーに向いていないし志向していないことを再確認できました（笑）。 全員がマネージャーにならなければいけないなんてことはなく、自分が日々楽しく過ごせるキャリアを選択すればいいと思いますが、資料が少しでも役に立てばうれしい限りです。 本セッションで紹介した書籍は以下のとおりです。 エンジニアリングマネージャーのしごと ―チームが必要とするマネージャーに
ソフトウェアテストの実行を効率化するPredictive Test Selectionの衝撃 - Qiita
12月10日の2022ソフトウェアテストアドベントカレンダーです。 Launchable社でエンジニアとして働いているcvuskと申します。機械学習界隈では機械学習を実用化するためのシステム開発の本を書いてたります。もし良かったら読んでみてください。 『機械学習システムデザインパターン』 『機械学習システム構築実践ガイド』 本ブログでは機械学習を用いてテスト実行を効率化する手法として、Predictive Test Selectionについて説明します。テスト実行時間やコストで課題を抱えているエンジニアに役に立つと幸いです。 昨今の開発におけるテスト事情 2002年に『テスト駆動開発』が世に出て、ソフトウェア開発でテストを書くことが常識になって早20年が経っています。その間にクラウドの登場やDevOpsの普及により、テストをCI/CDパイプラインで自動実行し、コードとプロダクト品質を維持す
秘密情報には出どころも書いてくれ！頼む！ - KAYAC engineers' blog
SREチームの長田です。 KAYAC Advent Calendar 2022の11日目の記事です。 アプリケーションから何かしらの外部サービスを利用するとき、そのサービスを利用するためのAPI Keyなり秘密鍵なりの秘密情報を保持することになります。 暗号化したものをファイルとしてアプリケーションに持たせたり、 Amazon Web Services(AWS)ならAWS Secrets Managerや AWS Systems ManagerのParameter Store(SSM Paramater Store)に保存したものを実行時に読み込んだりするでしょう。 これらの秘密情報、どこから来たのかわかりますか？ どこから来た秘密情報なのか 秘密情報を使って出どころを調べられるのであれば問題はないでしょう。 # 例えばAWSのIAM User Credenntialsとか $ AWS_A
チーム仲は悪くないのに「何となく一体感がない」時に試してもらいたい３つのこと｜こがねん / 組織開発するマン
こんにちは。こがねんです。ファッションテック企業で「組織開発」をしています。 「組織開発」とは何でしょう。これにはいろいろな定義がありますが、僕は「人の集まりが同じ目的に向かって協働するチームになるためのあれやこれやの働きかけ」くらいに考えています。 会社全体・特定部門・特定チーム・特定個人と、人・組織の課題はあらゆるレベルで起こります。その課題発見や解決を自分や自分のチームがリードして行ったり、他の人が行うのをサポートしたりする仕事。それが「組織開発」です。 そんな仕事をしている関係で、現場マネジャーからもよく人・組織に関する相談を受けます。先日も現場のマネジャーからこんな相談を受けました。 「チームの一体感が低下していて困っています。別に仲が悪いわけではないですが、リモートワークになった頃からメンバー同士の関わり合いが減ったこともあり、横のつながりが薄くなってしまったように思います。業
2021/12/08 データモデリングの文脈変化 - /home/by-natures/dev*
DMBOK で一番読むのを楽しみにしていたのがデータモデルの章だったのですが、いざ読んでみると細かすぎるというか、求めていたものと違う感覚がありました。私がドメイン駆動設計から生成されるモデルの実用性に興味をもっていた時期なので、実践的な内容を求めているだけかもしれませんが…。DMBOK ではデータモデリング・スキームが多数紹介されていたり、データモデリング戦略を立ててモデリングしていきましょう・・・といった内容が書かれており、現職で起きている問題を解決するのには役立たなそうだと感じました。 そんな中で見つけたこのデータ総研さんの記事で合点がいきました： （EDW報告その2）データモデリングの逆襲 | 株式会社データ総研 データ構造を固めなくてもデータを格納して貯めていけるNoSQLは、Webを中心としたシンプルなビジネスで数多く採用されています。テキストも画像も音声も動画も、なんでも構造
2022/01/21 レイクハウスアーキテクチャについて - /home/by-natures/dev*
最近よく Snowflake, Databricks 社のサービスを目にするようになり、私の所属している会社でも（部署は違いますが）Snowflake の導入を行っているようです。その中で "Data Lakehouse" という単語を目にしたので、どういう概念なのかを調べました。 実際に動かしたりしていないので半分自分のための備忘録として書いているのですが、明らかに誤った説明があればご指摘ください。 Databricks 社からの論文 このレイクハウスという考え方は GCP, AWS などのクラウドベンダーでも紹介されていて、徐々に広まりつつある考え方のように見えます。Google Cloud の data lakehouse の解説記事に、Databricks の方が筆頭著者の論文が紹介されていました： http://cidrdb.org/cidr2021/papers/cidr202
dbt とは何をするツールなのか？ | FLYWHEEL Tech ブログ
こんにちは、ソフトウェアエンジニアの冨田です。 弊社では一部のプロジェクトで dbt (data build tool) の導入を始めました。私が初めて dbt を学んだときの感想は「結局何をしてくれるものかわからない」「何が嬉しいかよくわからない」といったものでした。dbt に少し触れ、同じ感想を抱いている方は多いのではないでしょうか。 本記事では dbt に興味があるがどんなツールか具体的にイメージできない読者を対象に、dbt が Modern Data Stack で果たす役割や dbt が行う処理の中身について紹介したいと思います。 なお、本記事は主に dbt CLI に焦点を当てて紹介しており、dbt Cloud 特有の機能や特徴については説明をしていません。 dbt とは何か？Modern Data Stack における位置づけdbt 自体の説明をする前に、近年広がってきている
社内で「Data Vault勉強会」を開催しました - 10X Product Blog
はじめに Growth&SuccessでStailerのデータウェアハウスの開発をしています@kazk1018です。この記事では、先日社内で開催した「Data Vault勉強会」を基にData Vaultについて簡単に紹介するとともに、10Xでどのように利用しているかを紹介したいと思います！ Data Vaultについて 「Data Vault」はエンタープライズデータウェアハウス(EDW)を構築するためのモデリング手法です。最初に提案されたのは2000年なので20年以上の歴史があり、2013年には「Data Vault 2.0」が提案され、非構造データへの対応やより実践的なプラクティスなどが追加されました。*1 Data Vaultではデータウェアハウスを構築する全体の流れから、各レイヤーで用いるスキーマの設計まで幅広い範囲のアプローチや手法が提案されています。中でもHub、Link、S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleとメタ、世界の新設海底ケーブルの5割に出資 - 日本経済新聞
ケンタッキーフライドチキンの食べ方｜部位ごとの食べ方のコツとは？部位指定はできるの？｜goodie foodie