OSS（オープンソースソフトウエア）ビジネスの潮流は「Kubernetes」によって一変してしまった。そのことを改めて感じさせる出来事があった。OSSビジネスを営む米メソスフィア（Mesosphere）が、社名と事業モデルを変更すると発表したのだ。 メソスフィアは2019年8月5日（米国時間）に社名を「D2iQ」に変更したと発表した。同社はOSSである「Apache Mesos」の主要開発元であり、Mesosの商用版である「Mesosphere」や「DC/OS」を販売していた。MesosやDC/OSが何なのかを分かりやすく言うと「Kubernetesのようなもの」である。 MesosやKubernetesはいずれも「コンテナオーケストレーション」のソフトウエアだ。サーバーやストレージからなるリソースプールを構築して、その上でコンテナ化したアプリケーションを自動運用するのに使う。 Mesos
DNSリバインディング攻撃: 悪意のあるWebサイトがプライベートネットワークを悪用する方法
By Zhanhao Chen August 31, 2021 at 6:00 AM Category: Unit 42 Tags: command and control, DNS, DNS rebinding, DNS security, threat prevention, WildFire This post is also available in: English (英語) 概要 Webベースのコンソールが管理用のソフトウェアやスマートデバイスに広く使われるようになったおかげで、データをインタラクティブに可視化したり、設定をユーザーフレンドリーに行えるようになりました。こうした流れは企業コンピュータシステムの複雑化や家庭用最新IoTデバイス（Internet of Things モノのインターネット）の利用数増加につれて勢いを増しています。こうしたWebアプリケーションはふつう
Hadoop DistCp (distributed copy, でぃすとしーぴー、でぃすとこぴー) は、MapReduceを用いてHadoopクラスタ間でデータコピーするためのツールです。保守運用している場合を除き、おそらく2020年においても運用上の選択肢として残っている最後のMapReduceのツールです。この記事では、DistCpの紹介と実践的な使い方の基本について説明していきます。内容としては以下の通りです。 Distcpの概要と原理 実践DistCp DistCpにドライランはない コピーとアップデートの挙動の違いを押さえる スナップショットを取得する ソースと宛先、どちらのクラスタでDistCpを実行するか 異なるメジャーバージョン間でのデータ転送にwebhdfsを使う -p オプションの挙動 2つのコピー戦略: uniformizeとdynamic map数の調整 転送帯域
2021/6/15にApache Hadoop 3.3.1がリリースされたので、リリースしてからしばらく時間が経つけどまとめておきます。 Hadoop 3.3.1に対する個人的な所感 Hadoop 3.3.1はHadoop 3.3.0からおよそ1年後にリリースされました、1年も経っているので、普段のbug fix releaseでは考えられないほどの修正がされ、もはやHadoop 3.2.0とHadoop 3.3.0との差分よりもHadoop 3.3.0とHadoop 3.3.1との差分のほうが大きいのではないかと思っています。Hadoop CommonとHDFSを中心に、その大きな差分についてこれから紹介していこうと思います。 NameNodeLayoutVersionの更新 Hadoop 3.3.1では、なんとNameNodeLayoutVersionが上がっています。普通のbug f
Amazon AthenaのPartition Projectionを使ったALBのアクセスログ解析環境をTerraformで構築する | Recruit Tech Blog
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 はじめに 障害調査などでALBのアクセスログを解析したいというときが皆あると思います。 私はあります。 今回はAthenaを使ってALBのログを解析する方法と新機能で発表されたPartition Projectionを利用するとどのようなメリットがあるのか説明したいと思います。 ALBのアクセスログ ALBには標準でアクセスログを出力する機能があり、有効化することで自動でS3にアクセスログを保存することができます。 しかし、標準でアクセスログはgz形式で出力されており、通常解析するにはS3からダウンロードをしてきて、その後にgzを解凍してから、別途ツールを使って分析するなどの面倒な作業が発生してしまいます。 また、アクセスログはデータが大量になることも多く、DLして利用する場合でも一度に多くの範囲を分析するのは困難です
LightGBM PyData.Tokyo Meetup #21 AlphaImpact • (@henry0312) • (2015.04−2019.06) • Dwango Media Village • AlphaImpact (2019.02−) • • LightGBM • 2 LightGBM • 2016 10 GBDT + • Python 12 • PR OSS 3 • LightGBM • LightGBM • XGBoost CatBoost • LightGBM • 4 LightGBM LightGBM • Microsoft • • Kaggle (2019/4/4) 6 7 https://twitter.com/fchollet/status/1113476428249464833 GBM • Gradient Boosting Machines • 1 N
Apache Arrow 1.0.0 Release
Published 24 Jul 2020 By The Apache Arrow PMC (pmc) The Apache Arrow team is pleased to announce the 1.0.0 release. This covers over 3 months of development work and includes 810 resolved issues from 100 distinct contributors. See the Install Page to learn how to get the libraries for your platform. Despite a “1.0.0” version, this is the 18th major release of Apache Arrow and marks a transition to
A Second Conversation with Werner Vogels – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up When I joined Amazon in 1998, the company had a single U.S.-based website selling only books and running a monolithic C application on five servers, a handful of Berkeley DBs for key/va
また、 BigQuery のストレージ料金は非圧縮の状態のデータサイズが課金対象となります。 Cloud Storage 上に gzip で圧縮した状態で保持することで、ストレージ料金を大きく下げることができます。 Cloud Storage から BigQuery にエクスポートする際に料金が少しかかりますが、それについては後述します。 安定性 BigQuery のテーブルは型を持っているため、何かしらのバグでログに不正な文字列が入ると、 BigQuery へのインサートは失敗します。その場合にログを web server 内部に溜めてしまうと web server のディスク領域が逼迫したり、本番稼働しているサーバーに入っての復旧作業が必要となったりするデメリットがあります。 まずはどんなデータでも受け入れてくれる Cloud Storage にデータを入れてしまい、その後起きうる問題
はじめに 著名な Rubyist にインタビューを行う企画「Rubyist Hotlinks」。第 39 回となる今回は、古橋貞之さん。 では、お楽しみください。 インタビュー 聞き手 卜部さん (@shyouhei) 語り手 古橋貞之さん (記事中「古橋」) 野次馬（古橋さんの現職であるトレジャーデータの同僚と元同僚のみなさん） 国分さん、成瀬さん、田籠さん、金子さん、三村さん 日にち 2023 年 5 月 11 日 写真提供 : 目次 Table of content プロフィール 卜部 はい、じゃあお疲れ様です。ゆるりと始めていきますが。るびまのインタビューはポッドキャストにしないという信念の元に、ポッドキャストにしていなくて。 三村 そんな信念が。 卜部 なんでかっていうと、いくら迂闊なことをゆっても後から編集できるからっていう。これがね、やっぱ迂闊なことを言ってもらわないと楽しい
社内でデータ分析コンペティションを開催しました
こんにちは、デジタル改革推進部の河合と浅野です！ 私たちデジタル改革推進部では、普段から全社で使うためのデータ分析環境の開発・提供を行っています。 今回は社内でデータ分析コンペティションを開催したのでその内容を報告します。 社内データ分析コンペティションとは？ 社内にある様々なデータ活用課題をコンペティション形式に落とし込み、全社で知恵をしぼって解こうという試みです。 もともと、データサイエンスの界隈ではKaggleやatmaCupと呼ばれる分析力を競うコンペが行われており、課題や技術を集団で共有して解く文化があります。 今回はそれらを参考に、社内のデータを使ったコンペを 6/21~7/2 の２週間にかけて初開催しました。 開催にあたって期待したことは、以下の３つです。 様々な部署に散らばっているサービス特有のドメイン知識、データ、分析技術を一箇所に集める 優れたソリューションを集合知によ
A handy new Google Cloud, AWS, and Azure product map | Google Cloud Blog
A handy new Google Cloud, AWS, and Azure product map Any craftsman will tell you that choosing the right tool for the job is essential for getting it done right. Cloud technologies are no different. Many cloud professionals look for the best products across vendors, but they remember ‘best’ is always subjective. It depends on highly-individualized criteria like language support, compatibility with
MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 今回は、その中でも実験の管理と可視化を司る MLflow Tracking を試してみることにした。 機械学習のプロジェクトでは試行錯誤することが多い。 その際には、パラメータやモデルの構成などを変えながら何度も実験を繰り返すことになる。 すると、回数が増えるごとに使ったパラメータや得られた結果、モデルなどの管理が煩雑になってくる。 MLflow Tracking を使うことで、その煩雑さが軽減できる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G5033 $ python -V Python 3.7.
本記事は 【Advent Calendar 2023】 4日目の記事です。 🎄 3日目 ▶▶ 本記事 ▶▶ 5日目 🎅 こんにちは、西内です。 突然ですが、皆さんはAmazon Elastic Compute Cloud（EC2）のインスタンスタイプが何を表しているかご存知でしょうか？（t2.microとかのアレ） 私は今年9月からTECH AND DESIGN STUDYのサービスアップデート担当していて、その中で新たにリリースされたインスタンスをご紹介しているのですが、種類が多すぎてよく頭がこんがらがります。 今回の記事ではインスタンスタイプについてご説明しつつ、最後に現行のインスタンスタイプの一覧を掲載したいと思います。 インスタンスタイプに関しては佐々木さんも過去に記事を書かれていますが、今回はインスタンスファミリー部分をより詳細に調査いたしました。 また、記事の最後にインスタ
5年ほど前、ビッグデータとアナリティクスをめぐる誇大広告はたくさんありましたが、今日では、この業界は現実的に誇大広告に応え、ビジネスを前進させる根本的な力へと変貌を遂げています。この数年間で、毎秒生成されるデータの量は飛躍的に増加しました。このため、分析ワークロードを効率的に処理するエンタープライズ向けクラウドデータウェアハウス技術が登場することになったのです。 データウェアハウスは、データを効率的に活用し、深い洞察を得るのに欠かせないものとなっています。となると、どのデータウェアハウスが自分のビジネスに最適なのかが大きな問題になってきます。Amazon Redshift、Google BigQuery、そしてSnowflakeの三大データウェアハウスを検討してみましょう。強力なリレーショナルDBMS（データベース管理システム）のデータベースモデルであるRedshiftとSnowflake
京都のIT系学生コミュニティ CAMPHOR- さんとイベントを共催しました - MicroAd Developers Blog
こんにちは、まっつーです。10/5(土)に京都のIT系学生コミュニティ CAMPHOR-さんと「ネット広告を支える技術を知る」のテーマでイベントを共催させて頂きました。 マイクロアドのエンジニア3人で登壇して参りましたので、その時の様子や発表内容をご紹介したいと思います。 はじめに 今年の2月頃にCAMPHOR-さんにお声掛けして、イベント開催の提案をさせて頂きました。マイクロアドとしてはアドテクの面白さをもっと知ってもらいたい想いと、学生さんとコミュニケーションが取れる場になればと考えておりました。 そういった意図をお話させてもらい、CAMPHOR-さんから無事ご快諾頂くことが出来まして、開催の運びとなりました。 当日はCAMPHOR-さん提供のCAMPHOR- HOUSEにお邪魔しました。会場内は少し暗めな照明と温もりのある畳も相まって、集中出来そうな空間でした。学生時代に知っていれば
「このパラメータストア、誰が使ってるん？」の疑問を解消するための CloudTrail とAthena の使い方 | DevelopersIO
「あれ。。このパラメータストア、誰が使ってるんだっけ。」 (なんか最近読んだような入り方ですが…) 今回、SSM パラメータストアを整理する機会がありましたが、使ってるのか、使ってないのか判断に迷うところがあったので、CloudTrail と Athena を使って調査した方法をまとめます。 まず CloudTrail だけでやってみる CloudTrail のイベント履歴を開き、[イベント名] [GetParameters] で検索してやると、パラメータストアを取得した履歴が表示されます。 ただ、これだとどのパラメータを GetParameters したのか判りません。ここから [イベントの表示] をクリックすると、以下のような詳細が表示され、はじめてパラメータストアの名前が判別できます。 正直、これを1件、1件やっていくのは無理ですよね。そうなると、Athena でサクッと検索したくな
TAXELの単一障害点を解消する
この記事は GMOアドマーケティング Advent Calendar 2020 11日目の記事です。 こんにちは。 GMOアドマーケティングのM.Nです。 弊社ではメディアの回遊性、収益性を高めるため、レコメンドウィジェットの「TAXEL」を提供しています。 TAXELは2018年頃から徐々にオンプレからGCPに移行を行い、2020年9月に全ての機能をGCPに移行しました。 今回は移行時に行った取り組みについて紹介しようと思います。 1.オンプレ時のシステム構成 オンプレ時のシステム構成は下図のようになっていました。 （わかりやすくするために簡略化しています） 全ての機能がHadoopに依存しており、動作に必要なデータをHBaseに集約しているため、Hadoopクラスタに障害があった場合全ての機能に障害が発生してしまいます。 実際によく障害が発生し復旧に手間がかかるという問題を抱えていまし
【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Cloudera, the once high flying Hadoop startup, raised $1 billion and went public in 2018 before being acquired by private equity for $5.3 billion 2021. Today, the company announced that…
エンジニアを生業にしている、くわブロ です。 麦茶や寝袋の話ばっかりしているので、本業のエンジニア関連の話も投稿したいなと思い、AWSクラウドの話をしてみます。 同じ記事を はてなブログ でも書いています。 AWSクラウドのサービス AWSクラウドで提供されるサービスは100個以上あります。 「このサービスってどんなサービスだっけ？」とパッと出てこないことや、 「〇〇サービスは、こうこうこういうサービスです。」と設計書でサービスの前提を説明したくなることもあるかと。 以下の記事を見て「なるほどなるほど」と思ったのですが、 Gigazine : AWSの膨大で複雑なサービス群をすべて「たった1行」で説明していくとこうなる でもやっぱり設計書や提案書に書くなら、公式サイトから引用したい。 そんな時に便利な機能を発見しました、それはマネジメントコンソールでサービス名を検索すると表示される「一言メ
S3へ出力したCloudWatch LogsのデータをS3 SelectとAthenaで確認してみた | DevelopersIO
Kinesis Data Firehose介し、S3へ出力したCloudWatch LogsのデータをS3 SelectとAthenaで確認してみました。 Kinesis Data Firehoseを使いCloudWatch LogのデータをS3に出力することが可能です。S3をデータソースにしたデータの確認方法は多々あると思いますが、ここではS3 SelectとAthenaを利用しログデータを確認してみたいと思います。本エントリでは、環境構築については割愛していますので、構築については以下ブログを参考にしてください。 CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する なお、ここではS3へ出力されたログデータはAurora監査ログを利用しています。 S3 Select 構成 Kinesis Data Firehose設定 配信ストリー
Amazon Web Services ブログ Kubernetes で Spark パフォーマンスを最適化する Apache Spark はオープンソースプロジェクトで、分析分野で幅広い人気を博しています。有名なビッグデータや、ストリーミングといったの機械学習ワークロード、幅広いデータセットの処理、ETL などで使用されています。 Kubernetes は、人気のあるオープンソースのコンテナ管理システムで、アプリケーションのデプロイ、メンテナンス、スケーリングのための基本的なメカニズムを提供します。Amazon EKS は、高可用性コントロールプレーンを提供するマネージド Kubernetes サービスで、AWS で本番環境レベルのワークロードを実行します。お客様は、EKS でマイクロサービス、バッチ、機械学習などのさまざまなワークロードを実行できます。 このブログは、Kubernete
なんの話？ 三行で。 サービスが急成長しデータ量が増えた際にデータエンジニアリングは必要とされる。 エンジニアリングに必要なスキルセットは比較的明確で、駆け出しエンジニアにもポジションあるよ。 データエンジニアリング業務を経て、データサイエンティストなど他職種にランクアップすることは可能。 [おまけ1] "data+engineer+positionでググる"と、主に海外のData Engineer(DE職)のお仕事が入門者レベルからエキスパートレベルまで見つかるよ...Tokyoをつけると、東京でのDE職も見つかる。転職活動で普通に有用。 *[おまけ2] 末尾におまけとして、現在私が取り組んでいる『2020年代のデータ分析基盤の基本設計』に関して日々調べていることを、公開できる範囲で書いておきたい(内容はコメント欄に随時更新)。実際のデータエンジニアリング実務の一端を知ってもらう意味で。
How WhatsApp scaled to 1 billion users with only 50 engineers
QuastorPostsHow WhatsApp scaled to 1 billion users with only 50 engineers How WhatsApp scaled to 1 billion users with only 50 engineersHow to quickly learn new programming languages and frameworks. Plus, an dive into HDFS and how it works. How WhatsApp scaled to 1 billion users with only 50 engineers. WhatsApp’s Engineering Culture WhatsApp’s Tech Stack Erlang FreeBSD SoftLayer How to quickly lear
【週刊 Ask An Expert #21】Amazon SageMaker でメトリクスの可視化をするには？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #21】Amazon SageMaker でメトリクスの可視化をするには？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの松田 (Twitter: @mats16k) です。 皆さん、AWS Dev Day Tokyo 2019 は参加登録しましたか？満席のセッションも増えてきておりますので、まだの方はお早めにどうぞ！ このブログ記事では週刊 Ask An Expert 第21回目をお届けします。「参考になった」「いい内容だ」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 Ask An Expert ? 皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラルスクエア
Apache Sparkの概要 - Qiita
はじめに Apache Sparkはデータの高速な処理能力や、汎用性の高さから、昨今ではクラウドのPaaS型のデータ処理エンジンに搭載されるようになってきた。たとえばAzureのサービスでは従来からAzure HDInsightにPure 100% OSSのSparkが以前から搭載されている。Azure DatabricksはSparkのクラスター管理を大幅にクラウド側に寄せ、Notebookやジョブのインターフェース等を提供する形態も出てきて多くのユーザーに利用されているようである。また、2019年のMicrosoft Igniteで発表されたAzure Synapse Analyticsは従来のAzure SQL Data Warehouseに、Sparkエンジンを搭載してオンデマンドクエリ機能を提供するとの事。さらには、Azure Data Factory内にMapping Data
デンキヤギ株式会社（DenkiYagi）
＃01 yagisan-reports yagisan-reportsは、JavaScriptで動作するWebフレンドリーな帳票発行エンジンです。 ＃02 サブスクリプション型コンサルティング 月額固定・長期にお付き合いすることを前提とした「サブスクリプション型のITコンサルティングおよびシステム開発」を2015年から行っています。 ビックバン導入ではなく「小さく始めて、カイゼンを日々積み重ねる」という方法こそが、成功の近道です。 ●高難易度なWebフロントエンド開発 DataGridなどの高機能なGUIコンポーネント開発, WebAssembly, Canvas操作, PDF操作, ゲームの移植など ●分散システム開発 Hadoop, Apache Spark, Kafka, RabbitMQ, Cassandra, Amazon DynamoDB, Azure Cosmos DBなど
初めてのSQL 第3版
SQL言語に初めて触れるプログラマを対象に、SQL言語の基本を解説します。データベースの歴史、概念などの基礎知識から、データベースの作成、クエリの基本、フィルタリング、トランザクションなどまで、実践に必要なポイントを過不足なくコンパクトにまとめ、理解を深められるよう練習問題を用意しています。改訂にあたり、「ビュー」「メタデータ」「解析関数」「大規模なデータベースの操作」「SQLとビッグデータ」の章が追加され、さらに充実しました。SQLを学び始めるのに最適の一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。 第1刷正誤表 ■
【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ 2022 年 3 月 24 日に「 AWS で実践！Analytics Modernization ～事例祭り編～」を開催しました。今回の事例祭りでは AWS のアナリティクスサービスをご活用いただいている日産自動車株式会社、レバレジーズ株式会社、株式会社シャノン、株式会社カヤック、ビットバンク株式会社、ヤフー株式会社、株式会社 NTT ドコモにご登壇いただきました。本ブログでは各発表内容を紹介します。 自動車開発をサポートする積極的な QuickSight 活用事例紹介 日産自動車株式会社 R&Dデータサイエンス部門 課長 俵道 大輔 氏 資料ダウンロード 日産自動車ではあらゆるデータを一元管理しており、AWS サービスで環境を構築しています。データの
OSSコミッターの日常や企業内活動を続けるコツは？ ヤフー名古屋 Tech Meetup #4を開催しました #OSS
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ヤフー名古屋オフィスでエンジニアをしている高木克彰です。 第4回目となるヤフー名古屋 Tech Meetupを2019年11月12日に開催しました！ 今回のテーマは「OSSコミッターNight」です。ヤフー社内のOSSコミッターで黒帯の3名に日頃の活動内容や利用実績などを4つのセッションを通してお話いただきました。 今回も大変ありがたいことに、増枠となるほどの人気ぶりでした。本記事では、参加できなかった方にも少しでも当イベントを知ってもらえるよう、セッション内容とイベントの雰囲気を簡単にお伝えします。 セッション1：Apache Hadoopコミュニティーとヤフーの関わり 最初のセッションでは、弊社9代目Hadoop黒
開催期間: 2020.8.28 - 2020.9.10 Kindleストアの出版社横断プログラミング書籍セール 700冊以上が対象 50%ポイント還元 or 50%オフ (対象外のも含まれていますのでご注意を) 出版社別対象作品リスト: インプレス / 日経PB / SBクリエイティブ / マイナビ出版 / 秀和システム / 翔泳社 / 近代科学社 / MdN / NextPublishing (セール対象外多め) 本ページはキンセリの特設ページです アマゾンに当セールの対象作品一覧ページが存在しないので作成しました （間違い等ありましたら運営者までお知らせくだされば幸いです） 沈黙のWebライティング —Webマーケッター ボーンの激闘— 沈黙のWebマーケティング −Webマーケッター ボーンの逆襲− ディレクターズ・エディション アルゴリズムイントロダクション 第3版 総合版：世界標
こんにちは、けんにぃです。ナビタイムジャパンで公共交通の時刻表を使ったサービス開発やリリースフローの改善を担当しています。 今回はデータサイエンティストのためのフロントエンドとして最近注目を集めている Streamlit を使ってみた話をしようと思います。 Streamlit とはStreamlit は Python でフロントエンドを構築することが出来るフレームワークです。 https://www.streamlit.io/ なぜ Streamlit なのか？最近流行りの React や Vue でフロントエンドを構築するのではダメなのでしょうか？全くそんなことはありません。むしろ表現力の高さでいうと React や Vue のほうがずっと優れています。 問題になってくるのはデータサイエンティストが分析データをプロダクトに組み込むために必要とする作業コストがかなり高いということです。 例
Java Champion・谷本心がすすめる、技術に対する考え方に大きな影響を与えた書籍5選 2024年6月19日 谷本 心 EverforthとAcroquestの2社で正社員として働くエンジニア。仕事のかたわらでコミュニティ活動も行っており、日本Javaユーザーグループの代表を務めるほか、アメリカで開催されたJavaOneやSpringOneなど国内外のイベントで登壇。その実績から日本で3人目の「Java Champion」に任命された。著書に『Java本格入門』（技術評論社）。趣味は対戦格闘ゲームと、BABYMETALを追いかけて世界中を旅すること。 X: @cero_t Blog: https://cero-t.hatenadiary.jp/ 1. 『Googleを支える技術 ……巨大システムの内側の世界』西田圭介著 2. 『マイクロサービスアーキテクチャ 第2版』Sam Newm
LINEで働くエンジニアが、各職種別に日々の業務内容や開発体制、働く環境、今後の展望などについて話す「LINE 新卒採用 技術職 コース別説明会」。Machine Learning組織からはMachine Learning Platform室およびMachine Learning Solution室の室長の菊地悠氏が登壇。Machine Learning Platform室・Machine Learning Solution室のロール、開発環境、募集する人物像について発表しました。 研究領域での経験が豊富な室長 菊地悠氏：メイン領域の説明をします、菊地と申します。よろしくお願いします。 簡単に自己紹介をいたします。肩書はシニアマネージャーで室長をやっています。今はマシンラーニング領域において、プラットフォームを開発している組織とソリューション系の事業貢献をメインにしている組織の2つを見てい
ITスキルロードマップ roadmap.sh がすごい。Data Analyst について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。Data Analyst について対応する本をまとめた機械学習データ分析キャリアデータアナリティクスデータアナリスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 ということで、AI and Data Scientist Roadmap について書きましたが 今回は Data Analyst Roadmap です。 雑感 このロードマップの続きにAI and Data Scientistがあり、Data AnalystをData Scientistの前段階的に位置付けているのが疑問。Data AnalystとData Scientistは並ぶものではないでしょうか。 そして、ビジネス、ドメイン知識や分析目
「DMM.go」は、DMM GroupにおけるGoの勉強会です。２回目の今回は、DMM.com プラットフォーム事業本部の潮平諒也氏が、オンプレで作っていたシステムをクラウド化し、Goでシステムを構築した自らの経験を基に、パフォーマンス向上のポイントについて紹介しました。 2万rpsを処理する行動ログ収集システムをGoで作った話 潮平諒也氏：「2万rpsを処理する行動ログ収集システムをGoで作った話」と題して、発表いたします。 まず自己紹介からですね。潮平諒也と申します。現在はデータインフラ部のデータエンジニアチームで仕事しています。 高専を卒業して、去年度19新卒としてDMMに入社しました。入社したときは、全然Goの経験とかなくて、研修で触り始めて、Go歴が9ヶ月ぐらいという感じです。 今日は、今いるチームに配属されて今年の3月まで携わった「行動ログ収集システムのクラウド移行プロジェクト
G-gen の杉村です。 Professional Cloud Architect 試験 は、 Associate Cloud Engineer 試験の上位に位置する Google Cloud (旧称 GCP) の難関認定資格です。本投稿では試験の合格に役立つ、勉強方法や出題傾向などについて解説します。 はじめに Professional Cloud Architect 試験 とは Professional Cloud Architect 試験の難易度 推奨の勉強法 ケーススタディ 出題傾向 組織 / IAM 組織のポリシー IAM の基本概念 オペレーションスイート Cloud Monitoring Cloud Logging セキュリティ・統制 Network Intelligence Center Data Loss Prevention Kubernetes / Google Ku
SQL クライアントツール「DBeaver」が「OSqlEdit」レベルの使いやすさで感動した！！ - Beeeat’s log
皆さんはどんな SQL クライアントツールを使っていますか？ 私は普段，MySQL を使っているため「Sequel pro」を使っていました．しかし，たまに PotgreSQL も使うことがあるんですね... 「Sequel pro」は MySQL のクライアントツールのため「pgAdmin」や「PG Commander」を使おう...という話になるのですが...一つの SQL クライアントツールで色々な種類の DB を操作したくなりますよね． そこで思い切って最近の SQL クライアントツールについて調べてみたら「DBeaver」がかなり便利だったので，思いきって「Sequel pro」から移行しました．今回はこの DBeaver について紹介します． DBeaver とは? DBeaver は「DBeaver Corp」が開発したマルチプラットフォーム対応の SQL クライアントツール
Apache Avro になにかと縁があり、かつ普及しているテクノロジーの割に日本語の情報がそんなにない（個人の意見です、意外とあるかも）のでつらつら書いてみます。 整理はされておらずシーケンシャルに要素を並べています。 実装についてとくに言及がされていなければ、 Java の 1.8.2 について触れているものとします。 Apache Avro はデータフォーマットとエコシステムのひとつ Apache Avro は Apache トップレベルプロジェクトのひとつでファイルフォーマットとその周辺エコシステムです。 比較される技術として Protocol Buffers や Message Pack が挙げられると思います。 Apache Avro はそれらの中でも主に Hadoop エコシステムなどビッグデータ絡みの文脈でよく登場するように思えます。 以下のディレクトリ構成の通り、公式でい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OSSの世界で「インスパイア系ラーメン屋」はもう不要なのか
Hadoop DistCp実践ガイド2020年版 - 科学と非科学の迷宮
Apache Hadoop 3.3.1がリリースされました - Memo
PyData Tokyo Meetup #21 LightGBM
アプリログを BigQuery に入れるまで | BLOG - DeNA Engineering
Rubyist Hotlinks 【第 39 回】古橋貞之 さん
Python: MLflow Tracking を使ってみる - CUBE SUGAR CONTAINER
EC2インスタンスタイプの整理 - NRIネットコムBlog
Redshift と Snowflake の比較：6つの主な相違点
TechCrunch | Startup and Technology News
AWS全サービスの一言メモを、マネジメントコンソールから抽出してみた - Qiita
Kubernetes で Spark パフォーマンスを最適化する | Amazon Web Services
急成長する《現場》の、データエンジニアというお仕事。 - Qiita
【Kindle】夏のプログラミング書 合同フェア (2020/8/28から9/10まで)
Streamlit: データサイエンティストのためのフロントエンド｜NAVITIME_Tech
Java Champion・谷本心がすすめる、技術に対する考え方に大きな影響を与えた書籍5選
「LINEアプリ」「出前館」などサービス横断でマシンラーニングを担当 LINEに欠かせない技術領域を担う専門部隊の業務内容
Goで作ったシステムのパフォーマンス改善ポイント 2万rpsを処理する行動ログ収集システム構築から学ぶ
Professional Cloud Architect試験対策マニュアル - G-gen Tech Blog
Apache Avro について知っていることを書いていく その1 - ブログ・ア・ラ・クレーム