PythonでApache beam 入門
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
Ruby 3.0 の Ractor を自慢したい - クックパッド開発者ブログ
Ruby の開発をしている技術部の笹田です。娘が自転車に乗り始め、まだ不安なためずっとついていなければならず、少し追っかけまわしただけで息切れがヤバい感じになっています。運動しないと。 ここ数年、Ruby で並列処理を気軽に書くための仕組みである Ractor を Ruby 3.0 で導入するという仕事を、クックパッドでの主務として行ってきました（クックパッドから、これ、と言われていたわけではなく、Ruby を前進させるというミッションの上で行ってきました）。 Ractor は、もともと Guild という名前で開発をはじめ、2020年の春頃、Ractor という名前に変更することにしました。いくつかの機会で発表しています。下記は、RubyKaigi での発表の記録です。 A proposal of new concurrency model for Ruby 3 - RubyKaigi
プログラミングをすると変な夢を見る - 見返すかもしれないメモ
しばらくプログラミングをした後に勢いよく寝ると、現実でやってたことや考えてたことの続きみたいな不思議な夢を見ることがある。変数が食べ物になったり自分がDBのレコードだったりしておもしろい。 いくらの寿司 isLoading というbooleanの変数を作っていた。（ここまで現実）その言語のboolean型はいくらの寿司で、いくらをシャリのどちらの端に固めるかによって、スイッチのようにtrue/falseを表現するようになっていた。いくらの場所が中途半端だったら、trueなのかfalseなのかわかりにくくて困るだろうなと思った。 Señorita Shawn MendesのSeñoritaを脳内で再生していた。（ここまで現実）サビの「You keep me coming for ya」というところで、二人称が2回出てくるのは冗長だから、コードレビューで指摘される前に直しておこうと思った。2回
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Not Found
