AWS Lambda Node.js runtime の EoL に疲れたので Go にしていっている話 - KAYAC Engineers' Blog
SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 19日目の記事です。いよいよ年も押し詰まってきましたね…! AWS Lambda、使ってますか？最近はサーバーレスという文脈で取り上げられることも多い Lambda ですが、カヤックではそこまでサーバーレスにこだわることはせず、主にイベントドリブンな処理に適切なユースケースに使用しています。 Lambda のリリース当初に用意されていたランタイムは Node.js のみでした。カヤックで最近使うことが多い言語である Go, Ruby のランタイムがサポートされたのが比較的最近だったということもあり、Node.js の Lambda function が比較的多く存在している状況でした。 Node.js EoL (End of Life) ところで、技術基盤チームのリポジトリで「La
What is Presto, Facebook Presto Database, PrestoSQL or PrestoDB? A powerful SQL query engine
If you have heard of Amazon Athena interactive query service, then you are familiar with Presto. PrestoDB is the open-source SQL query engine that powers the AWS Athena service, making data lakes easy to analyze with columnar formats like Apache Parquet. While Athena is one of the more visible commercial offerings, it certainly is not the only path for those interested in the software. Facebook Pr
upstart で start した job の設定を変更するには一度 stop する必要がある
upstart で start した job の設定を変更した後に反映するには、次のように stop して start しなければいけません。restart ではダメです。restart でダメな理由は後述します。 upstart は inotify で設定ファイルのディレクトリを監視しているのでわざわざ initctl reload-configuration を実行しなくてもいいんですが、FAQ を読む限り「読み込むとは言ったが反映するとまでは言ってない」という感じみたいですね…。 Upstart uses inotify to watch the configuration directory for changes, there’s no need to force it to read the job definition again. If a job is running,
EMR+Prestoこまごま - Qiita
EMR+presto関連の細かい設定に関して。 Emr5.1.0で検証しています。 Emrと関係ない話も多分に含まれます。 サクっと とりあえずちゃっちゃかやりたい人は http://qiita.com/mix/items/887c545daf5491eed552 ここをどうぞ！ ソフトウェア設定の編集 ・hiveのmetastoreを外部のmysqlへ(例はRDS) ・presto-configの一部の設定 ・mysql.propertiesの追加 [ { "Classification": "hive-site", "Properties": { "javax.jdo.option.ConnectionUserName": "Mysqlユーザ", "javax.jdo.option.ConnectionPassword": "パスワード", "javax.jdo.option.Conn
姉が英一郎さんになりそう
熊澤英一郎さんが殺された痛ましい事件について、世間では「父親が気の毒だ」「いや短絡的だ」と騒いでいるが、ほぼ似たような状況にある姉を持つ者としては、「いつ姉が英一郎さんになるかわからない」という恐怖がある。 姉は統合失調症、発達障害、20年来の引きこもりだが金使いは荒い。親は田舎の名家で、資産あり、父親は激務で、母親は教育熱心。姉に包丁を持ち出して来て殺すと脅されたことあり。ここまで一致してしまっている。 姉は月50万の仕送りをもらって独り暮らししている。それでも足りないと実家に来て、こちらが払わないと暴れまわるため、払わざるをえない。 田舎の名家と先に書いたが、資産そこそこある家なので、姉の50万円の要求も現時点では飲めてしまう。暴れられるよりは…と払ってしまう。でもいつまで持つかわからない。父の収入がいつまで持つか…。 唯一の救いは姉が女であり、いざとなれば父には力ではかなわないという
ヤフーのデータパイプライン設計 〜 Kafkaでデータ欠損防止と可用性を両立するために
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの橘（@moja_0316）です。 私は2018年に新卒でデータ統括本部に入社し、データパイプライン領域でエンジニアとして働いています。 今日は皆さんにヤフーのデータパイプラインの役割と、私たちが取り組んだデータパイプラインの信頼性を高める取り組みについてご紹介します。 ヤフーのデータパイプライン ヤフーは検索やEコマース、ニュースをはじめとした多くのサービスを運営しています。それらのサービスが保持するデータは非常に量が多く、かつ価値の高いものです。特に近年はデータソリューションサービスをはじめとして、さまざまなサービスのデータを横断して適切に利活用することで皆様の生活をより便利にする取り組みを多く始めています。
外資ベンチャーを1か月でクビになった 退職RTA:32日 - 鰤切手
今年からぴっかぴかの社会人！ どんな生活が待っているんだろ楽しみだなぁ！ ・・・ 今年で2回も退職エントリを書くとは思わなかったよ・・・。 おはばんちは、先日縁があった外資ベンチャーから退職してくれと言われ退職届にサインをしました。たぶん、これが一番早いと思います。 最近やっと腑に落とせたのでまとめます。 社会人経験も浅いうちに「結果さえ出せればOK!」みたいな会社行くと痛い目かもしれないです。 目次 入社したきっかけ：外資ベンチャーに勤めたかった 入社 「体を壊すことをお勧めしますよ」 「あいつ定時で帰るんで一緒に仕事したくないんですよね」 「他の人たちは何も言わなくても勝手に仕事を見つけているよ」 プロジェクトの進め方が分かんないよ...。 評価0 仕事0 最後の日 「君のポジションは用意できない」 聞いてください、「僕の最強雇用計画」 最後の挨拶 おまけ おまけのおまけ 入社したきっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews