Best way to Export Hive table to a CSV file
Method 1 : hive -e 'select * from table_orc_data;' | sed 's/[[:space:]]\+/,/g' > ~/output.csvPros : Simple to use, output column header but default output is tab. Cons : Need to convert Tab delimiter to ‘,’ which could be time consuming when exporting large file. Method 2: $ hadoop fs -cat hdfs://servername/user/hive/warehouse/databasename/table_csv_export_data/* > ~/output.csvCopyPros : Simple, w
Getting started with Photogrammetry — with a Smartphone camera [2019]
With the recent advancements in computer vision, spatial computing devices (VR/AR headsets), high quality cameras in our pockets, and open sourced software, a 3D capturing method called Photogrammetry is becoming more accessible to game developers, photographers, as well as VFX artists. You’ve probably seen all the cool videos, played games with hyper-realistic assets (like, or even visited Photog
![Getting started with Photogrammetry — with a Smartphone camera [2019]](https://cdn-ak-scissors.b.st-hatena.com/image/square/93503079b9cb2fde6c4777409cc9ba45680bdbf6/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fresize%3Afit%3A1200%2F1%2A5mU-wddx6DglqqkDSV4G7g.png)
メルカリの小泉さんと組織の課題について話したら恐ろしい程勉強になった話 – tsukuruba – Medium
僕の中で仕事人生に影響を与え続けてくれている三大COO（と勝手に呼んでる人たち）がいる。 一人目がアカツキ共同創業者COOの香田哲朗くん、二人目がフリークアウト(元)COOで現hey代表の佐藤裕介さん、そしてメルカリ社長兼COOの小泉文明さんだ。 それぞれ社長もできる人だが、COOとして事業及び組織の構築も構造的分析もハイレベルにできる。恐ろしく広域のアビリティを持ち、バイタリティとバランス感覚に優れ、超人的な仕事量をこなす人たちである。 そのうちのお一人であるメルカリ小泉さんと1on1させてもらう機会があり、その話が組織の課題に悩む他の人にもとても有用だと思ったのでメモを公開させていただくことにした。（ほんとにメモなんで乱文ご容赦ください） ツクルバでは組織・文化づくりに社をあげて徹底的に投資していく方針なので、非常に参考になった。 ＊＊＊以下メモ＊＊＊ [お題] メルカリで急激に組織を
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
Apache Flinkでリアルタイムストリーム処理を実装してみる
Apache Flinkを使ったバッチ処理を作ってみてから大分経ってしまったが、今回はリアルタイムストリーム処理を作ってみようと思う。 いきなりコードをバーンっと出すのもアレだしナニなので、既存のBigDataを意識したストリーム処理ライブラリ(Spark Streaming)を振り返りつつ、Apache Flinkのリアルタイムストリーム処理用のライブラリの話から。 昨今のリアルタイムストリーム処理Apahce Flinkは所謂BigDataと呼ばれる規模のデータをストリーム処理するためのフレームワークである。既存のHadoopやSparkのようなフレームワークは大量のデータをいくつかの束に分けてガサッと分散処理する。Sparkなんかはリアルタイムでも使えると言われてはいるが、データの束をバッチ処理することには変わらない。１度に処理するデータ量にもよるが１レコードに対するレイテンシは早く
「物乞い」の行為をデザインする
Summary*English report here ストリート・ディベートは路上で問題提起をし、世論を硬貨で可視化する職業である。これは、路上での「ものごい」に代わる行為でもあり、尊厳を損なわずにお金を稼ぐことができる誰もが出来る方法である。 路上で暮らすことを余儀なくされた人々が、友好的な会話を通して社会へ対等な立場で再接続する最初のステップとなることを目指している。 ロンドンではストリート・ディベートで１時間に平均13.5ポンドを稼ぎ、12.5人を議論に巻き込むことが明らかになっている。 Why I started designing the act of beggingもしあなたが、ロンドンやパリといったヨーロッパの都市を訪れたなら、道端で「ものごい」を行なう人を見ることは、そう珍しいことではないだろう。
シリコンバレー流デザイン思考で、月収ゼロから8ヶ月で月収150万円になれた30の理由
(30,000訪問者御礼！はてなブックマークで4位を取りました) (もし共感頂いたら文末の❤️を押していいね！お願い致します) 先日伊藤忠の同期Tと酒を飲んだ時、 “お前、やるじゃん！なかなか凄いな！”と言われたので、 もしかしたら人様の役に立つかもと思い、 ノウハウとやった事リストを公開します。 情報商材っぽいタイトルで恐縮なのですが、、 月収150万円は分かりやすい数字かと思い、あえてそうしました。 お許しください。 あと、世の中の成功者から見たら月収150万円は全く大した事ないのはよくわかっております。 ポイントは、 全く何もない状態から自営業で月収150万円作るのは結構難しい事と、 私の手法を使うと、 多くの方が同じくらいは稼げる点です。 なので、生生しいストーリーとして公開する意味はあるかと思いました。 この話は、昨年好評いただき、6000訪問者を記録した私のブログ、 “ プログ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Updating Microsoft ODBC Drivers (17 to 18) for PHP
Tomohiro Matsuzawa – Medium
Migrating our Scala codebase to Spark 2
Is Mountain View Prejudiced Against Rural America? | Post 31 | Wyoming
How to kick-start Spark development on IntelliJ IDEA in 4 steps
Medium Japan – Medium