開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
digdagのコンフィグについて（~/.config/digdag/config） - Qiita
Digdagではデフォルトのパラメータを~/.config/digdag/configに保存しています。 例えば下記のように設定しておくことで、digdag serverのendpointをデフォルトで指定できます。 client.http.endpoint = https://example.com client.http.headers.authorization = TD1 APIKEY params.td.apikey = APIKEY まず、digdag clientに設定するserverのendpointはclient.http.endpointになります。そこで認証が必要であれば、client.http.headers.authorizationなどを付与します。（TDの場合には認証が必要なのでdigdag serverに若干+αしている） また、digdagのタスクで利用す
ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる - techium
ワークフローエンジンというのを知っていますか。 申し訳ないのですが私は全く知りませんでした。 ワークフローエンジンの定義は仕事の流れをツールが回してくれるツールのことが一般的のようです。 幾つかそういったワークフローエンジンがあるようですが今回はTreasure Data社がOSSとして公開し始めたDigDagをご紹介いたします。 DigDagとは 目的は手動でできる仕事をすべて自動化する目的で開発が進められているようです。 そのため用途はタスクを実行した時にエラーが発生した場合にリトライを何回実施するかをyamlに記述しておけば同じタスクを何度も実行できたり、失敗を何度も繰り返したらメールを送信をさせたりなどが実施できるようなことができます。 現在はタスクとして実行できる言語はRuby、ShellScript、Pythonとなりますが拡張性が高いアーキテクチャになっており、プラグインを追
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
GNU datamashを使ってLinuxコンソール上でテキストデータの加工・集計を行う | 俺的備忘録 〜なんかいろいろ〜
すこし調べ物をしていたところ、GNU Datamashという非常に便利そうなコマンドを見つけたので少し使ってみることにした。 簡単に説明すると、テキストの加工や統計情報を取得するコマンドで、様々なサブコマンドを使ってそれらの機能を使い分けていくタイプのコマンドだ。 行列の入れ替えや列の反転、統計情報の計算など、コンソール上で何かやるには結構便利な機能が用意されている。 1.インストール まずはインストール。 UbuntuやCentOS、Macの場合は、以下のようにコマンドを実行することでインストールできるようだ。 Debian/Ubuntuの場合 sudo apt-get install datamash もしくは wget http://files.housegordon.org/datamash/bin/datamash_1.0.6-1_amd64.deb sudo dpkg -i d
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
Dashingで簡単にダッシュボードを作る方法
全国1億2000万人のImmutable Infrastructure好きの皆様こんばんは。 去年あたりに色々な場所で紹介されたりして知っている人が多いと思うのですが、簡単に自分用にダッシュボードを作れるDashingが結構使いやすいので改めて紹介しておきます。APIを用意しているミドルウェアやシステムであれば簡単にデータを引っ張ってきてゴニョゴニョできます。 Dashingとはhttp://shopify.github.io/dashing/で公開されているSinatraベースで作られたダッシュボード作成用のフレームワーク。 非常に見た目の良いダッシュボードが作れます。デモは、こちらで公開されています。 ウィジェット型のアーキテクチャーのため、色々なダッシュボード用のパーツを独立して作成し、自由に配置することができること、データを自動で更新できること等も特徴です。 インストールDashi
エンジニアのキャリアパスに思うところ
このとき意識しておくべき点は以下のようなことになります。 エンジニアを貫くか管理職系にいくかは本人の志向によって決めるエンジニアから管理職になったが、やはりまたエンジニアに戻るという選択肢もあるロールチェンジするときには十分な教育が必要（これは従来型のパスだろうと同じだが）自分が管理職だった場合に、自分よりもレベルが上のエンジニアが管理対象になることがある（部下の方が給与が高いことも当然ある）要はそれぞれのロールが違って責任が違うだけなので、上司なので偉いとかそういう話ではないエンジニアは多くの場合、技術が分かっていない人から技術的な指示をされることに抵抗感を持つ。すなわち技術的な点の意思決定については現場やチーフエンジニアやプリンシパルエンジニアといった上級のエンジニアに委譲した方がよい年功序列ではなくて、各レベルで定められたJob Descriptionに合致しているかどうかが次のレベ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
