インサイトテクノロジーさんの勉強会に呼んでいただいてお話しさせていただいた資料です。Read less
![20160127三木会 RDB経験者のためのspark](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f823ef1359812fa4a392b6d484f8c93548dda31/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20160127rdbspark-160202032635-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
インサイトテクノロジーさんの勉強会に呼んでいただいてお話しさせていただいた資料です。Read less
Embulkに足りない5つのこと 1. Embulkに足りない 5つのこと 2015-12-15 Embulk Meetup Tokyo #2 @Civitaspo 2. おことわり 3. 作ったツールの話が 出てきますが 4. リリースしません! 5. ごめんなさい(><) 6. 理由:ある人からの一声 7. 今このツールを リリースすると 世の中を混乱の渦に 巻き込むこと になってしまうだろう。 8. 混乱の種になるだろう機能は 「Embulk Projectに期待すること」 という項目で説明します 9. では始めます! 10. Embulkに足りない 5つのこと 2015-12-15 Embulk Meetup Tokyo #2 @Civitaspo 11. 自己紹介 中山貴博 (@Civitaspo) • DeNA: 入社3年目 • 分析系インフラエンジニア • データ回収環境構築
前回の いまさらだけど fluentd に入門した - えいのうにっき に引き続き、「いまさら fluentd」シリーズ(?)。 blog.a-know.me 事例としてはめちゃくちゃありそうなこの組み合わせ、「自分的にかゆいところ」に手が届いてるかんじの記事がないような気がしたので、それを少しでも増やすことができれば、という思いで、書いてみる。 nginx のアクセスログの形式を ltsv 形式にする まずはこれから。 そのために nginx の conf に手を加える必要がある。たとえばこんな↓かんじかな。 log_format ltsv "local_time:$time_local" "\thost:$remote_addr" "\tforwardedfor:$http_x_forwarded_for" "\treq:$request" "\tstatus:$status" "\t
はじめに Qiitaをご覧になっているエンジニアのみなさん、正規表現は使いこなせてますか? 正規表現が使えるととっても便利ですよね! あれ?そちらの方、「ぼく、正規表現ようわからへん・・・」って小さくなってませんか?? 大丈夫です!そんなあなたのために、この記事を書きました。 知識ゼロからでも正規表現を学べるようにやさしく説明しているので、とりあえずこの記事を最後まで読んでみてください。 今は \d{2,5}[-(]\d{1,4}[-)]\d{4} が謎の呪文にしか見えなくても、最後まで読めばきっと意味がわかるようになっているはずです! 対象となる読者 本記事は正規表現の予備知識が全くない「正規表現初心者」を対象としています。 正規表現は便利だってよく聞くけど、意味不明な呪文にしか見えなくてなんか怖い 正規表現を勉強しようと何度か頑張ったけど、結局よくわからなくて実務で活用できていない と
pythonでツイートを収集します。 主に、機械学習する際に〇〇botなどから情報を得たい時に使用します。(私の場合は) 〇〇botなどは非常に内容が偏っており、 例えばツンデレbotなどではツンデレに関するツイートが多いと言えます。 これはこのアカウントをツンデレのセリフ集であり、全てがツンデレセリフであると認識でき、わかりやすく言えば、「スパムであるかそうでないか」つまりツンデレかツンデレでないかという分類のツンデレであるのモデルに使用できます。 前置きが長くなりましたが、ツイート取得するコードがほんの数行です。 LibraryはTweepyを使用していますのでインストールしていない場合は
Amazon API Gateway の Service Proxy Amazon API Gateway (以下 API Gateway) は、API を簡単に作成、公開、保守、監視、保護できるサービスです。ある機能にアクセスするための、アプリケーションの玄関として振舞うような API を作成することができます。 API Gateway では、公開する API が呼び出されたときの接続先の種別 (Integration type) を下記の4つの中から設定することができます。 Lambda function : Lambda function の呼び出し HTTP Proxy : HTTP エンドポイントへのリクエスト Mock Integration : モック化 AWS Service Proxy : AWS の各種サービスの呼び出し このうち「AWS Service Proxy」を
はじめに この記事は「旧石器時代のJavaScriptを書いてる各位に告ぐ、現代的なJavaScript超入門」の2つ目の記事です。 シリーズの最初から読みたい方は 旧石器時代のJavaScriptを書いてる各位に告ぐ、現代的なJavaScript超入門 Section1 ~すぐにでも現代っぽく出来るワンポイントまとめ~ へどうぞ。 また、このシリーズではECMAScript5を概ね対応するブラウザを対象としています。 もっと平たくいうと、IE8以下は切り捨てます。ご了承ください。 そしてプロによるマサカリ 対策として一つ重要な注意書きをします。 この記事中で出てくる「CommonJSモジュール」という表現は全て「CommonJSのModules 1.0仕様をベースとして、Node.jsが独自に拡張したCommonJS派生のモジュール仕様及びインターフェース(require/exports
スケールアウトするブロックストレージ「ScaleIO」をEMCが無償公開。VagrantとGitHubを使って超簡単にインストール[PR] すでに普及しているといえる仮想化やクラウドの環境では、ストレージの専用機器ではなく汎用サーバをいつでもソフトウェアによってストレージサーバ化して、柔軟なシステム構成を実現したいというニーズが確実に高まっています。 例えばOpenStackやVMwareのソフトウェアを導入してプライベートクラウドを構築したとしても、ストレージへのニーズが増えるたびにストレージ機器を買い足していく必要があるのでは、システムの柔軟性やアジリティが高いとはいえません。 もし汎用サーバをあるときはサーバとして、あるときはストレージとして柔軟に使えれば、サーバを追加していくだけでシステム構成に高い柔軟性をもたらしてくれるはずです。 EMCが発表したソフトウェアによるスケールアウト
どうすればPythonをJuliaと同じくらい速く動かせるのか? : 様々なやり方で計算の高速化を図る Julia対Python 科学技術計算には、Pythonなどの言語よりもJuliaを使った方がいいのでしょうか? http://julialang.org/ に載っているベンチマークを見ると、どうしてもそんな風に思ってしまいます。というのも、Pythonなどの高水準言語は、スピード面で大幅に劣っているのです。けれども、これは私が最初に感じた疑問ではありません。私が気になったのは、「Juliaのチームが書いたPythonのベンチマークは、Pythonに最適なものだったのか?」ということです。 こういった多言語の比較について、私の考えを述べましょう。まずベンチマークというのは、実行するタスクによって定義されるものです。よって、そのタスクを実行するための最適なコードを、各言語に精通した人々が最
小文字のみを使用する。 単語をつなげる必要がある場合はダッシュを利用する。 単数形よりも複数形をつかう。なお、実装がRailsの場合でテーブルの複数形が誤っている場合には、URLは正しい複数形としてRails側を修正する。(APIに実装を反映させるべきではない。) スペルミスをしない。 URLの階層は浅く保ち、複雑さはクエリパラメーターに押しこむ。 クエリパラメータ名は配列で複数渡すものについては複数形、一つだけ渡すものについては単数形とする。 ページングにはper_page、pageというパラメータ名を使用する。 と書いてきたが、ただし、RESTには必ずしもこだわらず、あくまで利用側の利便性を重要視した設計とする。 1つの作業を完結するために複数回のアクセスを必要とするようなAPIの設計はChatty APIと呼ばれる。これはネットワークのトラフィックを増加させ、クライアントの処理の手間
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く