成功の秘訣は「目標をつくるのではなくシステムを使う」こと | ライフハッカー・ジャパン
アメリカの人気コミック『ディルバート』の作者として知られるスコット・アダムスさんは、ビジネス系の作家やコメンテーターとしても成功しています。通信会社Pacific Bell（現AT&T）に勤めていた9年間が、彼の漫画のキャラクターに影響を与えました。アダムスさんは当時、平日は会社で仕事をし、夜と週末に漫画を描いていました。これまでに、米紙ニューヨークタイムズのナンバーワンベストセラーになった『ディルバートの法則』や『ディルバートの未来予測』を含む、多数の本を出しています。私は最近、単行本の『How to Fail at Almost Everything and Still Win Big』を出版準備中のアダムスさんにインタビューをする機会がありました。この本は、1976〜1986年にPacific BellやCrocker National Bankに勤めていた会社員時代に発見した、物事
ClouderaManagerAPIを使ってHadoopジョブの状況を可聴化する - frkout's diary
はじめに この記事はドワンゴ Advent Calendar 2015 - Qiita および Cloudera Manager Advent Calendar 2015 - Qiita の 12/3 分の記事です。 Hadoopを運用するにあたって欠かせないもの、そうClouderaManager。みなさんもちろんClouderaManager使ってますよね。使ってない人は今すぐ入れましょう。 ClouderaManagerはとにかく最高で、クラスタのセットアップもさくっと終わるし、綺麗なグラフでクラスタの状況わかるし、ユーザが投げているクラスタジョブの状況も見れたりして最高に便利で、僕なんか仕事中の8割位はClouderaManagerのこと気になってしょうがないんだけど、とはいえドキュメント書いたりコード書いたり設計したり会議に出なくてはいけないのでずーっとClouderaManag
Ansible の Template 機能の紹介 - Qiita
__________________ < template について書くよ > ------------------ \ ^__^ \ (oo)\_______ (__)\ )\/\ ||----w | || || Ansible というかほぼ Jinja2 なのだけれども、ちょいちょいググってしまうものをまとめてみます（これをまとめるまで知らなかったものもあります、たまにはドキュメントを見直すのが良いです）。 template module だけでなく task 定義で使う YAML 内でも使われています。 (Qiita の syntax highlight は Jinja にも対応しているのですね) Ansible Managed まずはこれ、つい使いたくなるけど罠があるので私は使わない。(Subversion の $Id$ は便利なのに) http://docs.ansible.co
Pipelinedbとは - Qiita
PipelineDBアドベントカレンダー一日目ということで、多分知らない方が多いこのストリーム処理DBについて、概略の紹介をします。 ちなみに自分はまだPipelineDBをプロダクションで使っているわけではなく、AdventCalendarの投稿はプロダクション投入に向けての調査の意味合いが強いです。 そもそもストリーム処理がなぜ必要か 昨今のWebシステムで生成されるイベントデータやログデータといったものはfluentdなどのログコレクタの発展に伴い様々なデータストアに保存され利用されるようになってきました。 そのサイズは、場合によっては日に数億行という事例も多いですがそうしたデータの利用においては、データを抽出し整形し、DBに導入するだけでもある程度のコスト・時間が必要になってきます。 そうした事例の解決にはHadoop系のプロダクトやRedshiftやBigQueryなどのカラムナ
株式会社D2C｜統合マーケティングパートナー
D2Cグループは、認知拡大から販売促進、ロイヤルユーザー化まで、幅広い領域を対象としたソリューションを提供する統合マーケティングパートナーです。あらゆる手段を駆使して「人を動かす、新しい瞬間」をプロデュースすることで、企業の課題を解決に導きます。
CircleCIのキャッシュ(cache_directories)の挙動を解説するよ - tehepero note(・ω<)
2015-12-03 CircleCIのキャッシュ(cache_directories)の挙動を解説するよ CircleCI CI この記事は CircleCI Advent Calendar 2015 - Qiita の3日目の記事です。 2日目はtakusさんによる「AWS CodeDeploy と CircleCI で Docker コンテナを自動デプロイ」でした。 CircleCI Advent Calendar 2015 の 2 日目を書きました。 / “AWS CodeDeploy と CircleCI で Docker コンテナを自動デプロイ · takus's blog” https://t.co/3WI7JzoYuq— Takumi Sakamoto (@takus) 2015, 12月 1 3日目にして早くも2つ目です。後6枠ほど空いているようなので我こそはという方は是
Ansible Docker Connection Pluginを使う — そこはかとなく書くよん。 ドキュメント
Ansible Docker Connection Pluginを使う¶ 1年以上前の2014年4月にこんな記事を書きました docker containerに対して直接ansibleを実行する それからいろいろあって、Ansible 2.0では標準でDocker Connection Pluginが入っています。(といってもぼくの実装ではありませんが) Docker Connection Pluginとは¶ まず、 Connection Plugin について説明します。Ansibleでは通常SSHを使って対象となるホストに接続します。 しかし、 Connection Plugin を使うことで、接続方式を切り替えることができます。 代表的なものは local connection です。以下のように書くと、sshではなく、localhostでそのまま実行されます。sshのlocalho
ansibleの使い所 - Qiita
この記事はクラウドワークス Advent Calendar 2015 2日目の記事になります。 いろいろある構成管理ツールの中でansibleがどういう場合に適しているか使い所を構成の例を入れながら紹介します。 対象 実案件でつかってみたいけど、どういう構成にすればいいかわからない人 そもそもansibleが向いているのか向いていないのかイメージできない人 個人的にansibleが適していると思われるポイント 顧客環境の制約などインフラそのものを自分たちで管理できない サーバーに導入できるツールに制限がある 踏み台構成になっていて接続が面倒 お金かけられない 時間かけられない だいたいこの辺はansibleが向いているところだと思います。 ansibleはサーバー自体には何もエージェントをインストールする必要がなく、SSHで接続してplaybook(chefでいうcookbookに相当)を
Accessing PySpark in PyCharm
Apache Spark is big data powerful communication component to analyzing and data manipulations. In my previous (Installing PySpark - SPARK) blog we discussed about to build and successfully run PySpark shell. But for development the PySpark module should be able to access from our familiar editor. Figure 1 - PySpark Reference Initially I tried with PyCharm Preference setting and added the PySpark m
Amazon Redshift: UDFを使って日付・時刻の文字列をタイムスタンプ型に変換してみる | DevelopersIO
はじめに データベースに入っている値の『データ型』を変換させたいというケースは、おそらくは大半のプロジェクト・案件・環境で発生し得るものだと思います。 Amazon Redshiftに於いても、その作業の必要性は勿論発生してきます。分かりやすい・ポピュラーな所で言うと『文字列型←→日付(時刻)型』の変換でしょうか。ファイルとしては(というかファイルになっている時点で)文字列型の項目を、日付型(DATE)、日付時刻型(TIMESTAMP)の項目として扱うようなケースです。当エントリではその辺りの作業を行う上で出て来た問題と、問題解決の為に行った対処方法(＝UDFを作成して活用する事で対応した)についてご紹介して行きたいと思います。 Redshiftに於ける『文字列型』←→『日付(時刻)型』変換の状況 当初この課題が出た時は『あ〜あれでしょ、関数一発で済む部分でしょここは』という感じで特に気に
はじめての Python for Lambda (Python Functions) - akiyoko blog
この投稿は 「今年もやるよ！AWS Lambda縛り Advent Calendar 2015 - Qiita」 の 2日目の記事です。 はじめに 10月の re:Invent 2015 にて AWS Lambda の大幅アップデートが発表され、Node.js と Java のみが対応していた Lambda Function が Python に対応したことで、世界の Pythonista が「これで勝つる！」と色めき立ったのは記憶に新しいところです。 aws.typepad.com さて、それから約2ヶ月が経ち、そろそろ試してみようかと思ったところ、意外と Python for Lambda (Python Functions) の記事が少なかったので *1、今回、自分でやってみたという次第です。 やりたいこと S3オブジェクトの追加や変更を AWS Lambda で検知して、Amazo
docker networkでマルチホストネットワークを試してみた(docker-1.9.0) - Qiita
概要 docker 1.9.0がリリースされ、docker networkコマンドがproductionでも使えるようになりました。特にマルチホストでのコンテナネットワークがdockerコマンドから作成可能になったので試してみました。 docker networkコマンドとは docker networkはコンテナに接続するネットワークを操作・管理するコマンド。 Docker Swarmと連携すればマルチホスト環境でも、コンテナ間でoverlayネットワークを構築してコンテナ間が通信できる。 マルチホストのコンテナネットワークを実現するツールや方法は他にもいろいろある。weave、etcd+flannel、runcher、bridge接続+GREなどなど。 環境 今回は2つのDockerホストVMをSwarmでクラスタ化し、docker networkコマンドでoverlayネットワークを
DockerでJupyterを起動するまで - Qiita
これは、Python Advent Calendar 2015の3日目の記事です。 何をするのか？ WindowsやMacで、いろいろなパッケージを含めてJupyter(IPython Notebook)を使おうとすると、インストールが大変です。そこで、今回は、Dockerを使って、Windows(64ビット)上にJupyterを起動するまでを、説明します。利用できるパッケージは、DockerHubをご確認ください。 サクッとやりたい場合は、Docker Toolboxを使う方法を見てください。 いろいろ試したい場合は、Ubuntuを入れてDockerを使う方法を見て下さい。 Docker Toolboxを使う方法 Docker Toolboxを使うことで、簡単にDockerを使えるようになります。 Docker Toolboxをインストールすると、下記のソフトウェアが使えるようになります
入社してから導入したインフラツールについて - Qiita
aibouと言います。最近では社員から本名で呼ばれることはマレです。 前職ではサーバサイドエンジニアとしてJavaプロダクトのお守りをしていまして、6月に入社して半年ほどAWSのオペレーションエンジニア（造語）の仕事をしています。括りにとしてはインフラ園児ニアです。 僕が入社するまでは、インフラエンジニアがひとりしかいない状態だったので、現状の設定・構成等々は色々空気を読みつつ、自動化出来るところは自動化していこうということで複数のツール導入しました。 今回はその紹介をします。 chefspec Gunosyでは、AWS Opsworksを利用してサーバの構築・デプロイまで実施しています。 Opsworksを使う以上、必ず使うのがプロビジョニングツール「Chef」です。 これまでウェイソイヤ（※）でトライアンドエラーによってレシピを作ってきたのもあり、レシピ自体の検証がかなり怪しい状態だっ
すごく長い行を読む場合の注意点 - Qiita
Goで 1行 1行読み取って処理をしたいときは, bufio.Scannerを使うのが推奨されています. しかし bufio.Scannerにはひとつ欠点があり, 長すぎる行が読めないという問題があります. 最長で MaxScanTokenSize(64 * 1024)バイトしか読めず, これ以上長い行を読ませようとするとエラーが返ります. この値は constで定義されているため変更できません. また NewScanner的な関数の引数にサイズを与えて独自のバッファサイズを設定するということもできません. そのため長い行を読む場合は今のところ bufio.Scannerを使うことはできません. 追記 開発版には bufio.Scanner.Buffer()メソッドが追加され, ユーザ定義のバッファが Scannerに設定できるようです. これを使えば上限がわかる場合は Scannerだけ
Lambda Functionのバージョン・エイリアス運用方針 #アドカレ2015 | DevelopersIO
丹内です。 掲題の通り、モバイルのバックエンドとしても期待されているAWS Lambdaを継続的に使う際に欠かせない、リリース周りについて考えてみます。 概要の説明 先日の勉強会での発表でLambdaをProduction環境にデプロイした例をお話しました。 しかしながら実務では「デプロイしたらそれっきり」というものは少なく、ビジネスやスケールの変化に伴いコードにも変更が発生します。 日々発生する変更を安全にデプロイし、問題があったらすぐロールバックできるということが、継続的なソフトウェア開発には必要です。 Lambda Functionにはバージョニングとエイリアスという機能が、これを使うことで、Blue-Green Deploymentのようにデプロイやロールバックが可能になります。 以下の図をご覧ください。 この図は、バージョニングとエイリアスを使った場合のデプロイ例を示しています。
Go言語で REST API + マイクロサービス - Qiita
Go その2 Advent Calendar 2015 2日目です。 今日書くこと APIを提供するためのコード APIを利用するためのコード マイクロサービス (･∀･)ｨｨｲｲ!! かもしれない やれなかった / この記事には書いていないこと 以下サンプルで利用するコードは こちら。 お手元で起動する1 ための手順は READMEをご覧ください。 APIを提供するためのコード Go言語には APIのためのよさげなフレームワークはありますが、 今回はそれらを使わずともかんたんに APIサーバが作れることをお伝えしたく。 ベースとなっている元ネタは A RESTful Micro-Framework in Go これなのですが ここから、やりたいことができるように変えていった結果をサンプルに、 どうすれば APIサーバが書けるのかを記します。 まず、APIのエンドポイントが実装すべきインタ
【大規模スマホゲー】Python未経験エンジニアとの最初の1ヶ月OJTメモ - Qiita
3. Python環境構築 Python の環境構築方法は複数存在しますが、便利なvirtualenv + PyCharm + bpython で構築する手順に沿って作業してもらいました。 virtualenv + virtualenvwrapper virtualenv を導入すると、複数のPython環境を簡単に構築・切り換えできるようになります。たとえばコマンド1つで Python2.7 + Django1.5環境と Python3.5 + Django1.7環境をworkon コマンド1つで切り替えられます。 # install sudo easy_install pip sudo easy_install virtualenv sudo easy_install virtualenvwrapper pip install pbr sudo easy_install virtual
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
