ワークスタイルとチームのための情報ブログメディア
みんなのウェディング 高井です。 先日、当社で開発した embulk-filter-query_string という Embulk のフィルタープラグインをオープンソースとしてリリースしました。今回はその Embulk のプラグインをつかって、検索ログを抽出する方法を紹介します。 Embulk のユースケースとメリット たとえば、下記のような一般的なアクセスログがあったとします。このログは、ダミーのログを生成するスクリプトで生成したもので、よく利用される Combined Log 形式のものです。 200.198.91.50 - - [09/Mar/2016:06:34:01 +0900] "POST /search/?c=Software+Games HTTP/1.1" 200 101 "/category/toys" "Mozilla/5.0 (compatible; MSIE 9.0
MicroservicesIntro to Microservices, Part 4: Dependencies and Data SharingLearn the basics of dependency management and data sharing for microservices architectures In this post in the microservices series we will study how to manage inter-service dependencies and how to deal with implicit interfaces in the form of data sharing. We will also extend our existing examples from the microservices seri
Microservices are small services with independent lifecycles that work together. There is an underlying tension in that definition – how independent can you be when you have to be part of a whole? I’ve spent much of the last couple of years trying to understand how to find the right balance, and in this talk/tutorial I’ll be presenting the core seven principles that I think represent what makes mi
個人で(≒会社とは別に)サービスやOSS開発することは、会社で身につけられる以上のスキル、実績が得られたり、コミュニティを広げたりするなどメリットが多くあります。 tomoima525.hatenablog.com 自分自身もこれまでいくつかサービスやOSSを開発してきたのですが、一番課題なのが、モチベーションの継続です。最初はテンション高く開発しますが、段々とやる気が下がってきます。一旦リリースした後のメンテも面倒です。そうしていくつかのサービスをクローズしてきました(涙)。 けど、これってとてももったいないです。そこで意識して改善した結果、TwitCalというカレンダーアプリを開発期間も含めると1年間以上継続してメンテ、機能追加を続けられました。今回は自分がどうやって取り組んできたかを整理してみたいです。 ※ 飽きっぽい性格だったりなかなかサービスを継続メンテできない方向けです。たった
米国政府の管理下にあったインターネットが管理委託先の非営利団体「ICANN(アイキャン)」に移管され、完全民営化されることになった。モロッコのマラケシュで10日(現地時間)まで開かれていたアイキャンの会合で、管理移管についての理事会提案を参加国の全機関が承認した。今後米議会の審査を経て、米政府のアイキャンへの関与が終了する見通し。アイキャンは特定政府の関与から離れて世界中のインターネットの管理・調整業務全体を担うことになる。 インターネットは米国防総省傘下の大学間ネットワーク「ARPAネット」の技術を基に発展した経緯から、米政府がアイキャンに委託して運営されてきた。しかし、商用ネットワークとしてインターネットの活用が拡大するに従い、各国から米政府の管理に対する反発が強まっていた。 それを受け、米商務省の国家電気通信情報庁(NTIA)が2014年にインターネット管理業務の民間移管方針を表明し
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます クラウドへの不安要素としてよく挙げられる項目に「セキュリティ」がある。充分に理解し尽くしている既存のオンプレミス環境が、その方の安全基準になっており、パブリッククラウドにデータを置くことに対し漠然とした不安があるのだろうと想像する。要するに「クラウドがよく分からない」ということだ。 この第5回では、アイレットが実践しているセキュリティ対策を紐解いていく。きっと「オンプレミスはセキュリティが高い」という考えを改めることになるだろう。 政府や金融機関など、高いセキュリティ基準を維持する企業はごく一部だが、あなたの所属する会社は、それらと同等もしくはそれ以上のセキュリティを確実に担保していると言えるだろうか。おそらく頷ける人はそう多くないだろ
I want to run a bunch of applications or containers on a single machine. I would like to isolate usage of the following resources: CPU Memory I/O (network, disk, etc) Ideally, I would like to achieve proportional usage of all resources, so that if some container(s) are idle, others can take advantage of them. Static reservations (e.g 10% per 10 apps) are not ideal. I know we can do this for CPU, b
ぐうたらプログラマの不定期更新日記。 最近さっぱり記事を書いていませんが、近々再開予定です。サークル名に合わせてタイトル修正しましたが、まだどちらにするか悩んでいます。 相変わらず、次回勉強会へ向けての資料の下書きメモ。 今日は脱線コーナー initから先の勉強の時点で、Androidのエミュレータにadb shellでつないだ上でpsした時のプロセスをtreeにした際に、kthreaddはカーネルのお話だからとすっ飛ばしていたら、日曜夜22時からのUst講座「V7から始めるUNIX講座」において、 生徒の@pakuqiさんが講師の@magoroku15 先生 に「PPIDが0のプロセスがいるんですが」なんてkthreaddの質問をしていてタイムリーだなぁと思ってしまいました。まぁ、先日の講座はV7におけるinitのお話で、質問はUbuntuに関してでしたので、同じところに行き着くわけです
Lead Software Engineer Glauber Costa August 30th, 2012 – Linuxcon The failure of Operating Systems, and how we can fix it. 2 2 Opening Notes • I'll be doing Hypervisors vs Containers here. But: 3 3 Opening Notes • I absolutely don't believe Hypervisors are useless. • I will also not say Containers are better than Hypervisors (or vice-versa). That is dependent on your use-case, and the comparison b
「いつか勉強しよう」と人工知能/機械学習/ディープラーニング(Deep Learning)といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、本質的な理解等はさておき、とにかく試してみるということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ/フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種(DeepDream、chainer-gogh)。 (DeepDreamで試した結果画像) タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕はハ
いろんなサーバーにsshしてちょろっと設定を確認したりするときってあると思います。 ただその時にllがつかえなかったり、vimのタブが空白4つがいいのに8文字分の広さのtab文字だったりして、ちょっとずつストレスが溜まっていきます。 やっぱりserverfaultでもおなじ苦労をしている人がいました。 vim - How to bring .vimrc around when I SSH? - Server Fault http://serverfault.com/questions/33423/how-to-bring-vimrc-around-when-i-ssh ただここにあるようにdotfilesとして保存して先でcloneするのもとても面倒くさい。第一各サーバーへ変更を入れないといけないし。SSHの秘密鍵みたいに携えていきたい。 そこで探していたらsshrcというツールを見つけて
Robin Harris (Special to ZDNET.com) 翻訳校正: 石橋啓一郎 2016-03-14 06:00 2月に開催されたカンファレンス「Usenix FAST 16」で、「Environmental Conditions and Disk Reliability in Free-cooled Datacenters」(フリークーリング方式を採用したデータセンターにおける環境条件とディスクの信頼性)と題した論文が最優秀論文賞を受賞した。執筆したのは、ラトガース大学のIoannis Manousakis氏とThu D. Nguyen氏、GoDaddyのSriram Sankar氏、MicrosoftのGregg McKnight氏およびRicardo Bianchini氏からなる研究グループ。この研究は、フリークーリング環境において室温や温度変化の大きさ、相対湿度など
はい、また思いつき投稿です。 経緯を知らない方のためにもう一度。 発表のためにAAAI-16に来ています。知らない人も多いかと思いますが、IJCAIとならび、AIの国際学会で最も難関と言われる学会です。個人的には自分もA*の改善論文でPaper Award 密かに狙っていたのですが、Bidirectional Search 論文に取られてしまいました。 今日は、幸運にも MIT / CSAIL の Brian Williams 先生とお話することが出来ました。 (100kgを超してそうな巨体です・・・でもイケメン) この先生は、かの有名な宇宙探査機 NASA Deep Space 1 にCommon Lispで作ったシステムを載せ、成功に導いた先生です。 Common Lisp のリアルタイムコンパイル機能のおかげで、運用中に発覚したバグを(たしか木星を過ぎたあたりで) REPLにログイン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く