超予測力: 未来を予測する技術を学べる本 - 科学と非科学の迷宮
今年読んだ本の中で一冊を挙げるならば、間違いなく本書でした。 超予測力―ー不確実な時代の先を読む10カ条 (ハヤカワ・ノンフィクション文庫) 作者:フィリップ・E・テトロック,ダン・ガードナー出版社/メーカー: 早川書房発売日: 2018/05/02メディア: 文庫 本書は、非常に予測能力の高い人達はどのように予測をしているのか、ということに注目した本です。 米国では、情報先端研究計画局(IARPA)による、情報分析予測トーナメントが開催されています。 本書で登場する「超予測者」は、この予測トーナメントで非常に高い成績を収めた人達です。この超予測者達を調査し、その予測手法についてまとめあげたものが本書です。 その中から、特に汎用性が高く、すぐに使える手法をいくつか紹介しましょう。 予測手法1: 確率についての正しい理解 「天気予報だと降水確率80%だったんだけど、雨は結局降らなかったよ」
今年こそは自宅で運動を始めたい人のためのFreeleticsガイド(2020年版) - 科学と非科学の迷宮
2021年版のFreeleticsガイドができました！この記事より新しいので、そちらを参照してください。 shiumachi.hatenablog.com 新年明けて、心機一転してまた運動を再開しよう、という人がちらほら周りに増えてきたので、私が使い続けているトレーニングアプリ Freeletics について紹介します。 Freeleticsは、ユーザにとって最適なトレーニングプランを提供してくれる、いわゆるAIパーソナルトレーナーアプリです。数分単位の短い時間にきついトレーニングをこなす、いわゆる高強度インターバルトレーニング (HIIT) をベースにしています。 Freeleticsは、 自宅でできる 短時間 自分だけのトレーニングメニューを作ってくれる と、運動したいけど忙しい、という人に最適な特長を持っています。 このブログでも何度か紹介していますので、興味のある方は過去記事も読ん
Clouderaを退職しました - 科学と非科学の迷宮
2018年11月30日(金)は、Cloudera株式会社への最終出社日でした。2011年4月1日に入社したので、勤続日数は2800日でした。 Clouderaオフィス2011年 Cloudera Japan オフィス 2012年 日本にオフィスも同僚もいない状態からのスタートでしたが、今日、多くの同僚たちに見送られる形で会社を出ることができました。 退職するときは、最後の一人として会社を去るか、自分がいなくても会社が回るようになったときか、そのどちらかにしよう、と決めていました。皆が退職することを惜しんでくれましたが、私がいなくても会社は問題なく続いていくでしょう。私が理想とする結末にたどり着くことができて、本当に嬉しいです。 7年前、ごく一部の人しか知らなかったHadoopは、今や多くの人が知るソフトとなり、Hadoopに限らず、様々なデータ基盤を活用することが当たり前の時代となりました
HoloLens所感: 33万円で買える未来 - 科学と非科学の迷宮
HoloLensを購入しました。$3000(当時の日本円で33万円)と、決して安くはない買い物でしたが、届いてから丸一日経った時点での感想としては、購入の判断は正しかったということでした。 左右の物体は、サイズ比較のために置いたパワーブロックです。 元々VRデバイスが欲しくて、HTC Viveを購入するか、あるいは手でものを掴めるデバイスTouchが魅力的なOculusを買うべきか、それともコンテンツのラインナップが一番豊富になりそうなPSVRを買うべきか悩んでいました。 しかし、どれもゲームコンテンツがメインで、私の現在の多忙さを考えるとゲームメインのデバイスだとそれほど長続きしないだろうなあと思い、一番実用的なデバイスは何かと模索していました。 そんな中、HoloLensの存在を知り、値段の高さに驚きつつも購入してみることにした、というのが購入の経緯でした。 高いといっても、PSVRは
今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 - 科学と非科学の迷宮
Fabric は、Python 製のデプロイ・システム管理ツールです。 最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプルなツールで、今からすぐに使うことができます。 Fabric はデプロイ・システム管理ツールで、類似のツールとして Ruby 製の Capistrano があります。 Fabric の最大の特長は、シェルスクリプトを書き慣れた人がいきなり利用できるところです。 シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや sudo() メソッドで囲むだけで、使うことができます。 シェルスクリプトを使っていていると、いくつもの問題に遭遇します。 名前空間の管理 変数の扱い 複雑なデータ構造がない(せいぜい
PyFes LT 2012.08 で「使い捨て python コードの書き方」についてしゃべってきました - 科学と非科学の迷宮
使い捨て python コードの書き方 from Sho Shimauchi サポートの仕事におけるプログラミングというのは通常の開発と少し異なっています。 「1時間以内に数十GBのログを解析して問題を特定し対策を回答しなければいけない」などということはしょっちゅう発生しますので、ちまちま時間をかけてコードを書いていられません。 その代わりプログラムそのものをお客様に提供するわけではなく、解析の道具として手足のように使うことが要求されますので、基本的に品質は求められません。 そういう意味では、プログラミングコンテストに性質が近いかもしれません。あそこまでの高度なアルゴリズムを使うことは稀ですが。 先日 PyFes LT で話をした内容を要約すると、「作成スピード向上のためにもある程度のテストやコード管理は必要ですよ」ということです。 わずかでもテストを書いておけばケアレスミスの確認・修正時
これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
技術系メーリングリスト上で使える英語の習得法 - 科学と非科学の迷宮
前回バグレポートの提出方法というテーマで記事を書きましたが、今回は英語にフォーカスして少し書いてみることにします。 英語の学習法は数多くありますが、もし英語を学ぶ目的が「IT の技術系メーリングリストに投稿し、議論する」ことが目的でしたら少しだけ楽な方法があります。 それは、技術系メーリングリストを片っ端から登録し、辞書を引くたびに検索をかけ、自分独自の例文集を作成することです。 ある特定のクラスタ内で他人とのコミュニケーションをとるとき、そのクラスタ固有の用法が生まれることがあります。例えば日本語においても、ITの技術系クラスタで使う英語と他のクラスタ、例えば家族、大学の友人などの集団に属しているときに使う言葉は異なります。「割り当てる」という単語は、IT 系のクラスタでは頻繁に見かけますが、この単語を家族間で使うことはあまりないでしょう。方言なども、あるクラスタでは多用するが他のクラス
atime関連マウントオプション使用時のディスク性能比較 - 科学と非科学の迷宮
要約 ITPro 掲載のチューニング記事に書かれていた、 「mount オプションに noatime オプションを付加すると読み込み速度が倍になる」 という情報について検証を行いましたが、検証方法や考察に誤りがありました。 調査の結果 Fedora8, Fedora9, Ubuntu8.04 LTS ではデフォルトで relatime オプションがついていることがわかりました。 検証方法を read() システムコールの実行時間測定という方法に変更し、あらためてデフォルト、noatime, relatime マウントオプション付加時の性能検証を行ったところ、私の環境(Core 2 Duo(2.2GHz),メモリ2GB,Fedora8)では noatime, relatime マウントオプションを付加することで、デフォルト時の実行時間の半分で read() システムコールを実行することができ
hadoopのバージョン表記について - 科学と非科学の迷宮
(2012/01/10 追記) Cloudera 社から hadoop 1.0 に関する公式ブログ記事が公開されました。そちらの方がより分かりやすく正確に書いています。まずはそちらをご覧ください。 先日 hadoop-1.0 がリリースされたことが巷で話題になっています。 話題になること自体は構わないのですが、この 1.0 が実は 0.20 系の派生だということはあまり理解されていないように見えます。 1.0.0 は従来のバージョンナンバリングポリシーで言えば 0.20.205.1 に相当するものです。 つまり、最新版 0.23 で採用された MapReduce2 を初めとする様々な新機能はこの 1.0 には入っていないということです。 わかりやすく図にしてみました。 よって、新機能を試したいとかいう人には全くおすすめしません。 また、上記の通り既存のバージョンとなんら変わりがないので、た
英語によるhadoop系メーリングリストへのバグレポート提出ガイド - 科学と非科学の迷宮
hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 27日は誰もいないようなのでこれを27日とします。 id:showyou さんの担当でした。28日目とします。showyou さんすいません 基本 テンプレ的に書くとこんな感じ。 「本来は……であるべきだが、実際にはこうなっている」 前半は should を使い、but/in fact/however/while などを使って逆接でつないで次の文を書く。 以下の項目があるとレスポンスしやすい。 項目名 内容 概要 数行程度で何が起きたか書く 症状 特に、ログに例外が吐かれてたら必ず貼り付けること 直前にどんな作業をしていたか 何か特殊な作業を行っていたら、その手順を書く 再現性の有無 そのまんま 再現方法(わかっていれば) そのまんま 可能なら、該当 conf ファイ
ロードマップよりポートフォリオ - 科学と非科学の迷宮
最近、こんなことを聞かれました。 「shiumachi 君、人生のロードマップとかそういうの持ってないの？」 「ありません」 と即答すると、「夢がないねぇ」と不思議そうな顔をされましたが、ないものはしょうがありません。 小学生だか中学生の頃に、「人生の計画を書いてみよう」という授業がありました。22才で就職して、27才で結婚して、……みたいなことを書いてみるという授業です。残念ながら、今の時代には全く役に立たないです。 ロードマップを書くような人生設計って自分の生活基盤が安定していることを大前提にしているのですが、残念ながら今の時代はそんなものは幻想なので、ロードマップを持つ意味は全くありませんし、それに依存するのは非常に高いリスクです。例えば、私は年金をもらえるなんて全く思ってないので、働けなくなってお金が尽きたら死ぬしかないわけです。会社どころか国だってこの先も存続するのかどうかわから
Hadoop Conference Japan 2011 参加メモ - 科学と非科学の迷宮
私の記事は個人的なメモで、間違った部分も多いため関連リンクを併読することをおすすめします。 特に今回は twitter と並行して読み書きしてたので、結構書き漏れてる箇所多いです。 網羅性とか正確性は期待しないように。 概要 イベント名 Hadoop Conference Japan 2011 URL http://hadoop-conference-japan-2011.eventbrite.com/ 日時 2011/02/22 11:15 - 18:00 場所 NTTデータ本社ビル内 カンファレンスルーム 関連リンク twitterハッシュタグ #hcj2011 Ust http://www.ustream.tv/channel/hugjp http://www.ustream.tv/channel/sonwupao-live Togetter http://togetter.com/
2010年まとめ:データと向き合った一年 - 科学と非科学の迷宮
はじめに:2010年弾丸ツアー 今年一年を一言でまとめると、「データと向き合った」一年でした。 2009年の終わり、私は The Datacenter as a Computer の読書会を通して、分散システムによる大量なデータの処理がこれからの時代にもっと重要になるということを学びました。 The Datacenter as a Computer 読書会 その流れを受け、1月には id:marqs や id:daisukebe とともに「集合知プログラミング」の読書会を開き、データマイニングの基礎を勉強しました。 大量のデータを扱う前に、小さなデータを扱う術を身につける必要があると思ったからです。 Programming Collective Intelligence 100111View more presentations from Sho Shimauchi. 第1回集合知プログラ
Yahoo!のリアルタイムMapReduce「S4」メモ(1) - 科学と非科学の迷宮
(2010/11/06) 続き書きました 自分用メモ。 注意:「リアルタイム」について Yahoo! からの最初のリリースで「リアルタイム」MapReduce と書かれていたので仕方なくそう書いているが、人によっては聞いただけでキレるので注意すること。(特にOS屋さん相手のとき) 参考:リアルタイムシステム - Wikipedia ちなみに下記公式サイトには "Realtime" という文字は一切出てこない。 リンクまとめ(紹介用) 公式 S4.IO 日本語のニュース リアルタイムなHadoop？ 「Real-Time MapReduce」を実現するS4、オープンソースとしてYahoo!が公開 － Publickey Yahoo!からの第一報 Page not found | Yahoo Labs リンクまとめ(技術者用) wiki Tutorials "getting started"
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
誰もがドラえもんになれる〜世界を変えるデザイン展〜 - 科学と非科学の迷宮
世界を変えるデザイン展に行ってきました。 発展途上国の人々や、貧しい人々の抱える問題を解決してきたデザインを持つ製品が展示されていました。 それらのほとんどは、iPadとか3D映画のような、最先端の科学技術を駆使した製品とは全く異なる、とても簡素なものばかりです。 例えば、水の殺菌装置というのがあります。 ただ単にアルミの板にペットボトルをいくつかくっつけて並べただけのものです。 このペットボトルの中に水をため、日光にさらしておけば殺菌ができる、という仕組みです。 その値段はたった数ドルと非常に安価です。 しかし、たったこれだけのことで非常に多くの人々の水の衛生環境を改善できるのです。 最先端の科学技術ではないかもしれません。 しかし、コスト、簡便性、耐久性、現地生産の可否などを考慮した上で生み出された、最先端のデザインがここにありました。 写真を撮ってきましたのでいくつか紹介しましょう。
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
The Datacenter as a Computer 読書会 - 科学と非科学の迷宮
概要 Google が 2009年3月に公開した、クラウド・コンピューティングにおけるデータセンタのデザインに関する入門書「The Datacenter as a Computer」の読書会を実施しました。参加者は一ヶ月に渡り、各章を分担してプレゼンを行いました。ここでは各参加者の資料へのリンクをまとめるとともに、参加者の一人である私の感想を書かせていただきました。 教材 テキストは書籍として購入することも可能ですが、pdf としてフリーで公開されています。 (2011/03/07 修正)いつの間にかフリーではなくなっていたようです。読みたい方は日本語訳である「Googleクラウドの核心」をお買い求めください。 http://www.morganclaypool.com/doi/pdf/10.2200/S00193ED1V01Y200905CAC006 参加者 id:marqs, id:d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://shiumachi.hatenablog.com/entry/20100830/1283160326