ターミナルで作業しているとあのコマンドどうやって使うんだったけ？という時がしばしばある。通常、そういう時はmanコマンドが使われることが多いが、cheat.shが便利なので布教してみる。 manページのつらみとcheat.shの優位性 コマンドの使い方を調べるときにおそらく一番有名なのはmanコマンド。Unix環境ではビルトインで入っており、 man <コマンド名> と叩けば網羅的な情報が出てくることや、日本語翻訳があることなどから入門書には必ず紹介されている。 一方、基本コマンドオプションの羅列で、コピペ可能な一番よく使われるオプションの組み合わせはのっていないことも多く、気づけばググっていることもしばしば。 cheat.shを使えばインストール不要でチートシートが手軽に取り出せる。 使い方 必要なものはcurlだけなので、Mac環境ならbrew install curlなどでインストー

技術書典4の本をいくつかざっと斜め読みしたのでその感想でも。本当は買った本の感想全部書こうと思ったが途中で力尽きたので悪しからず。 技術書典とは 技術書典は技術書に特化した同人誌即売会。すでに4回開催されており、10/8に第5回が開催される予定。 中々の盛況で以前行った際には開始時刻にすでに行列があり、まわったさいにはもう売り切れという本も多々あった。作者とのほんわかした交流というよりは戦場。 最初の方の回では物理本Onlyが多かったが、最近ではBOOTHなどで電子版も売られているものも増えてきた。今回は技術書典4の本を中心にいくつかざっと読んでみた。 DNSをはじめよう　～基礎からトラブルシューティングまで～ https://booth.pm/ja/items/812516 てっきりBINDなどのDNSサーバーを自分で運用する本かと思ったが、ドメインの買い方やRoute53の設定の仕方の

KaggleのTalkingDataでSQL可視化ツールを比較した際のメモ。 前書き 普段業務ではRedashからPostgreSQLにクエリーを投げているが、他のデータ分析ツールの組み合わせも試してみたいなと思っていたところ、ちょうどTalkingDataのコンペがやっていたので、そのデータを使い比較してみた。 Embulk + PostgreSQL + Redash (on local Mac) EmbulkはTreasure Data主導で開発されているデータ転送ツール。同じくTreasure Data主導で開発されているFluentdは主にlogデータの転送に使われるが、Embulkは主にMySQLなどのDBの内容を転送するのに使われる。 スキーマ推定機能もあり、推定用のseedファイルさえ作れば embulk guess コマンドで転送用の設定ファイルが自動作成できる。 # se

1年半前にBTOパソコンのGPU入れ替えた際のメモ。 中古のBTO PCのGPUを入れ替えるという選択肢 Deep Learningの学習をする際にCPUでやるのは速度の面で現実的でなく、デファクトスタンダードはNVIDIAのGPUのマシーンを使うこと。 最近では随分GPUのクラウドインスタンスも増えたが、GPUは本質的に発熱量が多く、データセンターで１点管理するには不向きで、長時間学習させているとコストがかさみがち。そう行った際に、自宅にGPU環境があるとクラウドより割安になる場合もあるが、組み立て済みのマシンは初期費用20万円以上するのでまあお高い。 自作するという選択肢もあるが、パーツで買うと量産効果きかないのか割高になる場合もある他、Macに慣れたゆるふわ自作PC勢には0->1組み立てはなかなか厳しい。 マシンに対する見解は色々あり、ググると 1) クラウド派 2)組み立て済み購入

中国語学習ネタの続き。 単語アプリをやっていたら日本語で読むと誤解を生じそうな中国語をいくつか見つけたので紹介してみる。手紙=トイレットペーパーみたいなの。 衣 牛仔裤 niúzǎikù: ジーンズ 確かに農家はジーンズはいてるイメージあるけど。まさか子牛の毛皮で作った服だったとは 食 零食 língshí: おやつ 全く美味しそうに思えない。おやつにカンパンとか食べるの？ 壶 hú: 急須 花とか飾ってあった容器でお茶とか飲みたくない 土豆 tǔdòu: ジャガイモ 今まで土でできた豆を食べてたのか 住 隔壁 gébì: 隣 隔たりがあってもっと離れてそうだけど隣 人 太太 tàitai: 奥さん 奥さんは太い太い。男性既婚者は試しに使ってみては？なお、その後どうなっても僕は責任取れません。 老婆 lǎopo: 妻 妻は老いたババ 宝贝 bǎobèi: かわいい子 かわいい子は宝 工程師

Kaggle Tokyo Meetup #4に参加しました。 主催者によりすでに資料も動画もきれいにまとまっているので簡単に感想でも。 サンタコンペで二度全完した話 サンタと子供をマッチングして幸福度を最大にする問題。双子制約により一見とくのが大変そうだが、制約を無視して一度最小費用流で解いた後に分岐限定法を適用することで最適解が求まる。 Rustが正式に128bit対応したのはつい数日前なので時系列合わないなあと思い懇親会で聞いたらNightly build使ったとのこと。つよい。 「猫でも取れる金メダル」「猫しか取れない金メダル」 Rossmanコンペの解放をベースにRecruitコンペに挑んだ話。予約データは未来になるほど量が減衰するため、日毎、週毎にモデルを作成した。 リーダーボードのPublicとPrivateの時系列範囲を元にvalid位置を決めるやり方は参考になった。Kagg

DL4USを受講し、無事卒業したのでその感想。 DL4USとは DL4USは東大松尾研究室が提供している無償オンライン教育プログラム。公式サイトによると"３年間で1,000人のDeep Learning技術者を育成し，人工知能分野における日本の競争力を向上することを目的としています"とのこと。 UdacityやUdemy等の動画講座も増えてきているが、DL4USはあくまでJupyter Notebookに書かれた講義資料を解いていく形式。iLectというＷebブラウザ上の簡易仮想デスクトップ環境で、割り当てられたGPU時間の範囲内でノートブックを動かし学習を進めていく。 人気のため受講には簡単な足切り試験があり、前提として基礎的なNumPyの操作ができることが要求される。 全体の流れ 講義は0-7の8章構成。課題もあり、途中2回のコードの提出と、最終課題としてレポート提出が必要。フレームワ

第45回コンピュータビジョン勉強会＠関東に参加しました。今回はLT会。 CycleGanで色々試してみた PSDファイルのレイヤーをパースして画像の感情をstyle transfer。happyとscaryでCycleGANをやった。ICCV 2017のBAM データセットを使用。データはBehanceからクローリングして作成されており、コンテンツ、表現媒体、感情について分類されている。 SNOW画像の脱SNOW化。100枚程度しかデータが集まらなかったのでdlibのホモグラフィー行列を使ってDATA Augmentation。Snowは上手く行ったりいかなかったり。 ROSってなに？ 20180421_CV勉強会_LT from sumisumith COBOTTAはROSで動く卓上ハンドロボット。YOLOv3も動く 開発合宿でmindstorm(EV3)が有名だからROSでやってみよう

言語・音声ナイト（エンジニア向け）に参加しました。 深層学習時代の自然言語処理ビジネス 深層学習時代の 自然言語処理ビジネス from Yuya Unno 実は自然言語処理はそんなに使われていない 2012 木構造 2013 word2vec 2014 LSTM(元は1996) 2015 注意機構 2016 畳み込みネットワーク、記憶のモデル化 深層学習は連続的なデータのほうが得意。誰一人機械翻訳にお金を払っていない なぜ言語処理は役に立てないのか？ 人間にとって簡単すぎる 機械にとっては難しすぎる => 機械に有利な状況が少ない 使う場面が変わることで今までの精度でworkするケースが出てくる どちらかというとビジネスよりの話で技術的な成分が少なかったので残念。本買えってことですね。 深層学習に基づくテキスト音声合成の技術動向 深層学習に基づくテキスト音声合成の技術動向_言語音声ナイト

CDN Study (Akamai/Fastly)に参加しました。 イントロ: CDNの変遷 Edge数こそ正義 => Hosted Libs(url) => IaaS => Amp CDN => Proxyとしてのポジション 中の人に聞いてみよう。Akamai, Fastly CDNの過去と現在 1995 Tim Berners-Lee 「中央集権モデルは破綻する」 Akamaiの創業者(=現CEO)はTimの同僚 Akamai 1700 region Fastly 50 regions、多いところでも他は3桁 DNS: Akamai Dynamic Mapping (A Record)。Akamaiの特許は2019まで。 内部は独自開発のHTTPサーバー。XMLベースのDSLでロジックを組む。ドキュメントが1500ページあるため、たいていのことはできる。 CDNベンダによる標準化への参

CryptoZombiesを受講しました。 CryptoZombiesとは CryptoZombiesはLoom Networkが制作したSolidityの学習サイト。学習といっても講義資料が並んでいるというよりはゲームを通して学ぶ形式。同じゾンビものでいうとRAILS FOR ZOMBIESがすでにあり、多分に影響を受けていると思われる。 ソースはgithub上にホストされており、元はもちろん英語だがプロジェクトがローカライズに力を入れているため日本語でも受講できる(数日前に最後の6章が和訳された)。 全体の構成 基本はSolidityというJavaScriptに似たスマートコントラクトをかくためのDSLでDAppsゲームを作りながら学んでいく。ゲームはタイトル通り、ゾンビを合成、捕食することができるごく単純なカードゲームのようなもの。 ゾンビファクトリーの作成 Solidityの文法の

Tokyo GAS on GCPUG 2018 Springに参加しました。 What's new in Apps Script by サントリー 途中から参加。Google Apps Scriptの歴史の振り返り 2016 無の年 Android Add on追加 App Maker Stackdriver Loggingで出できるように 2017 急に機能追加 Gmailアカウントに認証がでるように Stackdriver error reportingがサポート GMail add-on (Gadget終了に伴い), サイドバーに追加できる manifest, deploymentsが追加, gasの環境設定ファイル Flexible Quota, 30分まで実行時間延長(GSuite Business) 2018 Apps Script APIの登場 Dashboard, Cont

AKIBA.swift × エウレカ コードレイアウト勉強会に参加しました。 Auto Layout 以外の選択肢(仮) Pairsのグローバル版での事例。レイアウト以外のロジックはなかなか高速化できない。 AutoLayoutは制約の数が増えると遅くなっていく => UIスレッドがブロックされる時間が長くなる AutoLayoutがボトルネックのケース => 画面遷移の時など Yoga: C++で3000行。Yoga by ReactNativeの方がAuto Layoutより速い可能性がある コードレイアウトを綺麗に書く(仮) Pairs JP版の事例。Interface Builderを使っていない、Auto Layoutは使う Storyboard/xibのreviewつらい。Reveal: ランタイムViewデバッグツールで可視化できる。 レイアウトを、もっと Swifty に（

Web Working Group 「PWAに備える３ヶ月」 vol.1に参加しました。 Progressive Web Apps: WebのInstallabilityのおさらい 途中からの参加 ChromeのデベロッパーツールのAuditからLighthouseが使える WebのPush通知は評判が悪く、有効化してもらう目的などを伝えるとよい iOS 11.3での追加はService WorkerとWeb ManifestのみでPush通知はない Service Worker とは何者か Service Workerとは何者か from Ryu Shindo 発表者は日本Androidの会理事 Service Worker対応状況 (now => iOS 11.3) 日本： 43.12% => 80.21% グローバル： 75.41% => 88.01% モバイルに対象を絞れば99%

SONG MAKERを触ってみたのでその紹介。 SONG MAKERとは SONG MAKERはChrome Music Labに追加されたWeb上で動くDAW(Digital Audio Workstation)。CubaseやLogic Proの超簡易版がブラウザ上で動く。打ち込みの外、マイク入力もサポートしている。 おそらくはSketchRNNよろしくここでえたデータセットを元にMagentaプロジェクトで活用されると思われる。 仕様としては 小節数に制限あり 音階は固定 再生は頭からのみ 使える楽器はメロディー１つと打楽器1つのみ(計2楽器) MIDIのインポート/エクスポート機能なし。 長音が使えない。 となっており、かなりつらい。特に長音なしがつらい。せめてMIDIのインポート/エクスポート機能があれば選択肢も増える気がする。 楽器 使える楽器は以下。Stringsは一般的な弦

ステアラボ人工知能シンポジウム 2018に参加しました。 知識ベースを活用した自然言語処理の手法とその応用 知識ベースを活用した自然言語処理の手法とその応用 from Ikuya Yamada Entity Linkingでは曖昧性の解消、メンションの検出をする必要があり、それぞれWikipedia2Vec、古典的な固有表現抽出でできるがメンションの検出は背景情報が重要であり、実際のコンペでは前処理として固有表現抽出せず曖昧性解消と同時に解いた Question AnsweringのコンペではEntity Linkingの特徴量を追加、Entityの型予測のネットワークを追加をすることで精度が上がった 深層学習による Kaggle 画像分類コンテストへのアプローチ 前半は過去発表のあったState Farm Distracted Driver Detectionの解説を少し更新したもの。後

Developers Summit 2018に参加しました。 実況パワフルモブプログラミング Rakutenでのモブプログラミングの事例というかライブコーディング。 本当に複数人で同時に１画面でプログラミングをしていた。普段は4~6人でやっているとのこと。 教育目的ならいいけど実務だと独立作業の合計と比べると総アウトプットで負ける気もした。 楽天のような大企業ならともかく、スタートアップで3人いたらWeb, Android, iOSと別作業にあてれるというか。 あと、コンパイル言語だと待ち時間多そう。 Botで専属トレーナー・栄養士を雇う世界が来ています。先進の擬人化技術を今日、体験しよう。 【全員参加型】Botで専属トレーナー・栄養士を雇う世界が来ています。先進の擬人化技術を今日、体験しよう。 from LINE Corporation LINEでのチャットボットの事例。諸々の制約でハー

深センの話だったり、科学・工学分野の論文数トップだったり、最近Tech業界での話題に事欠かない中国。きっと自分の認知の範囲外で中国語でしか書かれていない論文とか出ている気がする。 我々は中国に学ばなければいけないのです！ というわけで中国語学習メモ。 (直感×アルゴリズム♪の一シーン) 中国語の効率的な学び方 語学を学ぶために重要な要素は２つあると思っていて一つが教材で2つ目がモチベーションの維持。正しい課題を継続的に解くことが大事。スタートアップと一緒ですね。 教材については中国語に限らず今はCEFRベースの教材に従っておけば間違いないと思う。レベルが6段階に階層化されており、必要事項が網羅されている。中国語で言えば一番近いのがHSK。 効率的な第二外国語学習に関する研究(SLA: Second-Language Acquisition)では「インプット仮説」の有用性が以前より立証されて

Mackerel Meetup #11 Tokyoに参加しました。 The 2018 Mackerel Product Roadmap Mackerelには10年以上の歴史がある。リリースしてから180週連続で機能追加を継続中。導入/UIが簡単でわかりやすく、マルチクラウドで使える。 5台までFree。500 Startupsと連携しており、提携スタートアップは割引がある。 2018年は一定期間内のアラートをまとめられるアラートグループ、コンテナの正式サポート、カスタムダッシュボードv2、機械学習の活用(異常検知)を予定している。異常検知は混合ガウス分布を用いる。 PrometheusのAffinityもサポート予定。 ちなみにIDCFクラウドだと月額料金無料、監視対象のサーバー台数無制限 AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側 1分粒度の保存期間が460日

React Native Meetup #7に参加しました。 Swagger駆動開発と最新のRedux構成 API開発の難しさにはフォーマット、バージョン管理、実装待ちがある。それぞれOpen API、 Git管理、スタブサーバーが解決策でSwaggerならできる。 関連ツールが多くハマりどころも多いが、Swagger Editor, Swagger Codegen, Swagger UIが標準ツール。 最近採用事例が急に増えてきた印象。実際の流れがわかってよかった。 CodePush と Circle CI でリリースを高速に回す 資料 CodePushはOver the Airのツール。アプリのJavaScript部分を好きな時に更新できる。 App Centerに移行されたが緩めの移行。Rollback機能もあり ReactNative開発を高速化させる技術 全員でUdemyのRea