サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
猫
shinh.skr.jp
_ 次元の呪い 次元が増えてくると、超体積のほとんどが表面になる、みたいな話があるけど、それで機械で平均的に作った顔が美人、というのが説明できる、という話が面白かった。2,3次元の正規分布のグラフを想像すると、平均顔は美しくも醜くもないのでは、と思うけど、多次元だとほとんどの人は表面付近にいるので、中心にいる人はレア、みたいな話 mixture of expert のトレーニングで、勝手に expert が役割分担するというのをあまり信じていなかったのだけど、これも多次元なので、適当にやっても各 expert が個性を持つことになる、ていう説明ができるのかーと。無くて七癖、的な…… (17:13)
_ 人が欲しいという話 https://twitter.com/shinh/status/1767570261937971560 のように、人増やした方が良い気がする理由を書いてみる。ぼく自身が最近やってることとして、やる気がある順に 質問に答える、会議や雑談やアジテーションをする コンパイラが賢くデータ配置をする コンパイラのエラーメッセージを良くする Matlantis というやつを MN-Core で動かすやつ 次チップの設計をながめてなんか考える LLM 関係のサムシング CI のログをながめて考える なんてことがある。5年前に比べると、スコープが狭くなった部分もあるんだけど(例えば torch に移行したことで python から計算グラフを出す、とかを全部自前でやる必要は消えた)、色々と動いたり動かなかったりしていて、具体的かつ、割と重量のあるトピックがたくさんある、みたいな印
_ LLM に思ったこと しばらくバブルが続きそうで、労働者としては何より。個人の興味的には AI バブルは終わって別のバブルが起きて欲しかった。残りはポエム的な話 NMT を見て、「あ、これは面白そう」と思ってチーム移って、ニューラル翻訳について思ったのは https://twitter.com/shinh/status/797982306564587521 にあるように、「マンガに出てくるような学位とか取ってる系の7歳くらいの子。活字中毒でなんでもよく知ってるけど、発言に困ると「ニュースぽいから【ロイター】てつけちゃえ」みたいな知ったかぶりをはじめる」だった。データ量やモデルが良くなったのはあるけど、この認識は LLM に至ってもあまり変わっていない。いやまぁこれだけのことができるようになるんだなぁ……という感嘆はもちろんあるし、 ChatGPT 普通に使ったりしているけど 結局、論理
_ Googley まだ生きているかはわからないけど、 Googley という言葉があった。意味はかなり多義で、かなり恣意的に運用される微妙な語ではあったけど、「Google 的な良いカルチャーに則っている」くらいに思えば良いと思う。僕は Googler とか Googley とか、個人個人の能力や成果でなく、集団に属していることに誇りを感じるような言葉が総じて好きでないので、あまり使わないようにしていたけど、 Googley なものを尊ぶカルチャーは好きだった 僕が入ったころのグーグルは、「とにかくユーザにとって良いものを作れ、そうすれば金はついてくる」というのを本気でやっていた、と思う。最近ではあまり検索結果と区別がつかない、グーグル検索の出す広告の表示は象徴的なものの一つだと思っている。広告と検索結果の区別がつきにくい方が儲かることは自明だった。けど、かなり長い間、それをやらなかった
_ デバッガ https://twitter.com/shinji_kono/status/1332577164089126912 デバッガについては思うことがあって、暇になったらあそびたいと思ってるのだけど、あんまそういう感じでもないので、思ってたことを思い出しつつ書いてみる。 C/C++ の類のデバッガって、デバッグされるプロセスにちょっかいをかけて、なんというか勝手に色々やるのが基本になってる。なんかこれが微妙だと思っていて、クラッシュからの回復とかはともかく、基本的な情報を取ってくるとか関数を呼ぶとか、そのくらいはデバッギ自体にやらせると良いのじゃないか、と思ってる。デバッギ自体がデバッグされるのに協力するイメージ。あるいはバックドアみたいなものを仕込んでおくという考え方でもいいかもしれない。 そういうことをやろうと思うと、特殊なライブラリをリンクしておかないといけないのではないか
_ bump allocator について考えてた。コンパイラとかは最初にガーと alloc して、作ったデータ構造は解放せず、解析の中に解析用のデータ構造を alloc/free する、というパターンになる。これは割と GC 泣かせなアクセスパターンであることが知られている……らしい。なんか世代別があれば良いような気がするけど やろうと思えば一瞬で作れるからだろうけど、案外実装が転がってないような気がする。昔からあるものとして、 libiberty の obstack や、 apache だと apr_pool だっけ、そんなのがある。まあ GNU とかいかにもコンパイラぽい最初にガーと alloc パターン多そうなのと、 apache もリクエストごとに確保した領域を途中で捨てる必要がないのはよくわかるので、まあそういうところにあるのはとてもよくわかる bump allocator に
_ duck typing なんというか、そのうち list でも tuple でも ndarray でも良いみたいな感じになったあげく、そのくらいなら別に良いことも多いんだが、 data iterator みたいなのが来ると終わりですね、みたいなことになりがち。そしてそういう関数に str を渡したら破滅する すごい generic なので dict でも list でも、それらの tuple でも受けれますよみたいな関数を作ると、まあそれも大混乱でたいてい考え忘れがある duck typing そのものが悪いという気はしてないのだけど、関数 bar が foo を list を引数に呼んでるとして、新しく baz が str で foo を呼んでしまったエラーを見た時、「baz が str を foo に渡したのが悪い」と考えるより「foo が str もサポートしてないのがいけないし
_ 縁をだいじに コロナ以来、ほぼ完璧に在宅勤務となり、もともと高かった QoL が限界突破して、すんごいラクになった。ただかわりに失われたものとして家族以外との人間関係がある もともとそれほど寂しがりやとかでもないし、ちょくちょく喋る友達とかはともかく、親友的なやつは一人もいない。でまあそのちょくちょく話す友人、みたいなのとコロナ以降ほとんど話をしてないみたいな状態になっている。家では年中喋ってるし、会社の同僚とはオンラインでしょっちゅう話すので、さみしいとかそういうことは特に無いし、まあこれはこれで特に問題ないしいっか、みたいに思っていた もともと妻が「そういうつながりは大事にしろ」と言ってくれてて、まあそうやな、と思いつつも特に何もしてなかった。ただ最近、訃報を1年遅れくらいで知る、ということが起きて、これはやっぱ良くないな、と。今から15年から10年くらい前にかなり頻繁に飲んだりし
_ GAFA vs GAFA 日本に来た邦人の隔離うんぬんで、 GAFA 的会社にいたり出身だったりな国内エンジニアと、シリコンバレーの在外邦人的なエンジニアが、バトルぽくなっててちょっと面白かった。いつもは比較的似たような主張をしてそうな人たちなのに 在外邦人の人達は、いきなり航空券売らない指示とか、隔離環境厳しすぎひどい、移動権!とか言っていて、日本国内の人は、国内の人も色々と不便しているのだ、移動権への多少の制約は当然で、がまんしてほしい、みたいな感じだろうか これはなんというか、どっちも正しいことを言っているというか、伝わってるべき情報が伝わってない印象があった。いや、個々で見ると、それはどうなん?と思った発言もあったけど 在外邦人の人たちは、極端な話ビザ切れる人とか、帰らんと困る人が明らかにいるのに、一律で航空券予約停止とかはおかしいわけで、それを含めて、在外邦人の扱いがあまりに
_ Humankind 希望の歴史 上 https://www.amazon.co.jp/-/en/dp/B099Z4D5MK/ 上巻だけ読んだ。それなりに面白かった。面白かったらなんで下巻買わないんだって感じだけど、飽きたのと、書評的に読まなくて良さげな気がしたから…… 人間が本質的に善か悪か、てすごく興味のあるトピックで、ただ僕は善か悪かはあまり悩んでない。既にほとんど宗教的に本質的に善と信じてて、その論拠を探してるような立場だと思う。あとまあ「本質的に善」の例外的な反例を見てあれこれ考えるのは好きで、暗いノンフィクションが好きなのは、そういう理由もあるのかもしれない 理由としては、いや普通に考えて99.9%の人間、自分が困ってなかったら悪いことしないでしょ、て実感だろうか。財布落として帰ってこなかったことないし……そりゃわざわざ金に困ってる人や、0.1%の悪人の前で財布落としたら盗ら
_ 人の親 になった!おめでたすぎる なにやらプチトラブルの多い10ヶ月で、いろいろあーて感じだったのだけど、産後の現段階では母子ともに健康ぽくて、本当によかった。 月並な感想しか書けないけど、妻はすっごい頑張っていて、これはホントすっごいなと感心した。感動した (00:23)
_ 15 min rule 最近よく「自分で考える前に聞いてください」と言ってて、これはもともとグーグルに入った時すぐに受けた教えの一つで、同じタイミングで聞いた「社内プレゼンは適当にやれ!」とかと並んで、当時の「お仕事」に対するステレオタイプなイメージと真逆な教えだったので、びっくりしつつも、なるほどなあ、と思ったことの一つ で、年々その教えの正しさが自分の中で深まっているという感じ。最近になってこれを思う機会が増えているのは、グーグルよりも PFN の方が自力解決を尊ぶ傾向の人が多い気がするからだと思う。よくも悪くも PFN の方がお行儀が良い人が多く、「自力で解決したい」的な意識が高く、この件に関してはそれが悪い方向に働いている、と思っている https://www.reddit.com/r/MachineLearning/comments/4w6tsv/ama_we_are_the
_ ○○の都合でお休みします が、嫌いだと思う。○○に説得力があるほど抵抗がある。たとえば、子供のなんとかであるとか、通院であるとか、それ系は説得力があるであろう。これは、○○に説得力があればあるほど、暗に「○○ならしょうがないな」という了承を得ることが前提にあるように思う ○○があるならしょうがないな、って思わせるために、○○を開示したくなる気持ちはわかるんだけど、昭和の熱血サラリーマンならともかく(これもステレオタイプで偏見を煽る表現ではあるだろうけど)、2020年代のホワイトIT企業社員としては、個人の幸福が仕事より高いプライオリティというのは自明だと思う。だからまあ「今日はこれで終わりです」「今日は休みます」でいいと思う で、○○は言わなくていいどころではなく、言うべきでない、というのが僕の主張。というのは、○○より客観的に重要でなさそうな、△△の事情を持った社員が、正当な休みを主
_ 眉唾英語術 https://twitter.com/odashi_t/status/1371321602760081411 日本人が英語書くとなぜか語気が異常に強くなるなと思うことがある これときどき思う。なんというかたぶんあまり自信がないから短くさっと書こうとしてると思っていて、短い文章が基本無礼なのだよな コードレビューしていて、テスト書いて欲しいとしよう。まず、 Please write a unittest. は、たぶんあんまり丁寧じゃない。日本語でも打ち解けた仲じゃない相手から「テスト書いてくれませんか?」て帰ってきたら「ちょっと怒ってる?」と思うと思うので、英語特有の話じゃないと思う。どうやったら丁寧になるかっていうと、なんか深く考えず長くすればたぶん丁寧になる。例えば Could you write a unittest, please? Thanks! くらいで僕的には
_ 転機 https://twitter.com/nishio/status/1390326819652456456 を見て、あまり主体的な選択せず、流れで生きてるしなぁ、と思ったけど、でも、最近主体的に選んだこととしては、結婚があった。選択肢をどうやって知ったのか、っていうとそりゃ当然その選択肢は知っていたわけだけど、なんかあまり考えてなかった選択肢ではあった。一人で普通に楽しくて、それなりに色んなことが安定していて、まあ妻がいなけりゃ同じ生活してただろうなあ、と思う 何が良くなったかというと、普通にバカ話するとかでかけるのが楽しいとか、そういう良いところは色々とあるのだけど、一番大きいのは会話で影響を受けて変化できることかなあ、と思う 細かいことから大きなこと、日常的なことから生活に関係無いことまで、なんかまあ色々と考えかたに違いがあって、おかしなことを言うとちゃんと反論してくれて、自
_ 面接 は割と好きな雑談トピックの一つなんだよなぁ。グーグルとかでも、大雑把なとこでは合意がある程度あるけど、細かく聞くと微妙に違ったり、なるほどその視点は良いな、みたいなのも多いし https://twitter.com/shinh/status/1378585722404229122 の続きなんだけど、解けた解けないを重視しすぎたせいで明らかに不適切な評価をつけてしまったと感じて反省しているケースが一つある。直感ではこの人は強い、と思っていたし、興味深い視点を次々と出していたのだけど、なんかしら僕が想定している模範解答には直接辿りつきはしなかった。今思い出せば絶対に良い評価をつけてるのだけど、なんか当時は「ウーンやっぱこれ解けてないし、前の解けたけど微妙ぽい感じの人が落ちたことを考えると……?」と思って、悪い評価をつけてしまった。当時、 accept/reject をハッキリ書きなさ
search / home / index 全てリンクフリーです。 コード片は自由に使用していただいて構いません。 その他のものはGPL扱いであればあらゆる使用に関して文句は言いません。 なにかあれば下記メールアドレスへ。
_ ふりかえり コロナ除くと chainer 終了が大きかったかな……と思ったけどそれは去年だった コロナは、自分の生活への影響ということだけを考えると、とても大きな事件だった。 911 とか地震とか、運良く、僕個人の生活にはあまり影響がなかったので。影響だけで言うとリーマンショックとかは収入への影響が大きかったのかもしれないけど、あまり理解してなかったな コロナは、正直世間には申し訳ないが、うちの生活は向上したくらいな気がしている。二人とも精神状態が良い。一応仕事を10年以上やってることもあり、転職からは十分に時間が経ってたこともあり、出社しないと困るということは何も無かった。たまたま仕事が楽しい時期ということもあり、やることなければ、まあ暇潰しに仕事するか……となるだけだし。今のタイミングの新卒の人とかは大変そうだなーとは思っている 海外旅行できなかったなーというのはあるけど、まあ g
ELF Golf についての発表資料 私が、 SEA & FSIJ 合同フォーラム 2006年11月 で話した時の発表資料についての場所です。 スライドをhtmlで見る 。 スライドのソースコード 。 このコードは Ruby/SDL や IPAモナーフォント に依存しています。 home / index 全てリンクフリーです。 コード片は自由に使用していただいて構いません。 その他のものはGPL扱いであればあらゆる使用に関して文句は言いません。 なにかあれば下記メールアドレスへ。
_ CS 30トピック https://twitter.com/_ko1/status/1281972384036040704 と https://twitter.com/_ko1/status/1281984532971786240 を見て、エンジニアトピックの作ってみる課題30個、ての考えてみると面白そうだなあ、と思って考えてみた。たぶん普通 CS という時よりも、自分の趣味と実務ぽいの多めだと思う 表記は ジャンル / 課題 / コメント みたいになってる アルゴリズムぽいやつ データ構造 / 赤黒木など平衡木 / ハッシュでもいいなあという気がする アルゴリズム / diff / 個人的には動的計画法の実用の圧倒的定番 アルゴリズム / TSPをGPなり焼きなましなりで / メタヒューリスティクスなんか知ってていいと思うので アルゴリズム / オセロのゲーム木探索 / 再帰する系も
_ UNIX 哲学 の、直交性のあるツールをたくさん作って、組み合わせて使いましょうてやつ、その哲学そのものは僕も好きだし、学ぶことの多い教えだとは思っている。なんだけど、自分の仕事に適用しようとしない方が良いと思ってるんだよな。というか、仕事で UNIX 哲学的にバラバラなツール群としてデザインされたものを見ると、げんなりするレベルなので、嫌いといっていいレベルかもしれない なんでかっていうと、それが真に UNIX の10%程度にでもうまくいっているという例をほとんど見たことがないから、という気もする。 djb が例外くらいの気持ち バラバラのツールでまとまった機能を実現させるのであれば、そのバラバラのツールが何を、どういうふうにやりとりするか、というのを統一しないといけない。 UNIX であれば行指向のテキストファイルをパイプでやりとりする、みたいな また、どうすれば使いかたがわかるか
_ セキュリティの人 大学の時、「セキュリティの人は変わった、気難しい方が多い。やっぱり攻撃とかを考えてると性格が悪い考えかたをしていくことになるのかな」などと先生が言っているのを聞いて、そんなもんかな、と思っていた 会社で働くようになって、多くはないけど、関わったセキュリティ専業の人は、全て良い人だった。グーグルは押しなべて平均より性格の良い人が多い集団だったと思うけど(おかげで僕は「貧すれば鈍する傾向が強い」の確信度を高めた)、その中で見ても良い人達だったように思った。 まあ偶然いい人ばかりと会ってたのかもしれない。実際、プロダクトを作っている人の「セキュリティレビューが厳しくて〜」みたいな愚痴だかなんだかを聞いた記憶も結構ある けど、僕としては、ローンチを止める強い権限を持つだけに、好ましくないコミュニケーションをしていると仕事にならない、て感じなんじゃないかなあ、と思っていた。とい
_ ソ ー シ ャ ル デ ィ ス タ ン ス https://gist.github.com/mala/08fdbc680d84bb1b2305688282f26cea 僕はネットの S/N が良いと幸せなので、いいこと言うなあ、と思う。個人的には。けど、まあなんかこういうのは愚行権をみたいなやつで、そして認めないのもなんか違うと感じている気がする。愚行権が何故だいじかというと、僕に取って自明に「愚行」に見えても、人にとっては大事だったりするから。そこは人それぞれだから、人に迷惑をかけない範囲で適当に愚かなことしていいよ、という考えかたは好きだ 例えば腐女子が検索避けに / を入れるとかも、個人的には好きでないというか、嫌悪感を覚えるレベルだけど、まあいいかと思っている。なんで嫌悪感を覚えるかは、正直、自己正当化できないレベルに感覚的な理屈な気がする あとアイスバケツチャレンジぽさもある
_ ロジックを追わないコードレビュー 人的リソースが無限に近くある会社から、普通に有限というか普通に小さい会社に移ったことで、スタイルを変えてみたトピックがいくつかあって、そのひとつがコードレビューかなあと思う コードレビューで撃墜ケース探すのは、楽しくはあるんだけど、時間の無駄であるということがある。昔は topcoder の撃墜フェーズは良いものだと思ってたけど、今思えば良ろしくない。何が良くないかって、コードの問題を探す一番良い方法はテストを書くことであって、目を皿のようにして眺めることではない。 というわけで、とりあえずテストを見る、てのはなんか割ともともとしていた気がする。が、最近はもっとテスト偏重にしている気がする。CI通ってんならええよ!みたいな。PRで変更したと主張してることについて、その主張が満たされるならこういうテストが通るはずだよね、て想像をして、そういうテストがある
説明 Modern C++ Design なる本が発売されました。 C++ という複雑な言語のまさに真骨頂とでもいうような、 すごい内容でした。 この本では著者の作ったLokiというこれまたすごいライブラリの解説、 という形でジェネリックプログラミングを語ります。 まあ、とにかくすごいんですが、これを作るのはともかく、 使うのなら凡人でもできるだろう、と。 いつの時代も天才の成果物を凡人が使うのだ、と。 つうか使っている内に Loki が簡単に見えるようになってきました。 良い傾向ですな。 template library と GPL は水油もいいとこだと思うんで、 以下に存在する .cc ファイルと .h ファイルには GPL を主張しません。 つかパブリックドメインつうことで。 更新情報 020627. Loki - AbstractFactory。 020622. Loki - Fa
次のページ
このページを最初にブックマークしてみませんか?
『Entangled Space』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く