なぜ我々は GitHub Copilot Enterprise の導入を見送ったのか - 一休.com Developers Blog

CTO 室の恩田です。 今回は GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話をご紹介したいと思います。 きっかけ とあるエンジニアが Slack で自身の times チャネルに時雨堂さんの GitHub Copilot Enterprise のススメという記事を投稿したことが発端でした。特に感想はなく URL に 👀 だけが添えられていたので、後で見るぐらいのメモだったんだと思います。 それを見かけた別のエンジニアが技術雑談チャネルにその投稿を共有して、これは凄そうと話題を向けたところ、CTO の「評価してみる？」の一言で、有志が集って評価プロジェクトが始まりました。 雑談チャネルできっかけとなる投稿が共有されてから、30分足らずの出来事でした（笑）。 この話題が出たのは金曜日でしたが、週明け早々に稟議を終え、火曜

[tak-onda]

書きました。

[ngsw]

やってみた記事よりやらなかった記事のほうが読者として助かる部分多い

[crimsonstarroad]

今のままドキュメントを放り込んでもうまくいくほど簡単な話ではなく、LLM利用のためのより良いドキュメントやコメントの書き方みたいなのがありそうで、それが一般化するとだいぶ景色が変わりそうという感じか。

[rna]

思ってたより微妙な感じなのな。「評価内容を踏まえてコードとドキュメントの二つの観点で、どういった準備をしておくべきかの認識を共有」ルンバに掃除させるために部屋片付けておく的なやつだ。

[Kesin]

導入しましたという話と同じぐらい見送りましたという話もありがたい

[Kwappa]

めちゃくちゃきっちり検証して、そこで起きたことをまるっと公開してくれてるすごい記事

[igrep]

すげぇ詳しくてありがたい

[newta]

やらなかった話の方が採用基準のラインが明確に見え易くて勉強になる。ここまで詳細に公開してくれることに感謝！

[petitviolet]

評価は定性的でよい、インパクトのあるユースケースがどれだけ見つかるかが重要

[yarumato]

“コストに見合う価値をどう定量化（質的にしか表せない事物を，数量で表そうとする）するかという観点では評価しない。驚くような利用例があるのかが焦点。現時点ではすぐに効果が得られるユースケースはなかった”

[hc0001]

GitHub Copilot Enterprise の導入検証が丁寧に振り返られている。学習の対象が markdown のみ、PR のサマリー自動生成が英語かつ背景情報の説明が充分ではない、など

[takuya125]

保存

[shingo-sasaki-0529]

生産性の定量化じゃなくて、インパクトのあるユースケースを発見できるかの定性的評価を行ったってのが面白い。 ナレッジをとにかく GitHub 上に集約しまくれば相当変わるんだろうなぁ。

[pmint]

AIの扱い方を見ると、人間をどう扱っているかが見えて面白い。AIに完全性や網羅を求めても、うまく行かないのは当たり前。/ この投稿も一部を取り上げてるだけ。自分ができないから、完全な仕事をAIに求めちゃう。

[nabinno]

RAGの要件だとGPTよりClaudeの方が向いていそう。

[ms2sato]

この取り組みに対してGitHubからアンサーが来たら熱いんだけど、そんなこと起こらないかなぁ。起きて欲しいなぁ。

[secseek]

コメントがないソースはAIが読んでも説明してくれないというのがなかなか笑えました。そりゃないものは出せないので当然ですが、結局は意図をちゃんとコメントに書こうって常識に落ち着くんだなあと

[misshiki]

“GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話”

[hakob]

時雨堂は従業員5名、一休は80名くらい？ 39米ドル(6000円)x5 = 3万円、x80=48万円。「3万円の価値はあるけど50万円かというと微妙」って側面もありそうじゃがどうなのかな

[eagleyama]

ナレッジベースっていったって、開発者チームなんて検索の鬼みたいな人ばっかりなんだから、そりゃ効果は出なさそう。

[sp_ice]

“評価は定性的でよい、インパクトのあるユースケースがどれだけ見つかるかが重要”この方針を出せるの素晴らしい

[onionskin]

現状の解説として素晴らしい記事

[yuma_0211]

ううーん、やっぱ現状どの分野も個人の遊び程度にしか使えないっぽいな

[taguch1]

DB定義書がエクセルなの萎える。

[luccafort]

"会社で支払うライセンス管理は、ほとんど使ってないのにとりあえずもらっておくなど、なあなあになりがち"そうなんだよなー。欲しい人の声は大きい一方で実態として使われていないとか起こりがち。

[sen47]

良い記事

[progrhyme]

地に足が着いてる感じがする

[nemoba]

Fineチューニングは試してないのかな？これ以外はただのPR作成マシンだよね、、

[h3poteto]

“その変更が適切かどうかを判断するために欲しい情報は why なのです” わかるー人間相手でもいつもこれが知りたい

[hinonono]

マイクロソフトは特に、半端な物でもとりあえず出すだけ出してきてVer2辺りでまともになり出してからが本番だとか、VistaやMeをしれっと売りつけたりとか色々やってくるんで、評価か評判が揃ってからでないと怖いやね

[T-norf]

LLM全般的に、GPTのP、Pretrained/事前学習済み、以外の性能は微妙なのよね。Pretrainedの能力がえげつないので、対比でそう見える面もあるけど

[diveintounlimit]

“しかし、その PR の変更が必要となった背景や変更の意図といった why の情報は期待したほどには盛り込まれません”そもそもAIにそれらを期待するのは間違っているのだが。

[naggg]

頭の片隅に覚えておこうー

[toyoshi]

コーディングの能力もChatGPTにかなり劣るんだよなあ

[tpircs]

Confluenceの代わりにGitHubリポジトリでドキュメント管理するのはかなり厳しい気がする。コードだけの話にしておきたい。

[naka-06_18]

評価軸決めてるのがありがたい

[sionsou]

ちゃんとチームで検証してるのすごいなぁ。とりあえず導入しちゃうも好きな派だけど、ちゃんとダメな理由が明確ならそれは社方針なので良い。

[door-s-dev]

へーこうゆう評価もあるのか