「審査員」と「機械/人間」は別々の部屋にいる状態で、コンピュータのディスプレイとキーボードを通じて自然言語の会話を行う(※元々の設定はこれだが、現代であればインターネット越しなど他の手段が取れるだろう。図1はスマートフォンを通じてチャットするイメージである)。 審査員は、機械もしくは人間(どちらか分からない)を相手に、「将棋は好きですか?」「クリスマスは何をしますか?」「東京スカイツリーを題材に川柳を詠んでください」などと、機械か人間かを判定するための質問などを行い、相手の反応を読み取る。ちなみにこの際、質問に対して機械が正しい回答を出せているかどうかは問題とされず、いかに人間に似た反応をするかだけが問題となる点に注意してほしい。 最終的に審査員は、会話相手が機械か人間かを判定する。ここでもし、機械が「人間である」と判定されるケースが多ければ(一般的には30%を超えれば)、テストに合格した