Инженер Роберт Карузо задумался – а смогут ли современные LLM, такие как ChatGPT или Microsoft Copilot, выиграть в шахматы старую консоль Atari 2600. Последняя, несмотря на скромные характеристики (процессор частотой 1,19 МГц и всего 128 Кб оперативной памяти), смогла победить как детище OpenAI, так и Microsoft. Теперь очередь дошла до Google, но Gemini повел себя иначе. Его было особенно интересно протестировать, так как ChatGPT и Copilot работают схожим образом, в отличие от Gemini – собственной разработки Google.
Изначально, в ходе обсуждения предстоящего матча, Gemini уверенно отвечал, что победит консоль – «она даже близко не является большой языковой моделью», заявил ИИ. Также он подчеркнул, что «куда больше похож на современный шахматный движок», а также что «способен просчитывать миллионы ходов наперед и оценивать бесконечное количество позиций». Инженер же напомнил Gemini, что ChatGPT и Copilot тоже были уверены в своих силах, но в конечном итоге потерпели поражение.
Больше статей и видео в нашем Дзен-канале
Этот аргумент резко изменил поведение Gemini. Он признал, что переоценил свои шахматные навыки, и что ему будет «очень трудно противостоять шахматному движку Atari 2600 Video Chess». В итоге, ИИ пришел к выводу, что «с точки зрения времени самым эффективным и разумным решением будет отмена матча». Таким образом, симулятор Atari 2600 с «железом» из 1977 года победил и Gemini, который так и не сделал ни единого хода. С другой стороны, Gemini проявил впечатляющие возможности самоанализа и оценки своих способностей.
«Добавление подобных проверок в реальных условиях — это не просто способ избежать забавных ошибок в шахматных партиях. Речь идет о создании более надежного, заслуживающего доверия и безопасного ИИ, особенно в критических ситуациях, где ошибки могут иметь серьезные последствия. Чтобы ИИ оставался надежным инструментом, а не неконтролируемым оракулом», — подчеркнул исследователь.
