«Пишет как двоечник»: уральский филолог дала низкую оценку нейросети, которая за час сдала ЕГЭ

Своим сочинением по русскому языку нейросеть удивила даже опытных филологов Фото: сгенерировано нейросетью Kandinsky 2.1 by Sber AI

Как там пел Сыроежкин в «Приключениях Электроника»? Вкалывают роботы, а не человек? В общем да, прогресс до этого уже дошел. Для школьников и студентов точно. В феврале в Москве студент за день с помощью нейросети написал диплом и защитился, да так, что педагоги по всей стране вздрогнули – как теперь проверять, ученик писал работу или компьютер?

А ведь сейчас идет горячая пора ЕГЭ и ОГЭ. Вдруг кому-то из учеников придет в голову идея сдать экзамен при помощи нейросети? «КП» вместе с преподавателями проверила, сработает такой фокус или нет. Хочет компьютер писать дипломы в университете? Пусть сначала наберет достаточно баллов, чтобы туда поступить.

Экзамен по русскому языку нейросеть писала в тот же день, что и все школьники - 29 мая

Фото: Алексей БУЛАТОВ

ЗА РУССКИЙ ОТВЕТИТ ОТЕЧЕСТВЕННАЯ НЕЙРОСЕТЬ

Нейросети - это одна из главных технологических игрушек последнего времени. Программисты научили компьютер творить. Просишь нарисовать девочку с персиками – сделает миллион вариантов, причем не хуже, чем у Валентина Серова. Просишь ее написать за тебя сочинение по заданной теме – напишет. Чудеса! Тут и зарубежные разработки нашумели. Да и наши программисты не отстают. Недавно, например, появилась отечественная нейросеть YaGPT. Ее-то мы и отправили на ЕГЭ. Кому ж еще сдавать русский язык, как не русской нейросети?

Сдавала она его в тот же день, что и школьники по всей стране – 29 мая. Мы взяли демонстрационный вариант ЕГЭ по русскому этого года, который опубликован на сайте Федерального института педагогических измерений и дали нейросети выполнить задания из нее, а потом показали результат эксперту по ЕГЭ по русскому языку. Это 26 вопросов в форме теста, плюс 27-е задание – сочинение.

Сочинение нейросеть написала за несколько секунд

Фото: Мария ЛЕНЦ

- На всю работу - 3,5 часа, - объясняет кандидат филологических наук, доцент, эксперт в сфере ЕГЭ по русскому языку, заместитель директора Института государственного, муниципального управления и права УРГЭУ Наталья Громова. – Это и на сочинение, и на тест. На сочинение обычно ученик тратит 1,5-2 часа.

СОЧИНЕНИЕ ПО ЩЕЛЧКУ ПАЛЬЦА

Засекаем время и начинаем забрасывать в нейросеть по очереди все задания. Вот одно из них - заменить неправильно использованное слово на верный вариант. Нейросеть отвечает моментально: «Слово «праздный» в предложении надо заменить на «праздничный». И далее по списку: произносить следует не «оптОвый», а «Оптовый»; не «полтораста» рублей, а «полутораста». Щелкает задания как орешки.

Пришел черед финального задания - сочинения. Там история про мужчину, который вернулся в родное село. Герой рассказывает и про облачные фрегаты, и про древний запах папоротника, и про белеющие березки с качающимися купальницами. Нужно прочитать все это и написать по мотивам текст не меньше 150 слов, сформулировать проблему, привести два примера-иллюстрации, проанализировать смысловую связь…

Как шпаргалку нейросеть использовать не получится - кто же позволит пройти на ЕГЭ со смартфоном, подключенным к Интернету?

Фото: Алексей БУЛАТОВ

Загружаем текст в нейросеть, нажимаем одну кнопку и… через несколько секунд у нас на руках сочинение.

- Проблема, поставленная автором текста, заключается в том, что автор стремится показать значение родного края для человека, - пишет в сочинении нейросеть. - Он говорит о том, как важен для него родной край, и описывает его красоту и тишину. Автор подчеркивает, что родной край помогает человеку сохранять молодость и лечит душу.

Ну будто человек написал. Нейросеть даже мнением в конце поделилась, как и требует ЕГЭ.

- Мое отношение к позиции автора заключается в том, что я согласен с ним. Я считаю, что родной край действительно имеет большое значение для человека, - говорит компьютер.

Чтобы написать ЕГЭ по русскому языку, нейросети понадобилось чуть больше часа. Окрыленные таким успехом, спешим проверить, сколько баллов удалось набрать.

СЛОВНО ИНОСТРАНЕЦ ПИСАЛ

- С такими результатами она не только в вуз не поступит, но и школу вряд ли окончит, - констатирует эксперт по ЕГЭ по русскому языку.

Тестовую часть нейросеть провалила с треском – всего три правильных ответа из 26! С сочинением другая история.

- Ну, баллов десять на сочинении она бы набрала за хорошую орфографию, пунктуацию и грамматику - замечает эксперт. - Я даже удивилась. Думала, будет что-то страшное. Но это все-таки сочинение, написанное по структуре ЕГЭ. И если бы вы мне сказали, что это написал двоечник из 11 класса, я бы даже поверила. А для человека, который начинает изучать русский язык, это было бы неплохое сочинение.

Чтобы написать ЕГЭ по русскому языку, нейросети потребовалось чуть больше часа

Фото: Алексей БУЛАТОВ

Проблема в образности. Ну не понимают пока нейросети, что такое черные лошадиные тропы и древний запах папоротника.

- Она поняла, что такое родной край, шелест берез, купальницы и лютики, а все образы потрясающей красоты ей воспринять сложно. В итоге она все сочинение снова и снова, но разными словами, пишет про одно и то же, - рассказывает Наталья Громова. - Большая часть текста не проанализирована, а пересказана. Получается, что она пишет только о том, что ей понятно.

Хотя, отмечает эксперт, кое в чем нейросеть справилась лучше человека - примеры-иллюстрации нашла, все задания последовательно выполнила. Люди же, когда берутся за сочинение, порой так увлекаются содержанием, что забывают о структуре работы, которой нужно следовать. В общем, ЕГЭ по русскому нейросеть не сдала.

ОТВЕТЫ ДАЕТ, ДА НЕ ТЕ

С математикой у нейросети картина похожая. С простенькими задачами она справляется неплохо. Расписывает решение, объясняет свою логику. И на вопрос, сколько сдачи Олег получит со 100 рублей, купив 1,6 кг моркови по 40 рублей за килограмм, правильно отвечает:

- Сдача будет 36 рублей.

Но вот задачку о том, кто больше съел печенья, Маша или Медведь, нейросеть решила неправильно, обделив мишку на 104 печенья. Плюс многие задания были с графиками и таблицами – посмотрел, прикинул и решил. Нейросети пока анализировать рисунки могут не очень хорошо.

С математикой компьютер справился не лучше

Фото: Алексей БУЛАТОВ

Что же с необязательными предметами? Мы решили прогнать ее через вопросы по биологии и географии. И, похоже, в анатомии человека она разбирается не очень. Посыпалась на вопросе о том, как мочевина идет по организму человека. Получилось, что в мочевой пузырь она попадает… из мочеиспускательного канала. Хотя на вопрос, что доказывает эксперимент, в ходе которого у цыпленка вырезали часть бедренной кости, а вырезанная часть потом заросла, нейросеть сделала правильный вывод:

- Этот опыт доказывает, что костная ткань может восстанавливаться после повреждений.

Неплохо справилась она и с некоторыми вопросами по географии. Например, правильно указала, что Гвинейский залив на карте находится западнее Аравийского моря и Бенгальского залива.

Итог, нейросети – настоящее чудо технологического прогресса. Но это явно не инструмент для решения задач по ЕГЭ. И использовать смартфон с нейросетью, как шпаргалку не получится. Во-первых, свои знания все-таки надежнее. Во-вторых, кто же вас на ЕГЭ с телефоном, подключенным к Интернету пустит?

С экзаменом по истории России ранее нейросеть справилась лучше, чем с ЕГЭ сейчас

Фото: Алексей БУЛАТОВ

А ВОТ ЕЩЕ БЫЛ СЛУЧАЙ

Нейросети, на пересдачу!

В Уральском федеральном университете в мае нейросетям ChatGPT и Sage устроили экзамен по истории России. И они защитились. Правда, на троечку.

- Выяснилось, что нейросети знают, что такое «завещание Василия III», а когда спросишь, что такое «духовная Василия III», то они уже путаются. Хотя «духовная» - это то же самое завещание, но языком XVI века. Дальше - больше. Обе нейросети неправильно назвали Василия III царем - титул этот появился только при Иване IV Грозном. Ну а Chat GPT и вовсе стал использовать слово «министры», говоря о том времени, когда такого слова в России вообще не существовало, - отметил доцент кафедры истории России УрФУ Михаил Киселев. – Все-таки у меня было желание отправить их на пересдачу. Видно, что знания какие-то есть, но материал нейросети не понимают.

ЧИТАЙТЕ ТАКЖЕ

«Хотели отправить на пересдачу»: в УрФУ нейросеть сдала экзамен по истории России на тройку

В екатеринбургском вузе нейросеть сдала экзамен по истории России на тройку (Подробнее)

Нейросеть за один вечер написала диплом за российского студента. Преподаватели в шоке – как теперь проверять знания?

Студент из Москвы обманул преподавателей и защитил диплом, написанный нейросетью ChatGPT (Подробнее)

Кот-Уралмаш и усатый в Академическом: нейросеть показала, как выглядят районы Екатеринбурга в виде кошек

Показываем образы пушистых жителей уральской столицы, как их представила нейросеть (Подробнее)

Хозяйка Медной горы с катаной и рыжая Огневушка-поскакушка: нейросети дали почитать сказы Бажова, и вот что получилось

Российская нейросеть показала, как она представляет себе персонажей уральских сказов (Подробнее)