Спочатку це була історія успішної дружби людини з технологією. 67-річний фермер на прізвище Ву з Чучжоу почав користуватися ШІ приблизно рік тому й поступово зробив його частиною щоденної роботи. Бот відповідав на запитання про погоду, добрива та шкідників. Коли поради працювали, скепсис зникав.
Потім настав день, коли Ву запитав, як прибрати бур’яни з кунжутного поля і водночас боротися зі шкідниками. ШІ видав готову схему з гербіцидами та інсектицидами. Фермер не став телефонувати агроному чи шукати друге джерело — просто виконав рекомендацію.
За повідомленнями CTWANT, Tom’s Hardware і The Economic Times, наступного ранку ефект був помітний одразу. Бур’яни гинули, але разом із ними масово загинули й сходи кунжуту. Площа обробленого поля становила 150 му — приблизно 10 гектарів.
У схемі згадувався фомесафен. Це гербіцид, який застосовують проти широколистих бур’янів; у китайській реєстрації препарати на його основі мають конкретні дозволені культури та застереження щодо чутливих рослин. Спеціалісти, наведенi в первинному матеріалі, пов’язали саме цей компонент із пошкодженням кунжуту.
Найцікавіше в цій історії — момент, коли корисний сервіс перестає сприйматися як сервіс. Ву не був людиною, яка вперше відкрила чат і сліпо виконала випадкову відповідь. Навпаки, він мав довгу серію позитивних взаємодій. Саме вона створила відчуття, що чергову відповідь можна не перевіряти.
У дизайні таких систем є знайомий парадокс. На сторінці чату, за повідомленнями медіа, було попередження: згенерована інформація може бути помилковою, її потрібно перевіряти. Але текстове застереження стояло проти року досвіду, коли ШІ давав корисні підказки. Для людини історія власних успіхів часто переконливіша за стандартний дисклеймер.
У доступних публікаціях не названо сам застосунок. Тому випадок не можна чесно прив’язувати до конкретної відомої моделі. Значно ширше питання — як універсальні чатботи мають поводитися, коли користувач просить не пояснення, а інструкцію з фізичними наслідками.
Китайські розробники вже пропонують один варіант відповіді. У травні представили Green Shield — спеціалізовану систему для захисту рослин, яка звіряє поради з офіційною базою реєстрації пестицидів. Тобто замість того, щоб лише «знати слова» про гербіциди, модель повинна перевірити, чи дозволений препарат для конкретної культури.
Вірусність історії Ву легко звести до жарту про «фермера, який повірив роботу». Насправді вона про дещо знайоміше: ми всі швидше довіряємо інструменту після того, як він багато разів заощадив нам час. І саме в цей момент помилка стає найдорожчою.
