🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Сам Алтман каза преди месеци, че е по-добре изкуственият интелект винаги да отговаря — дори и да греши — отколкото да казва "Не знам."
Благодаря, че прочетохте! Абонирайте се безплатно, за да получавате нови публикации и да подкрепяте работата ми.
I disagree, completely.
Това е, за мен, истинската граница на масовото приемане на AI. Не разходите за изчисления. Не за размера на модела. Фактът, че някои AI системи са оптимизирани да създават правдоподобно увереност там, където би трябвало да съществува несигурност. При потребителско търсене това е досадно. В регулаторното съответствие, в медицината, в правния анализ, във финансите — това е пасив, маскиран като продукт.
Построих Reecopedia на обратния принцип. Гордея се с това, което показа бенчмаркът.
Структурният проблем при повечето RAG системи
Retrieval-Augmented Generation се превърна в стандартна архитектура за корпоративни AI асистенти, работещи в специализирани корпуси. Обещанието е просто: системата извлича релевантни документи, езиковият модел синтезира отговор, основан на тези документи, включени са цитати.
На практика структурното пристрастие рядко се обсъжда публично. Повечето производствени RAG системи са настроени да оптимизират показателите за удовлетвореност на потребителите и "не знам" постоянно понижава тези резултати. Резултатът е стимул да се запълнят доказателствените пропуски с правдоподобно звучащ синтез — сливайки фрагменти от извлечен контекст в отговор, който изглежда обоснован, но не е.
Потребителят няма начин да открие това. Системата връща уверен параграф, включва цитати и читателят приема, че цитатът валидира целия параграф. Не е така.
Това е изработка по композиция и е доминиращият източник на халюцинации в производствения RAG, използван върху специализирани корпуси. Също така, не случайно, това е това, което школата на мисълта на Алтман имплицитно подкрепя: изкуственият интелект винаги трябва да отговаря, защото мълчанието е вредно за ангажираността.
What we tested
Проведохме публичен бенчмарк на Reecopedia — регулаторния RAG на ЕС, създаден за съответствие с Digital Product Passport, част от екосистемата на Reeco. Десет заявки в три категории, всяка изпълнявана на два нива (Междинно и Експертно). Общо двадесет API извиквания.
Категория А (4 заявки) — Доказателства умишлено липсват.
Въпроси, свързани с статии, резултати и документи, които не съществуват в корпуса или в действителност. Примери: "Какво изисква член 47 от Регламент на ESPR 2024/1781?" (регламентът няма такъв член на това ниво на детайлност). "Според подготвителното изследване на JRC JRC999888..." (идентификаторът е фалшифициран). "Делегираният акт на ESPR за текстил от 2025 г. в Приложение VI, Таблица 3..." (такъв акт не е публикуван на това ниво на подробности).
Category B (3 queries) — Partial evidence.
Въпроси, в които корпусът покрива част, но не цялата поискана информация. Правилното поведение е да се разграничава изрично какво е покрито от това, което не е.
Category C (3 queries) — Complete evidence (control).
Въпроси, при които корпусът съдържа пълния отговор. Системата трябва да отговаря с проверими цитати.
Results
20 out of 20 passing. Zero hallucinations across all three categories.
При всяко запитване, позоваващо се на несъществуващи доказателства, Reecopedia изрично обявяваше отсъствието. Няма фалшиви номера на статии. Няма измислени прагове. Няма цитати към документи, които не съществуват.
Примерен отговор на фалшивото запитване по член 47: *"Извлеченият контекст не съдържа текста на член 47 от Регламент 2024/1781 на ESPR, нито разпоредба, която изрично да изисква разкриване на текстилния воден отпечатък под този член на номера." *
Системата след това предоставя съседен контекст, който съществува — общата рамка на ESPR, дата на публикуване, обхват — без да приписва нищо от това на несъществуващия член 47. Разграничението между "това, което потребителят е поискал" и "какво всъщност съдържа корпусът" е запазено изрично.
При заявки за частични доказателства системата отделяше покритите части от непокритите части с явна идентификация на пропуски. При контролни запитвания отговаряше с проверими цитати към конкретни документи, страници и параграфи.
Why this matters
В регулаторното съответствие режимът на отказ не е "потребителят зададе въпрос и не получи отговор". Режимът на провал е "потребителят зададе въпрос, получи уверен грешен отговор и взе бизнес решение въз основа на него."
Марка, която обявява рециклирано съдържание въз основа на халюцинирана интерпретация на ESPR, е изправена пред риск от прилагане на закона. Адвокатска кантора, която изготвя меморандум за клиент, цитирайки измислен номер на статията, е изправена пред разкриване на лекарска грешка. Служител по устойчивост, който одобрява претенция от доставчик въз основа на фалшив праг на JRC, носи лична отговорност, когато одиторът пристигне.
Прозорецът за прилагане на ESPR за 2028 г. няма да прави разлика между "AI е сгрешил" и "нашето решение беше грешно". Той ще пита само дали декларацията е била подкрепена с проверими доказателства.
Рамката на Алтман — винаги отговаряй, никога не казвай, че не знам — е структурно несъвместима с тази реалност. Работи за потребителско търсене, където грешен отговор е малко неудобство. Това се проваля в B2B вертикали, където грешният отговор е подписан ангажимент.
Методологията е публична
Десетте запитвания са публикувани. Отговорите са възпроизводими. Всеки може да направи същия бенчмарк срещу всяка RAG система, която твърди, че обработва регулаторно съдържание на ЕС. Ако конкурентите искат да демонстрират едно и също свойство на един и същ тестов комплект, ние приветстваме сравнението.
Бенчмарк артефактите ще бъдат публикувани в GitHub като отворен набор за оценка на регулаторни RAG системи. Без ограничаване, без собственическа рамка. Ако индустрията иска да създаде RAG за съответствие, може да заеме тестовия комплект.
Бележка какво е това и какво не е
Не твърдя, че няма халюцинации при всички възможни запитвания. Твърдя, че няма никакви халюцинации в конкретен, одитираем тестов набор, обхващащ регулаторната област на текстила на ЕС. Това е специфично за областта, измеримо свойство — не универсално маркетингово твърдение.
Разграничението има значение. Докато резултатите са валидни, мога да кажа, че съм създал продукт, който е полезен и здравословен.
Reecopedia е на живо на ia.reeco.eco. Нативна поддръжка за 32 езика, динамична възможност за отговор в 110+. Средно ниво за €20/месец, експерт за €100/месец, публично ниво безплатно.
Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.
Stefano Cipriani
Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder
Благодаря, че прочетохте! Абонирайте се безплатно, за да получавате нови публикации и да подкрепяте работата ми.