# Скандал вокруг Reflection 70B: Как «лучшая открытая ИИ-модель» оказалась оберткой для Claude Источник: https://www.youtube.com/watch?v=71SPKzfGntY Канал: Wes Roth Опубликовано: 15.09.2024 --- На этой неделе сообщество разработчиков искусственного интеллекта оказалось в центре крупного скандала, связанного с релизом модели **Reflection 70B**. Мэтт Шумер, основатель и CEO компании Hyperr AI, представил её как «лучшую в мире открытую модель», однако триумфальное объявление быстро сменилось обвинениями в фальсификации и подмене результатов. ## 🚀 Громкий анонс: «Убийца» закрытых моделей [[JUMP:00:00]] Мэтт Шумер, известный в ИИ-сообществе как опытный разработчик и инвестор, объявил о выходе Reflection 70B — модели с открытыми весами, которая, по его утверждению, превзошла топовые проприетарные решения, такие как GPT-4o, Claude 3.5 Sonnet и Llama 3.1 405B [00:37]. Особый интерес вызвал тот факт, что Reflection 70B не обучалась с нуля, а была создана путем тонкой настройки (fine-tuning) модели Llama 3.1 от Meta [01:03]. По словам Шумера, ключевым фактором успеха стала инновационная техника **Reflection Tuning**. Суть метода заключается в том, что модель обучается «думать» перед ответом, анализировать свои ошибки и исправлять их в процессе генерации [01:16]. Для реализации этого проекта Шумер использовал синтетические данные, созданные с помощью платформы **Glaive AI**. Он подчеркнул, что контроль над генерацией данных в Glaive AI стал решающим фактором, и призвал других разработчиков использовать этот инструмент для своих моделей [01:28]. Анонс вызвал небывалый ажиотаж: * Оригинальный пост в X (Twitter) набрал более 3,3 миллиона просмотров [05:37]. * Модель мгновенно заняла первое место в трендах Hugging Face [04:45]. * Генеральный директор Hugging Face Клеман Деланг поддержал релиз, отметив, что это доказывает: небольшие компании могут успешно конкурировать с технологическими гигантами [04:59]. ## 🧐 Подозрения и «синдром LK-99» [[JUMP:06:44]] Вскоре после публикации весов на Hugging Face энтузиасты из сообщества `r/LocalLlama` начали тестировать модель на своих мощностях, и результаты оказались плачевными [08:12]. Модель не только не показывала заявленных рекордных показателей, но и работала значительно хуже стандартной Llama 3.1. Ведущий канала Уэс Рот сравнивает эту ситуацию с историей материала **LK-99** — «комнатного сверхпроводника», результаты которого также никто не смог воспроизвести в лабораторных условиях [08:53]. В ответ на критику Мэтт Шумер заявил о технической ошибке при загрузке. Он пояснил, что из-за ограничений скорости (rate limits) на Hugging Face в публичный доступ попали части двух разных моделей, что привело к снижению производительности [09:18]. Чтобы успокоить сообщество, Шумер предоставил доступ к приватному API, утверждая, что именно там работает «правильная» и мощная версия Reflection 70B [10:23]. Однако и здесь возникли проблемы: 1. **Несоответствие версии базы:** Пользователи Reddit провели анализ весов и пришли к выводу, что модель основана на старой Llama 3, а не на новой Llama 3.1, как заявлял автор [11:54]. 2. **Незнание терминологии:** В ходе дискуссии Шумер, по-видимому, не сразу понял значение термина LoRA (Low-Rank Adaptation), хотя позже утверждал, что просто неверно интерпретировал контекст [07:21]. ## 🕵️ Скандал с «оберткой»: При чем здесь Claude? [[JUMP:10:49]] Самое серьезное обвинение последовало после того, как пользователи начали детально изучать ответы приватного API. Возникло подозрение, что под видом собственной модели Шумер просто перенаправляет запросы к Claude 3.5 Sonnet от компании Anthropic [12:06]. Доказательства, собранные сообществом, выглядят убедительно: * **Прямое признание:** При определенных промптах модель прямо отвечала: «Я Claude, модель, созданная Anthropic» [12:06]. * **Цензура:** Пользователи заметили, что слово "Claude" начало подвергаться цензуре в ответах API [12:20]. * **Обход цензуры:** Один из исследователей смог заставить модель признаться в своей идентичности с помощью игры в ассоциации. Модель сообщила, что её имя начинается на букву "C", рифмуется с "odd" и она разделяет имя с известным французским композитором (Клодом Дебюсси) [12:45]. Шин Бостон, один из активных критиков в X, опубликовал подробный разбор, в котором назвал происходящее «стопроцентным мошенничеством» [15:12]. По его мнению, вероятность того, что Шумер просто «допустил ошибку», крайне мала, учитывая масштаб пиар-кампании [14:59]. ## 🏳️ Извинения и поиск виноватых [[JUMP:16:15]] Столкнувшись с неопровержимыми уликами, Мэтт Шумер опубликовал официальное извинение. Он признал, что «поторопился» с анонсом и принимал решения на основе неполной информации [16:15]. Шумер заявил, что его команда работает над тем, чтобы разобраться в причинах произошедшего [16:28]. Сахил Чаудхари, основатель Glaive AI, также прокомментировал ситуацию: * Он утверждает, что никогда не запускал модели сторонних провайдеров (таких как Anthropic) через свой API [16:52]. * Чаудхари пообещал провести внутреннее расследование и понять, почему модель вела себя как Claude и почему бенчмарки оказались невоспроизводимыми [17:33]. * Он допустил, что результаты могли быть следствием «загрязнения» (contamination) данных или ошибок в конфигурации [17:45]. Сообщество восприняло эти оправдания со скепсисом. Критики указывают на то, что Сахил был тем, кто предоставил Шумеру результаты тестов и хостил API, а значит, он не мог не знать о подмене [18:12]. ## 📉 Последствия для репутации [[JUMP:18:52]] Уэс Рот отмечает, что до этого инцидента Мэтт Шумер имел хорошую репутацию «строителя» и активного участника Open Source движения [02:47]. Шумер ранее выпускал интересные проекты, такие как *Self-Operating Computer*, и его деятельность не вызывала подозрений [02:22]. Автор видео задается вопросом: зачем человеку с таким кредитом доверия рисковать всем ради краткосрочного хайпа? Возможные мотивы могут включать: * Привлечение новых пользователей в основные продукты (например, HyperWrite). * Поиск инвестиций или спонсоров для аренды вычислительных мощностей (Шумер как раз искал спонсоров для модели 405B перед крахом) [05:51]. * Увеличение числа подписчиков и медийного влияния. Тем не менее, Уэс Рот считает такой поступок крайне недальновидным, так как доверие сообщества восстановить будет крайне сложно [19:33]. В завершение он иронично подмечает, что в выигрыше остались только «ИИ-инфлюенсеры», которые получили просмотры на хайпе, не неся никакой ответственности за проверку фактов [19:59].