Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей
Теперь можно быстро тестировать нейросети и внедрять решения на основе их сжатых версий, экономя время и деньги. К примеру, «Яндекс» уже применяет метод HIGGS для ускоренного прототипирования.
Лаборатория исследований ИИ Yandex Research вместе с коллегами из Национального исследовательского университета «Высшая школа экономики», Массачусетского технологического института, Научно-технологического университета имени короля Абдаллы в Саудовской Аравии и Австрийского института науки и технологий создала новый метод сжатия больших языковых моделей (LLM), чтобы работать с ними на привычных устройствах — смартфонах и ноутбуках. Причем за считаные минуты и с сохранением качества. Это открывает доступ к передовым ИИ-технологиям для небольших компаний, стартапов и независимых разработчиков, которые не могут позволить себе дорогие серверы и мощные графические процессоры.
Основная сложность в работе с LLM — их высокая требовательность к аппаратным мощностям. Даже открытые модели, такие как китайская DeepSeek-R1, не помещаются на стандартных серверах для машинного обучения и ИИ. Хотя модели в открытом доступе, их применение было ограничено.
Новый метод квантизации, получивший название HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS), решает вышеописанную проблему: позволяет сжимать модели с сохранением качества и не требуя дополнительных данных. Теперь квантизацию, то есть операцию по сжатию модели, можно проводить на мобильном устройстве за минуты. Раньше на это уходило от нескольких часов до недель.
HIGGS протестировали на популярных языковых моделях Llama 3 и Qwen2.5. Согласно результатам, новый метод квантизации превзошел своих предшественников — NF4 и HQQ — по соотношению качества к размеру модели.
Исследование, в котором рассказано о достижении «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA, представят на конференции The North American Chapter of the Association for Computational Linguistics. Она пройдет с 29 апреля по 4 мая 2025 года в Альбукерке (США).
Статья уже опубликована на сервере препринтов arXiv.org, а сам метод HIGGS доступен на Hugging Face и GitHub.
Telegram 
Дзен 
VK Мохаммад Х. Аттаран (Mohammad H. Attaran) — концепт-дизайнер и цифровой художник, работающий в Великобритании. В своих проектах он сочетает эстетику научной фантастики с элементами, вдохновлёнными природой, особенно анатомией насекомых. Его машины, мехи и транспортные средства выглядят одновременно инопланетно и инженерно достоверно. Ну или почти.
В богатом римском доме в Помпеях обнаружили останки четырех человек, а также детский амулет, баррикаду из кровати и следы борьбы. Спустя две тысячи лет ученые восстановили последние минуты жизни этих людей. Они надеялись пережить стихию за толстыми стенами, а когда поняли, что спасения нет, до конца боролись за жизнь.
ИИ-сервисы вроде ChatGPT и Claude могут помочь эффективнее справляться с работой, но сотрудники, использующие подобные инструменты, рискуют столкнуться с негативными последствиями. Группа американских ученых в серии экспериментов показала, что люди склонны хуже оценивать тех, кто прибегает к помощи нейросетей, считая их более ленивыми и менее старательными.
Мохаммад Х. Аттаран (Mohammad H. Attaran) — концепт-дизайнер и цифровой художник, работающий в Великобритании. В своих проектах он сочетает эстетику научной фантастики с элементами, вдохновлёнными природой, особенно анатомией насекомых. Его машины, мехи и транспортные средства выглядят одновременно инопланетно и инженерно достоверно. Ну или почти.
Исследуя генетическое происхождение мужского населения Нидерландов, ученые заметили географические особенности распределения гаплогрупп. Теперь, чтобы их объяснить, проанализировали Y-хромосомы сотен человек, начиная с раннего Средневековья, в сравнении с геномами современного населения страны. Авторы рассчитывали обнаружить непрерывность популяций, однако столкнулись с неожиданными сложностями.
Ответ на этот важнейший вопрос десятки лет давали, исходя из политических соображений. Сначала это были «преимущества социалистического строя». Потом, когда он развалился, причиной назвали «героизм и патриотизм народа» — который, несомненно, был, как и у множества народов от начала веков, но сам по себе еще ни разу не выигрывал войны. Реальные причины советской победы все это время оставались в стороне. А прояснить их очень даже стоит: сделай мы это раньше — и многие войны после Второй мировой прошли бы куда быстрее и легче.
Да, с волосами и люком все так. У космонавта Суниты Уильямс волосы на МКС плавали свободно, а у Кэти Пэрри и прочих в полете 14 апреля 2025 года — нет. Но это не значит, что суборбитального космического полета первого чисто женского экипажа не было или что он был инсценировкой. Причем, в общем-то, чтобы понять это, даже не нужно обладать специальными знаниями.
Многие знают, как популярны сувениры из окаменелостей — зубы древних акул или полированные панцири аммонитов. Но чем реже встречаются такие артефакты, тем они ценнее, то есть на них можно много заработать. И это проблема для палеонтологов. Американский специалист по тираннозаврам оценил ущерб, который нанесла коммерческая добыча костей T. rex и подсчитал среднюю цену таких образцов. Оказалось, больше половины найденных тирексов находится в частных руках, а значит, для науки они недоступны или ненадежны.
Мощнейшее отключение электроэнергии за последние 20 лет истории Европы случилось уже неделю назад, а испанские власти пока так и не объявили о его причинах. Это логично: как мы покажем ниже, ответ на вопрос, кто виноват, получится очень неполиткорректным. И, более того, противоречащим линии правящей в Испании партии. Но мы живем за тысячи километров от нее, поэтому можем себе позволить аполитичный анализ случившегося. Так что же произошло на самом деле и каковы наши шансы увидеть подобное у себя дома?
Последние комментарии