Добро пожаловать на DeAI Summer

В ноябре 2024 года я собрал вместе пять основателей из портфеля CoinFund для круглый стол о принятии децентрализованного подхода к реализации технологического стека ИИ. Этот стек не является тривиальным: он начинается с основы агрегации GPU-вычислений, сталкивается со сложными задачами децентрализованного обучения ИИ и экономически эффективного вывода, а также поднимает вопросы о децентрализованном сборе данных и разработке потребительских продуктов на базе ИИ.

Из этого обсуждения стало ясно, что наши основатели децентрализованного ИИ (deAI) не просто продают ИИ для Web3; они продвигают передовые технологии самого ИИ. Более того, до меня дошло, что в ближайшем будущем лучшей ставкой для розничных инвесторов, желающих получить финансовую экспозицию к передовому ИИ, будут не публичные акции или частные размещения – а цифровые активы. Покидая разговор вдохновлённым инновациями и растущими финансовыми возможностями, я сказал группе, что в ближайшие месяцы мы увидим взрывной рост, назвав это «deAI Лето 2025».

Спустя восемь месяцев, это наконец-то произошло.

Мы сейчас живем в мире, где модели проверки концепции уже были предварительно и дополнительно обучены в децентрализованных сетях. Очень вероятно, что модели с 100 миллиардами параметров предварительное обучение в децентрализованных сетях будет продемонстрировано в этом году. Некоторые компании считают, что мы можем достичь модели передового интеллекта в децентрализованных сетях, используя пост-обучение и обучение с подкреплением. Даже Джек Кларк, соучредитель Anthropic, писал о децентрализованном обучении на его личном блоге.

Разработка искусственного интеллекта находится на переломном этапе. В то время как крупные компании, такие как OpenAI, Microsoft и Google, стремятся привлечь потребителей в качестве ключевой цели, всё больше пользователей применяют инструменты ИИ в своих рабочих процессах и личной жизни. Однако с централизованными корпорациями у руля, количество личных данных, находящихся под угрозой, стало беспрецедентным. Именно по этой причине deAI стала ключевой категорией для Web3 и обладает потенциалом фундаментально изменить способы создания и владения моделями.

Согласно к данным По данным аналитической платформы Kaito, за последние 12 месяцев deAI занял более 30% внимания в криптопространстве. Компании, создающие протоколы распределенных вычислений, агентские фреймворки и децентрализованные маркетплейсы, доминируют на этом пересечении. Поскольку существует мало публичных акций, ориентированных на прямое воздействие передовых технологий ИИ, и большинство розничных инвесторов не имеют доступа к частным раундам таких передовых лабораторий, как OpenAI или Anthropic, криптоактивы deAI становятся весьма востребованным классом активов для инвестиций в компании, занимающиеся искусственным интеллектом.

В то время как вокруг deAI существует много шумихи, в CoinFund мы стремимся отсеять лишний шум и задать себе вопрос, какие команды решают наиболее значимые и сложные задачи. В числе таких задач стоит вопрос, возможно ли обучать крупные конкурентоспособные модели на децентрализованных сетях.

Обучение очень больших моделей, по-видимому, требует высококлассных, с большим объемом памяти GPU с высокой пропускной способностью связи, поскольку узлы обучения постоянно обрабатывают пропускную способность, превышающую во много раз размер всего интернета. Исторически разработчики в этой области прилагали огромные усилия для снижения этих требований к пропускной способности, но так и не нашли эффективного подхода.

Например, предыдущие попытки сжать эту пропускную способность сорвали процессы обучения, поскольку сжатие с потерями приводило к неспособности моделей к сходимости. Все считали, что не существует жизнеспособного решения по снижению требований к пропускной способности до уровня, при котором процесс обучения мог бы осуществляться на обычном GPU-оборудовании при медленных интернет-соединениях. Соответственно, большинство экспертов соглашались, что децентрализованное обучение — это тупиковый путь.

Мы не согласились.

Наша тезис

CoinFund’s тезис о децентрализованном ИИ заключается в том, что сети Web3 позволят моделям искусственного интеллекта быть краудсорсинговыми, обучаться, принадлежать и поддерживаться как открытые и ценные общественные блага. Эти сети будут аккумулировать рекордные объемы вычислительных ресурсов, конкурировать на переднем крае развития ИИ и создавать масштабные инновации в сфере ИИ в целом, решая такие задачи, как оптимизация пропускной способности, обнаружение ошибок, устойчивость к сбоям, распределение, устойчивое открытое программное обеспечение и шардирование моделей.

Кроме того, эти сети — несмотря на их открытость — также будут иметь бизнес-модели. Например, децентрализованные AI-модели будут существовать в сеть и пользователи будут платить сети за проведение выводов на их данных. Эти сети будут стимулировать и выравнивать интересы пользователей, компенсируя им за финансирование и обучение моделей, а также предоставляя долю в сети.

В портфеле CoinFund мы поддерживали децентрализованные компании в сфере обучения, такие как GenSyn, Prime Intellect и Pluralis. Эти компании добились впечатляющего прогресса в области децентрализованного предварительного и последующего обучения. GenSyn привлекла к своей свыше 85 000 участников.Тестовая сеть Swarm RL. Prime Intellect обучила Модель с 32 миллиардами параметров и распределёнными вычислениями. Pluralis недавно запустил значимая статья, показывая, что без потерь компрессия может обеспечить масштабное предварительное обучение моделей в децентрализованных сетях.

Мы также поддержали платформу управления данными Perle, который недавно опубликовал статью о человеко-аннотировании в машинном обучении, и платформа дообучения моделей Бейгл недавно опубликовала свою структуру для тонкой настройки с использованием доказательств с нулевым разглашением. Портфельная компания CoinFund Гиза недавно дебютировал ARMA, агент искусственного интеллекта, который завоевал внимание DeFi, помогая пользователям оптимизировать доходность по стейблкоинам в разных протоколах.

На пересечении Web3 и искусственного интеллекта наблюдается значительный объем активности, и по мере того, как основатели учитывают, как они будут масштабировать свои продукты в ближайшие месяцы, основной целью должно стать привлечение реальных клиентов и достижение соответствия продукта рынку. Компании, ориентированные на инференс, должны конкурентоспособно продавать услуги инференса в Web 2.0 и генерировать доход. Сети ранних участников по обучению ИИ будут агрегировать и привлекать больше клиентов.

К концу 2025 года мы ожидаем появление моделей с параметрами в сотни миллиардов в децентрализованной форме. Это было бы невозможно представить всего 18 месяцев назад! Если мы продолжим двигаться в этом направлении, компании с открытым исходным кодом в сфере ИИ могут однажды превзойти доминирующих игроков в области машинного обучения на сегодняшний день. В противном случае наши повседневные цифровые опыты могут оказаться в руках всего нескольких корпораций на западном побережье Соединённых Штатов.