Привет! Это проект Digital Garden: мы строим медиа и платформу о практике исследования в новой реальности.

Внутри этого письма, как всегда, классные статьи и ссылки, заинтересовавшие нашу команду, а еще лонгрид, в котором мы исследуем, как алгоритмы стали новыми архитекторами власти. Enjoy!

В 2023 году Федеральная торговая комиссия США провела крупную  антимонопольную проверку против Amazon. В процессе выяснилось, что компания с 2015 по 2019 год тайно использовала алгоритм под кодовым названием "Project Nessie", который позволял тестировать, насколько высоко можно поднять цены, оставаясь уверенными, что конкуренты автоматически последуют их примеру.

Алгоритм анализировал поведенческие паттерны других e-commerce платформ и предсказывал их реакцию на изменения цен Amazon, фактически превращая рыночную конкуренцию в скоординированную систему ценообразования.

В результате Amazon заработала более $1 миллиарда избыточной прибыли, заставив американских потребителей переплачивать, а конкурентов — безоговорочно соглашаться на навязывание цен.

В 2024 году Еврокомиссия оштрафовала Apple на €1,84 миллиарда за нарушение закона о цифровых рынках (DMA Act) из-за правил App Store. Выяснилось, что компания системно запрещала разработчикам приложений — например, Spotify — сообщать пользователям о том, что подписку можно оформить дешевле за пределами App Store.

Так называемая политика anti-steering означала, что внутри приложения нельзя было разместить даже ссылку или текстовое упоминание о стороннем способе оплаты. Это фактически вынуждало продавцов и покупателей проводить все транзакции через платежную систему Apple с комиссией до 30%.

Все это не случайные явления, а симптомы новой экономической реальности.

Экономист и бывший министр финансов Греции Янис Фаруфакис назвал ее технофеодализмом.

По его мнению, классический капитализм мы уже пережили. Главным источником власти сейчас становятся не рынки и конкуренция, а цифровые платформы, которые работают как частные феодальные владения. Вместо того чтобы зарабатывать на производстве или торговле, они взимают «ренту» за доступ к своей инфраструктуре.

Amazon, Google или Apple не просто компании на рынке — это владельцы «цифровой земли», где все остальные вынуждены играть по их правилам.

Причем эти правила нельзя отклонить — можно только отказаться от использования площадки в целом. Что в рамках существующей рыночной конъюнктуры означало бы коммерческий провал и, как следствие, продуктовую смерть.

Сам концепт технофеодализма наделал много шума в публичном пространстве. И естественно, встретил волну бесконечной критики.

Например, писатель и исследователь технологий Евгений Морозов считает, что хоть идея «нового феодализма» и притягательна, основная часть его описаний все еще укладывается в рамки капиталистической логики — платформа-монополии, эксплуатация данных, финансовые ренты остаются частью того же режима.

А исследователь Ариф Новианто настаивает, что технофеодализм — скорее метафорический образ, нежели четкая социально-экономическая реальность. Потому что многие из наблюдаемых явлений — концентрация власти, контроль над инфраструктурой, зависимость от облачных сервисов — скорее «прокачивают» капитализм, а не заменяют его.

Однако резонанс, который произвела эта идея, невероятно важен сам по себе. Фаруфакис явно задел какой-то нерв.

Этот нерв — дикая тревога по поводу того, как современные технологии меняют наши отношения с суверенитетом.

Не случайно инициаторами всех судебных кейсов выше было государство.

Передовые технологии и политический суверенитет — сущности, которые были неразрывно связаны на протяжении всей истории. 

Для государственной власти технологии всегда были важным инструментом, которые она стремилась, как минимум, контролировать, а желательно — вообще получить над ними монополию.

Это необходимо, во-первых, для того, чтобы достигать конкретных военных, экономических и социальных целей. В XVI веке Англия и Франция контролировали производство пороха, превращая его в инструмент централизации власти. В XIX веке Россия и США национализировали железные дороги и телеграф как основу военного управления и торговли. А в XX веке США и СССР первыми монополизировали ядерные технологии, сделав их главным ресурсом глобального баланса сил и дипломатического давления.

Но самое главное — технологии становятся инструментом формирования коллективного воображения.

Исследовательница Шейла Джасанофф (1) в книге Dreamscapes of Modernity называет это «социотехническими воображениями» — общими представлениями о том, каким должно быть будущее и какую роль в нем отдано технике. По ее мнению, те, кто контролирует технологии, фактически формируют такие образы для целого общества и, как следствие, имеют возможность навязывать необходимые представления о том, как работает мир и зачем мы в нем.

Раньше этим чаще занимались правительства через внедрение полноценных государственных программ. “Atom for peace” представляла американским гражданам ядерную энергетику как путь к изобилию и миру. Советские пятилетки создавали индустриальные утопии, в которых новые заводы, города и инфраструктура становились символами прогресса и технологического доминирования советского общества. А французская ядерная программа 60-х–70-х настаивала на образах будущего, в котором французы будут энергетически независимой и технологически продвинутой нацией.

Но в последние годы что-то изменилось.

Государства больше не формируют убедительных — или хотя бы серьезно обсуждаемых — сценариев общего будущего, связанных с технологиями. А главный «футурологический центр» постепенно переехал в Кремниевую долину и Техас.

Именно там сейчас производятся ключевые истории о нашем общем технологическом будущем, которые формируют ядро повестки публичных дискуссий о векторах развития человечества вообще.

Скорость прогресса современных технологий так высока, что у государств не остается времени даже на создание рабочих механизмов регулирования, не говоря уже о попытках установить над ними монополию.

Именно поэтому многие исследователи соглашаются, что ИИ, цифровые платформы и алгоритмы открыли новый этап истории в отношении человека с технологиями.

В нем они (технологии) перестают быть просто инструментами в руках суверенитета, а становятся полноценными акторами, которые сами этим суверенитетом обладают.

Например, имеют возможность формировать социальные, экономические и политические структуры общества – через алгоритмы рекомендаций, которые определяют информационные пузыри и политические предпочтения; через интерфейсы мессенджеров, которые создали новые формы социального поведения (от гостинга до гэтсбинга), через платформенные сервисы и фриланс-биржи, которые нормализовали прекарность труда.

Философ техники Бенджамин Браттон в книге “The Stack” (2) описывает современную техносферу как «новую архитектуру суверенитета». По его мысли, все уровни современной инфраструктуры складываются в нечто вроде глобального «стэка», который сам по себе начинает брать на себя функции государства: устанавливать правила, регулировать поведение, распределять ресурсы.

6 уровней стека по Браттону, которые сейчас связывают и регулируют технологии

Вот всего несколько примеров: Regulatory Intelligence Office в ОАЭ, где искусственный интеллект анализирует законодательство и предлагает поправки правительству. ИИ-министр Diella, которой албанское правительство недавно передало контроль за государственными тендерами, чтобы снизить коррупцию. Непальские протестующие, которые активно использовали ChatGPT для отбора кандидатов в переходное правительство. Все чаще технологии встраиваются в самое ядро политических процессов, создавая радикально новую архитектуру суверенитета.

«И что, нами скоро начнет править ChatGPT?»

Не совсем.

Критически важно понимать, что нет никакой внешней техно-сущности, которая может реально «прийти» и «поработить» нас (или, как минимум, отнять работу).

Особенность современных технологий заключается не в том, что они правят социальной реальностью откуда-то извне, а в том, что они имитируют, воспроизводят и оптимизируют ее изнутри — заставляя нас смотреть на отражение собственных предрассудков, несправедливых политических механизмов и привычных форм социального и трудового неравенства.

В работе "The Eye of the Master" философ Маттео Пасквинелли (3) показывает, что искусственный интеллект формируется не через имитацию биологического интеллекта, но через усвоение «интеллекта труда и социальных отношений». ИИ имитирует «форму социальных отношений и организацию труда», обучаясь не индивидуальному мышлению, а коллективным паттернам взаимодействия.

Project Nessie Амазона не создавал рыночное доминирование с нуля — алгоритм просто имитировал и усиливал уже существующие паттерны олигополистического поведения компании на рынке.

Пользовательские условия App Store не навязывают чуждые человечеству правила — они просто кодифицируют и автоматизируют привычные нам отношения зависимости и контроля.

Когда MidJorney на запрос “Black African doctors providing care for white suffering children” настойчиво генерила картинки с белым врачом и африканскими детьми, она не изобрела новых предрассудков. Она воспроизвела социальный стереотип о «белом спасателе», который и так уже был укоренен в обществе.

Браттон не случайно называет ИИ «экзистенциальной технологией» — такой, которая способна настолько точно показать / раскрыть нам какие-то части самих себя, что легко можно впасть в экзистенциальный кризис.

Чувство зловещей долины наоборот.

Когда нейронка делает что-то похожее на нас, мы пугаемся не того, как нейросеть нам подражает, а того, как она нас отражает. Потому что мы, возможно, в первый раз сталкиваемся с реальным воплощением своих социальных отношений, способами работать, думать, говорить и делать политику.

И оказывается, со многим из этого иметь дело не очень приятно.

Telegram | Сайт

Вы получили это письмо, потому что подписались на рассылку Digital Garden. Спасибо, что вы с нами.

Вы можете отписаться от нас в любой момент здесь. Мы будем по вам скучать.