Децентрализованные сети хранения данных — пояснение


Справочная информация

Данные очень важны, а технологии, созданные для их передачи и распространения, влияют на весь мир. Начиная с древних сказителей и систем письменности, и заканчивая изобретением Интернета и Сети, которые произвели революцию в том, как общество получает доступ, просматривает и использует информацию.

Недавняя волна разрушительных инноваций в области информационных технологий — это децентрализованные сети.

В дискуссиях о хранении данных в веб 3.0 (децентрализованном вебе) часто упоминаются децентрализованные сети хранения данных? Что такое децентрализованное хранение данных? Чем оно отличается от традиционного облачного хранилища? Как работают децентрализованные сети хранения данных? Каковы уникальные возможности применения и возможные проблемы децентрализованных сетей хранения данных нового поколения?

Я расскажу о децентрализованных сетях хранения данных, и прочтение этой статьи даст ответы на эти вопросы, а также, надеюсь, вызовет у вас интерес к бесчисленным возможностям децентрализованных сетей хранения данных.

Традиционные решения для облачного хранения данных

Распределенные вычисления и высокоскоростное подключение к Интернету обеспечили повсеместное распространение онлайновых (облачных) решений для хранения данных, таких как Dropbox, Google, Amazon и др. Эти решения построены на базе распределенных сетей сервер-клиент, принадлежащих и контролируемых отдельными организациями. При этом возникают проблемы, связанные с цензурой, централизацией власти и доверия, низкой отказоустойчивостью и рисками безопасности данных.

Децентрализация

Децентрализация — это распределение доступа и контроля над системой между участниками, а не концентрация власти у центрального органа или организации.

Децентрализованное хранение данных

Децентрализованная сеть хранения данных (DSN, она же децентрализованная файлообменная сеть) — это распределенная одноранговая сеть (p2p), устойчивая к цензуре, состоящая из недоверчивых узлов, сотрудничающих для обеспечения емкости хранения данных. Эти узлы хранят фрагменты данных, каждый узел выделяет дисковое пространство, память, пропускную способность и процессор.

Децентрализованные системы хранения данных разработаны для обеспечения отказоустойчивости с намеренно встроенными методами избыточности данных для обеспечения отказоустойчивости и отсутствия единой точки отказа. На безопасность и восстановление данных без доверия не должны влиять узлы, присоединяющиеся к сети или покидающие ее.

Одна из особенностей этой модели хранения данных заключается в том, что она переносит адресацию ресурсов с подхода, ориентированного на местоположение, на подход, ориентированный на содержимое.

Поколения децентрализованных сетей хранения данных

Хотя в последнее время DSN привлекают к себе много внимания, они не являются чем-то новым. Первое поколение p2p DSN, таких как Napster, Torrents и т.д., часто использовалось для обмена музыкальными и видеофайлами. Равные пользователи хранили копии фрагментов файлов на своем компьютере. Затем этот фрагмент по запросу передавался другим узлам сети. Пиры могли решать, оставаться в сети или нет, в случае с Torrents, чем больше пир предоставлял сети, тем больше он получал удовольствия от процесса загрузки.

Много труда было потрачено на разработку DSN нового поколения, построенных на новых и существующих технологиях для обеспечения глобального децентрализованного распределения файлов, веб-сайтов, приложений и данных с низкой латентностью.

Важные свойства распределенных систем хранения данных нового поколения.

  • Это характеристики, которые отличают новое поколение распределенных систем хранения данных от DSN первого поколения:
  • Экономические модели для стимулирования пользователей к достижению постоянства данных и участию.
  • Механизм консенсуса для подтверждения сохранности данных
  • Высокая масштабируемость и устойчивость.

IPFS, Sia, SafeNetwork, Arweave, 0Chain, Storj, BitTorrent File-System и Swarm — вот некоторые яркие примеры DSN нового поколения. Многие из них используют одни и те же базовые технологии, применяемые по-разному.

В следующем разделе я обсуждаю технические концепции, общие для большинства реализаций DSN.

Концепции децентрализованного хранения данных

Некоторые из базовых технологий включают Torrent, методы кодирования Erasure для обеспечения избыточности, Merkle DAG, распределенные хэш-таблицы, технологии блокчейн и механизмы консенсуса и т.д.

  1. Разделение данных: фрагментация файла для хранения в сети на фрагменты данных. В некоторых DSN, например, Safenetwork и Storj, данные шифруются перед разбивкой на фрагменты.

  2. Адресация содержимого: Как было сказано ранее, DSN хранит и извлекает данные на основе их содержимого. Это достигается с помощью алгоритмов хэширования, направленных ациклических графов Меркла (DAG) и распределенных хэш-таблиц.
    Данные, к которым необходимо обратиться, проходят через хэш-функцию для создания их CID. Хеш-функция является (a) детерминированной: одни и те же входные данные всегда возвращают один и тот же CID. (b) односторонней функцией — входные данные не могут быть получены из их CID. (c) CID уникален, небольшое изменение данных приводит к получению другого CID.
    Поскольку данные всегда разделяются и распределяются между пирами, нам нужна структура данных для верифицируемой связи кусков данных вместе, а также для представления информации о пути при загрузке папок.

  3. Merkle DAG: Граф — это структура данных, используемая для представления парных отношений между объектами — узлами. Узел с потомками является корневым узлом, а узлы без потомков называются листовыми узлами.
    Направленный граф: имеет представление о том, как связаны узлы — какой узел содержит какие узлы. Например, папка содержит файл; файл содержит данные, а не наоборот.
    Ациклический граф: представляет однонаправленные парные отношения между узлами, например, вы можете перемещаться только от родительского узла к дочернему узлу.
    Графы Меркла используются для представления иерархических отношений. Поскольку CID уникален, DSN и другие системы, такие как Git, используют их для представления отношений между объектами с помощью Merkle DAG.


CID узла зависит от каждого из его потомков в Merkle DAG. Изменение в содержимом потомка «пузырится» и приводит к изменению CID родителя. Эти характеристики позволяют нам надежно и достоверно идентифицировать данные в сети без доверия.
Merkle DAG позволяет нам связывать вместе фрагменты содержимого, файлы, папки и каталоги, а также отслеживать ревизии или изменения в содержимом. CID файла будет состоять из CID кусков данных его содержимого. Пользователь может получить весь файл с помощью CID файла.
CID раскрывает важную особенность постоянства DSNs, поскольку записи CID хранятся. Кроме того, мы можем выбрать извлечение подконтента из группы DAG с его CID и встраивание его в другую большую группу DAG. Это позволяет дедупликацию, эффективное хранение данных путем кодирования избыточных разделов в виде ссылок.

  1. Трансляция: фрагменты данных распространяются в сети для хранения одноранговыми сетями. Ни один пир не хранит весь объем данных, данные реплицируются между узлами пиров.
  2. Поиск содержимого: DSN использует распределенные хэш-таблицы (DHT) для маршрутизации содержимого. DHT используется для сопоставления идентификаторов CID с пирами, имеющими данные (записи провайдера), а также идентификаторов пиров с адресами, по которым можно связаться с пиром. Когда вы запрашиваете файл, узел в сети посылает запрос своим коллегам, у которых, скорее всего, есть данные, на основе поиска CID в DHT.Кэширование: первый узел, получивший ответ, предоставляет данные. Затем данные хранятся в кэше запрашивающего узла, и он может предоставить их по запросу. Узлы могут хранить данные, которые их интересуют, они могут решить закрепить данные, чтобы сохранить их. Это относится к стимулированию. Стимулирование: данные гарантированно сохраняются в DSN до тех пор, пока узел хранит их, принимаются многочисленные меры для предотвращения потери данных, включая вознаграждение операторов узлов. Многие DSN имеют игровые теоретические стимулы, чтобы поощрять участие и препятствовать злому умыслу или халатности. Поставщики хранилищ заключают контракты на хранение данных с пользователями, которые платят токенами. Некоторые DSN, такие как Filecoin, заключают контракты на определенное время, в то время как Arweave и Safe имеют одноразовую структуру оплаты. Большинство DSN имеют механизмы стимулирования на основе блокчейна.Verifiable Content Persistence: эти механизмы реализуются сетями для проверки выполнения требований по хранению данных узлами и выявления злонамеренного поведения коллег.Это вероятностные задачи, которые с высокой степенью уверенности доказывают, что провайдер выполняет соглашение о хранении данных, хорошо себя ведет и не подвержен аппаратным сбоям.Примеры таких механизмов — Proof-of-space, Proof-of-access, Proof-of-Work, succinct Proof of Random Access и др.

DSN нового поколения

Описание Стимулирование сохранения данных Механизмы консенсуса и доказательства
Безопасная сеть текущий проект DNS, направленный на создание постоянной, надежной и безопасной сети хранения данных. Многоуровневое шифрование данных для обеспечения максимальной безопасности единовременная оплата токенами Safe Network. Доказательство ресурса (аналогично доказательству нулевого знания) и старение узлов.
Sia DSN, в которой зашифрованные данные пользователей (они же арендаторы) хранятся по рыночной цене, определяемой провайдерами и арендаторами. Арендаторы сохраняют право собственности на хранящиеся у них данные. Блокчейн Siacoin Доказательство работы, доказательство хранения
IPFS одна из наиболее широко используемых DNS с множеством приложений и абстракций, построенных на ее основе. Для хранения данных на IPFS требуется служба пиннинга, например Pinnata, или назначение собственного узла IPFS для пиннинга. Filecoin — это рыночная площадка и система вознаграждения на основе блокчейна, созданная командой IPFS. Filecoin использует доказательство репликации и доказательство пространства-времени.
Arweave Arweave обеспечивает постоянное хранение данных за счет устойчивых и вечных фондов, аналогичных традиционным экономическим фондам. Токен Arweave Сукцинальное случайное доказательство доступа

Примеры использования децентрализованных сетей хранения данных

DSN обладают большим потенциалом, и они будут способствовать новой итерации веба, вебу 3.0. DSN станут основой более открытого, устойчивого к цензуре, безопасного и надежного интернета. Вот некоторые из все более популярных применений DSN.
Хранение данных на цепочке блокчейн является дорогостоящим, поэтому данные децентрализованных приложений (dApp), такие как данные о регистрации пользователей, управление доступом и идентификацией, хранятся в децентрализованных хранилищах.

  • Хостинг веб-сайтов и приложений на DSN. Fleek.co предоставляет хостинг dApp, построенный на базе IPFS.
  • Провайдеры децентрализованных облачных хранилищ, такие как Storj, Filecoin и т.д., обеспечивают доступное хранение данных, конкурирующее с традиционными облачными хранилищами, для предприятий и конечных пользователей. DSN стремятся предложить более производительные, доступные и безопасные решения для облачного хранения данных — стоимость хранения данных Storj составляет $11/ТБ в месяц, а Sia утверждает, что цены в их сети обычно составляют около $2 за ТБ в месяц.
  • В настоящее время узлы в сетях блокчейн должны загружать весь блокчейн, чтобы иметь возможность майнить/подтверждать блоки транзакций. В настоящее время предпринимаются усилия по использованию децентрализованного хранилища, позволяющего обмениваться данными блокчейна между узлами майнинга — Swarm от Ethereum.
  • Системы управления идентификационными записями хранят данные о пользователях в DSN. Реестр блокчейна связывает сохраненный идентификатор с пользователем, по которому можно проверить личность. например, uPort.
  • Постоянство данных в таких платформах, как Arweave, обеспечит надежное доказательство существования данных в определенный момент времени и надежную архивную веб-систему.
  • Самоаутентификация. Право собственности на данные пользователей будет означать, что пользователи «подключают и воспроизводят» свои данные в приложениях, размещенных на DSN. Компании не смогут передавать/продавать данные пользователей третьим лицам.

Проблемы с DSN

Многие децентрализованные решения для хранения данных все еще находятся в зачаточном состоянии. Многие исследования и инновации все еще продолжаются, и может пройти несколько лет, прежде чем они смогут предоставлять услуги, превосходящие централизованные облачные решения.

  • Некоторые DSN работают медленно по сравнению с централизованными облачными сервисами.
  • Существующие предложения по хранению данных не так просты в использовании, как Dropbox, OneDrive и т. д. Они часто требуют определенной технической настройки, что может отпугнуть пользователей, не обладающих техническими навыками.
  • Проблемы непостоянства данных в предложениях DSNs с контрактами на хранение данных на основе времени. Лишь немногие из них, такие как Arweave и Safe-Network, гарантируют постоянство при единовременной оплате.
  • Некоторые DSN, например, IPFS, не обеспечивают шифрования контента «из коробки», данные хранятся в общедоступной сети хранения, которую может запросить любой пользователь с его CID. Это хорошо подходит для некоторых случаев использования, но вам как пользователю, возможно, придется вручную выполнять шифрование при выборе этих категорий DSN.
  • Многие DSN хранят данные в обмен на токены, основанные на технологии блокчейн. Волатильность цен на токены может означать непредсказуемые затраты на хранение данных, что может затруднить бюджетирование расходов на хранение. Возможно, мы можем ожидать, что рынок будет регулировать себя сам, а эффект масштаба приведет к снижению цен.

Заключение

DSN способствуют созданию более безопасной, устойчивой, открытой и надежной итерации Интернета. Эта новая итерация, веб 3.0, способствует совместному использованию вычислительных, информационных и экономических ресурсов. DSN — это фундамент, на котором строится будущий веб.

DSN, которые будут процветать и приобретут популярность, — это те, которые обеспечивают устойчивое и высокодоступное вознаграждение за хранение данных для поставщиков и конечных пользователей. В DSN будет больше потребности в предсказуемых затратах на хранение данных, и мы, вероятно, станем свидетелями более широкого применения стабильных криптовалют в этих сетях. В ближайшие несколько лет появится больше проектов, которые абстрагируют пользователей от технических аспектов, чтобы решения DSN были такими же бесшовными, как популярные сегодня облачные хранилища.

По мере внедрения инноваций и создания новых приложений на основе DSN, более подходящим термином будет децентрализованные вычисления. Существует так много потенциала и возможностей для создания децентрализованных сетей хранения данных, возможно, вы или я создадим удивительный проект, который приблизит нас к этому будущему.

Хотите принять участие?

Arweave инвестирует до 100 тысяч долларов в ваши приложения Permaweb,

Вы можете внести свой вклад в IPFS,
Участвуйте в проектах SafeNetwork,
Storj предлагает бесплатное хранение 150 ГБ/месяц, и

Проверьте NFT Storage для бесплатного хранения данных NFT, построенного на IPFS и Filecoin.

Ссылки и дополнительная литература

Arweave
Файловая система BitTorrent (BTFS)| масштабируемое децентрализованное хранилище файлов
Консенсус без блокчейна Maidsafe
Децентрализованное хранилище | ethereum.org
Децентрализованное хранилище | weteachblockchain.org Weteachblockchain.org
Распределенные хэш-таблицы IPFS
IPFS

IPFS Whitepaper Хуан Бенет
Учебник по IPLD | Merkle DAGs: структурирование данных для распределенной сети | ProtoSchool
Учебник по мультиформатам | Анатомия CID | ProtoSchool
SafeNetwork
Sia
Storj
Swarm
Смысл децентрализации | Виталик Бутерин
Сравнение 7 децентрализованных сетей хранения данных | Роберт Шелдон, Брайен Поузи

Я хотел бы услышать ваши мысли о том, какие аспекты децентрализованного хранения данных вызывают у вас наибольший интерес. Какие новые варианты использования, преимущества и проблемы приходят вам на ум?

Оцените статью
Procodings.ru
Добавить комментарий