Полное руководство по дедупликации данных (включая принципы работы)

9 декабря 2021 г.

Цифровые программы и серверы постоянно получают, отправляют и хранят данные в своих системах. Дублирующиеся документы, наборы данных и сообщения могут использовать хранилище и ресурсы, что может стоить компаниям ненужных расходов. Сокращение количества дубликатов в программе или системе может снизить затраты на дополнительную емкость хранилища или пропускную способность для компаний с большими объемами данных. В этой статье мы обсуждаем процессы дедупликации данных, включая то, что они из себя представляют, когда их используют программисты и как они работают.

Что такое дедупликация данных?

Дедупликация данных — это вычислительный процесс, который устраняет избыточные дубликаты данных и снижает потребность в дополнительной емкости для хранения в программе. Программисты могут написать функцию дедупликации непосредственно в программе хранения или в качестве фоновой программы для редактирования существующего набора данных. Функция заменяет повторяющиеся записи данных ссылкой на сохраненные исходные данные. Дедупликация может принести пользу компании за счет снижения затрат, увеличения скорости серверов и упрощения доступа к хранимым данным.

Когда программисты используют дедупликацию данных?

Программисты используют дедупликацию данных, когда хотят уменьшить объем памяти и пропускную способность, необходимые для программы или набора данных. Когда большие системы хранения содержат повторяющиеся данные, процесс дедупликации может сократить объем данных, хранящихся в системе. Эксплуатация систем с меньшей мощностью снижает использование ресурсов и может увеличить размер прибыли компании. Вот несколько случаев, когда компании или программисты могут реализовать функцию дедупликации данных:

Системы тестирования разработки

Тестирование разработки — это метод разработки программного обеспечения, который пытается объединить процессы разработки и тестирования. Дедупликация данных приносит пользу средам, в которых этот процесс происходит на нескольких устройствах или в нескольких сетях. Программы разработки и тестирования хранят и обрабатывают большие объемы повторяющихся данных, поскольку они постоянно проверяют операции, поэтому реализация функций дедупликации данных в этих программах помогает снизить нагрузку на емкость хранилища и перегрузку серверов.

Инфраструктуры виртуальных рабочих столов

Инфраструктура виртуального рабочего стола относится к системе, в которой среда рабочего стола и данные размещаются на централизованном сервере и развертывается контент для пользователей на любом устройстве через сеть. Эти инфраструктурные системы используют дедупликацию данных для минимизации требований к хранилищу, поскольку большая часть контента на настольных системах идентична. Запуск этих программ с меньшей емкостью и пропускной способностью также предотвращает сбои или задержки сервера, когда несколько пользователей одновременно входят в систему на рабочих столах или с нескольких устройств в одной сети.

Облачные системы хранения и управления данными

Когда системы сочетают методы дедупликации данных и облачного хранения, это может принести пользу как для требований к хранилищу, так и для управления данными. Процессы дедупликации уменьшают объем повторяющихся данных в программе хранения и, следовательно, уменьшают необходимое хранилище. Это может сэкономить компаниям затраты на приобретение дополнительных облачных хранилищ и емкости.

Сочетание дедупликации с методами организации облачного хранилища создает упрощенный индекс, который упорядочивает и сжимает повторяющиеся данные на основе таких факторов, как часовые пояса, пользователи, устройства и типы файлов. Эта организация создает простую систему для ссылок и управления большими объемами данных в широком диапазоне категорий, сетей и пользователей.

Как работает дедупликация данных?

Вот некоторые из распространенных методов, которые программисты используют для выполнения функций или процессов дедупликации:

Дедупликация файлов

Методы дедупликации на уровне файла исследуют файл в целом, а не его содержимое. Если найдено более одного файла-дубликата, функция удаляет реплику и заменяет ее ссылкой на оригинал. Хотя этот метод полезен при работе с простыми файлами, он также не устраняет повторяющиеся точки или части, которые встречаются в файле, и требует, чтобы дубликаты файлов не имели незначительных отличий от оригинала. Программисты также называют этот метод хранилищем с одним экземпляром.

Дедупликация фрагментов

Метод фрагментации дедупликации разбивает данные на серию фрагментов. Затем он пропускает эти фрагменты через алгоритм хеширования, чтобы создать хэш, уникальный для этого набора данных. Затем система сравнивает каждый хэш с любым другим хэшем в индексе, чтобы найти фрагменты, которые дали повторяющиеся результаты или уже существуют в системе. Идентичные хэши указывают на повторяющиеся наборы данных, а система дедупликации удаляет повторяющиеся данные и сохраняет только оригинал. Клиенты обычно используют или покупают внешние инструменты и программы для выполнения этого метода фрагментации в своих системах данных.

Дедупликация подфайлов

Дедупликация подфайлов оценивает отдельные компоненты файла для поиска в нем дублирующегося содержимого. Этот метод делит файл на блоки вложенных файлов и сравнивает блоки с другими в файле, чтобы найти повторяющиеся разделы или наборы данных. Эти разделы подфайлов подвергаются методу дедупликации фрагментирования, и система удаляет повторяющуюся информацию для экономии ресурсов хранилища и сервера.

Дедупликация клиентских резервных копий

Дедупликация резервного копирования клиента, иногда называемая дедупликацией источника, выполняется во внутренней клиентской программе резервного копирования. Он использует метод фрагментации для определения фрагментов, не имеющих дубликатов, и передает на диск только фрагменты, которые ранее не встречались. Куски, которые появляются в предыдущей памяти, не переносятся с клиента резервного копирования на основную дисковую систему. Этот метод дедупликации экономит пространство и пропускную способность, удаляя дубликаты перед их передачей между устройствами и серверами.

Целевая дедупликация

Метод целевого дублирования применяется к резервным и вторичным системам хранения. Этот метод удаляет дубликаты точек данных по мере того, как данные передаются из источника в программу резервного копирования. Целевая дедупликация эффективна для сокращения использования хранилища во вторичной системе хранения, но не уменьшает объем данных, передаваемых между серверами, или пропускную способность, необходимую для процесса передачи.

Встроенная дедупликация

Встроенная дедупликация относится к реализации функции дедупликации до и во время процесса ввода данных. Этот метод ищет и удаляет повторяющиеся данные, когда программист вводит их в программу. Это означает, что программист записывает функцию непосредственно в код системы ввода.

Дедупликация постобработки

Функции дедупликации постобработки проверяют и редактируют данные, которые система ранее записала. Программисты внедряют этот процесс в систему резервного копирования источника данных после ввода данных. Эта функция индексирует, сравнивает и сжимает уже установленный контент для экономии памяти.