Задание расписания для cron job: job schedule cron create -name daily_dedup -dayofweek &quot all &quot -hour 23 -minute 30. Используйте команду job schedule для управления расписанием заданий.


Чтобы посмотреть этот PDF файл с форматированием и разметкой, скачайте его и откройте на своем компьютере.
Компания Netwell ‐ российский дистрибьютор высокотехнологичного
Netwell является
Оглавление
Введение
Исходная
ситуация
задача
3 Описание процесса (и как задачу решить)
3.1 Вводная
3.2 Лицензии
4 Дедупликация в
Data
ONTAP
в 7
Mode
4.1
Активация дедупликации
4.2
Расписание
работы
дедупликации
4.3 аестирование
5 Дедупликация в
Clustered
Data
ONTAP
5.1 Активация дедупликации
5.2 Расписание дедупликации
5.3 аестирование
бправление
дедупликацией
OnCommand System Manager
7 Отчеты
8 Дополнительная информация
1
Введение
Дедупликация
это
возможность
системы
хранения
определять
устранять
избыточные
блоки
хранимых данных
NetApp
выполняет
дедупликацию
блоками
, что
обеспечивает
наилучшую
общую эффективность хранения
Дедупликация
выполняется
путем
удаления
дублирующихся
хранимых
блоков
данных
,
таким
образом
хранится
только один физический блок такого
содержимого, вне зависимости от того, сколько «л
огических» блоков такого содержимого
встречается в хранимых данных.
Однако
для приложения,
которому принадлежат
данные,
создается иллюзия хранения множества копий такого блока, хотя на самом деле, физически,
место на дисках занимает только один
Дубликаты
блока
заменяются
указатели
,
указывающие
исходный
блок
данных
,
такая
замена
происходит
прозрачно
для
пользователя
,
который
продолжает
использовать
свои
данные
так
,
словно бы они по
прежнему лежат на исходном для этого блока месте
Дедупликация
автоматически
удаляет
дублирующиеся
блоки
данных
блочном
уровне
,
возвращая
свободное
пространство
хранения, и
потенциально
повышает производительность за
счет снижения объемов записи на диск и уменьшения занятости блоков кэша
Дедупликация
раб
отает как постпроцесс, что позволяет запланировать время ее работы и сконфигурировать
пороги срабатывания
Рисунок
показывает
схематично
,
как
дедупликация
NetApp
удаляет
дубликаты
хранимых
блоков данных
Рис.
1)
Процесс дедупликации данных
зависимости
от
вида
приложения
типов
файлов
,
дедупликация
NetApp
может
сэкономить
95%
пространства хранения
ааблица
1)
Оценочные величины экономии пространства при дедупликации
аип данных
Приложение
Оценочная
экономия
дайловые сервисы и инфраст
руктура
35%
Виртуальные сервера и десктопы
70%
Базы данных
Oracle OLTP
Oracle DW
15%
SQL Server
20%
MS Exchange
2003/2007
2010
15%
Инженерные данные
30%
Геосейсмические данные
Архивные данные
25%
Данные резервных копий
95%
Внимание
Все приведенные величины
оценочны, компания не гарантирует точное
соответствие полученных пользователем результатов своим оценочным величинам
Начиная
Data
ONTAP
® 8.1
lustered
Data
ONTAP
8.1,
дедупликация
более не
ограничивается
своим собственным
лимитом на объем тома данных. Начиная с данной версии, единственным
ограничением на размер тома является ограничение, определенное типом контроллера системы
хранения, вне зависимости от того, используется на томе дедупликация или нет.
Внимание:
Data
ONT
AP
8.0,
максимальный размер тома, на котором можно использовать
дедупликацию, равен
2
Исходная
ситуация
задача
Рост
хранимых
данных
продолжается
многие
годы
,
,
часто
,
ведет
проблемам
управлении
инфраструктурой
перерасходу
бюджета
компании
аехнологии экономии пространства хранения и оптимизации
его расхода
распространяются все
шире. Их
распространение
вызвано
названной
проблемой
роста
объемов
снижения
бюджетов.
Использование технологий экономии и оптимизации хранения становит
ся де
факто
стандартом в условиях современного
3
Описание
процесса
и как задачу решить
Дедупликация
работает
как
фоновый
процесс
,
который
потребляет
системные
ресурсы
время
своей
работы. отот
процесс
работает
над
данными
томах типа
FlexVol
®.
Приведенные
рекомендации
позволят
правильно
настроить дедупликацию и получить выигрыш в объемах
хранения
ббедитесь
,
что
имеется
достаточно
свободного
места
для
хранения
метаданных
дедупликации
томах
aggregates
Руководствуйтесь
следующими
рекомен
дациями:
Место
томе
Для
каждого
тома
включенной
дедупликацией
,
4%
от
логического
объема
записанных
данных
этом
томе
необходимо
для
хранения
метаданных
дедупликации
данного
тома
Место
ggregate
Для
каждого
aggregate
,
содержащего
тома
включенной
дедупликацией
,
3%
от
логического
объема
данных
этих
томах необходимо
для
хранения
метаданных
дедупликации
томов этого
aggregate
Включайте дедупликацию только для томов, на данных которого вы рассчитываете
получить экономию выше
10%.
В
противном случае метаданные дедупликации займут
места больше, чем вы сэкономите на самой дедупликации
Для
предварительной
оценки
эффективности
дедупликации
можете
воспользоваться
утилитой
NetApp
Space
Savings
Estimation
Tool
SSET
, которую можете полу
чить у партнера компании
NetApp
Она
позволит фактически оценить эффективность дедупликации на конкретном
физическом
наборе
пользовательских
данных.
Внимательно
отнеситесь
снэпшотам
аак
как
блоки
данных
снэпшотах
заперты
,
могут
быть
освобождены
тех
пор
,
пока
снэпшот
будет
удален
,
экономия
томе
,
котором
взято
много
снэпшотов
,
будет
ниже
ожидаемого
,
пока
сделанные
начала
использования
дедупликации
снэпшоты
будут
полностью
удалены
бдаляйте ненужные более снэпшоты до того, как
вы запустите для тома
дедупликацию
это
возможно
,
запускайте
дедупликацию
до взятия любых снэпшотов на томе
Процесс
дедупликации
требует
места
для
хранения
метаданных
дедупликации
поэтому
обязательно
проверьте
,
что
у вас имеется достаточно места под
метаданные
противном
случае
,
если
aggregate
или
том
почти
полностью
заполнен
данными
,
если
запустите
процесс дедупликации, вы можете столкнуться с проблемами переполнения
аолько
один
процесс
дедупликации
или
компрессии
возможен
один
момент
времени
Начиная
Data
ONTAP
8.1
lustered
Data
ONTAP
8.1
до восьми процессов дедупликации и
компрессии могут работать параллельно на одной системе хранения
число
процессов
превышает
лимит
,
они
помещаются
очередь, и автоматически запускаются
по мере того, как прекращают работу ранее запущенные процессы
ббедитесь
,
что
ввели
системе
хранения
лицензии
,
разрешающие
включение
дедупликации, на каждом из контроллеров
Начиная
версии
Data
ONTAP
8.1
lustered
Data
ONTAP
8.1
отдельный лицензионный ключ
для дедупликации
не нужен, он включен в
базовый функционал
системы
3.1
Вводная
Создадим
список
томов
,
для
которых
будет
включена
дедупликация
ааблица
показывает
типы
данных
,
которые
имеют
высокую
выгоду
от
использования
дупликации
например
,
датасторы
или данные резервных копий
ааблица
показывает
сервисы компании, их пригодность для дедупликации и окна ее работы
ааблица
2)
Службы и данные для дедупликации
Сервис
Дедупли
цировать
Окно работы
дайловый архив
00:00
04:00
19:00
00:00
Exchange 2010 email
02:00
06:00
MS SQL Data
00:00
06:00
Oracle Data
Нет
ааблица 3 показывает тома данных, и соответствующие им
сервисы
Table 3) Volumes per service area.
Имя тома
Сервис
share01
дайловый
архив
share02
дайловый архив
email8corp01
Exchange 2010 email
email8sales02
Exchange 2010 email
bill8sql8data
MS SQL Data
Создадим
список
томов
,
которые
будут
исключены
из
процесса
дедупликации
Отдельные
тома
могут
иметь
специфические
требования
размеру
,
производительности
,
тому
подобное.
Например
,
базы
Oracle
,
которые не совместимы с дедупликацией и должны
быть исключены из этого процесса
Определите
все
детали
для
томов
,
как
эти тома
будут в дальнейшем идентифицироваться, например, при
проведении аудита в будущем
Расписание
Один
из
важных
аспектов
дедупликации, это расписание ее работы
Выбрав
правильное
расписание
работы
ее
процессов
сможете
провести
дедупликацию
минимальным
влиянием
на производительность работы системы хранения
и приложений
Существует
несколько
важных
моментов
,
которые
следует
принять
внимание
при
задании расписания
Внимание
аолько
восемь
(для
Data
ONTAP
8.1 и новее)
параллельных
процессов
дедупликации
может
работать одновременно
остальные процессы дедуп
ликации, если их запущено больше,
ожидают в очереди
аакже
следует
помнить
,
что
хотя дедупликация
работает
уровне
тома
,
влияние
работы
виде
возможного
снижения производительности ввода
вывода прослеживается на уровне
дискового
aggregate
целиком и
общей производительности систем хранения
1.
Определите предпочтительный период для окна работы процесса дедупликации
Создайте
отчет
загрузке
CPU
контроллеров
системы
хранения и по дисковой утилизации
Определите
окно
,
когда
загрузка
как
CPU
,
так
сков
,
минимальна
ниже
заданного
лимита
Запустите
генерацию
отчета
шагами
раз в неделю и в месяц, чтобы получить полное
представление о поведении контроллера
Например
Загрузка
CPU
ниже
40%
контроллере
и дисковая загрузка ниже
50%.
Загрузка
CPU
ниже
50%
контроллере
дисковая
загрузка
aggregate
составляет
000
для
aggregate
SAS
disk
.
Приложение
,
обслуживающее
пользователей
,
занимает
60%
CPU
на системе хранения
между
:00 и 20:00
, а
между 22:00 и
6:00 следующего дня
агрузка
CPU
ниже
40%
загрузка
дисков ниже
50%.
Следовательно, наше окно находится в промежутке от
:00
:00
2.
Когда
окно
для
работы
процессов
дедупликации
определено
,
займитесь
приоритетами
работы
процесса
томах
Задайте
приоритеты
,
основываясь
экономии
пространства в результате дедупликации в
гигабайтах
Задайте
приоритеты
,
основываясь
экономии
пространства в результате дедупликации в
процентах
Области повторяющихся датасетов
Например
,
ежедневный
дамп
данных
базы
10%
ежедневных
изменений
является
датасетом,
повторяющимся на
90%
3.
Собрав
всю
необходимую
информацию
,
создайте
расписание
примените
его
имеющемуся
списку
томов
данных
ааблица
показывает
пример
расписания
,
основанного
разбиении
томов
сервисам
Области
серного
цвета
указывают
периоды
рабочего
времени системы
, когда запуск
дедупликации нежелателен
ааблица
4)
Пример
расписания
томам и их данным
ВСК
ПНД
ВаР
СРД
иаВ
ПаН
СбБ
:00
email8corp01
email8corp01
01:00
email8corp01
email8corp01
02:00
email8corp01
email8corp01
email8corp01
email8corp01
email8corp01
03:00
email8corp01
bill8sql8data
bill8sql8data
bill8sql8data
bill8sql8data
bill8sql8data
bill8sql8data
:00
email8sales02
email8sales02
email8sales02
email8sales02
email8sales02
email8sales02
:00
bill8sql8data
email8sales02
email8sales02
:00
email8sales02
:00
email8sales02
:00
:00
:00
1:00
:00
:00
:00
:00
:00
:00
:00
:00
share01
share01
share01
share01
share01
share01
share01
:00
share01
share01
share01
share01
share01
share01
share01
:00
share02
share01
share01
share01
share01
share01
share01
:00
share02
share02
share02
share02
share02
:00
share02
share02
share02
share02
share02
share02
4.
Проанализируйте
отчет
запланируйте
проделывать
анализ
раз
месяц
,
также
после
любых
изменений
системе
5.
ббедитесь
,
что
лицензия
дедупликацию
установлена
активна
каждом
из
контроллеров
Внимание:
Начиная с
версии
Data
ONTAP
8.1
лицензии на дедупликацию не требуются
3.2
Лицензии
1.
Используйте
команду
в системной консоли
Без
аргументов
эта
команда
покажет
аекущие лицензии системы хранения
Коды лицензий
аипы
лицензий
Даты
истечения
сроков
действия
,
если использованы временные лицензии
2.
System Manager
посмотрите
наличие
лицензии
ASIS
или
deduplication
[System8Name] > [Node8Name]
> Configuration > Licenses
3.
консоли
NetApp Management
посмотрите
наличие
лицензии
ASIS
выбрав
Manage Data > Hosts > Storage Systems > Select
[System Name]
> Details tab > Licenses
4
Дедупликация
Data
ONTAP
Mode
4.1
Активация дедупликации
Включите
дедупликацию
для
тома
командой
sis
volume
Name
Запустите
дедупликацию
томе
s /vol/volume_N&#xvol1;ume;&#x_N12; me0;ame
Внимание
аак как первый запуск процесса дедупликации на уже существующем томе с данными
может
занять
продолжительное
время
,
он
должен
быть
запланирован
непиковое
время
,
когда
системы
есть
достаточное
количество
избыточных
ресурсов для его выполнения
Внимание
Опция
для
команды
start
является
опциональной
она не является обязательной
(но желательной)
и нужна в том случае
, когда вы хотите включить в объем дедуплицируемых
данных
е только записываемые после этого момента, но и
уже находящиеся на момент запуска
команды данные
4.2
Расписание
работы
дедупликации
sis config
Schedule
� /vol/volume_Name
Расписание запуска задания может быть указано в одном из следующих форматов
day_list
hour
list
hour_list
day_list
Percentage
Num
в последнем случае указывается процентное соотношение измененных данных на томе,
активирующее
процесс дедупликации
4.3
Тестирование
Проверим, что дедупликация работает:
status
vol
volume
5
Дедупликация
Clustered
Data
ONTAP
5.1
Активация
дедупликации
Разрешение использования дедупликации для тома:
volume efficiency on
vserver vserver_na&#xvser;ve;&#xr_na;me;me
volume Volume_Name
Запуск
дедупликации
для
данных
тома:
efficiency start
vserver vserver_na&#xv12s;rve;&#xr12_;&#xna12;&#xme00;me
volume Volume_NaVo;&#xlume;_N;਒m;me
5.2
Расписание дедупликации
Назначение
политики
тому
volume effi
ciency policy create
vserver vserver_name
policy
efficiency_policy_nam໿i; ie1;ncy;&#x_p12;&#xolic;&#xy_12;&#xnam1;⸀e
schedule job_schedule
duration
Time_in_hours (1
9�99)

Задание расписания для
ron
job
job schedule cron create
name daily_dedup
dayofweek " all "
hour 23
minute 30
Внимание
Clustered
Data
ONTAP
использует
глобальный
механизм
расписания
заданий
Используйте
команду
schedule
для управления расписанием заданий
Поддерживаются
только расписания
cron
5.3
Тестирование
Проверим
,
что
дедупликация
работает
volume efficiency show
ver vserver_nam&#xvs12;rve;&#xr_12;&#xnam1;⸀e
volume volume_Name
6
Управление
дедупликацией
OnCommand
System Manager
1.
Выберите
System
Name
Node
Name
Storage
Volumes
выберите
том
,
для
которого
хотите
включить
дедупликацию
2.
Выберите
закладку
Storage Efficiency
Включите опцию
Storage
Efficiency
чтобы
получить
доступ
ко
всей
статистике
,
имеющейся
в информационном
окне
Отключение
опции
Storage Efficiency
,
отобразит
следующее
информационное
сообщение
Storage efficiency is not enabled on this volume. Use Edi
t to enable storage efficiency
3.
Нажмите
Edit
меню
Volumes
4.
келкните
чекбокс
Enable Storage Efficiency
закладке
Storage Efficiency tab
5.
Задайте
опции
расписания
соответствии
выработанным
совместно
пользователем
системы
хранения
планом
Если
план
разрабатывался
,
выберите
опцию
Automated
для включения
режима,
при котором дедупликация запустится после появления на томе определенного
процента измененных данных
6.
Для
указания
расписания
работы
дедупликации
,
выберите
опцию
Scheduled
,
затем
нажмите
кнопку
Configure
Выберите желаемое расписание работы.
7.
келкните
Save
Close
7
Отчеты
Выберите
формат
для
сохранения
отчета
дедупликации
Например
,
выберите
отчет
дедупликации
,
формируемый
умолчанию
OnCommand
System
Manager
Reports
как для
aggregate
, так и для тома
8
Дополнительная
информация
Для
подробного
рассмотрения
темы
смотрите
NetApp Space Savings Estimation Tool (SSET)
https://communities.netapp.com/docs/DOC
18699
Deduplication in 7
Mode
3958: Compression and Deduplication for Data ONTAP 8.1 Operating in 7
Mode
Deduplication in clustered Data ONTAP
3966:
Compression and Deduplication for Data ONTAP 8.1 Operating in Cluster
Mode


Приложенные файлы

  • pdf 7717118
    Размер файла: 768 kB Загрузок: 0

Добавить комментарий