Как уменьшить размер базы транспортной очереди(message queue database)? Сжатие базы данных.

При внедрении Exchange возникает неприятная ситуация – мы вроде бы все требования по месту для Exchange выполнили, но оно неумолимо уменьшается… начинаем разбираться и понимаем что всевозможные логи растут быстрее чем мы предполагали, так как же с ними бороться? Далее описаны способы по усечению\перемещению различных логов, в общем все то, что поможет нам решить проблему. Отдельно замечу, что вся информация есть в технической библиотеке technet 🙂 и здесь она всего лишь подобрана для определенной задачи: напомнить способы решения проблем с нехваткой места по причине разрастания логов.

Transaction logs

Журнал транзакций наиважнейший элемент Exchange. Приведем пример: при отправке сообщения транзакция сначала записывается в журнал. Пока транзакция не передалась в базу данных Exchange, эти данные существуют только в системной памяти и журналах транзакций. В случае аварии вы теряете содержимое памяти, и все, что у вас остается, это записи в журнале транзакций. Эти журналы важны для восстановления поврежденной базы. То же самое касается и других транзакций: полученных сообщений, удаленных элементов и сообщений, перемещенных в другие папки. Соответственно данные логи растут очень быстро, как же их уменьшить?

1. Резервное копирование

Одной из функций, выполняемых при успешном завершении полной или добавочной архивации, является усечение файлов журнала транзакций, которые больше не требуются для восстановления базы данных. Exchange 2013 поддерживает только резервные копии Exchange на основе службы теневого копирования томов (VSS).

Отличная статья по настройке резервного копирования с использованием Windows Server Backup

2. Включение Circular Logging

При включении circular logging журнал транзакций очищается сразу после того, как транзакции помещаются в базу данных.

С помощью EAC Circular Logging включается так:

При включенном циклическом ведении журнала расширенного обработчика хранилищ дополнительные файлы журнала не создаются, вместо этого при необходимости перезаписывается текущий файл журнала. Однако в среде с непрерывной репликацией(DAG) файлы журнала необходимы для доставки и преобразования журналов. В результате при включении циклического ведения журнала непрерывной репликации текущий файл журнала не перезаписывается, а для процесса доставки и преобразования журналов создаются закрытые файлы журнала, т.е обеспечивается непрерывность журналов, а журналы не удаляются, пока они необходимы для репликации. Служба репликации Microsoft Exchange и служба банка данных Microsoft Exchange взаимодействуют с помощью удаленного вызова процедур (RPC), касающихся того, какие файлы журнала могут быть удалены.

3. Перемещение Transaction logs

Ну и в конце концов мы можем переместить логи вместе с базой в другое место\другой диск.

Для этого есть прекрасный командлет Move-DatabasePath . Приведем пример переноса базы данных MDB01 и журналов транзакций на диск M в соответствующие директории:

Move-Databasepath “MDB01” –EdbFilepath “M:\DB\MDB01\database\mdb01.edb” –LogFolderpath “M:\DB\MDB01\logs\”

Queue Database

Это конечно не логи, но если вам необходимо освободить место то перемещение данной базы может вам помочь. Queue Database — это временное хранилище сообщений, ожидающих следующую стадию обработки. Каждая очередь представляет собой логический набор сообщений, которые обрабатываются сервером транспорта в определенном порядке. Все очереди хранятся в одной базе данных ESE. Очереди размещаются только на серверах почтовых ящиков или на пограничных транспортных серверах. Местоположение базы данных очереди и ее журналов транзакций контролируется ключами в XML-файле конфигурации приложения %ExchangeInstallPath%Bin\EdgeTransport.exe.config.

Все что мы можем сделать с нею, это переместить ее в другое место. Достаточно исчерпывающая информация о перемещении находится в библиотеке technet в статье Change the Location of the Queue Database

Transport Logs

Журналы транспорта предоставляют сведения о происходящем в транспортном конвейере. Достаточно исчерпывающая информация о отключении\включении логирования и их перемещении находится в библиотеке technet в статье Transport Logs .

В Microsoft Exchange Server 2013 доступны следующие журналы транспорта:

• Agent logs
• Connectivity logs
• Message tracking and delivery reports
• Pipeline tracing
• Protocol logs
• Routing table logs

Protocol logs через EAC: servers\servers\выбрать сервер\transport logs\protocol log

Например изменить путь хранения Message Tracking через EAC: servers\servers\выбрать сервер\transport logs\message tracking log.

Отдельно замечу что переместить можно только в локальную папку. Проблему с размещением на сетевом ресурсе можно обойти использовав команду mklink и создав ссылку на сетевой ресурс. Например создайте ссылку mklink /d «D:\HubReceiveSMTPLog» \\Server\HubReceiveSMTPLog , теперь вы можете используя командлет Set-TransportService и параметр –ReceiveProtocolLogPath «D:\HubReceiveSMTPLog» хранить ReceiveSMTP логи на сетевом ресурсе. Данный способ подходит и для других логов.

IIS log files

В логе IIS у вас будет информация например о подключении вашего ipad с помощью протокола activesync. Размер IIS логов, если за ним не уследить может быть очень большим. Как же их автоматом удалить или переместить на другой диск?

1.Автоматическое удаление логов

Запускайте ежедневно через scheduler следующий скрипт ps1 (измените путь хранения логов если нужно) и все ваши логи IIS старше 30 дней будут удаляться не требуя вашего внимания.

set-location c:\inetpub\logs\LogFiles\W3SVC1\

foreach ($File in get-childitem) {

if ($File.LastWriteTime -lt (Get-Date).AddDays(-30)) {

del $File

Запускать скрипт ps1 через scheduler вы можете следующим образом:

• Создайте задачу в scheduler
• Создайте action: start a program
• В поле program/script: C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe
• В поле add arguments(optional): -command “pathTOscript\name.ps1”

2.Перемещение логов в другое место

• Откройте IIS Manager from Administrative Tools и выберете Default Web Site.

• Откройте Logging (щелкните два раза на иконке Logging)
• Измените место хранения логов

• Сохраните изменения. Следующий файл лога запишется в новое место хранения
• Тоже самое можно сделать при мощи powershell:

Import-Module WebAdministration

Set-ItemProperty ‘IIS:\Sites\Default Web Site’ -name logfile.directory «D:\IISLogs»

Папка Logging

И наконец папка Logging которая по умолчанию находится в ‘C:\Program Files\Microsoft\Exchange Server\V15\Logging. Здесь хранится множество логов различных служб, и может занимать достаточно большое количество места. Особенно выделяются по объему diagnostic and performance log files которые находятся в папке ‘C:\Program Files\Microsoft\Exchange Server\V15\Logging\Diagnostics

На просторах интернета было найдено простое решение этого вопроса, запускайте ежедневно через scheduler и все логи из этих папок старше 14 дней перестанут вас беспокоить 🙂

gci ‘C:\Program Files\Microsoft\Exchange Server\V15\Logging’,’C:\inetpub\logs’ -Directory | gci -Include ‘*.log’,’*.blg’ -Recurse | ? LastWriteTime -lt (Get-Date).AddDays(-14) | Remove-Item

P.S. Я лично предпочитаю резать только diagnostics:

gci ‘C:\Program Files\Microsoft\Exchange Server\V15\Logging\Diagnostics’ -Directory | gci -Include ‘*.log’,’*.blg’ -Recurse | ? LastWriteTime -lt (Get-Date).AddDays(-2) | Remove-Item

При дефрагментации данные, хранящиеся на жестких дисках компьютера, перемещаются таким образом, чтобы файлы были разбиты на меньшее число частей. Дефрагментация помогает ускорить доступ к данным и их получение. Дефрагментация данных на жестких дисках повышает их производительность и эффективность работы серверов организации. В Exchange 2007/2010 дефрагментация (точнее оффлайн дефрагментация) позволяет освободить место на диске. Спросите каким образом? Все очень просто, при удалении информации из базы данных, она автоматически не сжимается (остаются пустые области), и соответственно размер файла базы не уменьшается.

Например, если из почтовой базы размером 100 Гб удалить/ переместить ящики пользователей, общим размером 5 Гб, то размер файла останется неизменным 100 ГБ. Однако, освободившиеся 5 Гб «свободного» места в дальнейшем будет использоваться новыми элементами.
Тем не менее если вам необходимо уменьшить размер файла почтовой базы в Exchange 2010, удалив незанятые страницы, вы можете воспользоваться одной из следующих методик:
Создать новую базу данных, перенести вся ящики в нее и удалить старую базу
Выполнить оффлайн дефрагментацию текущей базы
Каждый из этих методов имеет свои плюсы и минусы. Первый хорош тем, что процедура менее рискованная, но и менее удобна, т.к. если у вас в базе 500 эл. ящиков, то в ручную переносить их будет очень тяжко. Второй метод не удобен тем, что требует не мало ресурсов (об этом пойдет речь дальше) и в случае сбоев, не известно к чему это может привести, но зато с большой базой справиться относительно быстро. Выбор за вами. Первый способ описывать, я думаю, не стоит, все интуитивно понятно, остановлюсь на описании второго метода.
Для того что бы воспользоваться оффлайн дефрагментацие используется команда Eseutil. В режиме Eseutil составной частью процесса дефрагментации является создание новой базы данных, содержащей все данные, входившие в исходную базу данных, за исключением того, что пустые страницы отбрасываются и индексы перестраиваются. После завершения дефрагментации исходная база данных удаляется или сохраняется в указанном пользователем месте, а новая версия получает такое же имя, какое было у исходной базы данных.
Перед тем как начать уменьшение базы Exchange2007/ 2010 с помощью команды Eseutil, предлагаю рассмотреть команды Exchange Management Console которые могут пригодится для понимания ситуации с базами и электронными ящиками.

C помощью следующего командлета мы можем посмотреть доступные почтовые базы организации:
Get-MailboxDatabase

Теперь посмотрим какие почтовые ящики в конкретной базе (в данном примере Mailbox Database 1)
Get-MailboxDatabase "Mailbox Database 1" | Get-Mailbox

Для того что бы импортировать статистику в CSV файл в конце команды дописываем
| Export-CSV C:\mailboxes.csv
В корне диска С создается файл mailboxes.csv

Теперь перейдем к командам для оффлайн форматирования, первое что необходимо сделать перед уменьшением базы- отмонтировать ее, для этого можно запустить команду Dismount-Database ИМЯ БАЗЫ , либо запустить Exchange Management Console, зайти "Server Configuration- Mailbox " с правой стороны будут все Database выбираем необходимый нам кликаем на нем правой кнопкой мыши и выбираем Dismount Database .

ESEUTIL /d "G:\Exchange server\OTS\ots.edb"
Дефрагментированный временный файл будет создан в корне диска С, может занять до 110% первоначальной базы- это необходимо учесть.


ESEUTIL /d "G:\Exchange server\ROZN\rozn.edb" /t"G:\temp\tempdfg.edb"

Дефрагментированный временный файл будет создан на диске G в папке temp, может занять до 110% первоначальной базы, (предварительно необходимо создать файл tempdfg.edb ) затем он заменит собой существующую базу (в данном примере rozn.edb)

Надеюсь статья оказалась вам полезна и вы успешно уменьшили размер почтовой базы.

Microsoft Exchange Server, начиная с версии 2007, хранит сообщения очередей в базе данных формата ESE - Mail.que , расположенной в папке . После нескольких лет эксплуатации база данных транспортных очередей может вырасти до огромных размеров. В моем случае, примерно за 4 года эксплуатации Exchange Server 2010 она выросла до 900МБ, не много конечно, но в Интернете встречаются случаи, когда ее размер доходил до 80-100 ГБ. После создания базы заново ее размер будет 8Мб. Большой объем базы может сказаться на производительности системы и занимать лишнее пространство на диске. Я же обратил на это внимание, когда один из моих транспортных серверов начал жутко «тормозить» из-за работы антивируса. После пересоздания базы данных очередей, проблема исчезла.

Хоть Exchange и совершает автоматическую онлайн дефрагментации этой базы, но размер ее никогда не уменьшится. К примеру, если во время сбоя, ваш транспортный сервер принял и хранил в очереди 10Гб почты, то потом, когда почта уйдет, размер файла хранения останется 10Гб. Поэтому моя рекомендация, если база выросла больше 200Мб, то ее нужно создать заново . Делается это следующим образом.

1. Необходимо поставить сервис Microsoft Exchange Transport на паузу. Сервис перестанет принимать сообщения, но «разделается» со всеми сообщениями в очередях.

2. Запустите коммандлет Get-Queue и убедитесь, что в очередях не осталось сообщений.

3. Остановите сервис Microsoft Exchange Transport .

4. Откройте папку %ExchangeInstallPath%TransportRoles\data\Queue и убедитесь, что файл mail.que находится в нем.

5. После этого этого переименуйте каталог %ExchangeInstallPath%TransportRoles\data\Queue в %ExchangeInstallPath%TransportRoles\data\Queue1 .

6. Запустите сервис Microsoft Exchange Transport , папка Queue , база mail.que и лог файлы будут созданы. Размер заново созданной базы будет около 8,2 Мб.

7. Удостоверьтесь, что служба транспорта нормально работает и можно удалять папку Queue1 .

Информация о расположении файла базы данных находятся в файле %ExchangeInstallPath%Bin\EdgeTransport.exe.config , поэтому, если вы хотите переместить базу, то вместо шага 5 измените путь к новому файлу и выполните шаг 6.

Связанные записи:

Понравилась публикация? Хотите получать новые прямо в свой почтовый ящик? Нет ничего проще, подпишитесь на рассылку прямо сейчас.

Необходимость дефрагментации почтовых баз в Exchange Server 2010 возникает из-за того, что при удалении информации из базы данных, она автоматически не сжимается (остаются пустые страницы), и соответственно размер файла базы не уменьшается. Например, если из почтовой базы размером 20 Гб перенести ящики пользователей, общим размером 5 Гб, то размер файла останется неизменным 20 ГБ. Однако, освободившиеся 5 Гб «свободного» места в дальнейшем будет использоваться новыми элементами.

Поэтому если вам необходимо уменьшить размер файла почтовой базы в Exchange 2010, удалив незанятые страницы, вы можете воспользоваться одной из следующих методик:

• Создать новую базу данных, перенести вся ящики в нее и удалить старую базу
• Выполнить офлайн дефрагментацию текущей базы

Каждая из указанных методик имеет свои плюсы и минусы. Офлайновая дефрагментация предполагает простой ящиков пользователей, но она является единственным доступным решением при нехватке дискового пространства (вам просто негде создать новую базу данных).

С другой стороны миграция ящиков в новую базу менее рискованная процедура, но помимо необходимости иметь достаточно свободного места для хранения двух почтовых хранилищ, генерирующая большое количество транзакций, также существенно увеличивающих требования к доступному свободному месту, и как результат, процесс переноса пользователей может занять несколько дней.

Следует четко различать процессы офлайн и онлайн (интерактивной) дефрагментации базы Exchange 2010. Интерактивная дефрагментация в Exchange выполняется постоянно при включенной опции Enable background database maintenance (24 x 7 ESE scanning). Эта процедура выполняется в фоновом режиме включает в себя удаление устаревших элементов в хранилище и оптимизацию расположения страниц. Основная задача – освободить неиспользуемое пространство за счет сжатия записей до минимально возможного количества страниц с целью сокращения количества операций ввода/вывода. Отметим, что неиспользуемое пространство не возвращается системе. Офлайн дефрагментация позволяет высвободить это пространство.

Определяем размер свободного места в базе Exchange 2010

Чтобы в Exchange 2010 узнать текущий размер базы данных и количество свободного места в ней (те самые неиспользуемые страницы), в Exchange Management Shell выполните следующую команду:

C:\>Get-MailboxDatabase -Status | ft name,databasesize, availablenewmailboxspace -auto

Name DatabaseSize AvailableNewMailboxSpace—- ———— ————————

WI-DB-01 17.26 GB (18,604,766,720 bytes) 8.544 GB (9,247,766,016 bytes)

В данном примере видно, что текущий размер базы WI-DB-01 17 Гб, причем свободного места в ней аж 8.5 Гб. И если вы хотите высвободить это место, размер файла почтовой базы можно уменьшить, выполнив дефрагментацию утилитой ESEUTIL.

ПРИМЕЧАНИЕ. Если ваш сервер входит в в группу DAG не используйте данную инструкицю !

Подготовка к дефрагментации Exchange 2010

При планировании дефрагментации базы нужно четко понимать, что для выполнения данной работы, необходимо отмонтировать нужную базу, что недоступность почты для всех пользователей, находящиеся в этой базе данных.

Далее необходимо удостовериться, что имеется достаточно свободного места для выполнения дефрагментации. В процессе дефрагментации создается новый файл базы и на диске одновременно хранятся старый и новый файл, кроме того нужно дополнительное место для временных файлов, создаваемых утилитой eseutil.

Поэтому, если вы собираетесь выполнить дефрагментацию почтовой Exchange, необходимо иметь свободное место, равному не менее 110% от текущего размера базы (без учета пустых страниц).

В моем случае это означает, что нам необходимо иметь как минимум 9,6 Гб свободного места на диске:

17.26 – 8.54 = 8.72

8.72 x 1.1 = 9.6

Если на текущем диске такого количества места нет, необходимо в параметрах eseutil указать альтернативное расположение временных файлов. Это может быть другой диск или сетевой UNC-путь, однако следует учесть, что при использовании UNC пути время дефрагментации может существенно увеличиться из-за пропускной способности и задержек сети.

Также нужно удостовериться, что вы у вас есть актуальная резервная копия дефрагментируемой базы данных, чтобы не было потом мучительно больно…

Использование ESEUtil для дефрагментации базы Exchange

Откройте командную строку Exchange Management Shell и перейдите в каталог с файлом почтовой базы:

Cd D:\Data\WI-DB-01

Размонтируем базу.

Dismount-Database WI-DB-01

Запускаем дефрагментацию с помощью утилиты ESEUtil.

D:\Data\WI-DB-01>eseutil /d WI-DB-01.edb /t\\tmp_srv\exch\temp.edb

Extensible Storage Engine Utilities for Microsoft(R) Exchange Server

Copyright (C) Microsoft Corporation. All Rights Reserved.

Initiating DEFRAGMENTATION mode…

Database: WI-DB-01.edb

Defragmentation Status (% complete)

……………………………………………

Moving ‘\\ tmp_srv\exch\temp.edb’ to ‘WI-DB-01.edb’…

File Copy Status (% complete)

0 10 20 30 40 50 60 70 80 90 100

|—-|—-|—-|—-|—-|—-|—-|—-|—-|—-|

……………………………………………

It is recommended that you immediately perform a full backup

of this database. If you restore a backup made before the

defragmentation, the database will be rolled back to the state

it was in at the time of that backup.

Operation completed successfully in 2798.218 seconds.

Монтируем базу:

Mount-Database WI-DB-01

Убедимся, что ее размер уменьшился:

Get-MailboxDatabase -Status | ft name,databasesize,availablenewmailboxspace -auto

Name DatabaseSize AvailableNewMailboxSpace

—- ———— ————————

WI-DB-01 8.328 GB (8,942,190,592 bytes) 5.219 MB (5,472,256 bytes)

WI-DB-02 14.63 GB (15,785,670,144 bytes) 4.696 GB (4,968,761,856 bytes)

WI-DB -Archive-01 658.1 MB (689,542,784 bytes) 234.6 MB (241,164,544 bytes)

За последние несколько месяцев было много разговоров о том, что такое фоновое обслуживание баз данных и почему оно важно для баз данных Exchange 2010. Надеюсь, эта статья ответит на подобные вопросы.

Какие задачи обслуживания требуется выполнять для базы данных?

Для баз данных Exchange необходимо регулярно выполнять следующие задачи обслуживания:

Сжатие базы данных

Основная цель сжатия базы данных — освободить неиспользуемое пространство в файле базы данных (однако следует отметить, что при этом неиспользуемое пространство не возвращается файловой системе ). Смысл этой операции — освободить страницы в базе данных за счет сжатия записей до минимально возможного числа страниц, тем самым сократив необходимое количество операций ввода-вывода. Компонент ESE реализует эту операцию, беря метаданные базы данные, т. е. информацию в базе данных, описывающую таблицы, и для каждой таблицы просматривает каждую страницу и пытается переместить записи в логически упорядоченные страницы.

Обеспечение экономичности структуры файла базы данных важно по нескольким причинам, в том числе следующим:

1. уменьшение времени, связанного с резервным копированием файла базы данных;
2. поддержка предсказуемого размера файла базы данных, что важно для процедуры определения размера сервера или хранилища.

До Exchange 2010 операции сжатия базы данных выполнялись в течение периода обслуживания . Этот процесс генерировал случайные операции ввода-вывода при проходе по базе данных и изменении порядка записей на страницах. Этот процесс был буквально слишком хорош в предыдущих версиях — за счет освобождения страниц базы данных и изменения порядка записей страницы всегда были упорядочены случайным образом. Наряду с архитектурой схемы хранилища это означало, что любой запрос на извлечение набора данных (например, загрузка элементов из папки) всегда приводил к возникновению случайных операций ввода-вывода.

В Exchange 2010 сжатие базы данных было переработано, чтобы смежность имела больший приоритет, чем сжатие. Кроме того, сжатие базы данных было удалено из периода обслуживания и теперь это фоновый процесс, который выполняется постоянно .

Дефрагментация базы данных

Дефрагментация базы данных — это новая возможность в Exchange 2010, которую также называют дефрагментацией дерева OLD v2 и B+. Ее цель — сжать, а также дефрагментировать (расположить последовательно) таблицы базы данных , которые были отмечены как последовательные. Дефрагментация базы данных важно для обеспечения эффективного использования дисковых ресурсов со временем (сделать операции ввода-вывода более последовательными, а не случайными), а также обеспечения компактности таблиц, отмеченных как последовательные.

Процесс дефрагментации базы данных можно представить как монитор, отслеживающий другие страничные операции базы данных, чтобы определить, нужно ли что-то сделать. Этот процесс отслеживает все таблицы для свободных страниц, а если таблица достигает порогового значения со слишком высоким процентом свободных страниц от общего числа страниц дерева B+, она возвращает свободные страницы корневой таблице. Процесс также обеспечивает смежность в табличном наборе с помощью подсказок о последовательности данных (таблица создана с известным последовательным шаблоном использования). Если дефрагментация данных обнаруживает операцию сканирования или предварительного чтения в последовательной таблице, а записи не хранятся на последовательных страницах в таблице, процесс выполнит дефрагментацию раздела таблицы, переместив все затронутые страницы в обновленное дерево B+. Вы можете использовать счетчики производительности (описывается в ), чтобы узнать, как мало операций выполняется при дефрагментации после достижения стабильного состояния.

Дефрагментация базы данных — это фоновый процесс, который анализирует непрерывность базы данных при выполнении операций, а затем инициирует асинхронные операции. Дефрагментация базы данных запускается в двух ситуациях:

1. Максимальное количество незавершенных задач — не позволяет процессу дефрагментации выполнять слишком много операций при первом проходе, если база данных была значительно изменена.
2. Задержка 100 мс — если система перегружена, дефрагментация базы данных начнет откладывать задачи дефрагментации. Эти операции будут выполнены при следующем проходе этого операционного шаблона. Ничто не запоминает, какая операция была отложена, и не возвращается к ней после освобождения ресурсов.

Проверка контрольной суммы базы данных

Проверка контрольной суммы базы данных (которую также называют проверкой базы данных ) — это процесс, при котором база данных читается крупными блоками, а для каждой страницы проверяется контрольная сумма (проверка физического повреждения страницы). Основная цель проверки контрольной суммы — обнаружить физические повреждение и потерянные данные , которые нельзя обнаружить транзакционными операциями (просроченные страницы).

В Exchange 2007 RTM и во всех предыдущих версиях, операции проверки контрольной суммы выполнялись во время резервного копирования. Это представляло проблему для реплицированных баз данных, так как резервная копия создавалась только для копии, контрольная сумма которой была проверена. В ситуации, когда была архивирована пассивная копия, это означало, что контрольная сумма активной копии не проверялась. Поэтому в Exchange 2007 SP1 мы ввели дополнительную задачу обслуживания, контрольная сумма обслуживания (дополнительные сведения см. в разделе ).

В Exchange 2010 при сканировании базы данных проверяется контрольная сумма базы данных и выполняются операции после сбоя хранилища Exchange 2010. Пространство может быть занято из-за сбоев системы, а процедура сканирования базы данных находит и восстанавливает потерянное пространство. При проверке контрольной суммы базы данных считывается примерно 5 МБ в секунду для каждой активно сканируемой базы данных (для активных и пассивных копий) с помощью операций ввода-вывода по 256 КБ. Операции ввода-вывода на 100% последовательны. Система в Exchange 2010 создана с предположением, что каждая база данных полностью сканируется один раз в семь дней.

Если на сканирование уходит больше семи дней, в журнал приложений заносится событие:

Код события: 733
Тип события: информация
Источник события: ESE
Описание: банк данных (15964) MDB01: задача проверки контрольной суммы обслуживания базы данных НЕ будет завершена вовремя для базы данных "d:\mdb\mdb01.edb". Это проход начался 10.11.2011 и выполнялся 604800 секунд (больше 7 дней).

Если на завершение проверки активной копии базы данных уйдет больше семи дней, следующая запись будет добавлена в журнал приложений после завершения проверки:

Код события: 735
Тип события: информация
Источник события: ESE
Описание: хранилище информации (15964) MDB01: завершен полный проход обслуживания базы данных "d:\mdb\mdb01.edb". Проход начался 10.11.2011 и выполнялся 777600 секунд. Эта задача обслуживания базы данных превысила пороговое значение в 7 дней для завершения обслуживания. Следует выполнить одно или несколько следующих действий: увеличьте производительность или пропускную способность операций ввода-вывода тома, на котором расположена база данных, сократите размер базы данных и число операций обслуживания, не связанных с базой данных.

Кроме того, предупреждение также будет записано в журнал приложений, если на выполнение операции потребуется более 7 дней.

В Exchange 2010 есть два режима для проверки контрольной суммы для активных копий базы данных:

1. Фоновое выполнение 24 часа в сутки, 7 дней в неделю — этот механизм используется по умолчанию. Его следует применять для всех баз данных, особенно для тех, размер которых превышает 1 ТБ. Exchange проверяет базу данных не чаще одного раза в день. Эта операция чтения на 100% последовательна (что упрощает ее выполнение на диске) и уравнивает скорость сканирования до 5 МБ/с в большинстве систем. Процесс сканирования выполняется в одном потоке и регулируется задержкой операций ввода-вывода. Чем больше задержка, тем больше проверка контрольной суммы замедляет систему, так как она дольше ждет завершения последнего задания перед переходом к другому набору страниц (одновременно читаются 8 страниц).
2. Выполнение в запланированном процессе обслуживания базы данных почтовых ящиков — при выборе этого параметра проверка контрольной суммы базы данных выполняется последней. Вы можете настроить длительность ее выполнения, изменив расписание обслуживания базы данных почтовых ящиков . Этот вариант следует использовать только с базами данных меньше 1 терабайта (ТБ), для полного сканирования которых требуется меньше времени.

Независимо от размера базы данных рекомендуется использовать механизм по умолчанию и не настраивать операции проверки контрольной суммы для активной базы данных как запланированный процесс (т. е. не настраивайте их как процесс в периоде обслуживания).

Для пассивных копий баз данных проверка контрольной суммы может осуществляться во время выполнения непрерывно в фоновом режиме.

Исправление страниц

Исправление страниц — это процесс, при котором поврежденные страницы заменяются работоспособными копиями . Как было сказано ранее, обнаружение поврежденных страниц — это часть проверки контрольной суммы (кроме того, поврежденные страницы также проверяются во время выполнения, если страница хранится в кэше базы данных). Операция исправления страниц выполняется только для копий базы данных высокой доступности. Способ восстановления поврежденной страницы зависит от того, является ли копия базы данных высокой доступности активной или пассивной.

Процесс исправления страниц

Для активных копий базы данных

Для пассивных копий базы данных

Обнаруживаются поврежденные страницы. Маркер записывается в активный файл журнала. Он указывает номер поврежденной страницы и сообщает о том, что эту страницу нужно заменить. Запись добавляется в список запросов на исправление страницы. Активный файл журнала закрывается. Служба репликации передает файл журнала пассивным копиям базы данных. Служба репликации на конечном сервере почтовых ящиков получает файл журнала и изучает его. Банк данных на конечном сервере воспроизводит файл журнала до маркера, получает рабочую версию страницы, вызывает процедуру обратного вызова службы преобразования и отправляет страницу исходному серверу почтовых ящиков. Исходный сервер почтовых ящиков получает рабочую версию страницы, подтверждает наличие записи в списке запросов на исправление страниц и записывает страницу в буфер журнала, после чего она добавляется в кэш базы данных. Соответствующая запись в списке запросов на исправление страниц удаляется. На этот момент база данных считается исправленной (позже контрольная точка изменится, и кэш базы данных будет очищен, а поврежденная страница на диске будет перезаписана). Любая другая копия этой страницы (полученная от другой пассивной копии) будет автоматически удалена, так как в списке запросов на исправление страниц нет соответствующей записи.

На сервере почтовых ящиков, на котором обнаружены поврежденные страницы, воспроизведение журнала приостанавливается для соответствующей копии базы данных. Служба репликации координируется с сервером почтовых ящиков, на котором размещена активная копия базы данных, и получает поврежденные страницы и требуемый диапазон журнала из заголовка активной копии базы данных. Сервер почтовых ящиков обновляет заголовок базы данных соответствующей копии, вставляя новый диапазон журнала. Этот сервер почтовых ящиков уведомляет сервер почтовых ящиков, на котором размещена активная копия базы данных и файлы журнала которого ему требуются. Сервер почтовых ящиков получает необходимые файлы журналов и изучает их. Сервер почтовых ящиков вставляет рабочие версии страниц базы данных, полученные от активной копии базы данных. Они записываются в буфер журнала и, соответственно, страница добавляется в кэш базы данных. Сервер почтовых ящиков возобновляет воспроизведение журнала.

Обнуление страниц

Обнуление страниц базы данных — это процесс, при котором удаленные страницы в базе данных перезаписываются шаблоном (нулями) для обеспечения безопасности , что значительно усложняет обнаружение данных.

В Exchange 2007 RTM и всех предыдущих версиях операции обнуления страниц выполнялись в процессе потокового резервного копирования. Кроме того, из-за этого они не записывались в журнал (т.е. обнуление страниц не приводило к созданию файлов журнала). Это представляло проблему для реплицированных баз данных, так как в пассивных копиях страницы никогда не обнулялись, а в пассивных копиях обнуление страниц происходило только при потоковом резервном копировании. Поэтому в Exchange 2007 SP1 мы ввели дополнительную задачу обслуживания, обнуление страниц базы данных во время проверки контрольной суммы (дополнительные сведения см. в разделе ). При активации этой задачи обнуление страниц выполняется в период обслуживания, изменения при этом записываются в журнал и реплицируются в пассивные копии.

В реализации Exchange 2007 SP1 между удалением и обнулением страницы есть значительная задержка, связанная с тем, что обнуление выполняется в течение запланированного периода обслуживания. Поэтому в Exchange 2010 SP1 задача обнуления страниц теперь реализуется постоянно во время выполнения, при этом страницы обнуляются во время транзакции при необратимом удалении .

Кроме того, страницы базы данных также могут быть обнулены в процессе проверки контрольной суммы. В этом случае обрабатываются следующие страницы:

• удаленные записи, которые не удалось очистить во время выполнения из-за остановленных задач (если система перегружена) или сбоя хранилища перед обнулением данных;
• удаленные таблицы и дополнительные индексы — при удалении этих элементов их содержимое не очищается активно, поэтому процедура проверки контрольной суммы обнаруживает, что эти страницы не принадлежат допустимым объектам, и очищает их.

Дополнительные сведения об обнулении страниц в Exchange 2010 см. в разделе Основные сведения об обнулении страниц в Exchange 2010 .

Почему эти задачи просто не выполняются в запланированный период обслуживания?

Использование запланированного периода обслуживания для обнуления страниц, дефрагментации и сжатия базы данных и проверки контрольной суммы вызывает серьезные проблемы, в том числе следующие:

1. Применение запланированных операций обслуживания усложняет круглосуточное управление центрами обработки данных, в которых размещены почтовые ящики из разных часовых поясов, а период обслуживания небольшой или вообще отсутствует. В предыдущих версиях у сжатия базы данных не было механизмов регулирования, а так как операции ввода-вывода в основном случайные, это может привести к ухудшению производительности.
2. У баз данных почтовых ящиков Exchange 2010, развернутых на более низком уровне хранилища (например, 7.2K SATA/SAS), эффективная пропускная способность операций ввода-вывода компонента ESE для выполнения задач периода обслуживания сокращена. Это вызывает проблемы, так как это значит, что задержки операций ввода-вывода увеличатся в период обслуживания, что не позволит завершить операции обслуживания вовремя.
3. Использование JBOD вызывает дополнительные трудности для баз данных в области проверки данных. При применении хранилища RAID контроллер массива часто проверяет указанную группу дисков, находя и переназначая поврежденные блоки. Поврежденный блок (или сектор) — это блок на диске, который нельзя использовать из-за необратимого сбоя (например, физического повреждения частей диска). Контроллер массива также часто читает данные с зеркального диска, если при исходном запросе на чтение был обнаружен поврежденный блок. Контроллер массива отмечает блок как поврежденный и записывает данные в новый блок. Все это происходит без ведома приложения, лишь слегка увеличивается задержка при чтении диска. Без RAID или контроллера массива оба эти метода обнаружения и исправления поврежденных блоков недоступны. Без RAID приложение (ESE) обнаруживает и исправляет поврежденные блоки (т. е. проверяет контрольную сумму базы данных).
4. Для больших баз данных на больших дисках требуются более длительные периоды для обслуживания последовательности и сжатия базы данных.

Из-за указанных ранее проблем в Exchange 2010 требовалось вынести задачи обслуживания базы данных из запланированного процесса и реализовать их во время выполнения в фоновом режиме.

Не повлияют ли эти фоновые задачи на конечных пользователей?

Мы разработали эти фоновые задачи так, чтобы они автоматически регулировались в зависимости от действий, выполняемых с базой данных. Кроме того, рекомендации по определению размера профилей сообщений учитывают эти задачи обслуживания . Однако следует быть осторожными при разработке архитектуры хранилища. Если вы планируете хранить несколько баз данных на одном LUN или томе, убедитесь, что общий размер всех баз данных не превышает 2 ТБ. Поэтому обслуживание базы данных регулируется за счет сериализации в зависимости от количества баз данных или томов, при этом предполагается, что общий размер не превышает 2 ТБ.

Как можно отслеживать эффективность фоновых задач обслуживания?

В предыдущих версиях Exchange события в журнале приложений использовались для отслеживания таких операций, как дефрагментация базы данных. В Exchange 2010 события дефрагментации и сжатия не записываются в журнал. Однако вы можете использовать счетчики производительности для отслеживания фоновых задач обслуживания в объекте База данных MSExchange==> Экземпляры :

Следующие счетчики обнуления страниц можно найти в объекте База данных MSExchange :

Как проверить пустое пространство в базе данных?

Вы можете использовать командную консоль для проверки пустого пространства в базе данных. Для баз данных почтовых ящиков используйте следующую команду:

Get-MailboxDatabase MDB1 -Status | FL AvailableNewMailboxSpace

Для баз данных общих папок используйте следующую команду:

Get-PublicFolderDatabase PFDB1 -Status | FL AvailableNewMailboxSpace

Как можно освободить пустое пространство?

Естественно, что после того, как вы обнаружили пустое пространство в базе данных, возникает вопрос: "Как освободить пустое пространство?"

Многие предполагают, что ответ заключается в выполнении дефрагментации в автономном режиме с помощью ESEUTIL. Однако это не рекомендуется . При выполнении дефрагментации в автономном режиме создается новая база данных, а операции, выполняемые для создания базы данных, не записываются в журналы транзакций. У новой базы данных также новая подпись базы данных, т. е. вы аннулируете копии, связанные с этой базой данных.

Если вы обнаруживаете базу данных со значительным объемом пустого пространства и сомневаетесь в том, что оно будет освобождено в ходе нормальной работы, рекомендуется следующее:

1. создайте новую базу данных и связанные копии;
2. переместите все почтовые ящики в новую базу данных;
3. удалите исходную базу данных и связанные с ней копии.

Путаница с терминологией

Путаница во многом связана с понятием фоновое обслуживание базы данных . В целом все указанные выше задачи включены в фоновое обслуживание базы данных. Однако командная консоль, EMC и JetStress считают проверку контрольных сумм базы данных фоновым обслуживанием базы данных, и именно эту операцию вы настраиваете при включении или отключении с помощью этих средств.

Рис. 1. Включение фонового обслуживания базы данных с помощью EMC

Включение фонового обслуживания базы данных с помощью командной консоли:

Set-MailboxDatabase -Identity MDB1 -BackgroundDatabaseMaintenance $true

Рис. 2. Выполнение фонового обслуживания базы данных в тесте JetStress

Производитель хранилища порекомендовал отключить проверку контрольной суммы базы данных при фоновом обслуживании базы данных. Что мне делать?

Проверка контрольной суммы базы данных может стать тяжелым бременем для системы, если хранилище неправильно спроектировано (даже если оно последовательное), так как при этом выполняются операции чтения по 256 КБ и записи по 5 МБ/с на базу данных.

Используйте другое хранилище или улучшите возможности хранилища Выберите хранилище, которое соответствует рекомендациям Exchange (размер полосы больше 256 КБ).

Заключение

Архитектурные изменения ядра СУБД в Exchange Server 2010 значительно улучшили производительность и надежность, но изменили поведение задач обслуживания базы данных по сравнению с предыдущими версиями. Надеемся, что эта статья позволит вам понять, что такое фоновое обслуживание базы данных в Exchange 2010.