Технология advanced format. Поддержка Advanced Format — оптимальная работа с дисками высокой емкости

Достоинства нового формата жестких дисков - возможность создания трехтерабайтных накопителей и высокая надежность, недостаток - снижение быстродействия в Windows XP.

На отметке 2 Тбайт рост емкости жестких дисков остановился: традиционная архитектура достигла предела своего развития. Новый стандарт, получивший название Advanced Format, позволит создавать более вместительные и надежные винчестеры благодаря использованию секторов большего размера. Все производители обещают перейти на него уже в текущем году.

Более крупные сектора: надежная защита данных

Увеличение емкости жестких дисков в последние десятилетия обеспечивается путем повышения плотности записи. Однако при достижении значения порядка 2 Тбайт этот метод становится нерезультативным. При более плотном расположении секторов увеличивается риск возникновения ошибок и потери данных.

Решением стало увеличение размера секторов. В настоящее время в большинстве дисков он равен 512 байтам. Теперь же производители начинают выпуск моделей с четырехкилобайтными (4096 байт) секторами. Каждый из них снабжается меткой входа (Sync/DAM) и кодом коррекции ошибок (Error Correcting Code, ECC). Как и прежде, после каждого сектора размещается пустая промежуточная область. Так как один сектор размером 4096 байт соответствуют восьми 512-байтным, удается исключить семь промежуточных областей. Это позволяет высвободить дополнительный объем драгоценного дискового пространства.

Другим достоинством формата является снятие ограничения емкости накопителей.

Операционная система использует для адресации и доступа к данным на жестком диске механизм LBA (Logical Block Addressing) с доступным адресным пространством в 48 бит, что соответствует максимальной емкости носителя, превышающей 130 000 Тбайт, при размере сектора в 512 байт. Однако на практике такую огромную емкость невозможно обеспечить, так как содержащаяся в главной загрузочной записи таблица разделов не позволяет адресовать более 32 бит. При 512-байтовых секторах это соответствует двум терабайтам - большего при использовании традиционной архитектуры добиться невозможно.

Для полноценного использования более емких накопителей с 512-байтными секторами необходим другой формат размещения таблиц разделов (GUID Partition Table, GPT).

Windows Vista и 7 поддерживают его, а XP - только в 64-битной версии. Однако большинство разновидностей BIOS не работает с таблицей разделов GPT. Решить проблему поможет переход на UEFI, однако этот программный интерфейс лишь недавно появился на новых материнских платах для процессоров с архитектурой Sandy Bridge. Поэтому Advanced Format необходим как промежуточное решение, позволяющее обойти связанные с BIOS препятствия и использовать диски емкостью до 16 Тбайт даже при 32-битной адресации в главной загрузочной записи.

Windows XP: слишком стара для новых HDD

Windows XP не способна работать с большими четырехкилобайтными секторами, поэтому в устройствах с Advanced Format пока используется эмуляция 512-байтовых. Это позволяет обмануть операционную систему, создав видимость использования совместимого варианта. Такой компромисс дает возможность устанавливать в Windows XP более емкие накопители. Однако при этом заметно снижается быстродействие. XP создает первый раздел с сектора LBA под номером 63, а в случае с четырехкилобайтными секторами он должен начинаться с LBA 64. В результате раздел начинается последним блоком сектора (см. рисунок).

Windows XP, в свою очередь, разделяет винчестер на кластеры, размер которых также составляет 4 кбайт. В результате контроллеру жесткого диска приходится выполнять чтение или запись двух четырехкилобайтных блоков для каждого четырехкилобайтного кластера, что приводит к снижению скорости работы накопителя.

Эту проблему удается решить двумя способами. Во-первых, перед подключением HDD можно установить перемычку, позволяющую обеспечить правильное расположение блоков. Недостаток этого метода заключается в возможной потере данных при отключении перемычки.

Другим решением является использование специального программного обеспечения. Так, с сайта компании Western Digital (http://wdc.com) можно скачать утилиту WD Align System Utility, способную выполнить выравнивание разделов. Аналогичные программы предлагают и сторонние разработчики - например, компания Paragon с ее Alignment Tool. Но, несмотря на это, пользователям Windows XP стоит задуматься о том, что данная операционная система уже устарела для новых технологий.

Жесткие диски

Переход к жестким дискам с секторами размером 4 КБ (Advanced Format)

Преимущества и возможные риски при переходе от секторов размером 512 байт к секторам размером 4096 байт

Обзор

В отрасли жестких дисков происходят серьезные перемены. В то время как в прошедшие годы наблюдался стремительный рост плотности хранения данных, один из базовых параметров конструкции жестких дисков — размер логического блока, называемого сектором — оставался неизменным.

Примерно с 2010 года производители жестких дисков начали переход от традиционного размера сектора (512 байт) к новому, более эффективному размеру 4096 байт. Его обычно называют размером 4 КБ, а теперь он получил название Advanced Format (расширенный формат), присвоенное Международной ассоциацией производителей жестких дисков IDEMA.

В этой статье рассказывается о причинах такого перехода и перспективных преимуществах для потребителей, а также о возможных «подводных камнях», которых следует избегать при переходе от секторов размером 512 байт к секторам размером 4 КБ.

Вместо предисловия

Уже более 30 лет данные на жестких дисках форматируются в виде небольших логических блоков по 512 байт, называемых секторами. Этот стандартный формат до сих пор принимается за основу при проектировании современных компьютеров.

Такой сектор содержит раздел интервала, раздел синхронизации, раздел метки адреса, область данных и область кода обнаружения и исправления ошибок (рис. 1).

Рис. 1. Расположение традиционных секторов на носителе жесткого диска

Сектор диска имеет следующую структуру

• Интервал: промежуток между секторами.
• Код синхронизации: метка синхронизации, обозначающая начало сектора и позволяющая синхронизировать работу диска.
• Метка адреса: метка, содержащая данные для идентификации номера и расположения сектора. В ней также хранится информация о состоянии сектора.
• Область данных: в этой области хранятся данные пользователя.
• Область исправления ошибок: в этой области хранятся коды исправления ошибок, с помощью которых исправляются и восстанавливаются данные, которые могли быть повреждены во время чтения или записи.

Этот низкоуровневый формат используется в нашей отрасли уже многие годы. Однако в связи с ростом емкости жестких дисков размер сектора неизбежно становится конструктивным ограничением для дальнейшего повышения емкости дисков и эффективности исправления ошибок. К примеру, если соотнести размер сектора с емкостью устаревших и современных дисков, то можно увидеть, что разрешение сектора многократно уменьшилось. Разрешение сектора (отношение размера сектора к общей емкости диска, выраженное в процентах) в значительной мере сократилось и, как следствие, стало неэффективным (таблица 1).

Низкое разрешение подходит для управления небольшими разрозненными последовательностями данных. Однако современные приложения, как правило, оперируют блоками данных, которые намного больше размера сектора 512 байт.

И что еще более важно, небольшие сектора размером 512 байт занимают все меньшую площадь поверхности диска по мере повышения плотности записи. Это становится проблемой в контексте исправления ошибок и вследствие дефектов покрытия. На рис. 2, например, данные в секторе жесткого диска занимают меньшую площадь, что делает исправление ошибок сложнее, так как дефекты покрытия, имеющие прежний размер, повреждают больший процент данных и для их восстановления требуются более совершенные средства.

Рис. 2. Дефекты носителя и плотность записи

В секторе размером 512 байт, как правило, можно исправить дефект длиной до 50 байт. Современные жесткие диски с наибольшей плотностью записи практически достигли предела в области исправления ошибок. Поэтому основной потребностью отрасли для дальнейшего развития средств исправления ошибок и повышения эффективности жестких дисков стал переход к секторам большего размера.

Переход к секторам размером 4 КБ (расширенный формат)

В индустрии хранения данных уже несколько лет ведутся совместные работы над переходом к секторам большего размера. Компания Seagate вместе с партнерами проводит масштабные работы в этом направлении с 2005 года (рис. 3). В декабре 2009 года в результате совместных усилий IDEMA был создан и утвержден новый формат Advanced Format. Это название стало официальным для стандарта секторов размером 4 КБ. Кроме того, все производители жестких дисков договорились начать поставки новых моделей накопителей этого формата для настольных и переносных ПК к январю 2011 года. Однако накопители расширенного формата появились на рынке даже раньше. Компания Seagate первой начала поставлять такие накопители производителям вычислительной техники и включать их в свои продукты.

Рис. 3. Основные вехи разработки стандарта Advanced Format

Перспективные преимущества секторов размером 4 КБ

Поскольку производители жестких дисков договорились перейти к новому формату секторов к январю 2011 года, остальным участникам отрасли ИТ нужно было подготовиться к этому переходу, чтобы избежать возможных негативных последствий. В краткосрочной перспективе преимущества таких дисков были не слишком заметны конечным пользователям, потому что новый формат не привел к моментальному увеличению емкости, однако в долгосрочной перспективе переход на секторы размером 4 КБ позволил увеличивать плотность записи данных и емкость жестких дисков, а также повышать надежность исправления ошибок.

Повышение эффективности формата за счет сокращения пространства, занимаемого кодом исправления ошибок

На рис. 4 показана структура традиционного сектора размером 512 байт, из которой видно, что для каждого 512-байтного сектора на диск дополнительно записываются 50 байт, содержащие код исправления ошибок, и еще 15 байт с интервалом, кодом синхронизации и меткой адреса. В результате эффективность секторного 1 формата составляет примерно 88% (512/(512 65)).

Рис. 4. Структура традиционного сектора размером 512 байт

В новом стандарте Advanced Format размер сектора составляет 4 КБ, то есть восемь традиционных секторов размером 512 байт каждый объединяются в один сектор размером 4 КБ (рис. 5).

Рис. 5. Новый формат: структура сектора размером 4 КБ

В новом формате под интервал, код синхронизации и метку адреса отводится столько же места, сколько и раньше, а код исправления ошибок увеличен до 100 байт. В результате эффективность секторного 1 формата увеличивается до 97% (4096/(4096 115)), то есть почти на 10%.

Со временем такое повышение эффективности формата окупится и поможет добиться большей емкости и повышения целостности данных.

Надежность и исправление ошибок

Физический размер секторов на дисках уменьшается, и каждый сектор занимает все меньше места, в то время как размеры дефектов поверхности остаются прежними. На рис. 6 показаны предметы, которые мы считаем очень мелкими. Однако по сравнению с величиной зазора между головкой чтения-записи и поверхностью жесткого диска эти предметы оказываются большими. Дефекты на поверхности жесткого диска могут появиться от микроскопических частиц, которые значительно меньше показанных на рисунке.

Рис. 6. Величина зазора между головкой и жестким диском в масштабе

В секторе размером 4 КБ нового формата Advanced Format размеры блока ECC увеличены почти вдвое 2 , с 50 до 100 байт, что обеспечило давно ожидаемое повышение эффективности исправления ошибок и устойчивости к мелким частицам и дефектам поверхности.

Таким образом, совместный выигрыш от возросшей эффективности нового формата и повышения надежности исправления ошибок делает переход на сектора размером 4 КБ вполне оправданным. Главная задача производителей жестких дисков — правильно организовать этот переход, чтобы в перспективе достичь наибольшей отдачи с минимальными побочными эффектами.

Последствия перехода на сектора размером 4 КБ

Как уже отмечалось, во многих случаях современные компьютерные системы по-прежнему исходят из того, что размер сектора всегда равен 512 байтам. При переводе целой отрасли на новый стандарт 4 КБ нельзя ожидать, что все эти устаревшие предположения тут же изменятся. Конечно, со временем произойдет переход к использованию секторов размером 4 КБ, когда и компьютер и жесткий диск будут при обмене данными использовать блоки именно такого размера. Но до этого момента производителям жестких дисков придется организовывать переход на сектора размером 4 КБ с использованием приема, называемого эмуляцией секторов размером 512 байт.

Эмуляция секторов размером 512 байт

Внедрение секторов размером 4 КБ во многом зависит от технологии эмуляции секторов размером 512 байт. Этим термином называют процесс преобразования данных из нового формата с размером сектора 4 КБ, используемого новыми дисками, в традиционный формат с размером сектора 512 байт, используемый компьютерами.

Эмуляция секторов размером 512 байт допустима, поскольку не требует серьезных изменений в существующих компьютерных системах. Однако она может привести к снижению производительности, особенно при записи данных, размер которых не кратен восьми традиционным секторам. Чтобы пояснить это, рассмотрим подробнее процессы чтения и записи, которые будут применяться при эмуляции секторов размером 512 байт.

Процессы чтения и записи при эмуляции

Процесс чтения данных из секторов размером 4 КБ в режиме эмуляции секторов размером 512 байт оказывается достаточно простым, как это видно на рис. 7.

Рис. 7. Возможная последовательность чтения данных в режиме эмуляции секторов размером 512 байт

Чтение блока данных размером 4 КБ и переформатирование конкретного сектора размером 512 байт, запрошенного компьютером, выполняется в динамической памяти диска и не оказывает заметного влияния на производительность.

Процесс записи может оказаться несколько сложнее, особенно когда данные, которые компьютер пытается записать на диск, являются подмножеством физического сектора размером 4 КБ. В этом случае жесткий диск сначала вынужден считать нужный сектор размером 4 КБ целиком, объединить считанные данные с новыми и затем записать весь сектор размером 4 КБ (рис. 8).

Рис. 8. Возможная последовательность записи данных в режиме эмуляции секторов размером 512 байт

Жесткому диску приходится выполнять дополнительные механические действия — чтение сектора размером 4 КБ, изменение его содержимого и запись данных. Этот процесс называется циклом «чтение-изменение-запись» и является нежелательным из-за негативного влияния на производительность диска. Для того чтобы переход на сектора размером 4 КБ прошел безболезненно и с наименьшим количеством затруднений, важнее всего снизить до минимума вероятность и частоту возникновения циклов «чтение-изменение-запись».

Предотвращение циклов «чтение-изменение-запись»

1. Запросы на запись не выровнены по границам секторов из-за несоответствия логической структуры раздела диска его физической структуре
2. Запросы на запись с объемом данных меньше 4 КБ.

Соответствие и несоответствие логической и физической структуры разделов

До текущего момента мы не обсуждали, как согласуется положение сектора на носителе между компьютером и жестким диском. Пора поговорить о логических адресах блоков (Logical Block Address, LBA).

Каждому сектору размером 512 байт назначается уникальный логический адрес с номером от 0 до максимального значения, которое зависит от емкости диска. Компьютер обращается к нужному блоку данных по его логическому адресу. Когда компьютер передает запрос на запись данных, логический адрес блока возвращается после записи как информация о том, куда записаны данные. Это становится важным при переходе на сектора размером 4 КБ, поскольку появляются восемь различных вариантов того, где начинается логический блок.

Если логический адрес блока 0 соответствует первому виртуальному блоку размером 512 байт в физическом секторе размером 4 КБ, такое состояние сопоставления физической и логической структуры в режиме эмуляции секторов размером 512 байт называется «Выравнивание 0». Возможен вариант, когда логический адрес блока 0 назначен второму виртуальному блоку размером 512 байт в физическом секторе размером 4 КБ. Такое состояние сопоставления называется «Выравнивание 1». Сравнение этих состояний приведено на рис. 9. Есть еще шесть возможностей в случаях, когда логическая структура раздела не соответствует его физической структуре, что приводит к возникновению циклов «чтение-изменение-запись». Эти случаи аналогичны случаю «Выравнивание 1».

Рис. 9. Состояния выравнивания

Состояние «Выравнивание 0» очень хорошо работает с новыми секторами размером 4 КБ в расширенном формате. Жесткий диск может легко сопоставить восемь последовательных секторов размером 512 байт с одним сектором размером 4 КБ. Это достигается за счет хранения запросов на запись секторов размером 512 байт в кэш-памяти жесткого диска до тех пор, пока не получено достаточное количество последовательных блоков размером 512 байт для записи сектора размером 4 КБ. Поскольку современные приложения, как правило, работают с последовательностями данных, размер которых превышает 4 КБ, «карликовые» блоки возникают очень редко. В то же время состояние «Выравнивание 1» вызывает определенные трудности.

Если разделы жесткого диска созданы так, что логическая структура не соответствует физической, как это показано на рис. 9, начинают возникать циклы «чтение-изменение-запись», что ведет к снижению производительности жесткого диска. При внедрении жестких дисков нового формата этого состояния следует избегать прежде всего, как рекомендуется ниже.

Запись небольших объемов данных

В современных приложениях данные, такие как документы, изображения и потоковое видео, имеют размер гораздо больше 512 байт. Поэтому жесткий диск легко может хранить запросы на запись этих блоков в кэш-памяти до тех пор, пока не будет накоплено достаточное количество блоков размером 512 байт для записи сектора размером 4 КБ. Если логическая структура разделов диска соответствует его физической структуре, то жесткий диск может легко сопоставить сектора размером 512 байт сектору размером 4 КБ без ущерба для производительности. Однако существуют низкоуровневые процессы, которые могут заставить жесткий диск работать с «карликовыми» блоками, независимо от соответствия логической и физической структуры. Это происходит в редких случаях, когда компьютер отправляет жесткому диску отдельные запросы, размер которых меньше 4 КБ. Как правило, такие запросы отправляет операционная система при работе с файловой системой, журналировании и выполнении других подобных низкоуровневых задач. В общем случае такие запросы встречаются нечасто и не оказывают существенного влияния на производительность. Однако проектировщикам ПО рекомендуется пересмотреть подобные процессы, чтобы добиться оптимальной производительности после перехода к секторам размером 4 КБ.

Подготовка и организация перехода к секторам размером 4 КБ

Теперь, когда преимущества перехода к секторам размером 4 КБ, а также возможное влияние такого перехода на производительность понятны, настало время определить наилучший способ организации перехода. Правильнее всего обсуждать эту тему в контексте двух самых популярных современных операционных систем: Windows и Linux.

Организация перехода к секторам размером 4 КБ в ОС Windows

Самый главный вопрос организации перехода к секторам размером 4 КБ — это вопрос соответствия физической и логической структуры, уже рассмотренный выше. Диски нового формата хорошо работают в состоянии «Выравнивание 0», в котором физическая и логическая начальные точки совпадают. Состояние выравнивания возникает в тот момент, когда создаются разделы жесткого диска. Разделы создаются программным обеспечением, которое можно разделить на две категории:

1. Версии ОС Windows.
2. Специальные средства разбиения жесткого диска на разделы.

Когда разделы созданы ОС Windows, следует рассмотреть три версии этой ОС: Windows XP, Windows Vista и Windows 7. Компания Microsoft участвовала в обсуждении и планировании перехода к большему размеру сектора. В результате начиная с Windows Vista с пакетом обновления Service Pack 1 в ее продуктах появилась поддержка секторов размером 4 КБ. Программные продукты, создающие разделы с «Выравниванием 0» (разделы, хорошо работающие с новым форматом), называются продуктами с поддержкой секторов размером 4 КБ. В таблице 2 отражена ситуация для текущих поколений ОС Microsoft Windows.

Очевидно, что новые компьютеры с последними версиями Windows лучше всего подготовлены к использованию жестких дисков нового формата. Однако на компьютерах с Windows XP или Windows Vista без пакета обновления Service Pack 1 существует значительный риск снижения производительности при использовании разделов, созданных операционной системой.

Помимо риска несоответствия логической и физической структуры диска при использовании старых версий ОС Windows, существует несколько средств, которыми активно пользуются сборщики систем, производители вычислительной техники, реселлеры и ИТ-менеджеры. Использование этих средств также может стать причиной несоответствия между логической и физической структурой диска. Фактически чаще можно встретить разделы, созданные с помощью этих средств, чем с помощью ОС Windows. Поэтому велик риск создания разделов, в которых логическая структура не соответствует физической, что приводит к потере производительности при использовании дисков с размером сектора 4 КБ. Еще больше эта проблема осложняется тем, что сегодня поставляемые вместе с компьютерами жесткие диски обычно содержат несколько разделов. Это означает, что каждый из разделов такого диска должен быть создан с помощью программы с поддержкой секторов размером 4 КБ, чтобы обеспечить соответствие между логической и физической структурой, а значит, и высокую производительность. На рис. 10 показаны возможные результаты создания нескольких разделов на жестком диске с использованием программы, не поддерживающей секторы размером 4 КБ.

Рис. 10. Несколько разделов и условия выравнивания

Разделы с несоответствием между логической и физической структурой

Есть три способа избежать несоответствия между логической и физической структурой диска или исправить это несоответствие, чтобы предупредить потери производительности.

1. Использовать новую версию ОС Windows или приобрести средство разбиения на разделы с поддержкой секторов размером 4 КБ.
2. Выровнять разделы жесткого диска с помощью специального средства.
3. Положиться на поставщика жесткого диска в части производительности, независимо от состояния структуры диска.

Использование версии Windows с поддержкой секторов размером 4 КБ — это самый простой и короткий путь обеспечить соответствие между логической и физической структурой диска. Поставщики других средств разбиения на разделы могут сообщить вам, существуют ли версии их средств с поддержкой секторов размером 4 КБ. Если такие версии есть, переходите на них, чтобы предупредить возникновение проблем.

Некоторые производители жестких дисков предлагают специальные средства, позволяющие проверить структуру разделов на жестком диске и изменить выравнивание разделов при необходимости. Для этого нужно потратить дополнительное время и выполнить дополнительные действия при сборке или обновлении компьютера.

Наконец, производители жестких дисков будут разрабатывать все более совершенные способы работы с разделами, в которых есть несоответствие между логической и физической структурой. Эти способы помогут избежать потерь производительности.

По мере роста популярности расширенного формата применяются все три способа, и каждый из них помогает потребителям добиться наибольшего полезного эффекта и избежать потерь производительности.

Организация перехода к секторам размером 4 КБ в ОС Linux

Основная стратегия перехода к секторам размером 4 КБ в Windows применима и в ОС Linux. У большинства пользователей Linux есть доступ к исходным кодам операционной системы, что дает им возможность подстраивать ее поведение под свои потребности. Это дает возможность заранее обновить ОС Linux для правильной работы с жесткими дисками нового формата.

Если внести нужные изменения в ОС Linux, то можно предупредить большинство проблем, связанных с выравниванием разделов в соответствии с новым форматом дисков и возникновением «карликовых» запросов на запись, которые создает операционная система.

Как в ядре, так и в дополнительных средствах Linux сделаны необходимые изменения для поддержки дисков нового формата. Эти изменения обеспечивают точное выравнивание всех разделов на дисках нового формата по границам секторов размером 4 КБ. Поддержка дисков нового формата в ядре ОС реализована начиная с версии 2.6.31. Поддержка разбиения на разделы и форматирования дисков нового формата реализована в следующих дополнительных средствах Linux.

Fdisk: GNU Fdisk — это инструмент командной строки для разбиения жестких дисков на разделы. Начиная с версии 1.2.3 поддерживаются диски нового формата.

Parted: GNU Parted — это графическое средство для разбиения жестких дисков на разделы. Начиная с версии 2.1 поддерживаются диски нового формата.

Заключение

Индустрия ИТ неизбежно отказывается от традиционного размера секторов 512 байт. Производители жестких дисков договорились внедрить расширенный формат не позднее января 2011 года для новых моделей жестких дисков для портативных и настольных компьютеров.

Разработчики жестких дисков продолжают увеличивать плотность записи данных и повышать надежность исправления ошибок. Потребители получают преимущества, поскольку жесткие диски, как и прежде, обладают самой большой емкостью и лучшей удельной стоимостью, а также традиционно ожидаемой от них надежностью.

Залогом безболезненного перехода стало обучение пользователей систем хранения данных, чтобы те смогли избежать «подводных камней». Самым главным условием успешного перехода к секторам размером 4 КБ является распространение средств разбиения жестких дисков на разделы, поддерживающих секторы размером 4 КБ. Всем сборщикам систем, производителям вычислительной техники, интеграторам, специалистам в области ИТ и даже конечным пользователям, собирающим компьютеры или определяющим их конфигурацию, рекомендуется принимать следующие меры.

• Создавать разделы жесткого диска с помощью Windows Vista (с пакетом обновления Service Pack 1 или новее) или Windows 7.
• При использовании стороннего ПО и средств для создания разделов на жестком диске удостовериться у производителя этих средств, что используемая версия поддерживает сектора размером 4 КБ.
• Если какой-либо заказчик регулярно создает и использует образы жестких дисков, убедиться, что используемое ПО для создания образов поддерживает сектора размером 4 КБ.
• При использовании Linux удостовериться у поставщика версии Linux или в обслуживающей организации, что в ОС сделаны необходимые изменения для поддержки секторов размером 4 КБ.
• Обратиться к своему поставщику жестких дисков за рекомендациями и советами по применению жестких дисков нового формата.

Вместе с нашими коллегами по отрасли и заказчиками мы можем обеспечить безболезненный и эффективный переход к новому формату жестких дисков с размером сектора 4 КБ и воспользоваться перспективными преимуществами для всей отрасли систем хранения данных.

Сноски

1 Секторный формат относится только к секторам данных и не рассматривает дополнительное пространство, занимаемое служебными данными, и другое неэффективно используемое дисковое пространство.

2 Не в каждой реализации секторов размером 4 КБ при переходе от секторов размером 512 байт область исправления ошибок увеличивается ровно в два раза.

Расширенный формат (Advanced Format, AF) - это стандарт, повышающий эффективность форматирования за счет увеличения размеров секторов данных в жестких дисках сверх традиционного размера 512 байт. Стандарт «Расширенный формат» был разработан ассоциацией International Disk Drive Equipment and Materials Association (IDEMA), в которую входят корпорация Toshiba Electronic Devices & Storage Corporation и другие производители жестких дисков. Ассоциация IDEMA утвердила стандарт «Расширенный формат» с целью обеспечить совместимость устройств хранения данных различных производителей с поколениями файловых и операционных систем, поддерживающих технологию AF.

Технология «Расширенный формат» повышает эффективность форматирования за счет уменьшения количества ненужных заголовков. Таким образом, благодаря мощным алгоритмам обнаружения и исправления ошибок повышается надежность хранения записанных данных.

Некоторые поколения файловых и операционных систем уже поддерживают логические секторы, размер которых соответствует размеру 4096-байтового физического сектора. Такие хост-системы обозначаются термином 4Kn (4K native - «с поддержкой размера 4K»). Поскольку размеры физического и логического секторов (4096 байт) совпадают, эмуляция устаревших 512-байтовых секторов не требуется, благодаря чему хост-система 4Kn эффективнее использует доступное место накопителя с форматом сектора 4Kn. Мы предлагаем жесткие диски с эмуляцией 512-байтовых секторов, а также накопители с форматами сектора 4Kn и 512n, чтобы клиенту было проще выбрать оптимальную технологию работы с секторами для своей хост-системы.

Приведенные ниже обозначения не обязательно присутствуют на изделиях, обладающих указанными характеристиками.

Эмуляция 512-байтовых секторов (512e) Символами «Advanced Format AF» (расширенный формат AF) и «AF», как правило, обозначаются диски с поддержкой эмуляции 512-байтовых секторов, однако они также могут использоваться на дисках, поддерживающих работу как в режиме 512e, так и в режиме 4Kn.

4K native (4Kn) Символами «Advanced Format 4Kn» (расширенный формат 4Kn) и «4Kn» обозначаются диски, поддерживающие только секторы размером 4096 байт.

Средство Toshiba Alignment Tool для жестких дисков с форматом секторов «Расширенный формат» уже недоступно для загрузки

Компания Toshiba Electronic Devices & Storage Corporation и ее зависимые компании (далее именуются Toshiba) предоставляли средство Partition Alignment Tool для заказчиков, использующих жесткие диски Toshiba с технологией «Расширенный формат» на основе технологии 4K в операционной системе Microsoft ® Windows ® XP. В связи с тем, что 8 апреля 2014 г. корпорация Microsoft ® завершает полную поддержку операционной системы Windows ® XP, Toshiba больше не будет предоставлять средство Partition Alignment Tool.

Заказчикам, планирующим использовать операционную систему Windows ® XP с жесткими дисками Toshiba, оснащенными технологией «Расширенный формат», следует использовать средства выравнивания секторов сторонних производителей, так как это может повысить общую производительность системы.

Одним из таких сторонних поставщиков, поставляющих средство выравнивания для использования жестких дисков с технологией «Расширенный формат 4K», является Paragon Software (http://www.paragon-software.com/home/partition-alignment/). Важно понимать, что компания Toshiba не собирается рекомендовать или одобрять использование программных утилит для выравнивания секторов по технологии 4K компании Paragon Software или любого другого стороннего поставщика. Использование такого программного обеспечения осуществляется исключительно по усмотрению пользователя. Пользователь самостоятельно несет все связанные с этим риски. Компания Toshiba не несет никакой ответственности за использование такого программного обеспечения.

• Microsoft и Windows являются товарными знаками или зарегистрированными товарными знаками Microsoft Corporation в США и/или других странах.

Advanced Format - это новый формат разметки жестких дисков, необходимый для адресации больших объемов дисковой памяти. Все производители современных жестких дисков, в том числе HGST, переходят на этот формат.
Одна из основных особенностей Advanced Format - увеличение размера сектора с 512 до 4096 байт. Для сохранения совместимости с программами, рассчитанными на прежний формат, новые диски имеют режим эмуляции, который называется «512e».
Большая часть современных операционных систем поддерживает Advanced Format. Для достижения оптимального быстродействия ввода-вывода необходимо, чтобы разбивка диска была осуществлена корректно, и чтобы данные записывались 4-килобайтными блоками как операционной системой, так и прикладными программами. Новейшие операционные системы по умолчанию выполняют все условия, необходимые для эффективной работы с Advanced Format. При использовании же более старого программного обеспечения для настройки дисковой подсистемы на оптимальное быстродействие могут потребоваться специальные утилиты.

Устройство Advanced Format
В средней части рисунка 1 изображены восемь идущие подряд 512-байтных секторов. Помимо пользовательских данных, каждый сектор содержит служебную информацию: данные разметки и код коррекции ошибок. При замене восьми 512-байтных секторов одним 4-килобайтным количество необходимой служебной информации сокращается (см. нижнюю часть рисунка). Таким образом, при работе с большими файлами (а средний размер файлов по сравнению со временами, когда использовался 512-байтный формат, вырос) дисковое пространство используется эффективнее. Кроме того, под код коррекции ошибок выделено больше места, благодаря чему лучше обеспечивается целостность данных.

Рис. 1. Сравнение 512-байтного и 4-килобайтного форматов(1).

Обеспечение совместимости
Значительная часть находящихся в эксплуатации технических и программных средств рассчитаны на размер сектора 512 байт и ожидают, что данные будут пересылаться 512-байтными блоками. Эмуляция такого обмена реализована в новых дисках на уровне интерфейса. При запросе на чтение блока диск считывает сектор целиком (на что не уходит много времени) и передает программе только необходимый блок. Если же от программы поступает запрос на запись блока, то диск считывает целый сектор, помещает в него полученный блок и перезаписывает сектор целиком (см. рис. 2). Между считыванием и записью проходит время, диск может за это время совершить несколько оборотов.

Рис. 2. В режиме эмуляции при записи 512-байтного блока диск вначале считывает сектор, помещает в него блок и затем записывает сектор

Обеспечение быстродействия
Для достижения наивысшего быстродействия необходимо, чтобы формат записи на диск соответствовал формату диска. В идеальном случае запись должна выполняться 4-килобайтными блоками и каждый блок должен записываться в один сектор. Это условие выполняется в том случае, если и операционная система, и прикладные программы настроены на работу с 4-килобайтными блоками, а разбиение диска выполнено корректно.
Большинство современных операционных систем используют файловые системы, в которых дисковое пространство выделяется 4-килобайтными блоками, или кластерами. 4-килобайтный блок соответствует восьми 512-байтным секторам (см. рис. 3).

Рис. 3. Соответствие кластера сектору в режиме эмуляции.

Выравнивание границ разделов
При использовании операционных систем, записывающих данные 4-килобайтными кластерами (большинство современных ОС), важно, чтобы их границы были выровнены по границам секторов диска. В режиме эмуляции 512e диск не может предотвратить размещение раздела с блока, номер которого не кратен восьми. Если такое произойдет, один кластер будет размещаться в двух секторах (см. рис. 4). Таким образом, при чтении или записи 4-килобайтного кластера потребуется соответственно считать или записать 8 килобайт - вдвое больше. И если при чтении разница в скорости будет не большая, то при записи она окажется заметной.

Рис. 4. Размещение кластера не с начала сектора.

Операционные системы, поддерживающие Advanced Format
В следующих операционных системах размер кластера составляет 4 Кбайт, а при установке разбиение диска выполняется корректно:
Microsoft Windows Vista SP1 и новее;
Microsoft Windows 7;
Microsoft Server 2008;
Mac OS X 10.4 и новее;
Linux Ubuntu 8.04+, SUSE, Linux kernel 2.6.34+ (необходимо использовать Linux Partitioning Utility).

Операционные системы, не обеспечивающие автоматическое соответствие кластеров секторам:
Microsoft Windows XP;
Microsoft Server 2003;
Microsoft Windows Home Server V1.

HGST Align Tool
Для исправления логической разметки дисков, разделы на которых не выровнены по границам секторов, можно использовать выпускаемую HGST утилиту для Windows. Ее можно загрузить по адресу www.hgst.com/support/downloads .
Кроме того, Advanced Format поддерживается рядом утилит работы с дисками, выпускаемых сторонними производителями:

Средства разбиения дисков
Для Linux:
GPARTED 2.1+ (с опциями -a optimal или -a minimal).
www.gnu.org/software/parted/manual/parted.html

Для Windows:
Acronis Disk Director Home 11 или Paragon Partition Manager 11.

Для Mac:
Disk Utility (в комплекте с Mac OS X 10.4+), создает раздел GPT (GUID Partition Table).

Дополнительные сведения:
www.idema.org (документы по Advanced Format, в том числе спецификации)
en.wikipedia.org/wiki/Advanced_Format
www.t13.org , документ: ATA8-ACS (ATA Command Set)
www.t10.org , документ: SBC-3 (SCSI Block Commands)
Microsoft Windows 7 and Advanced Format Hotfix (KB981208):
support.microsoft.com/kb/982018
Intel Rapid Storage Technology (RST): www.intel.com/support/chipsets/imsm/sb/CS-031502.htm

Традиционный путь развития жестких дисков основывается на постепенном увеличении плотности записи на магнитные пластины, однако он сопряжен с большими затратами времени, усилий и средств. Поэтому разработчикам приходится обращаться к новым технологиям, и одна из них - Long Physical Sector, представленная недавно Western Digital под названием Advanced Format.

Восьмая ревизия стандарта ATA/ATAPI предусматривает введение двух новых параметров, ранее не применявшихся для жестких дисков: Long Physical Sector (LPS, длинный физический сектор) и Long Logical Sector (LLS, длинный логический сектор). Первый подразумевает, что на этапе литографии, когда на магнитной пластине создаются секторы для последующей записи данных, она будет размечаться по-новому: вместо традиционных секторов по 512 байт будут применяться более емкие, по 1, 2 или 4 КБ. LLS же введен для того, чтобы разграничить понятия физического и логического сектора, к которому обращается ОС при файловых операциях (также известного как LBA). В традиционных HDD с секторами по 512 байт эти понятия фактически идентичны, потому ранее нужды в разделении LPS и LLS попросту не было. Теперь же возникает целый ряд нюансов, которые производителям жестких дисков придется решать.

Для начала поговорим о том, что дает переход на использование длинных физических секторов. Каждая ячейка на магнитной пластине снабжается служебной зоной Sync/DAM, служащей для позиционирования головок чтения/записи, и зоной ECC, хранящей коды коррекции ошибок на случай ошибки чтения. Кроме того, между всеми ячейками имеется небольшое пространство, минимизирующее взаимное влияние магнитных полей в них и деградацию заряда. Объем зоны ECC в современных HDD и эффективность алгоритмов восстановления данных при ошибке - один из ключевых факторов, влияющих на надежность хранения и скорость работы с содержимым. Чем большей плотности записи добиваются разработчики, тем хуже становится соотношение сигнал/шум, и следовательно, возникает больше ошибок чтения. Если контроллеру не удастся исправить их с помощью ECC, придется повторно считывать ячейку, что означает как минимум один дополнительный оборот пластин. На сегодняшний день типичным объемом зоны ECC считаются 40 байт на каждый 512-байтовый сектор. В будущем при дальнейшем увеличении емкости пластин разработчикам придется пойти на удвоение этого показателя, чтобы повысить шансы успешного восстановления.

Традиционные пластины с секторами по 512 байт

Переход на использование длинных секторов позволяет, во-первых, уменьшить число зон Sync/DAM и межсекторных промежутков во столько же раз, во сколько они длиннее обычных 512-байтовых, однако на самом деле это верхушка айсберга. Специфика алгоритмов восстановления данных по кодам ECC такова, что чем больший объем был считан, тем они эффективней, и следовательно, требуется меньше места для кодов. На практике это означает, что если для одного 512-байтового сектора необходимо 40 байт ECC, то для 4 КБ достаточно уже 100 байт. Несложно посчитать, что при этом экономится 220 байт. В сумме с другими служебными зонами, по данным WD, уже на современных HDD эффективность использования дискового пространства увеличивается на 7-11%, а в сравнении с будущими дисками с 80-байтовыми зонами ECC - и на все 22%. В первую очередь это играет на руку потребителю - на базе одних и тех же пластин и головок (что составляет львиную долю затрат на разработку HDD) вендоры смогут предложить на 10-20% более емкие накопители. В конце концов, использование физических секторов по 512 байт на сегодняшний день фактически бессмысленно: ни одна из современных файловых систем не использует кластеров такого размера, стандартным параметром NTFS при форматировании раздела является как раз 4 КБ, и запись и считывание данных осуществляется именно такими порциями.

Новые пластины с длинными секторами по 4 КБ

Есть у LPS/LLS и менее явные достоинства: устраняется лимит на емкость раздела более 2 TiB, существующий при 32-битной адресации и 512-байтовых секторах; большая эффективность алгоритмов коррекции ошибок означает, что быстродействие при чтении вырастет; меньшее количество физических секторов означает меньшую вероятность возникновения так называемых bad-блоков; уменьшенное в восемь раз число логических секторов означает радикальное уменьшение размера таблиц адресации и неизбежный рост эффективности работы контроллера при высокой нагрузке (большом числе запросов на случайное чтение и запись). Правда, на сегодняшний день об этом речь не идет, о чем - во второй части описания технологии.

WD Advanced Format: сложное решение под простым названием

Western Digital Advanced Format - вовсе не простое маркетинговое название LPS/LLS. Дело в том, что работу с физическими секторами по 4 КБ поддерживают не все ОС: в семействе Windows она появилась лишь с Vista, Server 2008 и 7, а остающиеся популярной XP и Server 2003 этой поддержки лишены. В стане MacOS и Linux все несколько оптимистичней: все мало-мальски актуальные версии этих ОС нормально работают с длинными секторами. Также стоит вопрос обратной совместимости и на аппаратном уровне: BIOS материнской платы, прошивка и драйвер контроллера дисков также должны поддерживать длинные ячейки. Поэтому WD пошла на сложный, однако необходимый на сегодняшний день шаг: в жестких дисках компании, использующих Advanced Format, на уровне контроллера реализована эмуляция обычных 512-байтовых секторов из физических 4-килобайтовых.

Advanced Format - эмуляция старого диска на новых пластинах

Накопитель при инициализации сообщает материнской плате, что по-прежнему используются короткие ячейки, а при получении от файловой системы логического адреса блока (LBA) транслирует его в адрес физического сектора. В результате появляется полная совместимость со старыми операционными системами, однако возникают и свои сложности. Во-первых, эта эмуляция требует дополнительной операции на пути между запросом на чтение/запись и осуществлением этой операции и, соответственно, увеличивает время исполнения. Во-вторых, она вызывает дополнительную нагрузку на вычислительное ядро контроллера диска и, таким образом, снижает эффективность работы прошивки. В-третьих, в любом случае теперь при чтении даже 512 байт данных физически диску придется считать 4 КБ и 3,5 КБ из них отбросить (очень похоже на write amplification в SSD), а если нужно считать подряд два логических сектора, принадлежащих разным физическим - придется обрабатывать сразу 8 КБ. В-четвертых, и это самое важное, появляется главная проблема этой технологии - огромное падение производительности при использовании неправильно созданных разделов.

Дело в том, что старые операционные системы (до Vista) при создании раздела начинают разметку с блока №63 (LBA63), это «наследие» еще DOS, ныне ничем не обоснованное. Подчеркнем, что проблема эта возникает только при разметке диска из-под Windows XP и более ранних ОС либо клонировании разделов с помощью утилит, не поддерживающих 4-килобайтовые секторы, в любой ОС. Windows Vista и 7 размечают первый раздел с 2048-го сектора, а следующие - с ближайшего после окончания первого раздела кратного восьми, поэтому они сразу получается выровненными. Для HDD с секторами по 512 байт никакой проблемы также нет - каждая из ячеек существует физически и может быть адресована напрямую. Для 4-килобайтовых ячеек начало с нечетного логического сектора означает, что кластер операционной системы будет размещен сразу на двух физических ячейках, и производительность HDD очень сильно снизится.

Невыровненный кластер файловой системы на двух физических секторах

К примеру, если диску нужно подряд считать или записать n кластеров, на самом деле придется обращаться к n+1 ячеек, а если речь идет об операциях со случайным доступом и малым размером блоков, можно смело говорить об удвоении фактически считываемых и записываемых данных. В случае же если две ячейки находятся на разных дорожках, то к обычному процессу «адресация-позиционирование-чтение» добавляется еще поворот пластин, поиск второго сектора и позиционирование, что для HDD с частотой вращения 7200 об/мин добавляет минимум 8,3 мс. Поэтому крайне важно, чтобы созданный на диске раздел был «выровнен» с физическими ячейками, т.е. его начало совпадало с началом сектора на HDD.

Выравнивание разделов - залог быстродействия

Добиться этого WD предлагает несколькими способами. Первый - можно просто замкнуть 7 и 8 контакты диска перемычкой. Тогда контроллер при адресации станет прибавлять 1 к получаемому от ОС LBA (соответственно, при обращении в LBA63 HDD на самом деле обратится в 64-й логический сектор), весь массив адресов сдвинется и совпадет с физическими ячейками. Этот вариант работает только в случае создания единственного раздела и только до разметки диска, если установить перемычку после нее - раздел перестанет распознаваться, если создать второй раздел - он не будет выровнен, поскольку между ним и первым снова будет промежуток в 63 логических сектора.

Второй, более универсальный вариант, предполагает использование утилиты WD Align, доступной бесплатно с сайта производителя. Она разработана компанией Paragon Software, известной своим ПО для работы с дисками, и позволяет «на лету» выровнять разделы в соответствии с физическими секторами без потери данных и необходимости их куда-либо копировать. Поддерживается работа как с загрузочного диска (при этом операция пройдет быстрее), так и прямо из-под работающей ОС (выравнивание происходит после перезагрузки, аналогично клонированию раздела). При этом уже записанные файлы копируются на новое место (скорость при этом примерно соответствует обычному копированию), а пустое пространство просто быстро переразмечается с внесением соответствующих изменений в MFT. К примеру, пустой раздел емкостью 2 ТБ был выровнен примерно за 3 минуты. При запуске утилита проверяет, действительно ли используется диск с Advanced Format и раздел не выровнен, поэтому риска случайного выравнивания нормального раздела нет.

Тестирование

Перейдем от теории к практике. На сегодняшний день единственными HDD, в которых применены секторы емкостью 4 КБ, являются Western Digital Caviar Green с суффиксом EARS в названии модели. Что характерно, это первые накопители экономичной серии, предназначенной в качестве дисков для высокоемких, тихих и холодных систем хранения, в которых применен буфер емкостью 64 МБ - необходимость оперировать 4-килобайтовыми блоками вместо 512-байтовых предъявляет повышенные требования к кэшу.

Мы протестировали топовую модель этой серии - WD Caviar Green WD20EARS емкостью 2 ТБ. Диск форматировался в Windows XP и Windows 7 (таким образом снимались показания для выровненного и не выровненного разделов). Для сравнения использовался HDD WD AV-GP WD20EVDS - аналог Caviar Green, позиционируемый как накопитель для медиасерверов, записывающих устройств и т.п. Этот диск использует пластины с обычными секторами и оснащен буфером емкостью 32 МБ. Оба тестируемых устройства основаны на четырех пластинах емкостью 500 ГБ, однако напрямую их сравнивать нельзя: AV-GP оптимизированы под однопотоковые линейные операции, а у WD20EARS еще и вдвое больший кэш. Однако представление о том, какое влияние на быстродействие оказывает эмуляция в контроллере и как сказывается на ней невыровненность раздела, можно составить. Для снятия показателей линейных скоростей и времени отклика, а также для эмуляции рабочей станции, файлового и веб-серверов использовалась утилита IOMeter в режиме дискового доступа (без разбиения на разделы), также из-за особенностей работы IOMeter с разделами для иллюстрации необходимости выравнивания вместо него использовался Intel NAS Performance Toolkit.

Как видно из диаграмм, на линейных операциях необходимость трансляции логических адресов в физические на уровне контроллера практически не сказывается. WD20EARS демонстрирует неплохую производительность, заметно опережая своего собрата. Сложно сказать, чем обусловлено это превосходство: более емким буфером, большей итоговой плотностью записи из-за отсутствия большинства сервисных зон, или просто особенностями прошивки. Неудивительно, что WD решила «обкатать» Long Physical Sector именно на серии Caviar Green - эти HDD предназначены в первую очередь для домашних высокоемких хранилищ, где в основном на них записываются крупные мультимедийные файлы. В таком случае характер обращений к ним будет именно линейным (если не считать файлообменных систем), и проблем из-за эмуляции возникать не будет, поскольку в значительной мере они будут нивелироваться эффективностью кэширования.

В то же время, судя по показателям времени доступа на чтение и запись, эмуляция 512-байтовых секторов при адресации сказывается очень сильно: если для чтения показатели еще терпимы (20,5 мс у WD20EARS против 17,4 мс у WD20EVDS), то при записи этому диску не помогает даже кэширование - почти 33 мс ставят крест на возможности использования этого HDD в качестве системного.

Наиболее ужасны показатели производительности при работе с мелкими файлами: вплоть до размера блока 16 КБ WD20EARS записывает их со скоростью до 5,5 МБ/с (4 КБ, которым равен один кластер файловой системы, пишутся в среднем при 1,4 МБ/с, а пресловутые 512 байт - вообще на смехотворных 50 байтах в секунду). Причина этому проста: чем меньше файлы и чем их больше, тем тяжелее нагрузка на контроллер, которому приходится выполнять намного больше операций для нахождения реального места назначения отправленных ему на сохранение данных. Лишь начиная с 32 КБ эффективность эмуляции резко возрастает - аж до 92,6 МБ/с.

Диаграммы Intel NAS Performance Toolkit намекают, что WD стоит не просто наклеивать на упаковку своих новых HDD скромную инструкцию о том, как нужно их размечать под разными ОС, а не мешало бы это делать крупными красными буквами. Скорость записи на невыровненный раздел по сравнению с правильно размеченным HDD отличается почти в 4 раза! Под тяжелой нагрузкой эффективность падает в 5 раз, при одновременной работе двух потоков с линейным доступом - в полтора-два раза. Лишь при линейном чтении в один поток разницы почти нет - диску все равно, как соотносятся кластеры с секторами, поскольку он все равно проходит по ним последовательно.

Итоги

Однозначные выводы по итогам этого тестирования делать сложно. С одной стороны, переход на использование секторов емкостью 4 КБ - оправданная и давно назревшая мера, к которой в ближайшее время начнут обращаться и другие производители жестких дисков. Преимуществ у этого подхода много, а недостаток всего один - несовместимость с ОС прошлых поколений. Бороться с ним можно активно, как это делает WD посредством эмуляции в поддерживающих Advanced Format дисках, а можно пассивно - выжидая, когда инсталляционная база ПК с аппаратными ограничениями на использование 4-килобайтовых ячеек в HDD и под управлением Windows XP станет достаточно малой, чтоб ею можно было пренебречь. Вероятнее всего, этот момент настанет ближе к 2014 г., когда Microsoft окончательно прекратит поддержку Windows XP. Однако это не означает, что до тех пор мы сможем наблюдать новую технологию только в виде Advanced Format, вполне вероятно, что накопители более высокого класса для производительных ПК будут выпущены с отключенной эмуляцией и позиционированием на современные ПК, работающие под управлением современных ОС.

Что касается конкретных HDD Western Digital Caviar Green серии EARS, то, рассматривая их в качестве варианта покупки, нужно быть осторожным: они подойдут только в качестве хранилища, если же планируется мало-мальски серьезная нелинейная нагрузка - стоит обратить внимание на традиционные модели с суффиксом EADS. В данном же случае перед нами скорее «полевое испытание», и WD в чем-то даже заслуживает похвалы за то, что в компании рискнули самостоятельно начать подготовку рынка к будущему переходу на использование длинных секторов.