Важные ссылки
- ESXi System Storage Changes
- ESXi System Storage While Upgrading
- ESXi System Storage FAQs
- VMFS-L locker partition corruption
- Bootbank cannot be found at path ‘/bootbank’ errors being seen after upgrading to ESXi 7.0 U2
- Creating a persistent scratch location for ESXi 7.x/6.x/5.x/4.x
- Configure ESXi Dump Collector with ESXCLI
- VMware KB Article 85615
P.S. Перевод выполнен комбинацией машинного обучения и человеческого интеллекта в пропорции 99/1. Если есть пожелание поправить чего, то пишите в комментарии.
P.P.S. Качество картинок везде исправлено до приемлемого (в отличии от оригинальной статьи). Таблица сделана текстом, опечатки оригинальной исправлены.
Бэкап/восстановление ESXi с помощью vSphere CLI
Для резервного копирования/восстановления конфигурации ESXi можно воспользоваться возможностями vCLI, например, с помощью клиента vCLI для Windows или Linux, или же через vMA Appliance.
Для управления резервными копиями в vCLI существует специальная команда: vicfg-cfgbackup
Примечание. Команда vicfg-cfgbackup доступна только на сервера ESXi, использовать ее при подключении к серверу vCenter Server не удастся.
Создать бэкап конфигурации хоста ESXi можно так:
vicfg-cfgbackup -s -server 192.168.0.11 /tmp/esx05-backup
После выполнения команды файл esx05-backup можно скачать на свой компьютер, например, по WinSCP.
Процедура восстановления ESXi в случае падения сервера следующая:
- Установите на сервер ту же самую версию ESXi, бэкап которой был создан. Выполните первоначальную настройку сервера (имя, ip адрес management сети и т.п.)
- Скопируйте на север имеющийся файл с бэкапом.
Примечание. Все запущенные виртуальные машины должны быть выключены. - Подключитесь к серверу через vCLI или vMA, и переведите сервер в maintenance mode:
vicfg-hostops --server 192.168.0.11 --operation enter
- Запустите восстановление командой:
vicfg-cfgbackup -l -server 192.168.0.11 /tmp/esx05-backup
Совет. В том случае, если версии ESXi на хосте и в бэкапе отличаются, можно попробовать принудительно перезаписать конфигурацию, воспользовавшись ключом -f (force)
- После выполнения команды перезагрузите гипервизор для применения настроек.
Резервное копирование в бесплатной версии ESXi
Указанные выше способы резервного копирования будут работать только в коммерческих (платных) версия ESXi. В том случае, если вы используете бесплатную версию гипервизора VMware (vSphere Hypervisor), имейте в виду в ней есть ограничения, урезающего возможности CLI. Дело в том, что vSphere API в vSphere Free Hypervisor, работает в режиме чтения (read-only). Это означает, что хотя вы и сможете создать «бэкап» текущей конфигурации бесплатного ESXi, но восстановить этот бэкап на бесплатную версию ESXi-сервера, не получится.
Сей неприятный факт обходится довольно просто: при свежей установке ESXi вам может быть предоставлен тестовый (trial период) 60 дней, в течении которых вы можете пользоваться всем функционалом ESXi, а команды vSphere CLI будут отрабатывать в режиме чтения и записи, что означает возможность восстановления из имеющегося бэкапа.
Информация. Возвращаясь к архитектуре гипервизора, хотелось бы отметить, что сервер ESXi сервер раз в час сохраняет свою конфигурацию в архив state.tgz, тем самым предоставляя создавая копию своей конфигурации, позволяющий вернуться в актуальное состояние при перезагрузках или при отключении сервера. Таким образом, в случае сохранения доступа к диску с ESXi, администратор всегда может скопировать архив с текущей конфигурацией, даже если физически сервер не работает.
2.4 Ограничения
- Функция восстановления единичны файлов VMware использует интерфейс Bacula BVFS для отображения списка файлов и каталогов. В случае MySQL; несмотря на ограничения MySQL, связанные с индексами в столбцах TEXT, процедура не оказывает существенного влияния на производительность MySQL. Тем не менее, в целях получения лучшего результата мы рекомендуем использовать PostgreSQL.
- Производительность функции по восстановление единичного файла может варьироваться в зависимости от различных файлов. Например, ПО Bacula придется считывать больше данных, если том Volume создавался при выполнении большого количества параллельных задач.
- Storage Daemon, в котором установлена утилита для восстановления единичного файла, должна иметь CPU с расширениями VT-x/EPT. Если эти расширения недоступны, производительность снизится ( с 20 с до 10 мин в случае нашего эксперимента).
Пошаговое руководство по резервированию конфигурации VMWare ESXi
А так же переносу ее на новую инсталляцию ESXi.
Несколько слов про установку на USB носитель ESXi
Такой вариант имеет плюс и толстый минус:
- + Вы физически отделяете хранилище от системы при условии, что не используете отдельную СХД
- — Низкая надежность потребительских USB flash
На днях я заметил, что в устройствах хранения USB носитель выдает ошибку:
Не виден тип раздела, точки монтирования отсутствуют и сами разделы так же не видны
Было принято решение развернуть новую инсталляцию на новую флешку. Кроме того нужно будет восстановить конфигурацию. Успешность операции будет выше при использовании точного такой же версии VMWare ESXi. Так же будет плюсом наличии резервной копии, которая была сделана до момента выхода из строя флешки.
Для реализации нашей задумки должен быть включен доступ к VMWare по ssh. Все операции будут производится в консоли ssh.
Делаем бекап конфигурации:
Сохраняем конфигурацию в архив:
vim-cmd hostsvc/firmware/backup_config Bundle can be downloaded at : http://*/downloads/528e6ed1-228d-8f9d-8b6a-8858c40d1ef4/
В файловой системе полученный архив хранится по адресу (будет доступен несколько минут):
/scratch/downloads/528e6ed1-228d-8f9d-8b6a-8858c40d1ef4/configBundle-localhost.tgz
Директория /528e6ed1-228d-8f9d-8b6a-8858c40d1ef4 у вас будет другая
Скачиваем получившийся архив по вышеуказанной ссылке, подставив ваше значение IP адреса:
- С помощью браузера
- Клиентом SFTP (Far, TC, etc..)
- scp предварительно подключив правило FireWall:
esxcli network firewall ruleset set --allowed-all false --ruleset-id=sshClient
Или через веб-интерфейс в разделе «Networking»
scp /scratch/downloads/528e6ed1-228d-8f9d-8b6a-8858c40d1ef4/configBundle-localhost.tgz username@192.168.0.55:
Переименовываем архив (иначе при восстановлении получим ошибку):
mv configBundle-localhost.tgz configBundle.tgz
Архив получен, поэтому гасим ESXi хост. Меняем старую флешку на новую и устанавливаем систему
Во-первых — обратите внимание, чтобы систему установить именно на флешку:) Во-вторых — после установки задаем IP адрес, или получаем по DHCP. В-третьих — разрешаем доступ по SSH
Команда восстановления:
vim-cmd hostsvc / firmware / restore_config /tmp/configBundle.tgz
Хост после выполнения команды перезагрузится. Режим обслуживания после перезагрузки у мена отключился сам.
Тем не менее команда отключения режима обслуживания:
vim-cmd hostsvc / maintenance_mode_exit
На этом все, конфигурация восстановлена.
На самом деле все это работает, если флешка еще исправна. Я получил на архив в формате tar и при попытке восстановления получал ошибку:
Из вывода видно что требуется файл именно с именем configBundle.tgz. Поэтому мы с вами переименовывали файл. Я решил данную проблему тупо поменяв расширение на tgz.
Вывод:)
Не лениться и делать после любой смены конфигурации именованный архив конфигурации. Можно конечно автоматизировать, но я так редко что-то меняю в конфигурации.
Резервная виртуальная машина на Vmware ESXi
Хотите узнать, как создать резервную копию виртуальной машины, хранящейся на сервере Vmware ESXi? В этом уроке мы расскажем вам все шаги, необходимые для резервного копирования виртуальной машины Vmware ESXi на другой компьютер с использованием программного обеспечения OVFTOOL в Windows.
Этот учебник был протестирован на Vmware ESXi 6.5
Этот учебник был протестирован на Vmware ESXi 6.7
В этом руководстве не используется Vcenter.
В нашем примере мы собираемся создать резервную копию виртуальной машины UBUNTU из Vmware ESXI.
Удаленная резервная копия будет сохранена как файл OVF на компьютере под управлением Windows.
Vmware ESXi Playlist:
На этой странице мы предлагаем быстрый доступ к списку видеороликов, связанных с Vmware ESXi.
Playlist
Не забудьте подписаться на наш канал YouTube, названный FKIT.
На этой странице мы предлагаем быстрый доступ к списку руководств, связанных с Vmware Esxi.
Учебник — Установка OVFTOOL в Windows
Во-первых, вам необходимо загрузить и установить программное обеспечение OVFTOOL.
• Пакет: инструмент VMware OVF для Windows 64-разрядный
• Имя: VMware-ovftool-4.3.0-7948156-win.x86_64.msi
• Дата выпуска: 2018-04-17
• Номер сборки: 7948156
Вы можете найти этот пакет на веб-сайте Vmware.
Обратите внимание на путь установки OVFTOOL
В нашем примере программное обеспечение OVFTOOL было установлено в следующем каталоге.
• C: \ Program Files \ VMware \ VMware OVF Tool
Теперь давайте создадим папку для хранения резервной копии виртуальной машины.
Откройте приложение Windows Explorer и создайте папку с именем BACKUP в корне диска C.
В нашем примере мы собираемся хранить файлы резервных копий в папке BACKUP.
Учебник — Резервное копирование виртуальной машины на Vmware ESXi
Откройте повышенную подсказку DOS.
Используйте следующие команды для доступа к папке установки OVFTOOL.
C:
cd %programfiles%
cd vmware
cd «VMware OVF Tool»
Используйте следующую команду для копирования виртуальной машины с именем UBUNTU с сервера Vmware ESXi.
# ovftool -ds=datastore1 vi://root@192.168.0.50/UBUNTU C:\BACKUP\UBUNTU.ovf
Система будет запрашивать действительный пароль для подключения к серверу Vmware ESXi.
Система автоматически начнет копирование виртуальной машины в папку резервного копирования.
Enter login information for source vi://192.168.0.50/
Username: root
Password: ************
Opening VI source: vi://root@192.168.0.50:443/UBUNTU
Opening VI source: vi://root@192.168.0.50:443/UBUNTU
Opening OVF target: C:\BACKUP\UBUNTU.ovf
Writing OVF package: C:\BACKUP\UBUNTU.ovf
Transfer Completed
Completed successfully
После завершения копирования папка резервного копирования будет иметь экспортированную версию виртуальной машины OVF.
OVF означает Open Virtualization Format, и это портативный стандарт упаковки для виртуальных машин.
Поздравляем, вы создали резервную копию своей виртуальной машины.
Учебное пособие — Восстановление резервной копии виртуальной машины на Vmware ESXi
Откройте повышенную подсказку DOS.
Используйте следующие команды для доступа к папке установки OVFTOOL.
C:
cd %programfiles%
cd vmware
cd «VMware OVF Tool»
Используйте следующую команду для восстановления резервной копии виртуальной машины с именем UBUNTU на сервере Vmware ESXi.
# ovftool C:\BACKUP\UBUNTU.ovf vi://root@192.168.0.50
2018-11-22T13:30:50-02:00
План устранения проблемы при использовании SD-карт или USB-устройств в качестве загрузочного накопителя
Использование SD-карт или USB-устройств связано с некоторыми ограничениями:
Использование автономных SD-карт или USB-накопителей (без дополнительного устройства для раздела ESX-OSData) в качестве загрузочного накопителя для хранения раздела ESX-OSData устарело в vSphere 7 Update 3 и не будет поддерживаться в будущих основных выпусках.
В ближайшем будущем единственной поддерживаемой конфигурацией, предполагающей использование SD-карты или USB-накопителя в качестве загрузочного накопителя, будет, как минимум, 8 ГБ SD-карта или USB-накопитель + локально подключенное постоянное устройство хранения для раздела ESX-OSData. Рекомендуемый список локально подключаемых устройств хранения данных приведен ниже.
В любом случае, если в качестве загрузочного накопителя используется SD- или USB-устройство (только SD/USB или SD/USB + локальный HDD/SSD-диск), следуйте приведенным ниже инструкциям, чтобы уменьшить объем ввода-вывода, отправляемого на загрузочный SD- или USB-накопитель:
Включите параметр ToolsRamDisk, чтобы разгрузить запросы ввода-вывода при установке/обновлении VMTools на RAM-диск.
Убедитесь, что раздел /scratch настроен на постоянное хранилище, например локальный HDD/SSD, или загрузитесь с устройства SAN. Программа установки ESXi 7.0 не создает /scratch-раздел на SD-карте или USB-накопителе. Она пытается найти постоянное хранилище и пытается создать /scratch на постоянном устройстве хранения. Раздел /tmp размером 250 МБ создается на RAM-диске, если постоянное хранилище недоступно
Обратите внимание, что производительность хостов ESXi снижается, если в разделе /tmp заканчивается место.
VMware не поддерживает раздел /scratch на загрузочном накопителе SD или USB. Всегда настраивайте /scratch на локально подключенном диске (HDD или SSD)
Если локальный диск недоступен, настройте его на SAN. Следуйте шагам, указанным в статье KB 1033696. Примечание: Пожалуйста, имейте в виду, что RAMDisk нестабилен и подвержен потере данных, поэтому хранение части загрузочных разделов на RAM Disk приводит к ухудшению режима работы.
Хорошей практикой всегда является настройка ESXi Dump Collector на разгрузку дампов ядра.
Для решения проблемы отсутствия /bootbank убедитесь, что клиенты также обновились до vSphere 7 Update 2c или выше.
Двойная SD-карта: Это не то решение, на которое следует полагаться. Нарушения чтения/проблемы производительности могут быть вызваны и при использовании двух SD-карт
Также важно отметить, что даже ухудшение работы одной SD-карты в зеркальной установке может привести к ухудшению работы других SD-карт.
Если ваш хост ESXi уже обновлен до версии 7.x, вы можете добавить локально подключенное устройство хранения и установить autoPartition=True. При следующей перезагрузке будет создан раздел первого локально подключенного хранилища, который будет использоваться для раздела ESX-OSData
См. статью VMware KB Article 77009.
Резервное копирование виртуальных машин VMware ESXi
ВведениеОсновные характеристики резервного копирования VMware
- Онлайн резервное копирование через VADP
- Создание VSS снапшотов внутри гостевых ОС для приостановки приложений
- Полное, дифференциальное и инкрементальное резервное копирование ВМ на уровне образа
- Восстановление полного образа ВМ
- Восстановление vmdk файлов в альтернативный каталог
- Доступ к хранилищу VMware, как по TCP/IP, так и через SAN (FC/ISCSI)
Обзор резервного копирования VMware Bacula Enterprise Edition Глоссарий резервного копирования VMware
- CBT – технология отслеживания изменённых блоков.
- Datastore – название используемое VMware для обозначения хранилищ данных.
- vSphere — представляет собой технологию VMware для виртуализации ОС и выполнения облачных вычислений.
- VDDK – это набор библиотек C/C++, который позволяет создавать и получать доступ к виртуальным дискам VMware. VDDK используется параллельно с vSphere API для написания ПО для создания резервных копий и восстановления, или схожих приложений.
- При использовании сервера VMware ESXi файлы виртуальной машины помещаются во внешнюю память большого объёма.
- NBD – сетевое блочное устройство. vSphere позволяет получать доступ к файлам, размещенным в Datastore с помощью технологии прямого доступа к файлам, доступа через NBD, NBD over SSL или SAN. В случае доступа к файлам через NBD в качестве сетевого протокола используется протокол TCP/IP.
- SAN. vSphere позволяет получать доступ к файлам в хранилище данных с помощью технологии прямого доступа. SAN может использовать сеть Fibre Chanel (технология резервного копирования без загрузки локальной сети Lan free backup) или технологию ISCSI over TCP/IP.
- VMware ESX и VMware ESXi – архитектура гипервизора, устанавливаемого на сервер без операционной системы. Меньшая по размеру кодовая база ESXi предполагает меньшую “поверхность для атаки” и меньший размер кода для патча, что позволяет повысить надежность и безопасность системы.
- VCB – метод консолидированного резервного копирования VM Более ранний VMware API, который, как правило, больше не используется. Плагин VMware не использует технологию VCB.
- VADP – следующее поколение инфраструктуры защиты данных VMware, реализованное в vSphere 4.0, позволяющее ПО для резервного копирования создавать централизованные, эффективные бэкапы VMware вне хост-машин и без загрузки локальной сети.
- .vmdk — файловый формат, используемый для виртуальных устройств, разработанных для продуктов VMware.
- .bvmdk – внутренний файловый формат, используемый плагином Bacula Enterprise для обработки разреженных блоков и дифференциальных/инкрементальных бинарных бэкапов VMware. После конвертации с помощью инструмента vddk файл превращается в «сырой» образ исходного диска, который можно конвертировать в формат vmdk с помощью утилиты qemu-img.
- В ESX 3.x используется 4 версия виртуального аппаратного обеспечения, в vSphere 4.x – 7 версия, а в vSphere 5 – 8 версия.
- Отпечаток может быть сгенерирован их ESXi хоста
openssl x509 -sha1 -in /etc/vmware/ssl/rui.crt \-noout -fingerprint | cut -d ‘=’ -f 2 - guestfish – оболочка и инструмент командной строки для просмотра и изменения файловой системы ВМ.
- VM (или ВМ) – аббревиатура термина «виртуальная машина».
- vSphere – это платформа для виртуализации серверов с возможностью согласованного управления виртуальными датацентрами.
- SELinux — Security-Enhanced Linux (SELinux, Linux с улучшенной безопасностью) — это модуль безопасности ядра Linux, который обеспечивает механизм поддержки политик безопасности контроля доступа, включая полномочное управление доступом (MAC).
Заключение
VMware отказывается от поддержки SD-карт и USB-накопителей в качестве загрузочных накопителей. Конфигурация загрузки ESXi с использованием только SD-карты или USB-накопителя, без какого-либо постоянного устройства, устарела в vSphere 7 Update 3. В будущих выпусках vSphere эта конфигурация будет неподдерживаемой. Клиентам рекомендуется полностью отказаться от SD-карт или USB-накопителей. Если в настоящее время это невозможно, убедитесь в наличии SD-карт или USB-накопителей объемом не менее 8 ГБ и дополнительного локально подключенного устройства повышенной емкости объемом не менее 32 ГБ для раздела ESX-OSData Partition. Как объяснялось ранее, клиентам следует предпринять все действия, уменьшающие количество запросов ввода-вывода, отправляемых на SD-карту или USB-устройство, например, настроить раздел /scratch на постоянном устройстве, настроить дамп ядра сети и включить опцию toolsRamDisk. Кроме того, клиентам следует перейти на версию vSphere 7 Update 2c или более позднюю, которая содержит исправления проблем с USB и стеком хранения данных.
