USB флешка как vmfs datastore – Дополнительная информация
Чем же мы рискуем удалив VMFSL раздел? В данный раздел были объединены разделы small core-dump, large core-dump, locker и scratch.
small core-dump и large core-dump – разделы, куда ESXi может выгружать данные необходимые для диагностики. В случае отсутствии этих разделов, ESXi не сможет выгрузить в них дампы которые могут понадобится платной техподдержке.
scratch – раздел хранящий логи Syslog, результаты команды vm-support и userworld swop файл. В отсутствии этого раздела, ESXi хранит его данные в RAM диске и эти данные каждый раз стираются при перезагрузке сервера.
Всё это было объединено в единый большой раздел, который в случае если наш носитель объёмом меньше 128ГБ, займёт все оставшееся после первых трёх разделов место. Если же носитель больше 128ГБ, то следом будет создан VMFS датастор.
Удаление и создание нового раздела ручками, может привести к тому что прежде чем снова установить на эту флешечку гипервизор, придётся её отформатировать. Из 10 гипервизоров у меня такое случилось с одним. Что привело к такому результату сказать не могу, но флешки везде были sandisk.
Наилучшим решением будет взять нормальную флешку (не сандиск), с помощью утилиты производителя перепрошить эту флешку так чтобы она опознавалась как два отдельных диска (именно диска, не раздела). Диски эти сделать объемом 8ГБ + Всё остальное. В раздел 8ГБ установить гипервизор, он тогда сам спокойно ужмётся до 8 гигов заняв всё пространство этого диска, а на втором диске поднять VMFS датастор. Это будет самое лучшее решение. Но опять же повторюсь что флешку нужно покупать такую, чей контроллер можно перепрошить.
О том как получить и установить ESXi 7 можно почитать тут: Установка ESXi 7. Бесплатная лицензия. Или посмотреть тут:
USB флешка как vmfs datastore – Ищем нужный раздел через Web Client
-
Переходим в Storage > Devices
Тут должна быть отображена наша флешка, на которую установлен гипервизор. Кликаем на строку с ней.
-
Смотрим информацию по нашей флешке
Видим что ESXi7 запилился в начало флешки, а всю область за разделом 6. Basic Data и до конца он разметил как VMFSL раздел. Окончание L означает что этот раздел предназначается лишь для использования текущим хостом и на нём не применяются механизмы применяемые для vmfs5 и vmfs6 разделов расчитанных на то что с файлами может работать одновременно несколько гипервизоров. На месте 7-го раздела мы и разместим наш датастор :). Путь к нашему разделу выглядит как
. Именно его мы будем указывать в командах ниже.
Доступ к VMFS разделу из Ubuntu
В этой секции мы покажем, как смонтировать раздел с файловой системой VMFS на компьютере с установленной ОС Ubuntu (Live CD с Ubuntu в этом сценарии нам не подойдет, скачать серверные ubuntu с 10 по 14 версии и выше).
В первую очередь необходимо подключить физический диск с VMFS к компьютеру с Ubuntu.
Чтобы получить доступ к данным на VMFS томе, нам понадобиться установить специальный пакет vmfs-tools. Данный пакет позволяет получить доступ к файловой системе раздела VMFS с не ESX/ESXi хостов. Доступ возможен в режиме только на чтение (read-only).
Установим пакет следующей командой
apt-get install vmfs-tools
Примечание. В репозитариях Ubuntu пока доступна только версия vmfs-tools 0.2.1, основной ее недостаток – она умеет работать только с файловой системой VMFS v4. Если вам нужно смонтировать датастор с VMFS 5, придется самостоятельно скачать и установить версию vmfs-tools не ниже 0.2.5, например, здесь: http://ge.archive.ubuntu.com/ubuntu/pool/universe/v/vmfs-tools/vmfs-tools_0.2.5-1_i386.deb – пакет для 32 битной системы http://de.archive.ubuntu.com/ubuntu/pool/universe/v/vmfs-tools/vmfs-tools_0.2.5-1_amd64.deb – пакет для 64 битной системы
Качаем соответствующую версию пакета так:#wget http://de.archive.ubuntu.com/ubuntu/pool/universe/v/vmfs-tools/vmfs-tools_0.2.5-1_amd64.deb
И устанавливаем его:#dpkg -i vmfs-tools_0.2.5-1_amd64.deb
Если нужно будет удовлетворить зависимости, воспользуемся командой:#apt-get install vmfs-tools
После установки пакета, создадим каталог для точки монтирования:#mkdir /mnt/vmfs
Следующий шаг – нужно разобраться с разделами на дисках. Гипервизор ESXi при установке помимо, собственно, раздела для файлов виртуальных машин (VMFS) создает множество служебных разделов. Если версия ESXi 4 или ниже, или VMFS хранилище было обновлено с версии VMFS 4 до VMFS 5, а его размер не превышает 2 Тб, выведем список дисков и разделов так:#fdisk -l
Как получить доступ к данным на VMFS разделе из-под Windows / Linux
Как мы видим, раздел с файловой системой VMFS – /dev/sd3 (метка VMware VMFS) Важно. Т.к
в ESXi 5 используется VMFS v5 с таблицей разделов GPT (таблица GUID Partition Table используется вместо MBR, что позволяет создавать хранилища большего размера и пробрасывать RDM диски в режиме физической совместимости размером более 2 TB). Поэтому для просмотра таблицы разделов придется вместо fdisk использовать команду parted. Итак, выведем информацию о разделах так:#parted -l
Осталось смонтировать партицию с хранилищем VMFS:#vmfs-fuse /dev/sdb3 /mnt/vmfs
Выведем содержимое смонтированного раздела:#ls -all /mnt/vmfs
Итак, теперь мы видим все файлы виртуальных машин на VMFS хранилище, которое доступно нам для чтения, а это значит, что мы можем скопировать каталоги и/или отдельные файлы нужных виртуальных машин на отдельный диск и запустить их на другом гипервизоре ESXi. Доступ к VMFS разделу из Windows
Для доступа к данным на VMFS разделе из Windows, нам понадобится специальный открытый драйвер Open Source VMFS Driver, написанный на Java. Драйвер требует версию Java не ниже 6 и также позволяет монтировть VMFS-тома только для чтения Итак, качаем Open Source VMFS Driver по этой ссылке https://code.google.com/p/vmfs/ и распаковываем его в произвольный каталог (допустим C:\vmfs) Проверить работу java-приложения fvmfs.jar можно так:cd \vmfsjava -jar fvmfs.jar Определяем номер диска с хранилищем VMFS, подключенный к нашему Windows-компьютеру. Номер диска можно узнать с помощью консоли управление дисками или diskpart. (В нашем примере подключенный диск имеет индекс 1 – Disk1. Для драйвера утилиты fvmfs, этот диск будет именоваться так: \\.\PhysicalDrive1)
Как получить доступ к данным на VMFS разделе из-под Windows / Linux
Попытаемся получить информацию о диске: java -jar fvmfs.jar \\.\PhysicalDrive1 info
Как получить доступ к данным на VMFS разделе из-под Windows / Linux
Предоставим общий доступ к данному диску с помощью webdav: java -jar fvmfs.jar \\.\PhysicalDrive1 webdav
Как получить доступ к данным на VMFS разделе из-под Windows / Linux
Подключим расшаренный диск: net use * http://localhost:50080/vmfs
В системе должен появиться новый диск, с содержимым датастора VMFS, доступный для чтения.
Как получить доступ к данным на VMFS разделе из-под Windows / Linux
Вот так вот просто получить доступ к данным на VMFS разделе из-под Windows / Linux. До новых встреч. С вами был Иван Семин, автор и создатель IT портала Pyatilistnik.org
Пример использования
Добавление локальных дисков на одном хосте
Следующий пример использует центр данных по умолчанию и узел по умолчанию,чтобы добавить хранилище данных с локальными дисками на один сервер ESXi.
data "vsphere_datacenter" "datacenter" {}
data "vsphere_host" "esxi_host" {
datacenter_id = "${data.vsphere_datacenter.datacenter.id}"
}
resource "vsphere_vmfs_datastore" "datastore" {
name = "terraform-test"
host_system_id = "${data.vsphere_host.esxi_host.id}"
disks =
}
Автоопределение дисков через
В следующем примере используется данных vsphere_vmfs_disks для автоматического определения экспортированных iSCSI LUNS, соответствующих определенному идентификатору поставщика NAA (в данном случае LUN, экспортированные из NetApp ). Эти обнаруженные диски затем загружаются в . Хранилище данных также впоследствии помещается в папки хранилища данных .
data "vsphere_datacenter" "datacenter" {
name = "dc1"
}
data "vsphere_host" "esxi_host" {
name = "esxi1"
datacenter_id = "${data.vsphere_datacenter.datacenter.id}"
}
data "vsphere_vmfs_disks" "available" {
host_system_id = "${data.vsphere_host.esxi_host.id}"
rescan = true
filter = "naa.60a98000"
}
resource "vsphere_vmfs_datastore" "datastore" {
name = "terraform-test"
host_system_id = "${data.vsphere_host.esxi_host.id}"
folder = "datastore-folder"
disks =
}
USB флешка как vmfs datastore – Ищём нужный раздел через Putty
-
Нажимаем правой кнопкой мыши на Host и переходим в Services > Enable Secure Shell (SSH)
-
Подключаемся к серверу
Включив SSH в веб клиенте, запускаем Putty и подключаемся к серверу. Для входа нужно ввести логин и пароль те же самые которые мы используем для входа в веб интерфейс (стандартный логин root, пароль мы задаём при установке гипервизора). Подключившись вводим команду
ls /vmfs/devices/disks/
В появившемся выводе пытаемся найти свою флешечку. Мы уже знаем как она должна быть разбита на разделы, потому проблем быть не должно
Как и в случае с веб интерфейсом, теперь мы знаем путь до раздела,
, для того, чтобы начать с ним работать.
-
Путь к разделу
, нам понадобится следующая команда:
partedUtil delete "/vmfs/devices/disks/mpx.vmhba32:C0:T0:L0" 7
-
Готовимся к созданию VMFS6 раздела
Смотрим подробную информацию о разделах на флешке:
partedUtil getptbl /vmfs/devices/disks/mpx.vmhba32:C0:T0:L0
Нас интересуют эти 2 группы символов. У вас они вероятно будут другими, но принцип тот же.
3818 255 63 61341696 1 64 204863 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128 5 208896 8595455 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0 6 8597504 16984063 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
Сначала из первой группы чисел 3818 255 63, рассчитываем последний сектор создаваемого раздела 3818*255*63 – 1 = 61 336 170 – 1 = 61 336 169, затем с помощью второй группы чисел прикидываем начало нового раздела: 16 984 063 + 2048 = 16 986 111. Номером нашего раздела так и останется 7. Теперь с помощью команды
смотрим какие вообще варианты GUID существуют. Нам нужен vmfs
Потому мы будем использовать AA31E02A400F11DB9590000C2911D1B8 . Теперь нам нужно из результата команды partedUtil getptbl, составить одну строку для команды partedUtil setptbl и добавить туда информацию о новом разделе. В итоге мы получаем следующую команду:
partedUtil setptbl /vmfs/devices/disks/mpx.vmhba32:C0:T0:L0 gpt "1 64 204863 C12A7328F81F11D2BA4B00A0C93EC93B 128" "5 208896 8595455 EBD0A0A2B9E5443387C068B6B72699C7 0" "6 8597504 16984063 EBD0A0A2B9E5443387C068B6B72699C7 0" "7 16988159 61336170 AA31E02A400F11DB9590000C2911D1B8 0"
Вы должны действовать по образу и подобию. В результате мы должны увидеть следующее:
Раздел успешно создан.
-
USB флешка как vmfs datastore – Монтируем датастор
Вводим в терминал следующую команду чтобы примонтировать только что созданный раздел
vmkfstools -C vmfs6 -b 1m -S ag-esxi-usb /vmfs/devices/disks/mpx.vmhba32:C0:T0:L0:7
В результате терминал напишет нам следующее:
vmkfstools -C vmfs6 -b 1m -S ag-esxi-usb /vmfs/devices/disks/ mpx.vmhba32:C0:T0:L0:7 create fs deviceName:'/vmfs/devices/disks/mpx.vmhba32:C0:T0:L0:7', fsShortName:'vmfs6', fsName:'ag-esxi-usb' deviceFullPath:/dev/disks/mpx.vmhba32:C0:T0:L0:7 deviceFile:mpx.vmhba32:C0:T0:L0:7 ATS on device /dev/disks/mpx.vmhba32:C0:T0:L0:7: not supported . Checking if remote hosts are using this device as a valid file system. This may take a few seconds... Scanning for VMFS-6 host activity (4096 bytes/HB, 1024 HBs). Creating vmfs6 file system on "mpx.vmhba32:C0:T0:L0:7" with blockSize 1048576, unmapGranularity 1048576, unmapPriority default and volume label "ag-esxi-usb". Successfully created new volume: 5ef293ae-e93e13a0-8695-90b11c4fb057
Алилуя, всё получилось USB флешка как vmfs datastore теперь сможет функционировать в штатном режиме.
Проблема: не монтируются автоматически VMFS хранилища
Довольно часто, пользователи жалуются, что при подключении к ESXi 6.5 USB флешки, на которой уже имеется хранилище VMFS, оно автоматически не монтируется. Устройства отображается в /dev/disks, но само хранилище остается в офлайн режиме. Проблема видна в логе vmkernel.log.
2017-12-27T10:25:05.885Z cpu0:65593)VMWARE SCSI Id: Id for vmhba34:C0:T0:L00x50 0x00 0x00 0x00 0x00 0x00 0x00 0x01 0x41 0x53 0x32 0x31 0x31 0x352017-12-27T10:25:05.885Z cpu0:65593)ScsiDeviceIO: 9120: Get VPD 80 Inquiry for device «naa.5000000000000002» from Plugin «NMP» failed. Not supported2017-12-27T10:25:05.885Z cpu0:65593)ScsiDeviceIO: 9167: Get VPD 86 Inquiry for device «naa.5000000000000002» from Plugin «NMP» failed. Not supported2017-12-27T10:25:05.887Z cpu0:65593)ScsiDeviceIO: 7851: Could not detect setting of QErr for device naa.5000000000000002. Error Not supported.2017-12-27T10:25:05.891Z cpu0:65593)ScsiDeviceIO: 8365: Could not detect setting of sitpua for device naa.5000000000000002. Error Not supported.2017-12-27T10:25:05.898Z cpu1:65562)ScsiDeviceIO: 2948: Cmd(0x439500b60000) 0x1a, CmdSN 0x238 from world 0 to dev «naa.5000000000000002» failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.2017-12-27T10:25:05.905Z cpu0:65593)LVM: 11136: Device naa.5000000000000002:1 detected to be a snapshot:2017-12-27T10:25:05.905Z cpu0:65593)LVM: 11143: queried disk ID: <type 2, len 14, lun 0, devType 0, scsi 0, h(id) 4847995147196820166>2017-12-27T10:25:05.905Z cpu0:65593)LVM: 11150: on-disk disk ID: <type 0, len 11, lun 0, devType 0, scsi 0, h(id) 8386732072863042940>2017-12-27T10:25:05.914Z cpu0:65593)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 40, Parameter: 0x43029e372700, Registered!2017-12-27T10:25:05.914Z cpu0:65593)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 200, Parameter: 0x43029e372700, Registered!2017-12-27T10:25:05.914Z cpu0:65593)ScsiDevice: 4265: Successfully registered device «naa.5000000000000002» from plugin «NMP» of type 0
Как видно из лога, устройство почему-то определилось как снапшот. Такая проблема почему-то появляется только в ESXi 6.5 и исправляется довольно просто. Выведем список снапшотов:
593b1a71-ade01512-51f6-f49d35640016Volume Name: usbflashVMFS UUID: 593b1a71-ade01512-51f6-f49d35640016Can mount: trueReason for un-mountability:Can resignature: trueReason for non-resignaturability:Unresolved Extent Count: 1
С помощью VMFS UUID смонтируем хранилище:
Хранилище должно появится в /vmfs/volumes и отобразится в vSphere клиенте.
Именование USB устройств в ESXi 6.5
Как я уже говорил, в ESXi 6.5 было изменены правила именования устройств. Если в ESXi 6.0 все USB устройства определялись как mpx.vmhbaXX, то в ESXi 6.5 они называются naa.XXX. Вот как выглядит SSD накопитель Samsung, подключенный через порт USB3:
Однако, это правило работает не всегда. К примеру, моя 16 Гб флешка Transcend в обоих версиях гипервизора выглядит как mpx.vmhba:
Новое именование не влияет на VMFS хранилища, подключенные по USB, однако теперь при проверке /dev/disks/ нужно быть внимательным и не пропустить все USB-устройства. Как и ранее, вы можете создавать разделы и форматировать такие устройства в файловую систему VMFS, но нужно использовать новое имя.
Ссылка на аргумент
Поддерживаются следующие аргументы:
— (Обязательно) Имя хранилища данных. Принудительно создает новый ресурс при изменении.
— (Обязательный) хоста, на котором будет установлено хранилище данных
Обратите внимание, что это не обязательно единственный хост, на котором будет установлено хранилище данных — см. для получения дополнительной информации
Принудительно создает новый ресурс при изменении.
— (обязательно) диски для использования с хранилищем данных.
— (необязательно) относительный путь к папке, в которую будет помещено это хранилище данных. Это путь относительно центра данных, в котором вы развертываете хранилище данных. Пример: для центров обработки данных, иусловии из , Terraform поместит датастор имени в папке хранилищарасположеннойадресу , с окончательными путями запасов будучи . Конфликты с .
— (Необязательно) кластера хранилища данных, в который нужно поместить это хранилище данных. Конфликты с .
— (необязательно) идентификаторы любых тегов, которые нужно прикрепить к этому ресурсу. См. справочную информацию о том, как применять теги.
Резервное копирование виртуальных машин VMware ESXi
ВведениеОсновные характеристики резервного копирования VMware
- Онлайн резервное копирование через VADP
- Создание VSS снапшотов внутри гостевых ОС для приостановки приложений
- Полное, дифференциальное и инкрементальное резервное копирование ВМ на уровне образа
- Восстановление полного образа ВМ
- Восстановление vmdk файлов в альтернативный каталог
- Доступ к хранилищу VMware, как по TCP/IP, так и через SAN (FC/ISCSI)
Обзор резервного копирования VMware Bacula Enterprise Edition Глоссарий резервного копирования VMware
- CBT – технология отслеживания изменённых блоков.
- Datastore – название используемое VMware для обозначения хранилищ данных.
- vSphere — представляет собой технологию VMware для виртуализации ОС и выполнения облачных вычислений.
- VDDK – это набор библиотек C/C++, который позволяет создавать и получать доступ к виртуальным дискам VMware. VDDK используется параллельно с vSphere API для написания ПО для создания резервных копий и восстановления, или схожих приложений.
- При использовании сервера VMware ESXi файлы виртуальной машины помещаются во внешнюю память большого объёма.
- NBD – сетевое блочное устройство. vSphere позволяет получать доступ к файлам, размещенным в Datastore с помощью технологии прямого доступа к файлам, доступа через NBD, NBD over SSL или SAN. В случае доступа к файлам через NBD в качестве сетевого протокола используется протокол TCP/IP.
- SAN. vSphere позволяет получать доступ к файлам в хранилище данных с помощью технологии прямого доступа. SAN может использовать сеть Fibre Chanel (технология резервного копирования без загрузки локальной сети Lan free backup) или технологию ISCSI over TCP/IP.
- VMware ESX и VMware ESXi – архитектура гипервизора, устанавливаемого на сервер без операционной системы. Меньшая по размеру кодовая база ESXi предполагает меньшую “поверхность для атаки” и меньший размер кода для патча, что позволяет повысить надежность и безопасность системы.
- VCB – метод консолидированного резервного копирования VM Более ранний VMware API, который, как правило, больше не используется. Плагин VMware не использует технологию VCB.
- VADP – следующее поколение инфраструктуры защиты данных VMware, реализованное в vSphere 4.0, позволяющее ПО для резервного копирования создавать централизованные, эффективные бэкапы VMware вне хост-машин и без загрузки локальной сети.
- .vmdk — файловый формат, используемый для виртуальных устройств, разработанных для продуктов VMware.
- .bvmdk – внутренний файловый формат, используемый плагином Bacula Enterprise для обработки разреженных блоков и дифференциальных/инкрементальных бинарных бэкапов VMware. После конвертации с помощью инструмента vddk файл превращается в «сырой» образ исходного диска, который можно конвертировать в формат vmdk с помощью утилиты qemu-img.
- В ESX 3.x используется 4 версия виртуального аппаратного обеспечения, в vSphere 4.x – 7 версия, а в vSphere 5 – 8 версия.
- Отпечаток может быть сгенерирован их ESXi хоста
openssl x509 -sha1 -in /etc/vmware/ssl/rui.crt \-noout -fingerprint | cut -d ‘=’ -f 2 - guestfish – оболочка и инструмент командной строки для просмотра и изменения файловой системы ВМ.
- VM (или ВМ) – аббревиатура термина «виртуальная машина».
- vSphere – это платформа для виртуализации серверов с возможностью согласованного управления виртуальными датацентрами.
- SELinux — Security-Enhanced Linux (SELinux, Linux с улучшенной безопасностью) — это модуль безопасности ядра Linux, который обеспечивает механизм поддержки политик безопасности контроля доступа, включая полномочное управление доступом (MAC).
