Как на практике собрать сеть из коммутаторов и маршрутизаторов.
С чего начинается проектирование¶
Прежде чем покупать железо, отвечают на вопросы:
- Сколько устройств и каких: рабочие места, ноутбуки, телефоны (IP-телефония), принтеры, камеры, точки доступа, серверы, IoT (СКУД, датчики).
- Сколько помещений и этажей, где будет серверный шкаф, какие расстояния до рабочих мест.
- Какие группы устройств надо изолировать друг от друга: сотрудники, гости, камеры, бухгалтерия, серверы.
- Насколько критичен простой: «посидим час без интернета» или «каждая минута — деньги».
- Что с выходом наружу: сколько провайдеров, нужен ли VPN до других офисов или облака, есть ли публичные сервисы.
- Рост: сколько людей будет через 2–3 года. Порты и кабели закладывают с запасом 20–30%.
Ответы определяют, сколько нужно портов, VLAN, нужен ли PoE и что дублировать.
Слои сети¶
Любая сеть состоит из одних и тех же логических слоёв, только в маленьких сетях несколько слоёв живут на одном устройстве.
Интернет / провайдеры
│
┌─────────────▼─────────────┐
│ EDGE (граница) │ маршрутизатор / firewall: NAT, VPN, фильтрация
└─────────────┬─────────────┘
┌─────────────▼─────────────┐
│ CORE (ядро) │ L3-коммутатор: маршрутизация между VLAN
└─────────────┬─────────────┘
┌─────────────▼─────────────┐
│ DISTRIBUTION (агрегация) │ собирает access-коммутаторы этажей и зданий
└─────────────┬─────────────┘
┌─────────────▼─────────────┐
│ ACCESS (доступ) │ коммутаторы, в которые включены устройства
└─────────────┬─────────────┘
ПК, телефоны, точки доступа, камеры, принтеры
- Маленький офис: edge — одна коробка (firewall), core и distribution отсутствуют или совмещены с access. Это называется collapsed core.
- Средний офис или кампус: отдельный L3-коммутатор в ядре, access-коммутаторы на этажах.
- Большой кампус: все четыре слоя отдельно.
Офис¶
Пример: офис на 50 человек, один этаж, один серверный шкаф. Есть Wi-Fi для сотрудников и гостей, IP-телефония, 10 камер, 4 МФУ, пара локальных серверов.
Физический уровень: СКС¶
СКС (структурированная кабельная система) — проводка, которую прокладывают один раз на годы.
- Розетки: на каждое рабочее место 2 порта (ПК + телефон или запас). Плюс розетки под потолком для точек доступа и камер, у МФУ, в переговорных.
- Кабель: витая пара Cat6 (1G, 10G до ~55 м) или Cat6A (10G до 100 м). От розетки до патч-панели — до 90 м (permanent link), плюс до 10 м на патч-корды с двух сторон. Итого канал не длиннее 100 м.
- Если расстояние больше 100 м (другой этаж, другое здание) — оптика между шкафами, а на месте ставится свой access-коммутатор.
- Маркировка: каждая розетка и порт панели имеют одинаковый номер, например
305-2(кабинет 305, розетка 2). Всё заносится в кабельный журнал. - Шкаф: патч-панели, органайзеры, коммутаторы, firewall, ИБП. Схему раскладки см. в заметке про стойку.
Подсчёт портов: 50 × 2 = 100 рабочих + 6 точек доступа + 10 камер + 4 МФУ + запас ≈ 130–140 портов → три коммутатора по 48 портов.
Логическая схема¶
Провайдер 1 Провайдер 2 (резерв, например LTE)
│ │
┌────▼──────────────────▼────┐
│ Firewall (NGFW / UTM) │ шлюз для всех VLAN, NAT, VPN, правила между VLAN
└─────────────┬──────────────┘
│ trunk (LACP, 2 провода)
┌─────────────▼──────────────────────────────┐
│ Стек из 3 access-коммутаторов, 48 × 1G PoE │ collapsed core
│ uplink 10G │
└───┬──────────┬──────────┬──────────┬────────┘
│ │ │ │
ПК + IP- Точки Камеры МФУ,
телефоны доступа (PoE) локальные
(PoE) (PoE) серверы
VLAN-план¶
Каждая группа устройств — в своём VLAN и своей подсети. Тогда между ними можно настроить правила, а широковещательный трафик одной группы не мешает другим.
| VLAN | Имя | Подсеть | Кто там | Доступ |
|---|---|---|---|---|
| 10 | MGMT | 10.10.10.0/24 | Интерфейсы управления коммутаторов, точек доступа, ИБП | Только админы |
| 20 | USERS | 10.10.20.0/24 | Проводные ПК сотрудников | Интернет, серверы, принтеры |
| 30 | VOICE | 10.10.30.0/24 | IP-телефоны | АТС, провайдер телефонии |
| 40 | WIFI-CORP | 10.10.40.0/23 | Ноутбуки и телефоны сотрудников по Wi-Fi | Как USERS |
| 50 | WIFI-GUEST | 10.10.50.0/24 | Гости | Только интернет, изоляция клиентов |
| 60 | CCTV | 10.10.60.0/24 | Камеры, видеорегистратор | Без интернета, доступ только к регистратору |
| 70 | 10.10.70.0/24 | МФУ | Только приём заданий от USERS / WIFI-CORP | |
| 100 | SERVERS | 10.10.100.0/24 | Локальные серверы: AD/DNS, файловый, 1С | По правилам |
Удобная договорённость: третий октет адреса = номер VLAN. По IP сразу видно, откуда устройство.
IP-план внутри подсети (пример для /24):
.1— шлюз (адрес firewall или L3-коммутатора в этом VLAN);.2–.49— статические адреса: сетевое оборудование, серверы, принтеры;.50–.250— пул DHCP;- для принтеров и камер удобнее DHCP-резервации (фиксированный IP по MAC), чем ручная статика на устройстве.
Где маршрутизировать между VLAN¶
Вариант 1 — на firewall (router-on-a-stick). Все VLAN приходят на firewall по одному trunk-линку, firewall является шлюзом .1 во всех подсетях. Любой трафик между VLAN проходит через правила firewall.
- Плюсы: просто, все политики в одном месте, хорошая видимость трафика.
- Минусы: всё упирается в производительность firewall и в один линк.
- Для офиса до ~100–200 человек это нормальный и самый частый вариант.
Вариант 2 — на L3-коммутаторе ядра. Шлюзы VLAN (SVI) живут на коммутаторе ядра, он маршрутизирует между VLAN аппаратно. С firewall его связывает отдельная транзитная сеть, туда идёт маршрут по умолчанию.
- Плюсы: скорость на уровне коммутатора, firewall не перегружен внутренним трафиком.
- Минусы: правила между VLAN приходится писать как ACL на коммутаторе (менее удобно). Гостей и камеры всё равно лучше терминировать на firewall, а не на ядре.
- Нужен, когда внутреннего трафика много: большой офис, кампус.
Wi-Fi¶
- Точки доступа вешают на потолок, примерно одну на 20–30 пользователей или на 150–250 м² (точнее — по радиообследованию).
- Питаются по PoE от коммутатора. Порт под точку доступа настраивается как trunk: native VLAN — управление, плюс VLAN для каждой сети Wi-Fi.
- Каждая SSID привязана к своему VLAN:
Company→ VLAN 40,Guest→ VLAN 50. - Корпоративная сеть — WPA2/WPA3-Enterprise (802.1X) с логином сотрудника через RADIUS или AD. Тогда при увольнении достаточно заблокировать учётку, не меняя общий пароль.
- Гостевая — отдельный пароль или captive portal, изоляция клиентов друг от друга, ограничение скорости.
- Управление: контроллер (аппаратный, программный или облачный) настраивает все точки сразу. Примеры: UniFi, Aruba, Cisco Meraki, Mikrotik CAPsMAN.
PoE-бюджет¶
Нужно проверить, хватит ли мощности коммутатора на все PoE-устройства:
| Устройства | Кол-во | Вт на устройство | Итого |
|---|---|---|---|
| Точки доступа Wi-Fi 6 | 6 | ~15–25 | 150 |
| Камеры | 10 | ~7 | 70 |
| IP-телефоны | 50 | ~5 | 250 |
| Всего | ~470 Вт |
Значит, суммарный PoE-бюджет стека должен быть от 600 Вт с запасом. Это важно при выборе модели: у коммутаторов одной линейки бывают версии на 190, 370 и 740 Вт.
Сетевые сервисы¶
| Сервис | Зачем | Где обычно живёт |
|---|---|---|
| DHCP | Раздаёт IP, маску, шлюз, DNS | Firewall или сервер (AD). Если сервер в другом VLAN, на шлюзе настраивают DHCP relay (ip helper-address) |
| DNS | Имена внутренних ресурсов и пересылка запросов в интернет | Контроллер домена или firewall |
| NTP | Одинаковое время на всех устройствах — без этого логи бесполезны, ломается Kerberos | Firewall или сервер, синхронизируется с внешним |
| RADIUS | Авторизация в Wi-Fi и на портах (802.1X), вход админов на оборудование | NPS (Windows), FreeRADIUS |
| Syslog / мониторинг | Сбор логов, оповещения о падении портов и устройств | Zabbix, Prometheus + SNMP exporter, LibreNMS |
Настройка портов (пример, синтаксис Cisco IOS)¶
Порт под рабочее место (ПК + IP-телефон за ним):
interface GigabitEthernet1/0/5
description 305-2
switchport mode access
switchport access vlan 20
switchport voice vlan 30
spanning-tree portfast
spanning-tree bpduguard enable
access vlan 20— нетегированный трафик ПК идёт в VLAN 20;voice vlan 30— телефон получает VLAN по LLDP/CDP и тегирует свой трафик;portfast— порт поднимается сразу, без ожидания STP;bpduguard— если кто-то воткнёт в розетку свой коммутатор, порт выключится (защита от петель).
Порт под точку доступа:
interface GigabitEthernet1/0/40
description AP-floor3-east
switchport mode trunk
switchport trunk native vlan 10
switchport trunk allowed vlan 10,40,50
Uplink к firewall (два провода в LACP):
interface range TenGigabitEthernet1/1/1, TenGigabitEthernet2/1/1
channel-group 1 mode active
interface Port-channel1
description uplink-firewall
switchport mode trunk
switchport trunk allowed vlan 10,20,30,40,50,60,70,100
Провода берутся с разных коммутаторов стека: если один выйдет из строя, связь с firewall останется.
Безопасность на уровне доступа¶
- Неиспользуемые порты — выключить (
shutdown) или поместить в пустой VLAN. - BPDU Guard на всех access-портах — защита от петель и чужих коммутаторов.
- DHCP Snooping — коммутатор пропускает DHCP-ответы только с доверенных портов. Защищает от поддельного DHCP-сервера (в том числе от случайно воткнутого домашнего роутера).
- Dynamic ARP Inspection — защита от ARP-спуфинга, работает поверх DHCP Snooping.
- 802.1X на портах — подключиться к сети может только авторизованное устройство.
- Управление оборудованием — только из VLAN MGMT, только по SSH/HTTPS, с учётками через RADIUS, без паролей по умолчанию.
- Правила firewall по принципу «запрещено всё, что не разрешено»: гости → только интернет; камеры → только регистратор; USERS → серверы по нужным портам.
Отказоустойчивость офиса¶
| Что | Как |
|---|---|
| Интернет | Второй провайдер или LTE-резерв, автоматическое переключение на firewall |
| Firewall | Для небольшого офиса часто один (+ запасной на складе). Если простой критичен — HA-пара |
| Коммутаторы | Стек: выход одного члена стека не роняет остальные. Uplink'и разнесены по разным членам стека |
| Питание | ИБП на шкаф. Его ёмкость должна покрывать и PoE-нагрузку, иначе при отключении света погаснут телефоны и Wi-Fi |
| Конфигурации | Автоматический бэкап конфигов (Oxidized, RANCID, скрипт по cron) |
Серверная¶
Чем отличается от офиса¶
- Устройств меньше, но трафик гораздо больше, и в основном он идёт между серверами (east-west): приложение ↔ база данных, сервер ↔ хранилище, репликация, бэкапы. Офисный трафик в основном идёт пользователь → интернет (north-south).
- Скорости выше: 10/25G к серверам, 40/100G между коммутаторами.
- Простой стоит дорого, поэтому дублируется всё: коммутаторы, линки, firewall, провайдеры, питание.
- Нет пользователей в розетках, поэтому меньше защиты на портах, но больше сегментации и контроля трафика между системами.
Пример: небольшая серверная на 1–3 стойки¶
Пример: 10 серверов виртуализации, СХД, публичные сервисы (сайт, API), два провайдера.
graph TB
subgraph ISP[" "]
direction LR
ISPA[Провайдер A]
ISPB[Провайдер B]
end
subgraph EDGE["Firewall: HA-пара, синхронизация сессий"]
direction LR
FW1[Firewall 1]
FW2[Firewall 2]
end
subgraph CORE["Коммутаторы 25G / 100G: MLAG-пара, связаны peer-link 2 × 100G"]
direction LR
SWA[Switch A]
SWB[Switch B]
end
subgraph HOSTS["Серверы и СХД: 2 × 25G LACP, по порту в каждый коммутатор"]
direction LR
SRV1[Сервер 1]
SRVN[Сервер N]
SAN[СХД]
end
OOB[OOB-коммутатор 1G<br/>IPMI / iDRAC / iLO, console, PDU, ИБП]
ISPA --- FW1
ISPB --- FW2
FW1 --- SWA
FW1 --- SWB
FW2 --- SWA
FW2 --- SWB
SWA --- SRV1
SWB --- SRV1
SWA --- SRVN
SWB --- SRVN
SWA --- SAN
SWB --- SAN
HOSTS -.- OOBСплошные линии — рабочая сеть, пунктир — отдельная сеть управления (OOB).
Ключевые решения:
- Два коммутатора в паре MLAG (у Cisco — vPC, у Arista и других — MLAG). Для сервера два физических коммутатора выглядят как один, поэтому его два порта можно объединить в один LACP-канал. Падает коммутатор — сервер теряет половину полосы, но остаётся в сети. Именно поэтому в стойках два коммутатора соединены коротким линком (peer-link).
- Каждый сервер подключён к обоим коммутаторам. В Linux это bonding (
mode 802.3ad), в VMware — LAG или teaming на vSwitch. - Два firewall в HA-паре, каждый подключён к обоим коммутаторам. Они синхронизируют таблицу сессий: при переключении соединения не рвутся.
- Два провайдера. Простой вариант — failover. Правильный для публичных сервисов — свои адреса (PI или от провайдера) и BGP с обоими провайдерами, чтобы при падении одного сервисы были доступны по тем же IP.
- Отдельная OOB-сеть управления. Дешёвый 1G-коммутатор, в который включены IPMI/iDRAC/iLO серверов, console-порты сетевого оборудования, PDU и ИБП. Доступ в неё — через отдельный VPN или выделенный канал. Если основная сеть упала или неправильно настроена, через OOB можно зайти на любое устройство и починить.
VLAN-план серверной¶
| VLAN | Назначение | Особенности |
|---|---|---|
| OOB / MGMT | Управление оборудованием и гипервизорами | Только админы, отдельный коммутатор или хотя бы отдельный VLAN |
| DMZ | Публичные сервисы: веб, API, почтовые шлюзы, reverse proxy | Доступ из интернета только на нужные порты. Из DMZ во внутренние сети — строго ограниченно |
| APP | Серверы приложений | |
| DB | Базы данных | Доступ только от APP и админов |
| STORAGE | iSCSI / NFS трафик до СХД | Без маршрутизации (L2 only), jumbo frames (MTU 9000), иногда отдельные коммутаторы или выделенные порты |
| CLUSTER / vMotion | Миграция ВМ, heartbeat кластера, репликация | Без маршрутизации, высокая скорость |
| BACKUP | Трафик резервного копирования | Чтобы бэкап ночью не забивал продовую сеть |
| TRANSIT | Связь коммутаторов ядра с firewall | Маленькая подсеть, например /29 |
DMZ (demilitarized zone) — сегмент между интернетом и внутренней сетью. Если взломают публичный веб-сервер, атакующий окажется в DMZ, откуда во внутреннюю сеть по правилам почти ничего не пускают.
Принцип: всё, что не должно ходить между сегментами, не маршрутизируется вообще (STORAGE, CLUSTER). Всё, что должно, проходит через firewall или ACL с минимально нужными правилами.
Питание¶
- Два ввода (A и B) от разных ИБП или разных линий.
- В каждой стойке два PDU: A и B.
- У каждого сервера и коммутатора два блока питания: один в PDU-A, другой в PDU-B.
- Отказ одного ИБП, одной линии или одного PDU не выключает ни одно устройство.
Что дублируется¶
| Компонент | Как |
|---|---|
| Провайдер | 2 разных, лучше разными трассами кабеля (если оба кабеля идут в одном канале, экскаватор порвёт оба) |
| Firewall / маршрутизатор | HA-пара |
| Коммутаторы | MLAG-пара или стек |
| Линки сервер → сеть | 2 порта в разные коммутаторы, LACP |
| Линки коммутатор → коммутатор | Минимум 2, в LAG |
| Питание | 2 БП в устройстве, 2 PDU, 2 ИБП, 2 ввода |
| Охлаждение | N+1 кондиционеров |
| Управление | OOB-сеть, не зависящая от основной |
Когда серверная вырастает в дата-центр: spine-leaf¶
Когда стоек десятки и больше, пара коммутаторов не справляется, а растянутый на много стоек L2 с STP становится опасным: один шторм кладёт всё. Тогда используют spine-leaf:
graph TB
S1[Spine 1] --- L1[Leaf 1<br/>стойка 1]
S1 --- L2[Leaf 2<br/>стойка 2]
S1 --- L3[Leaf 3<br/>стойка 3]
S1 --- L4[Leaf 4<br/>стойка 4]
S2[Spine 2] --- L1
S2 --- L2
S2 --- L3
S2 --- L4Spine только связывают leaf'ы между собой. Leaf — ToR-коммутатор стойки, к нему подключены серверы.
- Каждый leaf соединён с каждым spine. Любые два сервера разделены одинаковым числом хопов: leaf → spine → leaf. Задержка предсказуемая.
- Между leaf и spine — L3 (маршрутизация, обычно BGP), а не L2. Нет STP и широковещательных штормов. Все пути работают одновременно (ECMP).
- Если серверам нужен общий L2-сегмент между стойками (например, для миграции ВМ), его строят поверх L3 с помощью VXLAN + EVPN.
- Масштабирование: нужна новая стойка — добавляешь leaf; не хватает полосы — добавляешь spine.
Связь офиса с серверной или облаком¶
- Серверная в том же здании: оптика между шкафами, L3-линк между ядром офиса и ядром серверной (или firewall серверной).
- Удалённая серверная, ДЦ или облако: site-to-site VPN (IPsec или WireGuard) между firewall'ами по интернету. Для облаков — их VPN-шлюзы (AWS VPN, Azure VPN Gateway) или выделенные каналы (Direct Connect, ExpressRoute).
- Много филиалов: SD-WAN — централизованное управление VPN-туннелями, автоматический выбор лучшего канала.
- Удалённые сотрудники: remote-access VPN на firewall или ZTNA.
- Адресация: подсети разных площадок не должны пересекаться — иначе их не связать без костылей с NAT. Заранее делят пространство, например: офис 1 —
10.10.0.0/16, офис 2 —10.20.0.0/16, серверная —10.100.0.0/16, облако —10.200.0.0/16.
Порядок работ¶
- Обследование: план помещения, число устройств, требования, бюджет.
- Проект: схема L1 (кабели, шкафы, розетки), схема L2/L3 (VLAN, подсети, шлюзы), правила firewall, список оборудования.
- СКС: прокладка кабеля, расшивка розеток и патч-панелей, тестирование линий кабельным тестером.
- Монтаж: шкаф, ИБП, патч-панели, коммутаторы, firewall.
- Базовая настройка: имена, учётки, SSH, NTP, syslog, SNMP, управляющий VLAN.
- VLAN и порты: trunk'и, access-порты, LACP, STP-параметры, защиты (BPDU guard, DHCP snooping).
- Маршрутизация и firewall: шлюзы VLAN, DHCP, NAT, правила между VLAN, VPN.
- Wi-Fi: SSID, VLAN, авторизация.
- Тесты: доступ из каждого VLAN туда, куда можно, и нет доступа туда, куда нельзя. Отказ провайдера, отключение одного коммутатора стека, одного блока питания.
- Документация и мониторинг.
Документация¶
Минимум, без которого сеть через год никто не сможет поддерживать:
- Схема сети L1 и L2/L3 (draw.io, NetBox).
- IP-план и VLAN-план — таблица, а лучше IPAM (NetBox, phpIPAM).
- Кабельный журнал: розетка → порт патч-панели → порт коммутатора.
- Бэкапы конфигураций с историей изменений, желательно в git.
- Учёт оборудования: модели, серийные номера, сроки гарантии и поддержки.
- Доступы: где лежат пароли (менеджер паролей, не текстовый файл на рабочем столе).
Типичные ошибки¶
- Одна плоская сеть
192.168.1.0/24на всё: гости, камеры, бухгалтерия и серверы в одном широковещательном домене. Любое заражённое устройство видит всё. - Домашний роутер или неуправляемый коммутатор где-то в середине сети: неожиданный DHCP-сервер, петли, двойной NAT.
- Нет запаса: порты, PoE-бюджет и адреса закончились через полгода.
- Всё в одном экземпляре: один коммутатор, один провайдер, один блок питания. Выходит из строя одна деталь — встаёт весь офис.
- Второй линк между коммутаторами без LACP: петля, если STP выключен или настроен неправильно.
- Пересекающиеся подсети офисов и облака: VPN не поднять без NAT.
- Пароли по умолчанию и управление оборудованием из пользовательского VLAN.
- Нет документации и бэкапов конфигов: любой сбой превращается в археологию.