Automatización de redes en la era de Internet

Automatización de redes en la era de Internet

Hay dos elementos principales en Internet: "contenido y ojos". "Contenido" se refiere a los servicios de red proporcionados por las empresas de Internet (o ICP), como páginas web, juegos, mensajería instantánea, etc.; "ojos" se refiere a la gran cantidad de usuarios de Internet. El contenido de las empresas de Internet a menudo se distribuye en múltiples IDC, grandes o pequeños. Cada vez más "ojos" miran fijamente el contenido proporcionado por ICP, y la infraestructura utilizada por las empresas de Internet para el almacenamiento de contenido también ha mostrado un crecimiento explosivo. Para garantizar la experiencia de acceso al contenido, las empresas de Internet deben implementar servidores comerciales en lotes en diferentes operadores y en diferentes provincias y ciudades para brindar servicios externos, establecer redes internas IDC, redes de área metropolitana y redes de área amplia para la comunicación entre módulos comerciales. Y utilice CDN de creación propia o empresas de servicios profesionales de CDN que cubran los puntos ciegos del servicio. Por tanto, a medida que el negocio se desarrolla, el departamento de operación y mantenimiento adquiere cada vez más importancia. Después de años de acumulación, gradualmente han formado un sistema eficiente de operación y mantenimiento. Este artículo combinará la experiencia de las empresas nacionales de Internet y se centrará en analizar la nueva generación de sistemas automatizados de operación y mantenimiento de infraestructura de TI.

1. Tres etapas de operación y mantenimiento

●La primera etapa: operación y mantenimiento para todos

En los primeros días, la infraestructura de TI de una empresa no aún alcanzado A cierta escala (generalmente de unas pocas a docenas de máquinas), es posible que no necesariamente haya personal o departamentos de operación y mantenimiento dedicados, y el trabajo de operación y mantenimiento se comparte entre varios puestos. Los desarrolladores pueden acceder al servidor y mantener y administrar ellos mismos el código en línea y el negocio.

● Fase 2: Automatización vertical

A medida que el negocio crece y la infraestructura de TI se desarrolla a otro nivel (generalmente en la escala de cientos a miles de máquinas), comience a operar con operaciones dedicadas. y personal de mantenimiento que se dedica a los trabajos diarios de instalación y mantenimiento, desempeñando el papel de "bomberos", recopilando alarmas y teniendo especificaciones de operación y mantenimiento, pero la operación y mantenimiento principal es brindar respaldo para la investigación y el desarrollo. La principal operación y mantenimiento es brindar servicio postventa para investigación y desarrollo.

En esta etapa, el proceso comenzó a pasar gradualmente al procesamiento de procesos. El departamento de operación y mantenimiento comenzó a generar una lista de preguntas frecuentes, aplicó scripts automatizados dentro de su propio alcance comercial y comenzó a utilizarlos. Ensamblaje de software de código abierto para completar la mayor parte del trabajo.

Específicamente: cada línea de productos tiene sus propios scripts que se pueden utilizar, como SVN Puppet o Chef, para completar la gestión del servidor en línea y de la configuración.

●La tercera etapa: automatización de todo

En la marea de la Internet, han surgido cada vez más equipos oscuros, todos ellos con visitas de usuarios en un corto período de tiempo. la experiencia. Durante la explosión del tráfico, si la infraestructura de Internet de ICP puede mantenerse al día determinará directamente si el contenido empresarial puede satisfacer el acceso simultáneo de usuarios masivos.

Al mismo tiempo, el sistema de operación y mantenimiento también debe ser suficientemente completo, eficiente y orientado a procesos. Las empresas más grandes como Google, Tencent, Baidu y Alibaba generalmente tienen un equipo de operación y mantenimiento unificado y uno o más sistemas automatizados de operación y mantenimiento como referencia. El departamento de operación y mantenimiento y el departamento de desarrollo cooperarán entre sí desde una perspectiva paralela. Al mismo tiempo, también comenzó a prestar más atención a la optimización de la infraestructura de TI a nivel arquitectónico y a la gestión y conmutación automatizadas en clústeres de escala ultragrande (como se muestra en la Figura 1).

Figura 1. Descripción general de la infraestructura de TI de las grandes empresas de Internet

2. Análisis del sistema de operación y mantenimiento BAT (Baidu, Alibaba, Tencent)

Internet nacional Las empresas Baidu, Alibaba y Tencent (en adelante, BAT) ofrecen diferentes contenidos comerciales principales, diferentes arquitecturas de TI y diferentes sistemas de operación y mantenimiento. Hay diferentes preocupaciones durante el proceso de desarrollo.

1. Operación y mantenimiento de Tencent: gestión de servicios de operación y mantenimiento basada en ITIL

Se estima que para 2015, Tencent tendrá 600.000 servidores en todo el país. Tras el éxito de la práctica de implementación automatizada en 2012, actualmente se está trabajando en la aceptación de la automatización.

En términos de equipos de red, en el futuro se implementará una automatización completa en el lado de la demanda: las listas de equipos se generan automáticamente - gt; las listas de compras se emiten automáticamente - gt; las relaciones de conexión de puertos y las relaciones de topología se generan automáticamente - gt; las configuraciones se emiten automáticamente: gt; aceptación automática. Todo el proceso de operación y mantenimiento también ha evolucionado desde la gestión de TI tradicional inicial hasta el proceso de gestión de servicios basado en ITIL (como se muestra en la Figura 2).

Figura 2. Gestión de servicios de operación y mantenimiento basada en ITIL de Tencent

2. Sistema de operación y mantenimiento de Alibaba: modelado lógico en capas de gestión de infraestructura basada en CMDB

CMDB (Base de datos de gestión de configuración) base de datos de gestión de configuración (en lo sucesivo, CMDB), almacena todos los componentes de la infraestructura de TI como elementos de configuración, mantiene datos detallados de cada elemento de configuración, mantiene datos de relación entre cada elemento de configuración y eventos, historial de cambios y otros datos de gestión. Al consolidar estos datos en un repositorio central, una CMDB garantiza que las organizaciones comprendan y gestionen las relaciones de causa y efecto entre los tipos de datos. Al mismo tiempo, CMDB está estrechamente conectada con todos los procesos de soporte y prestación de servicios, respalda la operación de estos procesos, utiliza plenamente el valor de la información de configuración y depende de procesos relacionados para garantizar la precisión de los datos. Permite la integración y automatización de procesos dentro y entre el soporte de servicios de TI, las operaciones y el mantenimiento de TI y la gestión de activos de TI. En proyectos reales, a menudo se considera que CMDB es la base y la prioridad para construir otros procesos ITIL. El éxito o el fracaso de un proyecto ITIL está estrechamente relacionado con el éxito del establecimiento de CMDB.

3. Operación y mantenimiento automatizados de Baidu: implementación y monitoreo de la correlación del sistema empresarial

Los principales desafíos de operación y mantenimiento de Baidu incluyen: cambios repentinos en el tráfico, correlación de impactos ambientales complejos y rápidos iteración de modelos de desarrollo Así como el equilibrio entre eficiencia de operación y mantenimiento, calidad y costo de operación y mantenimiento, etc. El equipo de operación y mantenimiento de Baidu cree que cuando el negocio de la empresa se encuentra en un estado de cambio, debería poder brindar el mejor servicio. El equipo de operación y mantenimiento de Baidu cree que cuando la escala de servidores alcance decenas de miles, la perspectiva de operación y mantenimiento debe cambiar a una granularidad basada en servicios. Diez mil unidades no equivalen a "cien unidades * 100". El estado de funcionamiento de la máquina ya no representa el estado de funcionamiento de la empresa. El departamento de operación y mantenimiento proporciona servicios iniciales para I + D, y la relación entre los servicios se vuelve cada vez mayor. complicado a medida que el grupo se expande.

Figura 3: Marco de tecnología de operación y mantenimiento automatizado de Baidu

El marco de tecnología de operación y mantenimiento automatizado de Baidu se divide en cuatro partes: implementación, monitoreo, sistemas comerciales y relaciones. destaca la integración empresarial y TI de la infraestructura y se centra en la vinculación de "relaciones asociadas". La llamada asociación se refiere principalmente a las dependencias de tiempo entre tareas, las dependencias de datos entre tareas y las dependencias de referencia entre tareas y recursos. Corresponden a procesos de servicio como la programación de tareas, la transmisión de datos y la ubicación de recursos, formando múltiples servicios. cadena.

La operación y el mantenimiento de las relaciones de asociación están estrechamente relacionados con el negocio. Se necesita un sistema que pueda ordenar toda la relación para localizar el eslabón comercial en la compleja cadena de servicios y predecir el alcance del impacto cuando una. Si ocurre una falla y localícela de manera oportuna, notifique al departamento correspondiente. En un sistema de este tipo, los sistemas de seguimiento automático son muy importantes. El marco de monitoreo técnico de Baidu cubre principalmente la recopilación de datos, la detección de servicios, la recopilación de información de terceros, el monitoreo y la evaluación, el procesamiento de datos y el procesamiento del módulo de enlace de alarmas, y las funciones se amplían a través de interfaces API (como se muestra en la Figura 4).

Figura 4. Marco de monitoreo de tecnología de automatización de Baidu

De hecho, tanto las empresas de Internet como BAT como las empresas de otras industrias siguen la Biblioteca de infraestructura de TI (ITIL) en la construcción de TI o ISO20000. mejores prácticas de gestión de servicios y utilizar soluciones automatizadas de gestión de TI para lograr objetivos comerciales importantes, como reducir las interrupciones del servicio, reducir los costos operativos, mejorar la eficiencia de TI, etc. Con el lanzamiento y la promoción de ISO20000 e ITIL v3.0, se han convertido en estándares de facto.

La necesidad de estos dos estándares es crítica en el panorama actual de gestión de TI empresarial. En particular, los requisitos de certificación ISO20000 se han convertido en un requisito cada vez más común entre las empresas. ITIL v3.0 incluye servicios de ciclo de vida completo para la gestión de operación y mantenimiento de TI, desde la estrategia y el diseño hasta la conversión, operación y mejora. Las soluciones relacionadas a menudo cubren múltiples campos y múltiples productos, y la planificación, implementación y selección de herramientas pueden ser complicadas. Si elige herramientas de código abierto, encontrará una gran cantidad de trabajo de desarrollo de CMDB. Para muchas empresas que se centran en la rentabilidad, puede consultarlo, pero debido a que no se pueden garantizar el rendimiento y los efectos, no es necesariamente aplicable. Por lo tanto, una solución comercial madura sería una mejor opción.

La última versión de iMC V7 innova en torno a las tres dimensiones de recursos, usuarios y negocios, lanza la gestión de operación y mantenimiento del servicio SOM (basado en los estándares ISO20000, ITIL) y otros componentes, y agrega administración de servidores. Bien puede satisfacer las necesidades de más escenarios basados ​​en Internet.

En general, se cree que una base de datos de gestión de configuración eficiente y práctica generalmente debe cumplir seis criterios importantes, a saber, federación, definición de modelo de información flexible, cumplimiento de estándares, soporte para políticas integradas, descubrimiento automático y estricto control de acceso. La infraestructura de TI empresarial suele tener más de un tipo de elementos y datos de gestión, como dispositivos de red, servidores, máquinas virtuales, etc., por lo que es necesario que exista una forma federada adecuada de almacenar múltiples tipos de información. Aunque la plataforma de gestión inteligente iMC ha podido satisfacer mejor las necesidades de los equipos de red y de servidores, con el desarrollo de la tecnología de virtualización de servidores, las máquinas virtuales se han convertido cada vez más en el elemento principal de la infraestructura de TI. Por lo tanto, en respuesta a esta demanda, H3C Communications utiliza el sistema de gestión de virtualización CAS CVM para gestionar de forma integral recursos más detallados e importantes, como CPU del servidor, memoria, E/S de disco, E/S de red y recursos de máquinas virtuales. A diferencia de BAT, el software de administración de red de H3C es para toda la industria. Aunque no existe una "administración" de recursos especiales como la administración de nombres de dominio, se puede conectar a sistemas específicos a través de interfaces API y otros métodos para satisfacer las necesidades de operación personalizada. mantenimiento Especialmente en escenarios basados ​​en Internet, por ejemplo, el componente iMC WSM está conectado al propio sistema de portal de una gran empresa nacional de Internet, que conecta las herramientas IMC y la propia plataforma de operación y mantenimiento del usuario, y logra una buena integración arquitectónica. Además, de manera similar al modelado lógico en capas de Alibaba, el sistema de software "iMC CAS" de H3C también realiza mucha abstracción lógica y capas en la capa superior, formando muchos módulos, que son los diversos componentes que todos ven.

3. Sistema de operación y mantenimiento de automatización de redes

"Incluso un extraño con solo habilidades técnicas básicas puede realizar operaciones y mantenimiento de TI profesionales; incluso una persona de operación y mantenimiento con una escuela secundaria El personal educativo también puede liderar el equipo para completar la construcción de nodos de salas de computadoras pequeñas y medianas y ser responsable del mantenimiento y administración de cientos de miles de servidores ". Esta es una evaluación general del nivel de operación y mantenimiento de TI de algunas empresas. Parece un poco exagerado, pero de hecho, muchas empresas nacionales de Internet han podido cumplir o acercarse a este estándar basándose en un sólido sistema de operación y mantenimiento de TI.

Estas empresas han experimentado diferentes etapas en el proceso de desarrollo de operación y mantenimiento. El departamento de operación y mantenimiento alguna vez fue un equipo de "bomberos" pasivo, aislado y descentralizado. En el proceso de desarrollo posterior, la TI. arquitectura del sistema Avanzando gradualmente hacia la estandarización y el modelado, el departamento de operación y mantenimiento ha establecido una base de datos y una base de conocimientos completa para la gestión de recursos del sistema y equipos, que incluye la configuración de todo el hardware, la configuración de parámetros de todo el software, la fecha de compra, los registros de mantenimiento, etc. El departamento de operación y mantenimiento ha establecido una base de datos y una base de conocimientos completa para la gestión de recursos del sistema y equipos, que incluye la configuración de todo el hardware, la configuración de parámetros de todo el software, la fecha de compra, los registros de mantenimiento, el panel de riesgos de operación y mantenimiento, etc. Durante el proceso de operación y mantenimiento, el sistema recopilará todos los problemas, eventos, cambios, niveles de servicio y otra información, los ingresará en el sistema de gestión y lo mejorará continuamente para formar un conjunto de mecanismos de soporte de operación que tienden a automatizarse. Según la arquitectura del sistema de computación en la nube, en dicho sistema, los principales recursos de TI incluyen computación, almacenamiento y recursos de red. En los últimos años, impulsada por los fabricantes de equipos de red, la tecnología de automatización de la gestión de equipos de red se ha desarrollado por completo.

En resumen, al comienzo de la construcción de Internet, una empresa debe considerar cómo ampliar los recursos a medida que aumenta el número de visitas de los usuarios. En concreto, se puede desglosar en cinco aspectos: planificación, construcción, gestión, seguimiento y operación y mantenimiento.

1. Planificación y modelado

Para garantizar la expansión fluida de los negocios posteriores y el seguimiento fluido del sistema de gestión de red, las empresas de Internet generalmente consideran plenamente la estandarización desde el principio. El diseño de la arquitectura general del sistema, el modelado y la adición de nuevos recursos comerciales son como pedir comida rápida, proporcionada a pedido.

Estandarización: en primer lugar, está construido utilizando protocolos y tecnologías estándar, con una gran escalabilidad, un uso de productos relativamente unificado y una administración sencilla, en segundo lugar, utiliza equipos a nivel de centro de datos para garantizar confiabilidad, flexibilidad y total; Considere los requisitos del sistema empresarial para baja latencia.

Modelado: diseñe el modelo de arquitectura de red de acuerdo con los requisitos comerciales y verifíquelo para formar una línea de base. Puede copiarse en lotes y administrarse de manera uniforme, y es adecuado para la automatización para mejorar la eficiencia de la implementación y la eficiencia de la administración de la red. .

Figura 5. Arquitectura IDC común de Internet

2. Automatización de la construcción

Una vez que la infraestructura de TI de Internet tiene la capacidad de replicación por lotes, se puede automatizar mediante la automatización. tecnología. Mejorar la eficiencia en línea. Durante la construcción de nuevos nodos, un pequeño equipo de 3 a 5 personas puede completar el trabajo de poner en línea la sala de computadoras. Por ejemplo, una empresa de Internet tenía una necesidad urgente de realizar negocios en el extranjero. Un empleado envió dos ingenieros al sitio para instalar e implementar el equipo y la configuración básica. Luego, a través de un enlace de Internet, se obtuvieron automáticamente la configuración del equipo y la versión del dispositivo. desde el sistema de gestión de la sede y descargado Para el sistema empresarial, el equipo se instaló y se puso en línea en la sala de computadoras en menos de una semana.

Para lograr el objetivo de operación y mantenimiento automatizados, el proceso de construcción debe centrarse en dos aspectos: copia por lotes e implementación automatizada en línea (como se muestra en la Figura 6).

Copia por lotes: según las necesidades comerciales, resuelva las inquietudes técnicas, diseñe modelos de red, realice suficientes pruebas y pilotos, genere plantillas de configuración de software y hardware y luego implemente en lotes.

Automático en línea: aproveche al máximo TR069, Autoconfig y otras tecnologías, y utilice la función de configuración cero para conectar automáticamente los dispositivos en lotes, lo que puede duplicar la eficiencia.

Figura 6. Configuración por lotes y conexión automatizada

○ Hay tres diferencias principales entre Autoconfig y TR069:

○ Autoconfig es adecuado para una implementación sin configuración. y generalmente se requiere una administración de red dedicada posterior. El sistema TR069 es un programa de administración completo que no solo es útil en la configuración inicial cero, sino que también puede monitorear y configurar la administración de dispositivos, la administración de software y la administración en cualquier momento. TR069 es una solución de gestión completa, que no solo es útil en la configuración inicial cero, sino que también se puede utilizar para la supervisión posterior del dispositivo y la gestión de la configuración, actualizaciones de software, etc.

○ Configuración automática mediante DHCP y TFTP: simple, TR069 Configuración cero mediante DHCP y HTTP: compleja, requiere un servidor ACS dedicado.

Seguridad:

Aunque H3C iMC BIMS implementa la función ACS (servidor de configuración automática) del protocolo TR-069 y gestiona de forma remota los equipos CPE a través del protocolo TR-069, BIMS lo tiene. tiene capacidades y ventajas de configuración cero, tiene capacidades de red flexibles y puede administrar dispositivos DHCP y dispositivos de red dedicados después de NAT.

La Figura 7 muestra el flujo de trabajo de BIMS.

Figura 7. Flujo de trabajo H3C iMC BIMS

3. Gestión inteligente

Para el equipo de gestión de red, es necesario proporcionar consultas de información y alertas para otros equipos Herramientas convenientes para la gestión y otras operaciones.

Las primeras herramientas de administración de red a menudo eran inseparables de las operaciones de línea de comando y su soporte para operaciones de procesamiento por lotes no era bueno. Por ejemplo, la biblioteca MIB de dispositivos de red era engorrosa en comparación con la nueva tecnología inteligente Netconf, al igual que C y C. Por lo tanto, desde una perspectiva de uso, las herramientas de gestión gráficas e inteligentes suelen ser la primera opción.

Inteligente: utilice nuevas tecnologías para mejorar la eficiencia del procesamiento de la gestión MIB tradicional, introduzca una arquitectura de automatización integrada y realice una gestión de terminales inteligente basada en aplicaciones (como se muestra en la Figura 8).

Figura 8. Procesamiento inteligente de mensajes y eventos

● Tecnología Netconf

Los protocolos de gestión de red actuales incluyen principalmente SNMP y Netconf. SNMP utiliza UDP, que es fácil de implementar y tiene tecnología madura. Sin embargo, no puede cumplir con los requisitos de administración en términos de seguridad y confiabilidad, eficiencia de administración y operación, operación interactiva e implementación de operaciones complejas. Netconf utiliza XML como método de codificación de datos para los datos de configuración y el contenido de los mensajes de protocolo, utiliza SSHv2 basado en TCP para la transmisión y utiliza RPC para implementar la operación y el control. XML puede expresar objetos de gestión modelados, lógicos internamente y complejos, como puertos, protocolos, servicios y las relaciones entre ellos, lo que mejora la eficiencia operativa y la estandarización de los objetos se utiliza como método de transmisión. Utilice SSHv2 para obtener mayor confiabilidad, seguridad e interactividad. Las principales diferencias entre las dos comparaciones se muestran en la Tabla 1.

Tabla 1 Comparación de tecnologías de gestión de red

● Arquitectura de automatización integrada EAA

La ejecución de la arquitectura de automatización EAA incluye los siguientes tres pasos.

○ Defina fuentes de eventos de interés, es decir, módulos de software o hardware en el sistema, como comandos específicos, registros, alertas TRAP, etc.

○ Defina estrategias de monitoreo de EAA, como guardar la configuración del dispositivo, conmutación activo/en espera, proceso de reinicio, etc.

○ Definir estrategia de seguimiento de EAA.

○ Cuando se monitorea el origen del evento definido, se activa la ejecución de la estrategia de monitoreo EAA.

4. Plataforma de monitoreo

Utilice herramientas de monitoreo básicas como Show, Display, SNMP y Syslog para crear un entorno integrado de monitoreo de plataforma para lograr un monitoreo completo (como se muestra en la cifra). ;