La solución de almacenamiento XSKY SkyTeam crea una plataforma de datos eficiente para pilotos autónomos
La madurez del sistema de toma de decisiones de conducción autónoma requiere la recopilación continua de datos suficientemente completos de las pruebas en carretera para el entrenamiento de modelos, la optimización de algoritmos y la simulación en el sistema de entrenamiento de IA, mejorando así la capacidad de afrontar la situación. con escenarios complejos, acelerando la realización de capacidades operativas de nivel L4.
¿Y construir una conducción autónoma eficiente? ¿AI? sistemas de entrenamiento, además de algoritmos avanzados y? ¿GPU? Además de la potencia informática, es igualmente importante una plataforma de datos que transporte datos masivos e interactúe con aplicaciones.
Este artículo explica cómo la solución de almacenamiento XSKY SkyTeam Alliance puede ayudar y servir a los usuarios empresariales de conducción autónoma al presentar el flujo de trabajo del escenario de capacitación de IA de conducción autónoma y sus requisitos para la plataforma de datos.
1. ¿Conducción autónoma? Flujo de trabajo de escenarios de aprendizaje de IA
¿Conducción autónoma? ¿AI? La formación se encarga del procesamiento y transformación de datos. El flujo de trabajo incluye carga de datos, preprocesamiento, filtrado, etiquetado, limpieza y capacitación. Estos pasos implicarán almacenamiento centralizado y preprocesamiento de datos masivos (descifrado, extracción de cuadros, eliminación de distorsiones, etc.), flujo de datos de alta velocidad entre diferentes sistemas de almacenamiento, control de acceso al acoplarse con plataformas de etiquetado de terceros y comunicación entre diferentes centros. Transferencia de datos.
2. Retos que enfrenta el almacenamiento de datos en los sistemas de aprendizaje de IA de conducción autónoma.
Cuando la cantidad de datos recopilados continúa aumentando y es necesario mejorar la eficiencia de la capacitación, se impondrán mayores requisitos a la plataforma de datos en la capa de infraestructura, que se reflejan principalmente en tres aspectos: primero, la disponibilidad. el almacenamiento masivo y la optimización de costos; el segundo es la interacción de datos entre el sistema y la plataforma; el tercero es el rendimiento final del almacenamiento del enlace de capacitación.
Optimice continuamente la disponibilidad y el costo de la plataforma de datos a medida que se expanden los datos masivos.
Por lo general, los usuarios tendrán al menos decenas de petabytes de datos y los correspondientes cientos de miles de millones de archivos. En este contexto, la intersección de la expansión flexible del sistema de almacenamiento, la escala máxima admitida del clúster, un alto rendimiento de al menos 10 GB/s al cargar datos, una fácil operación y mantenimiento y la optimización de los costos de almacenamiento es un desafío para el almacenamiento. .
Requisitos de interacción de datos entre plataformas
¿La mayoría de los usuarios adoptarán la nube híbrida? ¿él? Los modelos de arquitectura, cómo garantizar el flujo fluido de datos entre plataformas heterogéneas y cómo lograr un control preciso de los permisos de datos en la interacción de datos con plataformas de anotación de terceros también se convertirán en nuevos desafíos.
Los requisitos de eficiencia del almacenamiento en la sesión de formación
¿En base a? ¿K8S? ¿Distribuido en? ¿GPU? El mecanismo de entrenamiento puede entrenar millones de archivos pequeños a la vez, y el almacenamiento debe proporcionar un ancho de banda de rendimiento de datos suficientemente alto y una latencia baja para cumplir con los requisitos de eficiencia de las capacidades informáticas de la capa superior.
3. ¿Cómo responde la solución de almacenamiento de datos XSKY a los requisitos de la escena?
/p>
Fácil y compatible con las principales arquitecturas empresariales
Muchos clientes del sector de la conducción autónoma ya han transformado su infraestructura de un modelo de nube pública a un modelo de nube híbrida. ¿Es autónomo cuando se utiliza la nube pública? ¿AI? ¿Entrenado? ¿Flujo de trabajo? La mayoría de ellos se basan en una combinación de almacenamiento de "almacenamiento de objetos + almacenamiento de archivos de alto rendimiento" para lograr la organización automática de las aplicaciones comerciales;
Después de la transición al modelo de nube híbrida, el núcleo de la plataforma de datos privatizada alojado por XSKY SkyTeam Alliance ¿Contenido también? ¿Almacenamiento de objetos? +?Almacenamiento de archivos de alto rendimiento, evitando a los usuarios? ¿Flujo de trabajo? cambios para reducir la duplicación de inversiones en el ámbito del desarrollo.
Disponibilidad de almacenamiento que se adapta a escenarios empresariales
La disponibilidad de almacenamiento se refleja en una expansión de capacidad flexible, tamaño de datos ilimitado, fácil operación y mantenimiento, capacidades multiplataforma y satisfacción de las necesidades de las aplicaciones empresariales. para el rendimiento del almacenamiento.
Expansión flexible, el almacenamiento XSKY SkyTeam puede admitir expansión multimodo por nodo y clúster;
El sistema de gestión backend XSKY Trina es fácil de operar y mantener, y proporciona una interfaz visual y módulo de alarma detallado Capacidades integrales de monitoreo para nodos y datos;
Capacidades multiplataforma, XSKY SkyTeam Alliance Object Management Platform (XEOS). Admite el acoplamiento con muchos almacenamientos en la nube pública convencionales en el país y en el extranjero para cumplir con los requisitos de fluidez de los datos. XSKY Tianhe Data Management System (X3DS) admite la replicación y migración de datos en plataformas heterogéneas (como la migración confiable de datos de stock de usuarios);
En términos de rendimiento, especialmente en la fase de capacitación de datos, "más lectura y menos escritura" En este escenario, los requisitos de rendimiento y latencia del almacenamiento son muy altos. ¿Puede XSKY SkyTeam superar XGFS? ¿Almacenamiento de archivos distribuido o? ¿Xinfenni? ¿La máquina todo en uno de almacenamiento flash Xingfei brinda soporte y no solo cumple con los requisitos? ¿GPU? ¿Estrictos requisitos de rendimiento para la extracción de datos y debido a? ¿XGFS? Entonces qué. ¿Xinfenni? ¿Es el primero en China que puede recibir apoyo? QLC? Basado en el almacenamiento distribuido, ¿se puede utilizar por completo? QLC? Las funciones de lectura y escritura y las ventajas de costos reducen en gran medida los costos de implementación del usuario.
Múltiples optimizaciones de escenas para mejorar la eficiencia del entrenamiento.
¿Almacenamiento de objetos? ¿Lista? Optimización del rendimiento, mediante acciones de filtrado y clasificación, mejora de la concurrencia y otros medios. , reduce la sobrecarga de transmisión y agregación, mejora la eficiencia de extracción de datos y mejora la estabilidad del clúster bajo carga elevada;
XGFS? ¿Almacenamiento e integridad de archivos distribuidos? NVMe? ¿Qué pasa? ¿Xinfenni? La máquina de almacenamiento todo en uno se puede entregar por separado con software o se puede entregar como una máquina todo en uno, ¿verdad? ¿GPU? El curso de capacitación proporciona capacidades de almacenamiento de archivos de alto rendimiento;
Además, hay una gran cantidad de características nuevas, como un servicio de consulta de metadatos independiente y un marco de procesamiento de contenido abierto, que pueden mejorar la eficiencia comercial de preprocesamiento de datos y filtrado de datos.
Optimización de costos del almacenamiento masivo de datos
XSKY Tianhe Storage tiene capacidades de administración de datos para todo el ciclo de vida de los datos. Las funciones de clasificación de almacenamiento y compresión de datos pueden almacenar datos en múltiples capas. fluyen libremente entre múltiples grupos dependiendo de qué tan calientes o fríos estén los datos. Además, los nodos de alta densidad, las máquinas todo en uno de almacenamiento magnético de rayos azules, los archivos en cinta y otras formas de almacenamiento pueden optimizar en gran medida los costos de almacenamiento de los usuarios.
4. La alianza XSKY SkyTeam orientada a escenarios seguirá desarrollándose.
En el campo de la conducción autónoma, la garantía de la eficiencia de la formación de la plataforma de almacenamiento y la optimización de costes del almacenamiento masivo serán temas a largo plazo. XSKY SkyTeam Alliance continuará invirtiendo y lanzando nuevas funciones adecuadas para este escenario para ayudar a los usuarios de empresas de conducción autónoma a desbloquear el valor de los datos de manera más eficiente.