¿Por qué las palabras se vuelven confusas cuando se utiliza el separador de texto?

También encontré este problema hoy. Después de verificar cierta información, descubrí que no está directamente relacionado con el método de codificación.

Si el contenido del archivo TXT dividido está todo en inglés, no habrá caracteres confusos. Si el contenido del archivo TXT contiene caracteres chinos, existe una mayor probabilidad de que aparezcan caracteres confusos. En este caso, el problema no se puede solucionar cambiando el método de codificación.

La razón fundamental de este fenómeno es que la mayoría de los divisores de texto disponibles para descarga gratuita en Internet simplemente dividen el flujo binario en pequeños archivos por bytes, mientras que un carácter chino se compone de dos caracteres A TXT. El archivo contiene letras en inglés y signos de puntuación que solo ocupan un byte y caracteres chinos que ocupan dos bytes. En este momento, puede haber un problema.

Por ejemplo, si queremos dividir un archivo de 10K en 10 archivos pequeños de 1K, 1K = 1024 bytes, y exactamente en la posición de 1024-1025 bytes hay un carácter chino, esto conducirá a la tercero Aparece un "?" al final de un archivo y aparecen caracteres confusos al principio del segundo archivo, porque el divisor divide un carácter chino en dos mitades.

Solución: 1. Divídalo usted mismo manualmente.

2. Cambie a un divisor de texto más potente.