Quitar duplicados en un fichero con Amibroker

El algoritmo Amibroker que se incluye más abajo permite localizar filas duplicadas de un fichero pero por parejas. Está diseñado específicamente para quitar los duplicados en un fichero que contenga pares de cointegración pero también se puede aplicar a muchos otros usos que requieran localizar elementos duplicados de varias filas y eliminarlos automáticamente. Utiliza bucles anidados para conseguir la tarea de la forma más eficiente. Más detalles en el vídeo: 

CÓDIGO QUE QUITA DUPLICADOS

//%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
// ESTE CÓDIGO QUITA LOS PARES DUPLICADOS DE UN FICHERO
// MIRA EN EL ORDEN DIRECTO E INVERSO Y BORRA LAS SIGUIENTES
// APARICIONES DE UNA MISMA PAREJA.
// OSCAR G. CAGIGAS
// 1 JULIO 2021
//%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Buy = Sell = Short = Cover = 0;
//para que no avise por el script
SetOption("warninglevel",1);

//ABRIMOS EL FICHERO
file = "C:\\TEMP\\pairs.txt"; 
fh = fopen( file, "r" );

//CONVERTIMOS LOS TICKERS EN PAREJAS SEPARADAS POR COMA
fila = 0;
while( ! feof( fh ) )
{
ticker1 = fgets( fh );
ticker2 = fgets( fh );
VarSetText("par"+ fila, ticker1 + "," + ticker2);
VarSetText("inv"+ fila, ticker2 + "," + ticker1);
fila++;
} 
 
fclose( fh );

//COMPROBAR DUPLICADOS DE PAREJAS (ORDEN DIRECTO E INVERSO) 
//Y BORRARLOS MANTENIENDO LA PRIMERA APARICIÓN DE LA PAREJA
for( i = 0; i < fila ; i++)
{
for( j = 0; j < fila ; j++)
{
if( i != j ) 
{
match = VarGetText("par" + i) == VarGetText("par" + j);
inv_match = VarGetText("par" + i) == VarGetText("inv" + j);

//Si hay match borramos el par y su inverso
if( match OR inv_match )
{
VarSetText("par" + j, "");
VarSetText("inv" + j, "");
}
}
}
}

//ESCRIBIMOS LOS PARES AL FICHERO PERO UN TICKER POR LÍNEA
if ( Status("stocknum") == 0 ) //para que solo lo haga una vez por backtest
{

fh = fopen(file, "w" );
 
for( i = 0; i < fila; i++ )
{
ticker1 = StrExtract( VarGetText("par" +i ), 0);
ticker2 = StrExtract( VarGetText("par" +i ), 1);

if(ticker1 != "") fputs( ticker1, fh );
if(ticker2 != "") fputs( ticker2, fh );
}
fclose( fh );
}