Rimuovi righe duplicate

Come funziona la corrispondenza

Viene conservata la prima occorrenza di ogni riga, quindi l’ordine originale del testo rimane intatto.

Casi d’uso comuni

• Pulizia di file CSV. Incolla una singola colonna (nomi, e-mail, SKU) e rimuovi le ripetizioni prima di riunirla alle altre colonne.
• Elenchi di URL. Consolida gli elenchi di URL raccolti dove la stessa pagina compare molte volte.
• Ricerca di parole chiave. Unire gli export di parole chiave di più strumenti produce inevitabilmente duplicati.
• Elenchi e-mail. Prima dell’import in un CRM, rimuovi i duplicati esatti per evitare errori “già esistente”.
• Analisi dei log. Elimina le righe di avviso ripetute per vedere i problemi unici.

Cosa non fa lo strumento

• Nessuna deduplicazione per colonna. Un CSV con email,name in cui l’e-mail si ripete ma il nome cambia conserva entrambe le righe, perché le righe complete sono diverse. Per deduplicare in base a una colonna, estraila prima, rimuovi i suoi duplicati e usala come chiave per filtrare il file originale.
• Nessuna protezione delle intestazioni. Ogni riga viene trattata come dati, quindi una riga di intestazione ripetuta viene rimossa come qualsiasi altra.
• Nessuna corrispondenza approssimativa. Le righe che differiscono per un refuso, spazi interni o punteggiatura non vengono unite.

Suggerimenti

• Normalizza prima del confronto. Metti in minuscolo e rimuovi la punteggiatura circostante per far contare “Apple, “, “ apple “ e “Apple” come un’unica voce.
• Conserva una copia del testo originale prima di pulizie importanti.
• Controlla le statistiche. Se ti aspettavi il 10 per cento di duplicati e ne è stato rimosso l’80 per cento, c’è qualcosa di sbagliato nei dati di input.