Office: (Office 2007) Duplikate entfernen: Limit?

Hallo,
gibt es ein Limit für die Anzahl Zeilen / Datensätze, ab dem Excel 2007 die Funktion "Duplikate entfernen" nicht mehr korrekt ausführen kann?
Es geht hierbei wohl nicht um Performanceprobleme, da beim Entfernen von Duplikaten in sehr großen Tabellen (> 60.000 Zeilen) auch Zeilen gelöscht werden, die definitiv keine Duplikate waren. Besonders problematisch: es gab keine Fehlermeldung!

In http://www.xlam.ch/xlimits/index.htm konnte ich hierzu nichts finden.
Microsoft macht in http://office.microsoft.com/de-at/ex...010073849.aspx hierzu auch keine Angaben.

Vielleicht weiß ja jemand was. Beim Googeln konnte ich hierzu auch nichts finden.
Danke + Gruß, Andreas

P.S.: Da wir häufig mit Listen von 40.000 - 300.000 Datensätzen arbeiten (und dies i.d.R. schnell gehen muss, also für den Aufbau einer Access-DB meist keine Zeit ist) haben wir regelmäßig mit den Limitationen von Excel zu kämpfen. Über weiterführende Tipps - auch in Richtung Excel-Versionsupgrade, Arbeitsspeicher, Anzahl Kerne etc. pp. - sind wir daher sehr dankbar!

:)

 

Moin moin,
ob es hier Limits gibt , konnte ich auch nicht herausfinden.
Wäre es für dich ne Alternative die Doppelten via Makro zu löschen?
Also .. die Liste erst sortieren, dann die Liste "von unten" durchlaufen lassen und die zeile mit der drüberliegenden vergleichen. Wenn gleich dann löschen

Wie lange die Laufzeit bei ner Tabelle mit 500000 Einträgen ist muss man probieren.
Wie viele Kriterien gibt es denn die da gleich sein müssen damit der Eintrag rausfliegt ?
Gruß
De Babba

 

Hallo Andreas,

man braucht keine Datenbank, um Methoden einer solchen in Excel anzuwenden. Wenn das Know-How also grundsätzlich da ist und es der Tabellenaufbau hergibt, meine gern erwähnte Empfehlung:
ADO und Excel

Man könnte bei wiederholter Anwendung sicher auch auch eine Datenbank vorhalten (mit Tabellenverknüpfung), die eben nur diesem Zweck dient - oder gleich auf Access umschwenken. Aber daran hast Du sicher selbst schon gedacht.

Ich bin immer an praktischen Beispielen mit "sehr großen" Datenmengen in Excel interessiert. Ein Feedback, idealerweise mit kleiner Musterdatei (deren Datenmenge man selbst vergrößern kann, damit sie ins Forum passt), würde ich also begrüßen.

Möglicherweise können aus der Musterdatei auch andere Vorschläge generiert werden. Ich nutze gerne auch mal "handgemachtes" mit Arrays und Dictionary, wenn es um Entfernen von Duplikaten geht. Vielleicht findest Du mit diesen Schlagworten auch adaptierbare Beispiele im Netz / diesem Forum.

[Ergänzung]

Die Duplikate sollten sich schnell finden lassen - die Frage wäre vor allem auch die der weiteren Schritte / Verarbeitung. Beim Löschen von Zeilen kann die falsche Methode deutliche Performanzeinbußen verursachen. Sortieren und "abklappernderweises Löschen von unten" sind erfahrungsgemäß nicht immer die schnellsten Wege.
[/Ergänzung]

Grüße
EarlFred

 

Hallo Fred
ja, ich weiß, dass das abklappern der Zeilen nicht immer die schnellste Methode ist, aber sie funktioniert.
Wie schon der dicke Kohl sagte :" Wichtig ist, was hinten raus kommt" *grins
Gruß DeBabba

 

Das Erstellen einer MDB/ACCDB ist eine Anweisung, das Erstellen einer Tabelle mit einigen Feldern eine weitere Anweisung. Gegebenenfalls benötigt man einige zusätzliche DDL-Anweisungen (Indices). Das dauert nicht sehr lange, wenn man das in einen VBA-Code einpackt.

Zusätzliche Anmerkungen:

- In einer geplanten Umgebung lässt man ungewünschte Duplikate gar nicht erst entstehen. Dann spart man sich die Erleichterungsarbeiten, und weniger Daten sind übersichtlicher und schneller zu verarbeiten.

- Bei dem, was Duplikat ist, weicht die Meinung eines Bearbeiters öfters von dem ab, was die EDV unter Duplikat definiert. Auch dadurch kann es zu Abweichungen von einem gewünschten Resultat kommen.

Mit der deutlichen Einschränkung, dass man Felder einer Datenbanktabelle indizieren kann (in Jet sind 32 Indices pro Tabelle möglich), und eine Indexnutzung in SQL bringt eine mögliche Beschleunigung um den Faktor 0 ... mehreren 10.000, was dann gerade bei großen Datenmengen nicht uninteressant ist.

 

Hallo zusammen,
erstmal danke für diese schnellen Rückmeldungen. Ein Makro wäre sicher eine gute Alternative. Aber ich kann mit Makros nur arbeiten, wenn ich eins als Vorlage habe - selber schreiben klappt aus know-how- und Zeit-Gründen nicht.
Und damit entfallen auch alle weiteren VBA oder ADO-Möglichkeiten.

@ deBabba: i.d.R. ist lediglich ein Kriterium relevant: eine Kundennummer. Wenn wir Daten auswerten, bei denen ein Kunde über mehrere Kundennummern verfügen kann kann es auch eine Kombination aus VN, NN, PLZ, Straße + Hausnummer sein.

Beispieldaten hochzuladen ist problematisch, weil es i.d.R. kundenbezogene Daten sind. Diese werden aus mehreren Quellen "gefüttert", u.a. so, dass Duplikate leider nicht immer vermeidbar sind.

VG Andreas

 

Hallo!
Excel hat bisher immer individuelle Begrenzungen gehabt, die sich aus RAM, HD (und Proz?) ergeben.

@ deBabba: i.d.R. ist lediglich ein Kriterium relevant: eine Kundennummer. Wenn wir Daten auswerten, bei denen ein Kunde über mehrere Kundennummern verfügen kann kann es auch eine Kombination aus VN, NN, PLZ, Straße + Hausnummer sein.

Dann eine extra Spalte einfügen und VN, NN, PLZ, Straße + Hausnummer mit dem Befehl VERKETTEN zu einer Info zusammenfügen.
Dann mußt Du nur noch eine Zelle abfragen und kannst auch Kunden erkennen, die mehrere KD-Nr. haben.

Viel Erfolg
Pit

 

Moin moin,
sorry astenzel, dass ich erst jetzt antworte
Ich habe Dir mal ne kleine Beispieldatei angehängt.
Schau es Dir mal an, es sollte ne kleine Basis sein
Lass das makro schrittweise (F8) durchlaufen um zu sehen, was wann passiert
Im Vorfeld solltest Du Deine Liste nach dem Suchkriterium (Kundennummer) sortieren
Gruß DeBabba

Anm.: Ja... man kann das bestimmt einfacher, kürzer oder anders hinbekommen. Aber es funktioniert *mrcool

 

\@DeBabba: Großes DANKE!
Ich habe mir die Beispieldatei angesehen, das sieht schon sehr gut aus! Wenn ich das auf größere Datenmengen angewendet habe gibt's nochmal ein Feedback von mir.
VG Andreas

 

Bloß kein Stress*mrcool

 

Wenn man an dieser Stelle etwas bedacht handelt an Statt nur Inhalte zusammen zu kopieren, kann man sehr gut Duplikate vermeiden.
Für eigenes Tun ist man selber verantwortlich - oder: Müll, den man nicht erzeugt, muss man nicht entsorgen. Das gilt auch in der EDV.