إزالة الأسطر المكرّرة

كيفية الاستخدام إزالة الأسطر المكرّرة

1. الصق قائمتك، سطرًا لكل عنصر.
2. فعّل ما تحتاجه — قصّ المسافات، وتجاهل الحالة، وتوحيد الحروف العربية، والفرز.
3. انسخ النتيجة أو قائمة التكرارات.

ما الذي يُعدّ تكرارًا؟

افتراضيًا يُعدّ السطر مكرّرًا إن كان مطابقًا محرفًا بمحرف. وفي البيانات العربية هذا الشرط صارم أكثر مما يبدو.

فالاسم «أحمد» و«احمد» سطران مختلفان، وكذلك «مصطفى» و«مصطفي»، و«فاطمة» و«فاطمه». وهذه صور شائعة للاسم نفسه في قوائم العملاء والموظفين، وتنتج تكرارًا لا تكشفه المقارنة الحرفية.

ولذلك يوجد خيار توحيد الحروف العربية: يردّ صور الألف إلى ألف واحدة، والألف المقصورة إلى ياء، والتاء المربوطة إلى هاء، ويزيل التشكيل والتطويل — ثم يقارن.

وتنبيه مهم: التوحيد للمقارنة لا للحفظ. فالنتيجة تحتفظ بالصورة الأولى كما كُتبت، ولا تُغيَّر الأسماء في المخرجات.

المحارف غير المرئية

السبب الثاني لفلات التكرار، وهو أصعب اكتشافًا لأنه بلا أثر بصري.

المسافات الزائدة في أول السطر وآخره تأتي مع النسخ من Excel، وخيار القصّ يعالجها.

وعلامات الاتجاه U+200F وU+200E تلتصق بالقيم عند التصدير من أنظمة تعرض النص بالاتجاهين، وهي الأشيع في البيانات العربية. فقيمتان متطابقتان بصريًا لا تتطابقان.

وخيار إزالة المحارف غير المرئية يعالج ذلك. وإن كانت البيانات من مصادر مختلطة فالأفضل تمريرها على أداة تنظيف النص أولًا.

العدّ بدل الحذف

بدل حذف التكرار يمكن عدّ مرات ظهور كل سطر، وهي غالبًا النتيجة الأنفع.

من استخداماتها: أي عبارة بحث تتكرّر في سجل؟ وأي رسالة خطأ هي الأكثر؟ وأي رقم جوال مدرج أكثر من مرة في قائمة دعوة؟

والمخرجات مرتّبة بحسب التكرار وقابلة للنسخ في عمودين، جاهزة للاستخدام في جدول بيانات.

وعن الحجم: مئات الآلاف من الأسطر لا تشكّل مشكلة، لأن الكشف يجري عبر بنية تجزئة لا بمقارنة كل سطر بكل سطر. والحدّ هو الذاكرة لا زمن الحساب.

لماذا يهمّ ذلك للخصوصية؟

القوائم التي تحتاج تنقية تحتوي غالبًا على بيانات شخصية: قوائم بريدية، وأسماء مشاركين، وأرقام جوالات، وسجلات عملاء.

ولصق قائمة كهذه في أداة على الإنترنت نقلٌ لبيانات شخصية إلى طرف ثالث، بلا أساس نظامي في الغالب وبلا اتفاق معالجة.

وتعمل هذه الأداة داخل متصفحك بالكامل. تحقّق من ذلك في تبويب الشبكة: لا يظهر أي طلب عند اللصق أو المعالجة، ويمكنك قطع الاتصال ومواصلة العمل.

الأسئلة الشائعة