تنظيف ملفات Excel بالذكاء الاصطناعي: 18 برومبتًا لترتيب البيانات مع سجل التغييرات

قد يبدو ملف Excel منظمًا لأن الأعمدة مصطفة والألوان متناسقة، بينما تكون البيانات داخله غير صالحة لاتخاذ قرار. قد يظهر التاريخ في خلية بوصفه تاريخًا حقيقيًا وفي خلية أخرى بوصفه نصًا، وقد تحمل ثلاثة صفوف أسماء مختلفة للعميل نفسه، وقد يعني الفراغ «غير معروف» في موضع و«لا توجد قيمة» في موضع آخر. المشكلة هنا ليست شكل الجدول، بل المعنى الذي ستفهمه الصيغة أو الأداة أو المحلل من كل خلية. لذلك لا يبدأ تنظيف ملفات اكسل بالذكاء الاصطناعي بطلب مختصر مثل «رتب هذا الملف»، وإنما يبدأ بتعريف ما يجب الحفاظ عليه، وما يجوز تغييره، وما يحتاج قرارًا بشريًا.

الفائدة الحقيقية من الذكاء الاصطناعي ليست أن يحذف الأخطاء بسرعة، بل أن يساعدك على تحويل التنظيف من سلسلة تعديلات مجهولة إلى عملية قابلة للمراجعة. العملية المهنية تترك الملف الأصلي كما هو، وتنتج نسخة جديدة، وتكتب خطة قبل التنفيذ، وتسجل كل تحويل، وتقارن المؤشرات قبل العمل وبعده. وعندما لا يكون القرار واضحًا، يجب أن ترفع الحالة إلى قائمة مراجعة بدل أن تخمن. بهذه الطريقة يصبح الملف النظيف نتيجة يمكن تفسيرها وإعادتها، لا مجرد مصنف يبدو أجمل من السابق.

لماذا يفشل تنظيف Excel عندما يبدأ بأمر عام؟

الأمر العام يخلط بين مهام مختلفة. عندما تقول للأداة «نظف الملف»، قد تفهم التنظيف على أنه حذف الصفوف الفارغة، أو إزالة التكرار، أو إصلاح الإملاء، أو تغيير تنسيق الخلايا، أو ملء القيم المفقودة، أو حتى استبعاد القيم التي تبدو غريبة. كل اختيار من هذه الاختيارات يحمل قرارًا تجاريًا أو بحثيًا. حذف صف فارغ تمامًا قرار مختلف عن حذف صف تنقصه خانة واحدة. توحيد «ج.م» و«جنيه مصري» إلى EGP قرار منخفض المخاطر إذا كان السياق واضحًا، بينما تحويل مبلغ بالدولار إلى الجنيه يحتاج سعر صرف وتاريخًا ومصدرًا لا يجوز اختلاقها.

تزداد المشكلة لأن Excel يفصل بين ما يظهر في الخلية وما يُخزن فيها. قد ترى الرقم 1,250، لكن القيمة مخزنة كنص، ولذلك لا تدخل في الجمع. وقد ترى تاريخين بالشكل نفسه، بينما أحدهما قيمة تاريخ والآخر سلسلة أحرف. وقد يبدو الرقمان متساويين بعد التقريب، مع أن القيمة الأصلية تحتوي كسورًا إضافية. الذكاء الاصطناعي يستطيع اقتراح تحويلات، لكنه لا يعرف تلقائيًا أي تمثيل هو المرجع الذي يعتمد عليه عملك.

الأمر الجيد لا يطلب التنفيذ فورًا. يطلب أولًا جردًا للمصنف، ثم ملفًا تعريفيًا لكل عمود، ثم قائمة بالمشكلات، ثم خطة تحويلات مرتبة، ثم قواعد قبول واضحة. بعد ذلك فقط يسمح بإنتاج نسخة جديدة. هذا التسلسل يبطئ أول دقيقة من العمل، لكنه يوفر ساعات من مطاردة أخطاء لا يمكن تفسيرها لاحقًا.

الفرق بين تنظيف البيانات وتنسيقها

تنسيق الملف يتعلق بالعرض: لون الرأس، عرض العمود، نوع الخط، حدود الخلايا، وعدد المنازل العشرية الظاهرة. أما التنظيف فيتعلق بالقيمة والمعنى: هل العمود رقم أم نص؟ هل القيمة مفقودة أم صفر؟ هل السجل مكرر أم يمثل عملية ثانية؟ هل التاريخ مكتوب وفق يوم/شهر أم شهر/يوم؟ هل الاسم المختلف خطأ إملائي أم كيان آخر؟

يمكنك تنسيق مبلغ نصي ليبدو كرقم، لكنه سيظل نصًا. ويمكنك إخفاء الأصفار أو الفراغات دون أن تحل سببها. ويمكنك تلوين التكرارات ثم تركها تؤثر في المجموع. لذلك يجب ألا تستخدم «تحسين الشكل» دليلًا على نجاح التنظيف. معيار النجاح هو أن تصبح القيم متسقة مع تعريف الأعمدة، وأن تبقى القرارات قابلة للتتبع، وأن تمر المؤشرات الأساسية من فحوص قبلية وبعدية.

الفرق بين تنظيف البيانات وتحليلها

التنظيف يجهز المادة التي سيعتمد عليها التحليل. إذا طلبت من الأداة اكتشاف الاتجاهات قبل معالجة التواريخ والمبالغ والعملات، فقد تنتج رسمًا جميلًا مبنيًا على صفوف ناقصة أو مكررة. وقد تجمع مبالغ EGP وUSD في مقياس واحد، أو تتعامل مع الرقم المخزن كنص بوصفه قيمة مفقودة. لذلك يأتي التحليل بعد بوابة قبول النسخة النظيفة، لا قبلها.

لا يحتاج المقال الحالي إلى توقع المبيعات أو إنشاء Dashboard أو اختيار نموذج إحصائي. هدفه أضيق وأهم: بناء ملف يمكن الوثوق ببنيته بدرجة معقولة، ومعرفة ما بقي خارج نطاق الثقة. الفصل بين المرحلتين يمنع الذكاء الاصطناعي من القفز مباشرة إلى استنتاجات بينما أساسها لم يُفحص.

الفرق بين التنظيف وإصلاح المعادلات

قد يحتوي المصنف على بيانات خام سليمة ومعادلات خاطئة، أو على معادلات سليمة وبيانات فوضوية. إصلاح الصيغ يحتاج تتبع المراجع والمنطق والاعتماديات والنتائج المتوقعة. أما تنظيف البيانات فيركز على الصفوف والأعمدة والقيم والمفاتيح. سنحتفظ بهذا الحد لأن دمج المهمتين في أمر واحد يجعل سبب تغير النتائج غامضًا: هل انخفض الإجمالي لأننا حذفنا تكرارًا أم لأننا غيرنا صيغة؟

تشريح الفوضى داخل ملف Excel

لا تظهر الفوضى في شكل واحد. وكل نوع يحتاج سؤالًا مختلفًا قبل اتخاذ الإجراء. أفضل طريقة للبدء هي تصنيف المشكلات إلى بنيوية ودلالية وتمثيلية وعلاقية. هذا التصنيف لا يهدف إلى التعقيد، بل إلى منع تطبيق علاج صحيح على مشكلة مختلفة.

مشكلات البنية

تشمل مشكلات البنية غياب رؤوس الأعمدة، وتكرار أسماء الرؤوس، ووجود أكثر من جدول في الورقة نفسها، وصفوف العناوين داخل منتصف البيانات، والخلايا المدمجة، والأعمدة المخفية، والصفوف الفارغة بين الكتل، والملاحظات أو الإجماليات الملصقة بأسفل الجدول. إذا لم تفصل هذه العناصر، قد تفهم الأداة سطر «الإجمالي» بوصفه عملية بيع جديدة، أو تتعامل مع عنوان فرعي كعميل.

يجب أن يسأل التشخيص: أين يبدأ النطاق الحقيقي؟ هل يوجد صف واحد للرؤوس؟ هل لكل صف وحدة ملاحظة واحدة؟ هل توجد صفوف إجمالية يجب استبعادها من البيانات الخام والاحتفاظ بها لأغراض المقارنة؟ هل تحتوي الورقة على صيغ أو نطاقات مسماة أو جداول محورية تعتمد على النطاق؟ هذه الأسئلة تسبق لمس أي خلية.

مشكلات النوع

النوع التقني هو الطريقة التي يخزن بها Excel القيمة، والنوع الدلالي هو ما تمثله القيمة في العمل. قد يكون رقم العميل مكونًا من أرقام لكنه يجب أن يبقى نصًا حتى لا يفقد الأصفار في البداية. وقد يكون الرمز البريدي رقمًا شكليًا لا يصلح للجمع. وقد تكون النسبة 15 مخزنة بوصفها 15 بينما المقصود 15%، أو مخزنة 0.15 بينما التنسيق وحده يعرضها 15%.

التشخيص الجيد يكتب لكل عمود نوعه التقني الحالي ونوعه الدلالي المطلوب، ثم يوضح خطر التحويل. إذا كان العمود «رقم الطلب»، فالتحويل إلى عدد قد يكون ضارًا. وإذا كان العمود «المبلغ»، فبقاؤه نصًا يمنع الحساب. لا يجوز أن تعتمد الأداة على اسم العمود وحده؛ عليها فحص عينات وتوزيع القيم والاستثناءات.

مشكلات النص العربي

النص العربي يضيف تحديات لا تحلها دالة TRIM وحدها. قد توجد مسافات في البداية والنهاية، أو مسافات متعددة بين الكلمات، أو محارف غير مرئية، أو اختلاف بين الياء والألف المقصورة، أو بين الهاء والتاء المربوطة، أو وجود تشكيل في بعض السجلات دون غيرها، أو أرقام عربية وهندية وغربية في العمود نفسه. لكن ليس كل اختلاف يجب توحيده. تحويل «مكة» إلى «مكه» قد يضر القيمة المرجعية، وحذف التشكيل قد يكون مقبولًا للبحث لكنه غير مقبول لاسم قانوني.

الحل الآمن يفصل القيمة الأصلية عن القيمة المعيارية. يحتفظ بعمود المصدر، وينشئ عمودًا مساعدًا للمطابقة أو البحث، ثم يطلب اعتماد جدول تحويل معروف. بهذه الطريقة تستطيع استخدام نسخة معيارية لاكتشاف التكرارات مع إبقاء النص الأصلي للتوثيق والعرض.

مشكلات التواريخ والإعدادات المحلية

التاريخ 08/09/2026 قد يعني الثامن من سبتمبر أو التاسع من أغسطس. لا يمكن حل الالتباس بالنظر إلى الخلية وحدها. تحتاج إلى معرفة إعداد المصدر، وموقع الجهة، ونمط بقية العمود، وربما تاريخ إنشاء الملف. إذا لم تتوفر قرينة كافية، يجب أن تبقى القيمة في قائمة المراجعة.

أما 25/08/2026 فهو غير ملتبس عند تفسيره يومًا ثم شهرًا لأن الرقم 25 لا يمكن أن يكون شهرًا. ويمكن تحويل 2026-08-25 بثقة أكبر لأنه يتبع ترتيبًا واضحًا. ومع ذلك يجب تسجيل التحويل، لا استبدال النص بصمت. وإذا كان التاريخ مفقودًا، فلا يجوز ملؤه بتاريخ اليوم أو نسخ تاريخ الصف السابق إلا بقاعدة عمل موثقة.

مشكلات الأرقام والعملات

يمكن أن يظهر المبلغ نفسه بصيغ مثل 1250.50 و1,250.50 و١٢٥٠٫٥٠ و1.250,50. تحديد الفاصلة العشرية يحتاج إلى إعداد محلي أو قاعدة واضحة. إضافة إلى ذلك قد يحتوي النص على رمز عملة، وقد يوجد عمود منفصل للعملة. لا يكفي إزالة الرموز وتحويل الناتج إلى رقم؛ يجب التأكد من عدم خلط العملات في الإجمالي.

القيمة الصفر ليست قيمة مفقودة. المبلغ السالب ليس خطأ دائمًا؛ قد يمثل مرتجعًا أو خصمًا. الرقم الكبير ليس خاطئًا لمجرد أنه بعيد عن الوسيط؛ قد يكون صفقة حقيقية. لذلك تكتشف القواعد هذه الحالات وترفعها للمراجعة، لكنها لا تحذفها تلقائيًا.

القيم المفقودة

قد يكون الفراغ مجهولًا، أو غير منطبق، أو لم يُجمع، أو حُذف خطأ، أو متاحًا في ورقة أخرى. ملء كل الفراغات بصفر يغير المعنى، وحذف كل صف ناقص يقلص العينة بطريقة منحازة. يجب أولًا تحديد الحقول الحرجة والاختيارية، ثم حساب نسبة الفقد، ثم البحث عن نمط: هل تتركز القيم المفقودة في شهر أو مصدر أو فرع؟

يمكن للأداة أن تقترح ملءً مشتقًا عندما توجد قاعدة واضحة، مثل استنتاج المدينة من رمز فرع موثق. لكن يجب أن تسجل أن القيمة مستنتجة، وأن تحتفظ بالقيمة الخام، وأن تميز بين «مفقود» و«مقدر». وإذا كان القرار سيؤثر في مبلغ مالي أو نتيجة بحثية، فالمراجعة البشرية هي المسار الافتراضي.

التكرار التام وشبه التكرار

التكرار التام يعني أن جميع الحقول ذات الصلة متطابقة وفق تعريف معلن. حتى هنا يجب تحديد الصف الذي سيُحتفظ به، والتحقق من أن الصف الثاني ليس حدثًا مستقلًا تكرر بالصدفة. أما شبه التكرار فيعني أن السجلات متشابهة لكنها ليست متطابقة: اختلاف في الكتابة، أو بريد بحالة أحرف مختلفة، أو تاريخ واحد مع ملاحظتين، أو عميل واحد بعدة طلبات.

لا ينبغي دمج شبه التكرار بناءً على درجة تشابه واحدة. يحتاج القرار إلى مفتاح أو أكثر، وتاريخ أو سياق، وقاعدة لحل تعارض الحقول. الأفضل أن تنتج الأداة مجموعات مرشحة مع سبب التشابه وحقول التعارض، ثم يقرر الإنسان الدمج أو الإبقاء.

القيم الشاذة

القيمة الشاذة إشارة تحتاج تفسيرًا، لا حكمًا على الخطأ. يمكن استخدام قواعد إحصائية أو حدود عمل أو مقارنة تاريخية لاكتشافها، لكن حذفها آليًا يزيل أحداثًا حقيقية قد تكون أهم ما في الملف. يجب أن تعرض الأداة القيمة، وموقعها، والقاعدة التي جعلتها شاذة، والمقارنة المناسبة، ثم تطلب قرارًا.

العلاقات بين الأوراق

قد يكون الملف نظيفًا داخل كل ورقة، لكنه مكسور عند الربط. ربما يظهر رقم عميل في جدول الطلبات ولا يوجد في جدول العملاء، أو يتكرر المفتاح الأساسي، أو تختلف صيغة المفتاح بين ورقتين. لذلك يشمل التنظيف فحص المفاتيح اليتيمة والتكرارات والأنواع المتوافقة بين الجداول، من دون أن يتحول إلى إعادة تصميم قاعدة بيانات كاملة.

قبل التنظيف: كيف تحمي الملف الأصلي؟

أهم خطوة لا تنتج قيمة جديدة في الخلايا: الحفاظ على الأصل. افتح الملف للمعاينة أولًا، ثم أنشئ نسخة تحمل اسمًا واضحًا وتاريخًا أو إصدارًا. إذا كانت الأدوات تسمح بالعمل داخل المصنف، استخدم ورقة أو ملف إخراج جديدًا. وإذا كنت ستستخدم Python أو Power Query، اجعل مسار المصدر للقراءة ومسار الإخراج مختلفين.

لا يكفي تغيير اسم الملف إذا كنت لا تعرف أي نسخة هي الأصل. سجّل اسم المصدر وحجمه وتاريخ استلامه، ويمكنك إنشاء بصمة رقمية للملف عند الأعمال الحساسة. البصمة لا تثبت صحة البيانات، لكنها تثبت أن النسخة المرجعية لم تتغير بين بداية العمل ونهايته.

حدد كذلك نطاق المهمة. هل ستنظف ورقة واحدة أم جميع الأوراق؟ هل الصيغ ضمن النطاق أم القيم فقط؟ هل الأعمدة المخفية جزء من البيانات؟ هل توجد جداول محورية أو مخططات تعتمد على النطاق؟ إذا لم تجب عن هذه الأسئلة، قد تنتج نسخة نظيفة من ورقة وتكسر اعتمادًا في ورقة أخرى.

ما الذي يجب نسخه قبل أي تعديل؟

احتفظ بالمصنف الأصلي، وبنسخة عمل، وبملف جرد أولي، وبنتائج المؤشرات القبلية. إذا كان الملف صغيرًا، يمكن حفظ نسخة CSV للورقة الخام، لكن تذكر أن CSV لا يحتفظ بالصيغ والتنسيقات والأوراق المتعددة. لذلك لا تستخدمه بديلًا وحيدًا للمصنف.

احفظ أيضًا تعريف الأعمدة إذا كان متاحًا، وتعريف المفاتيح، وقواعد الأعمال، وجدول القيم المرجعية. لا يستطيع الذكاء الاصطناعي استنتاج ما إذا كانت «القاهره» خطأ أم قيمة تاريخية معتمدة دون مرجع. وكلما قل السياق، يجب أن تزيد نسبة الحالات المرفوعة للمراجعة.

التشخيص القابل للقياس قبل لمس البيانات

التشخيص ليس وصفًا من نوع «الملف فوضوي». يجب أن ينتج أرقامًا يمكن مقارنتها لاحقًا. ابدأ بعدد الأوراق، والصفوف، والأعمدة، والخلايا الفارغة، والصيغ، والقيم الخطأ، والصفوف الفارغة كليًا، والرؤوس المكررة، والأعمدة التي تحتوي أنواعًا مختلطة. بعد ذلك انتقل إلى كل عمود.

لكل عمود، سجّل النوع التقني، والنوع الدلالي المتوقع، وعدد القيم، وعدد الفراغات، وعدد القيم المتميزة، وعدد القيم الفريدة، وأمثلة من الأعلى والأدنى، وأطوال النصوص، وأدنى وأقصى تاريخ، وأدنى وأقصى رقم عندما يكون ذلك منطقيًا. لا تعرض البيانات الحساسة كاملة؛ يكفي أحيانًا إحصاءات وعينات مموهة.

القيم المتميزة والقيم الفريدة

القيمة المتميزة هي قيمة مختلفة عن بقية القيم في المجموعة، أما القيمة الفريدة في هذا السياق فهي قيمة تظهر مرة واحدة فقط. الفرق مهم. عمود المدينة قد يحتوي خمس قيم متميزة، لكن معظمها ليس فريدًا لأنها تتكرر. عمود رقم الطلب يجب أن يقترب عدد قيمه المتميزة من عدد الصفوف إذا كان مفتاحًا.

إذا كان عدد القيم المتميزة أقل من المتوقع في المفتاح، فقد توجد تكرارات. وإذا كان أعلى من المتوقع في عمود الحالة، فقد توجد اختلافات كتابة مثل «مكتمل» و«تم» وComplete. هذه المؤشرات توجه الفحص، لكنها لا تتخذ القرار وحدها.

لماذا يجب فحص كامل البيانات لا أول عينة فقط؟

قد تبدو أول مئتي صف أو ألف صف نظيفة بينما تبدأ الأخطاء بعد استيراد مصدر جديد في نهاية الملف. وإذا بنيت نوع العمود على العينة، قد يتحول العمود إلى رقم ثم تفشل قيمة نصية في الصف المتأخر. لذلك يجب أن يعرف القارئ ما إذا كانت الأداة تحلل عينة أم المجموعة كاملة، وأن يطلب تقريرًا عن التغطية.

عندما يكون الملف ضخمًا، يمكن استخدام عينة للتشخيص الأولي، لكن بوابة القبول النهائية يجب أن تعمل على جميع الصفوف أو على الأقل على اختبارات شاملة للمفاتيح والأنواع والفراغات والقيم الحرجة. يجب أن يسجل التقرير عدد الصفوف التي فُحصت، لا أن يقول «تم الفحص» فقط.

قاموس البيانات المصغر

قاموس البيانات هو اتفاق مختصر على معنى كل عمود. يتضمن الاسم، والوصف، والنوع، والوحدة، والقيم المسموحة، وهل الفراغ مقبول، وهل العمود مفتاح، وما قاعدة التحويل. لا يحتاج إلى وثيقة معقدة. حتى ملف من عشرة أعمدة يستفيد من قاموس يمنع تحويل رقم العميل إلى رقم حسابي أو دمج العملات.

إذا لم يوجد قاموس، اطلب من الأداة اقتراح مسودة مع مستوى ثقة وأسئلة. لا تعتمد المسودة مباشرة. يراجع صاحب البيانات المعاني، ثم يصبح القاموس مدخلًا لمرحلة التنظيف. بهذه الطريقة لا تتغير القواعد كلما أعدت تشغيل المهمة.

بروتوكول مهني من ثماني مراحل لتنظيف Excel

لا توجد قاعدة واحدة تصلح لكل مصنف، لكن توجد بنية عمل تقلل الخطأ. المراحل التالية تفصل التشخيص عن القرار والتنفيذ والتحقق. الفكرة الأساسية أن كل مرحلة تنتج مخرجًا مستقلًا يمكن مراجعته قبل الانتقال، بحيث تستطيع إيقاف العملية عندما يظهر غموض بدل أن ينتقل إلى بقية الملف.

المرحلة الأولى: جرد المصنف

ابدأ بخريطة المصنف لا بالصفوف. احصر أسماء الأوراق، وأبعاد النطاقات المستخدمة، والجداول المسماة، والصيغ، والروابط الخارجية داخل المصنف، والأعمدة والصفوف المخفية، والخلايا المدمجة، والتعليقات، والجداول المحورية، والنطاقات المسماة. ليس الهدف تحليل كل عنصر، بل معرفة ما قد يتأثر.

يجب أن يحدد الجرد ورقة المصدر ووحدة السجل. هل يمثل كل صف طلبًا أم عميلًا أم بندًا داخل طلب؟ من دون هذا التعريف لا يمكن الحكم على التكرار. إذا كان كل صف بندًا، فقد يتكرر رقم الطلب بصورة صحيحة. وإذا كان كل صف عميلًا، فقد يكون تكرار البريد علامة تحتاج فحصًا.

مخرج المرحلة هو تقرير لا يغير شيئًا. يحتوي اسم كل ورقة، وعدد الصفوف والأعمدة، ونوع المحتوى، والعلاقات المعروفة، والمخاطر، والأسئلة المفتوحة. إذا لم تستطع الأداة قراءة عنصر مثل صيغة أو خلية مخفية، يجب أن تقول ذلك بدل افتراض عدم وجوده.

المرحلة الثانية: خط أساس للجودة

بعد معرفة النطاق، احسب مؤشرات قبلية. تشمل عدد الصفوف، وعدد الخلايا الفارغة لكل عمود، والأنواع المكتشفة، والقيم المتميزة والفريدة، والتكرارات التامة المحتملة، والأخطاء، والقيم الخارجة عن القواعد. يجب حفظ هذه الأرقام لأنها ستكشف لاحقًا ما إذا كان التنظيف قد أزال بيانات أكثر مما ينبغي.

لا يكفي رقم إجمالي واحد. ربما تنخفض الفراغات لأن الأداة ملأتها بقيم مخمنة. وربما ينخفض عدد الصفوف لأن التكرارات حُذفت، لكن بعض المحذوف كان عمليات مستقلة. لذلك اربط كل مؤشر بقاعدة قبول. على سبيل المثال: يجب ألا يتغير مجموع مبلغ الطلبات المقبولة إلا بمقدار الصفوف المكررة المثبتة، ويجب ألا ينخفض عدد المفاتيح الفريدة، ويجب ألا تتحول قيمة صفر إلى فراغ.

المرحلة الثالثة: قاموس البيانات وقواعد الأعمال

اكتب نوع كل عمود، ووحدته، وقيمه المسموحة، وقاعدة الفراغ، وقاعدة التوحيد. إذا كان عمود العملة منفصلًا، فلا تحذف رمز العملة من المبلغ دون الاحتفاظ بالعملة. إذا كان عمود الحالة يسمح بأربع قيم، أنشئ جدول تحويل للقيم المرادفة بدل استبدال حر.

قواعد الأعمال لا تأتي من الذكاء الاصطناعي. يمكن للأداة أن تستخرج أنماطًا وتقترح أسئلة، لكن صاحب الملف يحدد ما إذا كانت الكمية السالبة مسموحة، وما إذا كان البريد مفتاحًا، وما إذا كان الطلب الملغي يدخل في الإجمالي. عندما لا تتوفر القاعدة، يجب أن تكون النتيجة «يحتاج مراجعة».

المرحلة الرابعة: خطة تنظيف بلا تعديل

الآن اطلب خطة مرتبة. لكل خطوة يجب أن تذكر العمود والنوع الحالي والنوع المستهدف والقاعدة والأثر المتوقع وطريقة التراجع والاختبار. يجب أن تفرق الخطة بين التحويلات الآلية الآمنة نسبيًا، مثل إزالة المسافات المحيطة، والقرارات المشروطة، مثل توحيد قيمة وفق جدول معتمد، والقرارات البشرية، مثل دمج شبه التكرار.

رتب الخطوات بعناية. إزالة المسافات وتوحيد حالة الأحرف قد يسبق اكتشاف التكرار. تحديد Locale يسبق تحويل التاريخ. فصل العملة عن المبلغ يسبق الجمع. فحص المفاتيح يسبق الدمج. وإذا غيرت الخطوات ترتيبها، قد تتغير النتيجة، ولذلك يسجل سجل التغييرات ترتيب التنفيذ.

المرحلة الخامسة: تنفيذ إلى نسخة جديدة

ينفذ التنظيف على نسخة جديدة أو استعلام يولد جدولًا جديدًا. لا يُكتب فوق المصدر. يحتفظ كل تحويل بالقيمة قبل وبعد، أو على الأقل بقاعدة يمكن إعادة تشغيلها مع قائمة بالصفوف المتأثرة. في الملفات الصغيرة يمكن أن يسجل كل تغيير على مستوى الخلية. وفي الملفات الكبيرة يمكن تسجيل التغيير على مستوى القاعدة مع عينة ومعرفات الصفوف وعددها.

يجب أن تكون الخطوات حتمية قدر الإمكان. إذا شغلت العملية مرتين على المدخل نفسه وبالإعدادات نفسها، ينبغي أن تحصل على النتيجة نفسها. الاستنتاجات الحرة التي تعتمد على صياغة النموذج لا تستخدم في الحذف أو الدمج دون تثبيت القرار في جدول مرجعي.

المرحلة السادسة: قائمة المراجعة البشرية

الحالات غير الواضحة لا تختفي. تنتقل إلى ورقة أو ملف منفصل يحتوي معرف السجل، والقيمة الأصلية، والقيمة المقترحة إن وجدت، وسبب الإحالة، ودرجة الثقة، والقرار المطلوب. هذه القائمة تمنع المستخدم من البحث يدويًا في المصنف كله، وتفصل بين العمل الآلي وما يحتاج خبرة.

تشمل القائمة عادة التواريخ الملتبسة، والعملات الأجنبية بلا قاعدة تحويل، والقيم الشاذة، والمفاتيح المفقودة، وشبه التكرارات، وتعارضات الحقول، والصفوف التي فشلت في تحويل النوع. لا يعني وجود قائمة مراجعة أن التنظيف فشل؛ بل يعني أن النظام رفض اختلاق يقين غير موجود.

المرحلة السابعة: فحوص القبول بعد التنظيف

كرر مؤشرات خط الأساس على النسخة الجديدة. قارن عدد الصفوف، والفراغات، والمفاتيح، والأنواع، والمجاميع الحساسة، وعدد الأخطاء، وتوزيع القيم. يجب أن يفسر سجل التغييرات كل فرق. إذا انخفضت الصفوف بثلاثة، يجب أن توجد ثلاثة أحداث حذف موثقة. وإذا تغير مجموع مالي، يجب أن يفسره استبعاد أو تحويل معروف.

أضف اختبارات ثبات. هل بقيت قيمة الصفر؟ هل بقيت القيم السالبة المسموحة؟ هل تحولت كل التواريخ غير الملتبسة وفشلت الملتبسة بدل تخمينها؟ هل جميع المفاتيح في الجداول التابعة موجودة في الجدول المرجعي؟ هل بقيت الصيغ خارج نطاق التنظيف كما هي؟

المرحلة الثامنة: تقرير الإصدار والاعتماد

الناتج النهائي ليس ملفًا واحدًا. هو حزمة صغيرة تضم المصدر غير المعدل، والنسخة النظيفة، وسجل التغييرات، وقائمة المراجعة، وملخص الجودة، وتعريف القواعد. يكتب التقرير رقم الإصدار وتاريخ التنفيذ والمدخل والمخرج وما أُنجز وما لم يُحسم.

قرار الاعتماد يمكن أن يكون ACCEPT عندما تمر جميع الاختبارات وتُحسم الحالات الحرجة، أو REVIEW_REQUIRED عندما تحتاج قرارات بشرية، أو REJECT عندما تظهر خسارة بيانات أو اختلافات غير مفسرة. هذا الحكم أهم من عبارة «تم التنظيف بنجاح» لأنه يربط النتيجة بمعيار قابل للفحص.

تجربة مضبوطة: ماذا حدث لملف من 30 صفًا؟

أنشأنا مصنفًا تجريبيًا مصطنعًا بالكامل، لا يحتوي أسماء أو بيانات حقيقية. ضمت ورقة المصدر 30 صف بيانات و10 أعمدة: معرف سجل، واسم عميل، وبريد، وتاريخ طلب، ومبلغ، وعملة، وكمية، ومدينة، وحالة، وملاحظات. أضفنا أخطاء معروفة مسبقًا حتى يمكن مقارنة النتيجة بمرجع ذهبي بدل الحكم الانطباعي.

احتوى الملف صفًا فارغًا كليًا، وتكرارين تامين، ومجموعتين من شبه التكرار، وتاريخًا غير صالح، وتاريخًا مفقودًا، وتاريخًا قابلًا لتفسيرين، ومبلغًا مفقودًا، وكمية نصية غير صالحة، وقيمة مالية شاذة، وقيمة صفر صحيحة، ومبلغًا سالبًا لمرتجع، وعملتين أجنبيتين بلا قاعدة تحويل. احتوى كذلك مسافات زائدة، وبريدًا بحروف كبيرة، وأسماء حالات متعددة، وأرقامًا عربية وغربية، ومبالغ بفواصل مختلفة.

لم يحذف البروتوكول إلا ما أمكن إثباته: صفًا فارغًا وتكرارين متطابقين في جميع القيم. أصبحت النسخة النظيفة 27 صفًا. لم يدمج شبه التكرار؛ أنشأ مجموعتين للمراجعة. أنتج 79 حدثًا في سجل التغييرات، وصنف 10 صفوف قبولًا آليًا و17 صفًا يحتاج مراجعة بشرية.

حُفظت قيمة الصفر لأنها تحمل معنى، وحُفظ المبلغ السالب لأن الحالة «مرتجع». رُفعت القيمة الشاذة للمراجعة بدل حذفها. لم يُخترع تاريخ للصف المفقود، ولم تُحوّل العملة الأجنبية، ولم يُحسم التاريخ الملتبس. تطابقت جميع المقاييس مع المرجع الذهبي الذي كتب قبل تشغيل التنظيف.

هذه التجربة لا تقيس دقة ChatGPT أو Copilot أو Claude. الكود محلي وقواعده معلنة، والبيانات مصطنعة. القيمة العملية هي إظهار الفرق بين نظام يحاول جعل كل خلية «نظيفة» بأي ثمن، ونظام يحافظ على الغموض عندما لا يملك دليلًا. في البيانات الحقيقية قد تحتاج قواعد أخرى، لكن بنية النسخة والسجل والمراجعة والقبول تظل قابلة للنقل.

ما الذي تكشفه نسبة المراجعة المرتفعة؟

وجود 17 صفًا للمراجعة من أصل 27 لا يعني أن الملف كارثي أو أن الأتمتة عديمة الجدوى. صممنا العينة لتحتوي عددًا كبيرًا من الحالات الحدية في مساحة صغيرة. كما أن صفوف شبه التكرار والعناصر الناقصة والعملات الأجنبية تتقاطع، ولذلك قد يحمل الصف أكثر من سبب مراجعة.

النظام الجيد لا يحاول رفع نسبة الأتمتة كهدف مستقل. إذا أصبح الهدف «تنظيف 100% آليًا»، ستتحول الحالات الغامضة إلى تخمينات. الهدف هو أتمتة التحويلات القابلة للإثبات، وتقليص مساحة المراجعة، وتقديم الأدلة اللازمة لصاحب القرار.

كيف تختار الأداة المناسبة للتنظيف؟

يمكن تنفيذ المبادئ نفسها بعدة أدوات. الاختيار لا يبدأ باسم النموذج، بل بحجم الملف، وتكرار المهمة، وحساسية البيانات، وخبرة المستخدم، والحاجة إلى إعادة التشغيل. أحيانًا تكون أدوات Excel الأصلية هي الأفضل، وأحيانًا يكون Power Query أكثر قابلية للتتبع، وأحيانًا تحتاج Python. ويمكن للأداة المحادثية أن تساعد في كتابة الخطة أو الكود، لكنها لا تلغي التحقق.

Excel الأصلي

Excel مناسب للتنظيف المحدود والملفات التي يراجعها مستخدم واحد بصريًا. تستطيع استخدام التنسيق الشرطي لاكتشاف التكرارات قبل إزالتها، وText to Columns، وTRIM وCLEAN، والتحويلات، والفرز والتصفية. ميزته أن المستخدم يرى الخلايا مباشرة. عيبه أن سلسلة النقرات اليدوية قد لا تكون قابلة لإعادة التشغيل أو التوثيق إذا لم تسجلها.

إذا استخدمت «إزالة التكرارات»، اعرض المجموعات أولًا وحدد الأعمدة التي تشكل المفتاح. لا تفترض أن تكرار الاسم يعني تكرار السجل. احتفظ بنسخة، وسجل عدد الصفوف قبل وبعد، ولا تستخدم الأداة على النطاق الوحيد الذي يحتوي الأصل.

Power Query

Power Query مناسب للمهام المتكررة ومصادر متعددة. تسجل قائمة Applied Steps التحويلات ويمكن إعادة تشغيلها عند تحديث المصدر. تستطيع تحديد الأنواع، والتحويل حسب Locale، وفحص جودة الأعمدة وتوزيعها، ودمج الجداول، واستخدام المطابقة التقريبية للنص.

لكن وجود الخطوات لا يضمن صحة منطقها. قد يعتمد ملف تعريف العمود افتراضيًا على أول ألف صف، وقد يعتمد كشف النوع في المصادر غير المنظمة على عينة أولية. يجب تغيير نطاق الفحص أو إضافة اختبارات على المجموعة كاملة. وفي المطابقة التقريبية، اعرض درجة التشابه ولا تجعلها وحدها قرار دمج.

Python وPandas

Python مناسب عندما تحتاج قواعد قابلة للاختبار، أو ملفات كثيرة، أو سجل تغييرات تفصيليًا، أو تكاملًا مع عملية أخرى. يستطيع الكود قراءة نسخة المصدر، وإنشاء أعمدة معيارية، وإخراج CSV أو XLSX جديد، وحساب المقاييس، وتشغيل اختبارات آلية. يمكن حفظ الكود مع الإصدار ليعاد تشغيله.

المخاطر تظهر عندما يولد الذكاء الاصطناعي كودًا لا يفهمه المستخدم ثم يشغله مباشرة. يجب قراءة المسارات، والتأكد من أن الإخراج مختلف عن المصدر، وفحص طريقة تحويل الأنواع، وتجربة الكود على نسخة، ومراجعة الصفوف المتأثرة. لا تسمح بكود يحذف أعمدة أو صفوفًا دون سجل.

الأدوات المحادثية داخل الجداول أو خارجها

الأدوات المحادثية تجعل وصف المهمة أسهل، وقد تعرض الخلايا التي اعتمدت عليها أو تطلب الإذن قبل التعديل. لكنها تظل بحاجة إلى سياق وقواعد. إذا رفعت الملف وقلت «نظفه»، فقد تركز على التنسيق أو الحالات الظاهرة فقط. استخدم البرومبتات في هذا المقال لتجبر الأداة على إنتاج جرد وخطة ومخرجات قابلة للتدقيق.

في البيانات الحساسة، راجع سياسة الأداة وخطة المؤسسة قبل الرفع. قد يكون الخيار الأفضل إعطاء الأداة قاموسًا ووصفًا أو عينة مموهة، وطلب كود أو خطوات تنفذ محليًا. لا ترسل أرقامًا قومية أو بيانات عملاء أو رواتب أو معلومات مالية سرية إلى خدمة عامة لمجرد تسريع التنظيف.

مولد برومبت تنظيف Excel

يحول المولد وصف ملفك إلى برومبت منظم. اختر نوع البيانات، والمشكلات، والأداة، والإعداد المحلي، ومستوى المخاطر، ثم اكتب اسم ورقة المصدر والمفتاح إن وجد. لا يرفع المولد ملفك ولا يرسل المعلومات؛ يعمل داخل الصفحة ويجمع تعليمات يمكنك نسخها إلى الأداة التي تختارها.

إذا لم تعرف المفتاح، اكتب «غير معروف» بدل تخمين عمود. سيطلب البرومبت من الأداة اقتراح مفاتيح مرشحة مع اختبارات، لا اعتمادها مباشرة. وإذا كان الملف حساسًا، اختر مستوى خطر مرتفعًا ليمنع الحذف والدمج والتعبئة الآلية ويطلب مراجعة بشرية كاملة للحالات الحرجة.

البرومبتات الاحترافية من 1 إلى 6

البرومبت 1: جرد المصنف قبل أي تعديل

يستخدم هذا البرومبت عندما تستلم ملفًا لا تعرف بنيته. هدفه إنتاج خريطة للمصنف مع حدود القراءة والأسئلة المفتوحة. لا يسمح للأداة بتنظيف أي قيمة.

You are a spreadsheet audit specialist. Inspect the attached workbook in read-only mode.

CONTEXT
- Workbook purpose: [DESCRIBE PURPOSE]
- Expected unit of one row: [ORDER / CUSTOMER / TRANSACTION / UNKNOWN]
- Critical sheets if known: [SHEET NAMES OR UNKNOWN]
- Risk level: [LOW / MEDIUM / HIGH]

TASK
Create a preflight workbook inventory before proposing or applying any cleaning.

REQUIRED CHECKS
1. List every visible and hidden sheet and its used range.
2. Identify candidate data tables, title rows, totals, notes, merged cells, blank separators, hidden rows or columns, named ranges, formulas, pivot tables, and external workbook references you can actually inspect.
3. For each candidate table, state the likely header row and the probable unit represented by one row.
4. Report what you could not inspect or interpret.
5. Ask focused questions where business meaning is missing.

CONSTRAINTS
- Do not edit, delete, fill, standardize, merge, or reformat anything.
- Do not assume that the largest range is the only data table.
- Do not treat totals or section labels as ordinary records.
- If a capability is unavailable, say so explicitly.

OUTPUT
Return: Executive Scope, Sheet Inventory, Candidate Tables, Dependencies, Risks, Unknowns, and Questions. Include observed row and column counts and coverage limits.

نجاح الناتج لا يقاس بطول التقرير، بل بقدرته على منع تنظيف النطاق الخطأ. راجع أن جميع الأوراق ظهرت، وأن الأداة ميزت بين الجدول والملاحظات والإجماليات، وأنها ذكرت العناصر التي لم تستطع فحصها.

البرومبت 2: بناء قاموس أعمدة أولي

هذا البرومبت مناسب بعد تحديد الجدول. ينتج قاموسًا مقترحًا، لكنه لا يعتمد الأنواع الدلالية دون مراجعة صاحب البيانات.

Act as a data steward. Build a draft data dictionary for the selected table without modifying the workbook.

INPUT
- Sheet and range: [SHEET!RANGE]
- Business purpose: [PURPOSE]
- One-row unit: [ROW UNIT]
- Known primary key: [COLUMN OR UNKNOWN]
- Locale: [AR-EG / EN-US / EN-GB / OTHER]

FOR EACH COLUMN
Report the exact header, observed storage types, proposed semantic type, examples with sensitive values masked, allowed-value hypothesis, missing-value rate, distinct count, unique count, and whether the column might be a key, category, measure, date, identifier, or free text.

QUALITY RULES
- Preserve identifiers as text when leading zeros or fixed lengths may matter.
- Separate display formatting from stored value.
- Mark every inferred meaning with a confidence level.
- Do not invent allowed values or business definitions.
- List questions required to approve the dictionary.

OUTPUT
Produce a structured column dictionary plus an Approval Questions section. End with DICTIONARY_STATUS: DRAFT_REVIEW_REQUIRED.

افحص خصوصًا الأعمدة الرقمية شكليًا. رقم العميل والرمز البريدي ورقم الهاتف ليست مقاييس حسابية. إذا اقترحت الأداة تحويلها إلى أعداد من دون سؤال عن الأصفار البادئة، فالقاموس غير جاهز.

البرومبت 3: ملف جودة قبلي قابل للمقارنة

الغرض هو إنشاء خط أساس رقمي قبل أي تغيير، مع التصريح بنسبة التغطية.

You are a data quality analyst. Profile the selected dataset in read-only mode and create a reproducible baseline.

SCOPE
- Sheet/range: [SHEET!RANGE]
- Key candidate: [COLUMN OR NONE]
- Critical fields: [FIELDS]
- Full dataset rows expected: [COUNT OR UNKNOWN]

MEASURE
- Rows, columns, completely blank rows, duplicate headers, error cells, formula cells, and mixed-type columns.
- Per column: non-null, null, null rate, distinct, unique, observed types, minimum, maximum, length range, most frequent values, and conversion failures where applicable.
- Candidate exact duplicate rows using an explicitly stated key.
- Potential outliers as flags only.

COVERAGE
State whether metrics use the full dataset or a sample. If sampled, report the sample rule, row count, and limitations. Never label a sample result as a full-dataset result.

CONSTRAINTS
Do not change the file. Mask sensitive examples. Do not fill missing values or remove outliers.

OUTPUT
Return a Baseline Summary, Column Profile, Integrity Warnings, Coverage Statement, and machine-readable baseline metrics that can be rerun after cleaning.

يجب أن تحفظ المخرجات في ملف مستقل. إذا قال التقرير «لا توجد مشكلات» دون عدد صفوف وتغطية، فهو وصف غير قابل للمقارنة. اطلب الأرقام والقواعد التي ولدت كل تحذير.

البرومبت 4: خطة تنظيف لا تعدل الملف

هذا البرومبت يحول المشكلات إلى خطوات مرتبة مع اختبار تراجع وقبول.

You are a senior data-cleaning planner. Use the approved data dictionary and baseline profile to design a no-edit cleaning plan.

INPUTS
- Approved dictionary: [PASTE OR ATTACH]
- Baseline metrics: [PASTE OR ATTACH]
- Business rules: [RULES]
- Protected columns: [COLUMNS]
- Output tool: [EXCEL / POWER QUERY / PYTHON]

FOR EACH PROPOSED STEP
Specify step ID, execution order, target field, current issue, transformation rule, required evidence, estimated affected rows, risk level, reversibility, audit-log fields, and post-step test.

CLASSIFY EACH STEP
- SAFE_AUTOMATIC: deterministic and reversible.
- CONDITIONAL: needs an approved mapping or threshold.
- HUMAN_DECISION: ambiguous, destructive, or business-dependent.

CONSTRAINTS
- Never overwrite the source workbook.
- Never delete near-duplicates automatically.
- Never treat zero as missing.
- Never parse ambiguous dates without an approved locale or external evidence.
- Never convert currencies without an approved rate, date, and method.

OUTPUT
Return an ordered plan, dependency map, review queue design, rollback plan, and PLAN_STATUS: READY_FOR_APPROVAL or BLOCKED_BY_QUESTIONS.

لا تبدأ التنفيذ إذا كانت الخطة BLOCKED_BY_QUESTIONS. راجع أن كل خطوة تملك اختبارًا بعديًا، وأن الخطوات غير القابلة للعكس انتقلت إلى قرار بشري.

البرومبت 5: توحيد النص العربي وUnicode

لا يهدف هذا البرومبت إلى تغيير الأسماء الأصلية، بل إلى بناء قيمة معيارية مساعدة قابلة للرجوع.

Act as an Arabic text normalization specialist for tabular data.

CONTEXT
- Source column: [COLUMN]
- Purpose: [SEARCH / MATCHING / REPORTING]
- Approved transformations: [TRIM, COLLAPSE SPACES, DIGIT NORMALIZATION, REMOVE DIACRITICS, CUSTOM MAPPING]
- Protected legal/display value: [YES / NO]

TASK
Design and apply normalization to a new helper column named [NORMALIZED_COLUMN]. Preserve the original column unchanged.

REQUIREMENTS
- Distinguish leading/trailing spaces from internal repeated spaces.
- Detect invisible Unicode characters and report their code points.
- Apply only transformations explicitly approved above.
- Do not merge Arabic letter variants such as ya/alif maqsura or ha/ta marbuta unless an approved mapping table requires it.
- Produce counts and masked before/after examples for each rule.

OUTPUT
Return the helper-column logic, affected-row IDs, before/after samples, unresolved variants, and audit-log entries. If a transformation could change legal identity, route it to review.

قارن القيمة الأصلية والعمود المساعد. إذا اختفت فروق مهمة، أوقف القاعدة. العمود المعياري مفيد للمطابقة، لكنه لا يصبح تلقائيًا النص المعتمد للعرض أو العقود.

البرومبت 6: تدقيق التواريخ بحسب Locale

يمنع هذا البرومبت تحويل 08/09 إلى معنى غير مثبت، ويطلب تصنيفًا واضحًا للحالات.

You are a locale-aware date audit specialist. Audit the date column without guessing ambiguous values.

INPUT
- Column: [DATE COLUMN]
- Approved source locale: [LOCALE OR UNKNOWN]
- Target format: ISO 8601 YYYY-MM-DD
- Valid business date range: [START TO END OR UNKNOWN]
- Related evidence columns: [OPTIONAL]

CLASSIFY EVERY NON-EMPTY VALUE
A. Valid stored date.
B. Unambiguous text date that can be parsed.
C. Ambiguous text date with multiple valid interpretations.
D. Invalid date.
E. Missing date.

RULES
- Convert only A and B to a new clean column.
- Keep the raw value.
- Send C, D, and E to review with the exact reason.
- Do not use today's date, neighboring rows, or a majority pattern as proof unless an approved business rule says so.
- Test day, month, year, leap-year validity, and accepted range.

OUTPUT
Return counts by class, affected row IDs, raw and proposed values, parse rule, failure reason, and audit-log records. End with DATE_AUDIT_STATUS.

إذا كان المصدر يجمع ملفات من دول مختلفة، قد يحتاج كل مصدر Locale منفصلًا. لا تستخدم إعدادًا واحدًا لتفسير جميع الصفوف لمجرد أن معظمها ينجح.

البرومبتات الاحترافية من 7 إلى 12

البرومبت 7: تحويل الأرقام والعملات دون خلط المعنى

يستخدم عندما يحتوي العمود أرقامًا مخزنة كنص، أو فواصل عربية وأوروبية، أو رموز عملة. لا يسمح بجمع عملات مختلفة أو اختراع سعر تحويل.

You are a numeric and currency data-quality specialist. Audit and normalize monetary fields without changing economic meaning.

INPUT
- Amount column(s): [COLUMNS]
- Currency column or embedded symbols: [COLUMN / EMBEDDED / UNKNOWN]
- Source locales: [LOCALES]
- Approved currencies: [CODES]
- Conversion policy: [NO CONVERSION / APPROVED RATE TABLE]
- Valid ranges by business rule: [RANGES OR UNKNOWN]

TASK
1. Preserve raw amount and currency values.
2. Detect Western, Arabic-Indic, and Eastern Arabic-Indic digits.
3. Classify decimal and thousands separators using the approved locale, not guesswork.
4. Separate currency codes or symbols from numeric values.
5. Convert only unambiguous numeric text to a new numeric column.
6. Flag mixed currencies, invalid strings, overflow, precision loss, and values outside approved ranges.

CONSTRAINTS
- Zero is a valid value unless a business rule says otherwise.
- Negative values are not errors by default; evaluate their transaction status.
- Do not convert USD, EUR, EGP, or any currency without an approved dated rate table.
- Do not round silently. Report source precision and target precision.

OUTPUT
Return parsing rules, success/failure counts, row IDs, raw/clean values, currency status, precision checks, and change-log entries. End with NUMERIC_AUDIT_STATUS.

راقب القيم التي نجح تحويلها ظاهريًا. النص 1.200,50 يختلف عن 1,200.50 في ترتيب الفواصل لكنه قد يمثل القيمة نفسها وفق Locale مختلف. إذا لم تعرف المصدر، لا تجعل الأكثر شيوعًا قاعدة نهائية. اطلب تقسيم الملف بحسب المصدر أو رفع الحالات للمراجعة.

البرومبت 8: مصفوفة قرار للقيم المفقودة

هذا البرومبت يمنع الحل الشائع والخطير: ملء كل فراغ بصفر أو حذف كل صف ناقص. يصنف معنى الفقد قبل اقتراح الإجراء.

Act as a missing-data governance analyst. Build a decision matrix before filling or deleting any missing value.

CONTEXT
- Dataset unit: [ROW UNIT]
- Critical fields: [FIELDS]
- Optional fields: [FIELDS]
- Known missing-value codes: [BLANK, N/A, -, 999, UNKNOWN, OTHER]
- Approved derivation rules: [RULES OR NONE]

FOR EACH COLUMN
Measure true blanks, formula-empty strings, placeholder codes, null-like text, and zero values separately. Analyze whether missingness clusters by source, date, branch, category, or process stage.

DECISION CLASSES
- KEEP_AS_MISSING
- DERIVE_FROM_APPROVED_SOURCE
- REQUEST_SOURCE_CORRECTION
- EXCLUDE_FROM_SPECIFIC_ANALYSIS
- HUMAN_REVIEW

CONSTRAINTS
- Never replace all missing values with zero.
- Never use mean, median, mode, forward fill, or model-based imputation unless explicitly approved for a named analytical purpose.
- Preserve a provenance flag for every derived or imputed value.
- Never delete a row only because one optional field is missing.

OUTPUT
Return missingness metrics, pattern analysis, field-level decisions, affected row IDs, derivation evidence, and an audit schema containing raw value, new value, method, approver, and confidence.

المصفوفة مفيدة حتى عندما لن تملأ أي قيمة. هي توضح للقارئ لماذا بقيت بعض الخلايا فارغة. إذا كان البريد اختياريًا، قد يظل الصف صالحًا للمبيعات. وإذا كان رقم الطلب مفقودًا وهو المفتاح، فقد ينتقل الصف إلى مراجعة قبل الدخول في التحليل.

البرومبت 9: معاينة التكرارات التامة قبل الحذف

يحدد التطابق التام وفق أعمدة معلنة، ويعرض ما سيُحذف قبل التنفيذ. لا يعتمد على اسم العميل وحده.

You are an exact-duplicate audit specialist. Detect and preview duplicate records without deleting them.

INPUT
- Sheet/range: [SHEET!RANGE]
- One-row unit: [ROW UNIT]
- Candidate duplicate key: [COLUMNS]
- Fields excluded from comparison: [FIELDS AND WHY]
- Keep rule if approved: [FIRST / LATEST / MOST COMPLETE / NONE]

TASK
1. Normalize only approved comparison helpers while preserving raw fields.
2. Group rows that match exactly on the declared key.
3. Show every member row, source row number, and all conflicting non-key fields.
4. Distinguish exact full-row duplicates from key duplicates with conflicting attributes.
5. Calculate the proposed row-count change, key-count change, and critical totals before applying anything.

CONSTRAINTS
- Do not delete records during this step.
- Do not call a group exact if compared fields differ.
- Do not choose a surviving row without an approved keep rule.
- If the row unit permits repeated keys, mark the key design as invalid instead of deleting.

OUTPUT
Return Duplicate Definition, Preview Groups, Conflicts, Proposed Keep/Remove IDs, Before/After Metrics, and DUPLICATE_ACTION_STATUS: APPROVED_REQUIRED.

بعد استلام المعاينة، افحص المجموعات ذات القيم المالية. إذا كان صفان متطابقين في العميل والتاريخ والمبلغ لكن لهما رقمَا طلب مختلفان، فقد يكونان عمليتين حقيقيتين. وإذا كان المفتاح نفسه يتكرر مع بندين داخل الطلب، فتعريف وحدة الصف هو المشكلة.

البرومبت 10: مراجعة شبه التكرار بدرجات قابلة للتفسير

المطابقة التقريبية أداة اكتشاف، لا آلة حذف. يطلب البرومبت سبب التشابه وحقول التعارض وحدود الثقة.

Act as an entity-resolution reviewer. Find near-duplicate candidate groups, but never merge or delete automatically.

INPUT
- Entity represented by one row: [CUSTOMER / PRODUCT / SUPPLIER / OTHER]
- Blocking fields: [COUNTRY, PHONE PREFIX, DOMAIN, DATE WINDOW, OTHER]
- Comparison fields and weights: [FIELD:WEIGHT]
- Approved normalization helpers: [RULES]
- Review thresholds: [HIGH / MEDIUM / REJECT]

METHOD
1. Generate candidates only within approved blocking rules.
2. Compare exact identifiers first, then normalized text and approved secondary fields.
3. Report field-level similarities and contradictions.
4. Assign each pair or group a candidate score and explain the score.
5. Separate high-confidence candidates from uncertain and rejected pairs.

CONSTRAINTS
- A similarity score is not proof of identity.
- Conflicting tax IDs, legal IDs, dates, or protected identifiers must override name similarity.
- Do not overwrite the preferred display name.
- Do not merge values with unresolved conflicts.

OUTPUT
Return candidate groups with source IDs, matching evidence, conflicting fields, score, threshold class, and required human decision. Provide a proposed survivor/merge plan only after approval.

إذا استخدمت Power Query، يمكن إظهار درجة التشابه وضبط العتبة. لا تجعل القيمة الافتراضية قرارًا نهائيًا. اختبر مجموعة معروفة يدويًا، وارفع العتبة أو اخفضها وفق تكلفة الخطأ. في بيانات العملاء، دمج شخصين مختلفين قد يكون أخطر من ترك تكرار واحد.

البرومبت 11: توحيد القيم عبر جدول مرجعي

التوحيد الآمن لا يستبدل الكلمات بحرية. يستخدم جدول From/To معتمدًا، ويترك القيم غير المطابقة واضحة.

You are a reference-data standardization specialist. Standardize a categorical column using an approved mapping table.

INPUT
- Source column: [COLUMN]
- Approved mapping table: [FROM -> TO]
- Case and whitespace rules: [RULES]
- Protected raw column: [NAME]
- New standardized column: [NAME]

TASK
1. Preserve the raw value.
2. Apply deterministic preprocessing explicitly listed above.
3. Join each source value to the approved mapping table.
4. Write the canonical value only for a confirmed match.
5. Route unmatched, one-to-many, and conflicting mappings to review.
6. Report counts for matched, unmatched, and ambiguous values.

CONSTRAINTS
- Do not invent new canonical categories.
- Do not map by semantic guess or language translation unless that pair is approved.
- Do not collapse categories that have different business meanings.
- Record mapping-table version and rule ID.

OUTPUT
Return mapping coverage, unmatched-value frequency, ambiguous mappings, affected row IDs, before/after samples, and change-log entries. End with MAPPING_STATUS.

جدول التحويل يمكن أن يوحد «تم» وComplete وcompleted إلى «مكتمل» عندما يوافق صاحب البيانات. لكنه لا ينبغي أن يحول «قيد الانتظار» إلى «مكتمل» لمجرد أن الأغلبية مكتملة. القيم غير المطابقة تصبح مادة لتحسين الجدول المرجعي في الإصدار التالي.

البرومبت 12: اكتشاف القيم الشاذة مع سياق العمل

الغرض هو ترتيب الحالات المحتاجة للفحص، لا حذف أطراف التوزيع.

You are a context-aware outlier review specialist. Detect unusual values and prepare evidence for review without deleting, capping, or replacing them.

INPUT
- Numeric fields: [FIELDS]
- Segmentation fields: [CURRENCY, PRODUCT, REGION, PERIOD, OTHER]
- Approved business limits: [RULES OR NONE]
- Statistical methods allowed: [IQR / MAD / Z-SCORE / DOMAIN LIMIT]
- Known legitimate exceptions: [RULES]

TASK
1. Calculate outlier flags within comparable groups, not across incompatible currencies or categories.
2. Show the exact rule, threshold, group size, and distance from threshold.
3. Cross-check status fields that could explain negative or zero values.
4. Compare against historical or reference limits only if provided.
5. Rank cases for review by potential impact.

CONSTRAINTS
- Do not delete or winsorize automatically.
- Do not mix currencies.
- Do not label a value erroneous solely because it is rare.
- Report small-group limitations and skewed distributions.

OUTPUT
Return the flagged row ID, raw value, comparison group, method, threshold, context fields, possible explanations, and recommended review question. End with OUTLIER_DECISION: HUMAN_REQUIRED.

راجع ما إذا كان التقسيم منطقيًا. مبلغ كبير في فئة مبيعات الشركات لا يقارن مباشرة بطلبات الأفراد. والقيمة السالبة في حالة «مرتجع» قد تكون صحيحة. إذا لم يذكر التقرير المجموعة والعتبة، فلن تستطيع تفسير سبب رفع الصف.

كيف تقرر ماذا تفعل بالقيم المفقودة والتكرارات؟

هناك ميل إلى قياس جودة التنظيف بعدد الخلايا التي تغيرت. هذا مقياس مضلل. قد تكون أفضل نتيجة هي إبقاء مئة قيمة مفقودة مع وسم صحيح بدل ملئها بقيم خاطئة. وقد تكون أفضل نتيجة لشبه التكرار هي قائمة مراجعة من عشرين مجموعة بدل دمجها آليًا.

ابدأ بتكلفة الخطأ. ما تكلفة حذف سجل حقيقي؟ ما تكلفة إبقاء تكرار؟ ما تكلفة ملء مبلغ مفقود؟ في التقارير المالية والرواتب والبيانات البحثية، الخطأ الإيجابي قد يكون مرتفعًا. لذلك ترتفع عتبة الدمج وتقل الأتمتة. في قائمة غير حساسة لأسماء فئات داخلية، يمكن قبول تحويلات أكثر بشرط وجود سجل وتراجع.

القيمة الفارغة ليست حالة واحدة

افصل بين خلية فارغة حقيقية، ونص فارغ ناتج عن صيغة، وكلمة N/A، وشرطة، ورقم خاص مثل 999، وصفر. قد تعتبر الأداة هذه القيم متساوية، لكنها تحمل معاني مختلفة. أنشئ قاموسًا للقيم المفقودة قبل الاستبدال، وحدد لكل عمود الرموز المسموحة.

إذا كان الفراغ يعني «لم يُجمع»، فلا تحوله إلى صفر. وإذا كان صفر المبيعات يعني عدم وجود مبيعات، فهو قيمة حقيقية. وإذا كان 999 رمزًا تاريخيًا للمفقود، يجب تحويله إلى قيمة مفقودة مع تسجيل القاعدة، لا إبقاؤه رقمًا يدخل في المتوسط.

الحذف أم الدمج؟

حذف التكرار يحتفظ بسجل واحد ويتخلص من البقية. الدمج يجمع المعلومات من عدة سجلات في سجل رئيسي. الدمج أصعب لأنه يحتاج قاعدة لحل التعارض. إذا كان أحد الصفين يملك هاتفًا والآخر بريدًا، قد يكون الدمج مفيدًا. لكن إذا كان لكل منهما عنوان مختلف، تحتاج إلى معرفة أيهما أحدث أو ما إذا كانا كيانين مختلفين.

لا تسمح للأداة باختيار «الأكثر اكتمالًا» دون تعريف. قد يكون السجل الأطول قديمًا. يمكن أن تكون القاعدة «أحدث تاريخ تحقق» أو «السجل المرتبط بمعرف قانوني» أو «قرار بشري». وكل قيمة منقولة يجب أن تحمل مصدرها.

مراجعة مجموعات شبه التكرار

صمم قائمة المراجعة لتقلل الجهد. اعرض القيم جنبًا إلى جنب، وميز الحقول المتطابقة والمتعارضة، وأظهر سبب الترشيح ودرجة التشابه. اسمح للمراجع باختيار دمج أو إبقاء أو تأجيل، وتسجيل سبب القرار. لا تعرض آلاف الأزواج غير المهمة؛ استخدم قواعد حجب مثل النطاق الجغرافي أو البريد أو النافذة الزمنية لتقليص المرشحين.

بعد اعتماد مجموعة، أضف القرار إلى جدول مرجعي أو اختبار. بهذه الطريقة يتعلم سير العمل بمعنى أنه يعيد استخدام قرارات موثقة، لا بمعنى أن النموذج يخمن أكثر في المرة التالية.

مولد خطة التحقق وسجل التغييرات

المولد الثاني لا ينظف البيانات. إنه يبني خطة قبول للنسخة الناتجة. أدخل عدد الصفوف والأعمدة والمفتاح والحقول الحرجة ونسبة التغير المسموح بها وحجم العينة، وحدد ما إذا كان المصنف متعدد الأوراق. ينتج المولد اختبارات قبل/بعد، وبنية سجل تغييرات، وقواعد الحكم.

استخدمه بعد الحصول على خطة التنظيف وقبل الموافقة على التنفيذ. إذا كان مستوى المخاطر مرتفعًا، يجب أن يجعل الحذف والدمج والتعبئة قرارات بشرية، وأن يطلب فحص جميع المفاتيح والمجاميع الحرجة بدل الاعتماد على عينة صغيرة.

البرومبتات الاحترافية من 13 إلى 18

البرومبت 13: فحص سلامة المفتاح الأساسي

المفتاح هو العمود أو مجموعة الأعمدة التي تميز السجل. إذا كان مفقودًا أو مكررًا بلا تفسير، تصبح عمليات الربط والتحديث والحذف خطرة.

You are a primary-key integrity auditor. Test candidate keys before any deduplication, merge, or update operation.

INPUT
- Table and row unit: [TABLE, ROW UNIT]
- Candidate key columns: [COLUMNS]
- Expected key format: [TEXT / FIXED LENGTH / COMPOSITE / UNKNOWN]
- Allowed repeated-key scenarios: [RULES OR NONE]
- Protected leading zeros: [YES / NO]

TESTS
1. Missing, blank, whitespace-only, and formula-empty key values.
2. Exact duplicates and normalized duplicates.
3. Type inconsistency, leading-zero loss, invalid length, and invalid characters.
4. Stability across source and cleaned versions.
5. Whether a composite key reduces collisions without changing row meaning.

CONSTRAINTS
- Do not generate replacement IDs unless an approved policy exists.
- Do not convert identifiers to numbers merely because they contain digits.
- Do not remove repeated keys if the row unit permits multiple records per key.
- Keep raw and normalized key representations separate.

OUTPUT
Return candidate-key scorecards, failing row IDs, collision groups, leading-zero risks, approved-key recommendation, unresolved questions, and KEY_STATUS: VALID / INVALID / REVIEW_REQUIRED.

إذا لم يوجد مفتاح صالح، لا تخترع واحدًا لإخفاء المشكلة. يمكن إنشاء معرف تقني للنسخة النظيفة كي يسهل تتبع الصفوف، لكنه لا يصبح معرف العمل الحقيقي. يجب أن يبقى رابط كل صف بموقعه في المصدر واضحًا.

البرومبت 14: فحص العلاقات بين الأوراق

يناسب المصنفات التي تحتوي جداول عملاء وطلبات ومنتجات أو بيانات رئيسية وحركات. يكشف المفاتيح اليتيمة واختلاف الأنواع.

Act as a relational integrity auditor for a multi-sheet workbook.

INPUT
- Parent tables and keys: [TABLE.KEY]
- Child tables and foreign keys: [TABLE.FIELD]
- Approved relationship cardinality: [1:1 / 1:M / M:M]
- Cleaning changes already proposed: [PLAN]

TASK
1. Compare key storage types and normalization rules across related sheets.
2. Count parent keys, child keys, duplicate parent keys, null foreign keys, and orphan child keys.
3. Detect relationships that change cardinality after cleaning.
4. Test whether duplicate removal or standardization would create or remove orphans.
5. Produce row-level evidence for every integrity failure.

CONSTRAINTS
- Do not silently drop orphan rows.
- Do not create parent records from child text unless an approved master-data rule exists.
- Preserve original keys and source-row references.
- Report formula, lookup, or pivot dependencies you cannot fully inspect.

OUTPUT
Return a Relationship Map, Integrity Metrics, Orphan Queue, Cardinality Changes, Blocking Risks, and RELATIONSHIP_STATUS.

قد يكون توحيد المسافات في مفتاح مفيدًا، لكن تحويل نوع العمود في ورقة واحدة فقط يقطع العلاقة. قارن قبل/بعد على جميع الأوراق، ولا تعتبر الصف اليتيم خطأ في الجدول التابع تلقائيًا؛ ربما السجل المرجعي مفقود.

البرومبت 15: خطة تنفيذ بأدوات Excel الأصلية

هذا البرومبت يختار خطوات قابلة للعكس داخل Excel عندما لا تحتاج إلى كود أو عملية متكررة كبيرة.

You are an Excel-native data-cleaning coach. Convert the approved cleaning plan into reversible Excel steps for a working copy.

INPUT
- Approved plan: [PLAN]
- Excel version: [VERSION]
- Source sheet and table: [SHEET/TABLE]
- Protected columns: [COLUMNS]
- Reviewer skill level: [BEGINNER / INTERMEDIATE / ADVANCED]

TASK
For each approved rule, choose the safest native Excel method: helper column, formula, conditional formatting, filter, Find/Replace preview, Text to Columns, Remove Duplicates preview, or other available feature.

REQUIREMENTS
- Create helper columns before replacing source values.
- Show exact formulas with cell or structured references.
- Explain how to preview affected rows.
- Record row counts and key totals before and after every destructive action.
- Provide an undo or restore method and a manual audit-log row.

CONSTRAINTS
- Do not use Remove Duplicates until groups and selected key columns are reviewed.
- Do not overwrite protected raw columns.
- Do not hide errors through formatting.
- If a step is not reproducible or safe in native Excel, recommend Power Query or Python and explain why.

OUTPUT
Return sequential steps, formulas, preview checks, audit entries, rollback instructions, and NATIVE_EXCEL_STATUS.

لا تنسخ الصيغ إلى آلاف الصفوف قبل اختبار عينات من البداية والوسط والنهاية. راجع المراجع المطلقة والنسبية. وإذا اعتمدت على Find/Replace، استخدم المعاينة أو عمودًا مساعدًا لأن الاستبدال الواسع قد يغير أجزاء من كلمات صحيحة.

البرومبت 16: إنشاء تحويلات Power Query M

يطلب كود M بخطوات مسماة وقواعد واضحة، مع الحفاظ على المصدر وعدم تحويل الحالات الملتبسة.

You are a Power Query M engineer. Implement only the approved deterministic cleaning rules as a new query.

INPUT
- Source query/table: [NAME]
- Approved data dictionary: [DICTIONARY]
- Approved ordered plan: [PLAN]
- Locale by field: [FIELD:LOCALE]
- Mapping tables: [QUERY NAMES]
- Output query name: [NAME]

IMPLEMENTATION RULES
1. Reference the source query; do not overwrite it.
2. Use clearly named Applied Steps and comments.
3. Preserve raw columns when type conversion or normalization may fail.
4. Use try ... otherwise to capture conversion errors into review flags.
5. Apply explicit data types and locale-aware conversions.
6. Produce a review-reason column and a separate review query.
7. Show similarity scores for fuzzy matches and never auto-merge uncertain matches.

QUALITY TESTS
Report row count, key distinct count, null counts, conversion-error counts, and critical totals before and after. Profile the full dataset, not only the default preview, for acceptance checks.

OUTPUT
Return M code, dependency order, parameter notes, expected metrics, review-query logic, refresh instructions, and POWER_QUERY_STATUS.

اقرأ الكود قبل لصقه. تأكد من أسماء الخطوات والأعمدة، ومن أن Locale يطابق المصدر، ومن أن استعلام الإخراج جديد. يمكن أن تكون قائمة Applied Steps سجلًا جيدًا للقواعد، لكنها لا تعوض سجل الصفوف المتأثرة عندما تكون القرارات حساسة.

البرومبت 17: خط تنظيف Python وPandas مع اختبارات

هذا البرومبت مناسب للتكرار والأحجام الأكبر. يطلب كودًا لا يلمس الأصل وينتج سجل تغييرات واختبارات.

You are a defensive Python data engineer. Write a reproducible pandas/openpyxl cleaning pipeline for the approved plan.

INPUT
- Source workbook path: [READ-ONLY PATH]
- Output directory: [DIFFERENT PATH]
- Sheets in scope: [SHEETS]
- Approved dictionary and rules: [ATTACH]
- Golden baseline metrics: [METRICS]
- Sensitive fields to mask in logs: [FIELDS]

ENGINEERING REQUIREMENTS
- Validate paths and refuse to overwrite the source.
- Read raw values and preserve source sheet and row identifiers.
- Implement each transformation as a named function with tests.
- Keep raw and clean columns for risky conversions.
- Log event ID, source row, record ID, field, action, before, after, rule ID, automatic flag, review flag, and timestamp/version.
- Export cleaned data, review queue, change log, and quality summary to a new XLSX file.
- Add assertions for row counts, key integrity, nulls, types, critical totals, zero preservation, and negative-value rules.

CONSTRAINTS
- No network calls.
- No destructive deletion of near-duplicates, outliers, ambiguous dates, or missing critical values.
- Do not execute code automatically; return it for review first.
- Use deterministic settings and document package versions.

OUTPUT
Return complete code, dependency list, run command, expected files, unit tests, failure behavior, and PIPELINE_STATUS: READY_FOR_REVIEW.

شغل الكود على نسخة صغيرة مضبوطة قبل البيانات الحقيقية. راجع أن اختبارات الفشل توقف العملية ولا تكتب ملفًا ناقصًا على أنه ناجح. إذا تغير عدد الصفوف، يجب أن يفسره سجل التغييرات ومؤشرات الجودة.

البرومبت 18: بوابة قبول بعد التنظيف

هذا هو البرومبت الذي يمنع تسليم نسخة لمجرد أنها فُتحت بلا أخطاء. يقارن خط الأساس بالمخرجات ويطلب تفسير كل فرق.

You are an independent post-cleaning acceptance auditor. Compare the untouched source, approved plan, cleaned output, change log, and review queue.

INPUTS
- Source workbook: [FILE]
- Baseline metrics: [FILE]
- Approved cleaning plan: [FILE]
- Cleaned workbook: [FILE]
- Change log and review queue: [FILES]
- Critical tolerances: [RULES]

VERIFY
1. Source hash or identity is unchanged.
2. Every row-count difference has a matching logged event.
3. Key uniqueness, missingness, types, and relationships meet approved rules.
4. Critical totals reconcile by currency and category.
5. Zero, negative, blank, and error values were treated according to policy.
6. Every transformed value is traceable to a rule.
7. Ambiguous and unsupported cases remain in the review queue.
8. No protected formula, sheet, or column changed outside scope.

DECISION
- ACCEPT only if all blocking tests pass and critical review items are resolved.
- REVIEW_REQUIRED if data is intact but human decisions remain.
- REJECT if data loss, unexplained differences, broken keys, or unlogged changes exist.

OUTPUT
Return an executive decision, test-by-test evidence, reconciliations, unexplained differences, open review items, and a release checklist. Never replace failed evidence with a confidence statement.

استخدم أداة أو شخصًا مختلفًا عن المنفذ عندما تكون المخاطر مرتفعة. الاستقلال لا يعني انعدام الأخطاء، لكنه يقلل احتمال أن يراجع المنفذ افتراضاته نفسها دون ملاحظة.

تطبيق البروتوكول داخل Excel خطوة بخطوة

إذا كان الملف صغيرًا ومرة واحدة، ابدأ بورقة عمل جديدة. انسخ الجدول إلى نسخة، وأضف عمودًا لمعرف المصدر إذا لم يوجد. أنشئ أعمدة مساعدة مثل email_normalized وdate_clean وamount_clean وreview_reason. لا تستبدل الخام في البداية.

استخدم تنسيقًا شرطيًا لتمييز التكرارات، لكن لا تحذفها. فرز القيم الفارغة يعرضها للمراجعة، لكنه لا يحدد معناها. يمكن أن تساعد صيغ مثل TRIM وCLEAN وLOWER في النص الإنجليزي، بينما يحتاج النص العربي إلى قواعد إضافية واختبارات للمحارف. استخدم IFERROR لإظهار فشل التحويل بدل إخفائه بقيمة صفر.

عند تحويل التاريخ، اختبر عينة تحتوي تواريخ يومها أكبر من 12، لأنها تكشف ما إذا كان ترتيب اليوم والشهر صحيحًا. وعند تحويل المبلغ، قارن مجموع العمود الخام القابل للتحويل بمجموع العمود النظيف حسب العملة. لا تجمع العملات في مؤشر واحد.

بعد اعتماد الأعمدة المساعدة، يمكنك إنشاء جدول إخراج بالقيم النظيفة. احتفظ بورقة سجل تغييرات تسجل اسم القاعدة وعدد الصفوف وتاريخ التنفيذ، وأضف ورقة مراجعة للحالات الغامضة. إذا احتاجت العملية إلى تكرار أسبوعي، انتقل إلى Power Query بدل إعادة النقر يدويًا.

تطبيق البروتوكول في Power Query

استورد المصدر عبر Get Data، ثم أنشئ Reference للاستعلام الخام بدل تعديل الاستعلام الوحيد. سمِّ الخطوات بمعنى واضح. قبل التحويل، افحص جودة العمود وتوزيعه وملفه، وتأكد هل الفحص على أول ألف صف أم جميع البيانات. لا تعتمد على المعاينة وحدها في القبول.

حدد الأنواع صراحة. عندما تأتي التواريخ أو الأرقام كنص، استخدم Change Type Using Locale. احتفظ بعمود خام أو استخدم try لالتقاط الأخطاء. أنشئ أعمدة لأعلام المراجعة بدل إزالة صفوف الأخطاء. اجمع أسباب المراجعة في حقل واحد أو استعلام منفصل.

في المطابقة التقريبية، استخدم جدولًا مرجعيًا، وأظهر درجة التشابه، وحدد عدد المطابقات، ثم افصل النتائج المؤكدة عن غير المؤكدة. لا تخفض العتبة حتى يطابق كل شيء؛ زيادة التغطية قد تزيد الدمج الخاطئ. استخدم مجموعة تحقق معروفة لقياس القرار.

قبل التحميل، قارن عدد الصفوف والمفاتيح والمجاميع. حمّل الاستعلام النظيف إلى ورقة جديدة. اترك الاستعلام الخام Connection Only أو ورقة محمية بحسب الحاجة. سجل إصدار جدول التحويل لأن تغيره سيغير النتائج عند التحديث التالي.

تطبيق البروتوكول في Python

ابدأ بقراءة الملف من مسار ثابت للقراءة، وأنشئ مجلد إخراج منفصل. احسب بصمة المصدر إذا كانت المهمة حساسة. اقرأ الأوراق المطلوبة وحدد ما إذا كانت الصيغ أو القيم المحسوبة هي المدخل؛ مكتبات القراءة قد تتعامل معهما بطريقة مختلفة.

اكتب وظيفة صغيرة لكل تحويل. وظيفة للمسافات، ووظيفة للأرقام، ووظيفة للتاريخ، ووظيفة للتصنيف. أعد من كل وظيفة القيمة النظيفة وحالة النجاح وسبب الفشل، بدل إعادة قيمة واحدة. بهذه الطريقة يبنى سجل التغييرات وقائمة المراجعة تلقائيًا.

استخدم اختبارات قبل حفظ الملف: عدد الصفوف، وعدم تكرار المفتاح، والحفاظ على الصفر، وعدم تحويل التواريخ الملتبسة، ومطابقة المجاميع. احفظ سجل التغييرات بصيغة CSV وورقة داخل XLSX. أضف حقل source_row حتى يستطيع المراجع الرجوع إلى مكان القيمة.

إذا ولّد الذكاء الاصطناعي الكود، لا تشغله لأن صياغته تبدو صحيحة. ابحث عن أوامر الحذف والكتابة، والمسارات، والتحويلات الواسعة، واستخدام inplace=True، واستبدال القيم المفقودة، والتقاط الاستثناءات. الكود الذي يبتلع الخطأ ويستمر قد يكون أخطر من كود يتوقف.

سجل التغييرات الذي يجعل التنظيف قابلًا للدفاع

سجل التغييرات ليس فقرة تقول «وُحدت التنسيقات». يجب أن يجيب عن ماذا تغير وأين ولماذا وكيف ومن وافق. الحد الأدنى العملي يتضمن معرف الحدث، وصف المصدر، ومعرف السجل، والحقل، والإجراء، والقيمة قبل وبعد، ومعرف القاعدة، وهل القرار آلي أم بشري، وهل يحتاج مراجعة.

في الملفات الكبيرة، قد يكون تسجيل كل خلية مكلفًا. يمكن تسجيل قاعدة واحدة مع عدد الصفوف وقائمة معرفات أو ملف تفصيلي منفصل. لكن التغييرات المدمرة، مثل حذف صف أو دمج سجلين، تستحق سجلًا على مستوى السجل. إذا لم تستطع إعادة بناء سبب اختفاء صف، فالتنظيف غير قابل للتدقيق.

اجعل السجل غير قابل للخلط مع البيانات النظيفة. لا تعدله بعد التنفيذ لإخفاء الإخفاقات. إذا صححت قاعدة، أنشئ إصدارًا جديدًا أو حدثًا عكسيًا. واربط التقرير النهائي بإصدار المصدر والقواعد والإخراج.

كيف تقرأ سجل التغييرات؟

ابدأ بالأحداث المدمرة: حذف صف، ودمج، واستبدال قيمة حرجة. ثم راجع التحويلات واسعة النطاق. إذا تغيرت 90% من قيم عمود اسم العميل، قد تكون القاعدة عدوانية. قارن عينات قبل/بعد، وابحث عن تغيرات لم يطلبها النطاق.

راجع كذلك الأحداث التي لم تغير شيئًا. قد تكشف قاعدة لم تعمل بسبب نوع العمود أو اسم خاطئ. يجب ألا يعتبر النظام غياب الاستثناء دليل نجاح؛ الاختبارات هي التي تؤكد أن القاعدة وصلت إلى الصفوف المتوقعة.

الخصوصية والأمان قبل رفع ملف Excel

ملف Excel قد يبدو أقل حساسية من قاعدة بيانات، لكنه قد يحمل أسماء وعناوين ورواتب وأرقام هواتف ومعرفات حكومية ومعلومات دفع ومبيعات داخلية. قبل رفعه إلى أي أداة سحابية، افحص سياسة المؤسسة والأداة والخطة المستخدمة. لا تفترض أن وجود زر رفع يعني أن مشاركة البيانات مسموحة.

ابدأ بتقليل البيانات. إذا كان هدفك الحصول على خطة تنظيف، قد يكفي قاموس الأعمدة وعينة مصطنعة تمثل الأخطاء. وإذا كان هدفك كتابة كود، يمكن إعطاء الأداة أسماء أعمدة عامة وملفًا تجريبيًا. امسح المعرفات المباشرة، واستبدل القيم الحساسة بأمثلة محافظة على النوع والشكل دون الاحتفاظ بالشخص الحقيقي.

لا تستخدم الإخفاء الشكلي فقط. تغيير اسم العميل إلى «عميل 1» قد لا يكفي إذا بقي البريد والهاتف والعنوان. والبيانات المالية قد تكشف هوية جهة من خلال مجموعة خصائص. عندما تكون المخاطر عالية، اطلب من الأداة إنشاء خطوات أو كود، ثم نفذ محليًا داخل بيئة معتمدة.

سجل كذلك من وصل إلى الملف، وأي نسخة رُفعت، ومتى حُذفت، وما المخرجات التي نُزلت. الحماية ليست جزءًا منفصلًا عن التنظيف؛ فهي قيد تصميم. البرومبت الجيد يذكر الحقول الحساسة ويطلب تمويهها في الأمثلة والسجلات.

لماذا لا ترسل سجل التغييرات كاملًا دائمًا؟

سجل التغييرات قد يحتوي القيم قبل وبعد، ولذلك قد يصبح أكثر حساسية من النسخة النظيفة. يمكن أن تحتفظ في التقرير العام بمعرف الحدث والقاعدة وعدد الصفوف، وتخزن التفاصيل في ملف محمي. عند عرض عينات داخل الأداة، موّه البريد والهاتف والمعرفات.

إذا احتجت إلى مشاركة النتائج مع فريق، افصل ملخص الجودة عن البيانات. يعرف المدير عدد الصفوف المتأثرة والاختبارات وحالة القبول دون الحصول على كل قيمة. ويحصل المراجع المصرح له فقط على قائمة الحالات التفصيلية.

فحوص القبول التي يجب أن تمر قبل استخدام النسخة النظيفة

النسخة النظيفة لا تعتمد لأنها تفتح دون رسالة خطأ. تحتاج إلى اختبارات على البنية والمعنى. أول اختبار هو تفسير فرق عدد الصفوف. إذا بدأ الملف بثلاثين وانتهى بسبعة وعشرين، يجب أن يوضح السجل الصف الفارغ والتكرارين التامين. أي فرق غير مسجل يوقف الاعتماد.

اختبر المفاتيح. يجب ألا تزيد الفراغات أو التكرارات غير المفسرة. اختبر الأنواع، لكن لا تكتف بأن Excel يعرض رمز تاريخ؛ افحص القيم التي فشلت والتحويلات الملتبسة. اختبر المبالغ حسب العملة، والكمية، وعدد الطلبات والحالات. احتفظ بمؤشرات قبلية وبعدية في ملف مستقل.

راجع القيم الحدية التي غالبًا تضيع: الصفر، والسالب، والنص الذي يبدأ بصفر، والتاريخ في آخر الشهر، والسنة الكبيسة، والقيمة الكبيرة، والخلية الناتجة عن صيغة فارغة. يجب أن يظهر كل منها في اختبار مقصود. إذا لم تختبره، لا تعرف ما إذا كانت القاعدة حافظت عليه.

اختبار التوازن بين الدقة والتغطية

قد تقلل القاعدة الأخطاء الظاهرة لكنها تزيد التخمين. على سبيل المثال، تحويل كل تاريخ قابل للتفسير وفق النمط الأكثر شيوعًا يرفع التغطية، لكنه قد يحول القيم الملتبسة خطأ. لذلك قس عدد القيم التي تحولت بثقة وعدد القيم التي بقيت للمراجعة، ولا تجعل نسبة التحويل وحدها هدفًا.

في شبه التكرار، راجع عينة من المرشحين المقبولين وعينة من المرفوضين. قد تكون العتبة شديدة فتفوت التكرارات، أو منخفضة فتجمع كيانات مختلفة. تكلفة الخطأ تحدد حجم العينة وقرار الدمج.

اختبار الثبات وإعادة التشغيل

شغل العملية على المدخل نفسه مرتين. يجب أن تنتج النتيجة نفسها. ثم شغلها على النسخة النظيفة؛ ينبغي ألا تعيد تعديل القيم المستقرة أو تولد أحداثًا غير ضرورية. تسمى هذه الخاصية أحيانًا idempotence، وهي مهمة لأن المهام الأسبوعية ستتكرر.

إذا كانت النتيجة تختلف بسبب اقتراحات حرة من نموذج، انقل القرار إلى جدول تحويل معتمد أو قاعدة حتمية. لا تجعل العملية الإنتاجية تعتمد على إجابة قد تتغير دون تسجيل.

اختبار قابلية التراجع

اختر حدثًا من كل نوع وحاول عكسه. هل تستطيع إعادة القيمة الأصلية؟ هل تعرف الصف الذي حُذف ولماذا؟ هل تستطيع فصل سجلين دُمجا؟ إذا كان الدمج لا يحفظ مصادر الحقول، فقد يكون غير قابل للعكس. في الحالات الحساسة، احتفظ بخريطة lineage تربط كل قيمة نظيفة بمصدرها.

لماذا قد يفشل التنظيف رغم أن البرومبت طويل؟

طول البرومبت لا يضمن أن الأداة فهمت المصنف. قد يكون الملف نفسه غير قابل للقراءة، أو يحتوي جداول متعددة، أو يعتمد على صيغ وروابط لا تراها الأداة، أو يفتقر إلى قواعد العمل. المطلوب تشخيص العرض لا إعادة صياغة الأمر عشوائيًا.

العرض: اختفى عدد كبير من الصفوف

السبب المحتمل أن تعريف التكرار واسع، أو أن الأداة حذفت الصفوف الناقصة، أو أن الفلتر بقي مفعلًا. أوقف الاعتماد، وقارن عدد الصفوف قبل وبعد، واستخرج أحداث الحذف، واعرض مجموعات التكرار. لا تحاول تعويض الفرق بإضافة صفوف يدويًا؛ ارجع إلى المصدر وشغل خطة مصححة.

العرض: أصبحت الأرقام صفرًا أو فارغة

قد تكون الفواصل غير مفهومة أو الرموز جزءًا من النص أو نوع العمود مختلطًا. افحص أمثلة من كل صيغة، وحدد Locale، وأنشئ عمود تحويل مع حالة نجاح. لا تستخدم IFERROR لإرجاع صفر لأنه يخفي الفشل. اجعل الخطأ سبب مراجعة.

العرض: انقلب اليوم والشهر

حدث التحويل وفق إعداد محلي غير مناسب. استخرج قيمًا يومها أكبر من 12، وقارن النتيجة بالخام. إذا كانت القيم الملتبسة قد تحولت، لا يمكن تأكيدها من الملف وحده. أعدها إلى قائمة مراجعة أو استخدم مصدرًا موثقًا.

العرض: دُمج عميلان مختلفان

الاعتماد على الاسم أو تشابه النص وحده أدى إلى مطابقة خاطئة. أضف قواعد حجب، وارفع وزن المعرفات الثابتة، واجعل التعارض في المعرف القانوني مانعًا. راجع القرارات السابقة وأنشئ حدث تراجع. لا تكتف برفع عتبة واحدة لكل أنواع العملاء.

العرض: بقيت التكرارات بعد التنظيف

قد تكون التكرارات شبه متطابقة بسبب محارف ومسافات واختلافات كتابة، أو قد يكون تعريف المفتاح ناقصًا. أنشئ أعمدة معيارية للمقارنة، وافحص البريد والمعرف والتاريخ، لكن لا تمس النص الأصلي. اعرض مجموعات المرشحين وحقول التعارض.

العرض: تغير مجموع المبيعات

قد تكون صفوف مكررة حُذفت، أو مبالغ نصية تحولت، أو عملات خُلطت، أو قيم سالبة استُبعدت، أو صفوف ملغية دخلت أو خرجت. قارن الإجمالي حسب العملة والحالة والفترة، واربط كل فرق بسجل. إذا لم يوجد تفسير، القرار REJECT.

العرض: يبدو كل شيء صحيحًا لكن التحديث التالي يفشل

ربما كانت الخطوات يدوية أو تعتمد على موضع العمود لا اسمه، أو تغيرت رؤوس المصدر، أو ظهر نوع جديد. أضف اختبار schema عند البداية، واستخدم أسماء أعمدة واضحة، واجعل العملية تتوقف عند فقد عمود حرج بدل متابعة النتائج الناقصة.

العرض: سجل التغييرات ضخم وغير قابل للقراءة

قسّم السجل إلى ملخص قواعد وتفاصيل أحداث. احتفظ بمعرف مشترك. وفر فلاتر بحسب الحقل والإجراء والمراجعة. لا تحذف التفاصيل لتقليل الحجم؛ انقلها إلى ملف منفصل وآمن. اجعل التقرير التنفيذي يشرح الأثر، بينما الملف التفصيلي يخدم التدقيق.

سيناريوهات عملية تختلف فيها قواعد التنظيف

لا توجد دالة «تنظيف» محايدة. القواعد تعتمد على المجال. الأمثلة التالية لا تقدم حلولًا جاهزة، بل توضح لماذا يجب إدخال السياق في البرومبت.

ملف مبيعات متعدد العملات

يحتاج الملف إلى مبلغ خام وعملة ومبلغ معياري إذا كان التحويل مسموحًا. لا تجمع العملات قبل اعتماد سعر وتاريخ. الطلب الملغي قد يبقى في السجل لكنه يستبعد من بعض المقاييس. المرتجع السالب قد يكون صحيحًا. التكرار يُعرف برقم الطلب لا باسم العميل وحده.

قائمة عملاء

قد يكون الهدف توحيد جهة الاتصال، لكن الدمج يحمل مخاطر. البريد أو الهاتف قد يكون مشتركًا بين أفراد الأسرة أو موظفي الشركة. الاسم القانوني لا يستبدل بقيمة معيارية للاستخدام الرسمي. تحتاج مجموعات شبه التكرار إلى مصدر مرجعي وقرار.

سجل مخزون

الكمية الصفرية قيمة مهمة وليست فقدًا. الكمية السالبة قد تشير إلى تسوية أو خطأ. وحدة القياس حاسمة؛ لا تجمع صندوقًا مع قطعة. يجب توحيد رمز المنتج وحماية الأصفار في بدايته. العلاقات مع جدول المنتجات تسبق تحليل المخزون.

ملف موارد بشرية

البيانات عالية الحساسية، والمفاتيح والأسماء والتواريخ تحتاج حماية. لا ترفع الملف إلى خدمة عامة. لا تستخدم النموذج لاستنتاج صفات شخصية أو ملء بيانات مفقودة. يمكن أن ينحصر دور الذكاء الاصطناعي في توليد كود محلي على عينة مصطنعة.

بيانات استبيان

القيم المفقودة قد تعني أن السؤال لم يُعرض أو أن المشارك لم يجب. لا تعوضها بالطريقة نفسها. النص الحر يمكن تجميعه تقريبيًا، لكن يجب الاحتفاظ بالإجابة الأصلية. استبعاد الاستجابات يحتاج قاعدة بحثية، لا قرار تنظيف عام.

مصنف مالي

التقريب وأنواع الأرقام والعملات والفترات تؤثر في التسوية. يجب مقارنة المجاميع وميزان التحقق، والحفاظ على الصيغ والاعتماديات خارج نطاق التنظيف. أي فرق غير مفسر يوقف الإصدار، حتى لو انخفض عدد الأخطاء التقنية.

كيف تكتب طلبًا جيدًا للأداة عندما لا تستطيع رفع الملف؟

يمكنك وصف schema بدل مشاركة البيانات. اذكر أسماء الأعمدة العامة، وأنواع الأخطاء، وحجم الملف، وLocale، ووحدة الصف، والمفتاح، والهدف. أرفق عشرة صفوف مصطنعة تمثل المشكلات. اطلب خطة وكودًا لا ينفذ تلقائيًا.

لا تنس ذكر القيود. قل إن الأصل يجب ألا يتغير، وإن شبه التكرار لا يدمج، وإن التاريخ الملتبس يبقى للمراجعة، وإن العملة لا تتحول. اطلب الملفات الناتجة وأسماء أوراقها وسجل التغييرات والاختبارات. كلما كان المخرج محددًا، قل احتمال أن تعطيك الأداة نصائح عامة.

إذا لم تعرف المشكلة، استخدم برومبت الجرد والملف التعريفي أولًا. لا تحاول كتابة أمر واحد يحتوي كل المراحل. افصل الحوار: تشخيص، ثم أسئلة، ثم خطة، ثم تنفيذ، ثم تدقيق مستقل.

كيف تصمم قواعد تنظيف يمكن صيانتها وإعادة استخدامها؟

القاعدة الجيدة ليست جملة عامة مثل «وحّد الأسماء». هي مواصفة صغيرة لها معرف ومدخل وشرط وتحويل واستثناء واختبار. على سبيل المثال، قاعدة إزالة المسافات المحيطة يمكن أن تحمل معرفًا مثل TXT-001، وتطبق على أعمدة محددة، وتحفظ القيمة الخام، وتنتج عدد الصفوف المتأثرة. إذا تغيرت القاعدة لاحقًا لتشمل المسافات الداخلية، تحصل على إصدار جديد لأن أثرها مختلف.

اكتب الهدف قبل الصيغة. لماذا نزيل المسافة؟ هل تمنع المطابقة أم تشوه العرض؟ هل يجوز تغيير الاسم القانوني أم فقط إنشاء قيمة مساعدة؟ عندما يكون الهدف البحث والمطابقة، يمكن إنشاء عمود معياري. وعندما يكون الهدف العرض الرسمي، قد تحتاج إبقاء النص كما أدخله المصدر.

افصل القاعدة عن الملف

إذا كتبت القاعدة داخل برومبت طويل ولم تحفظها، ستعيد اختراعها في كل مرة. أنشئ ملف قواعد أو ورقة Configuration تحتوي معرف القاعدة واسم الحقل والتحويل والاستثناءات والإصدار والموافق. يستطيع Excel أو Power Query أو Python قراءة هذا التعريف أو تطبيقه يدويًا. المهم أن يصبح القرار مستقلًا عن جلسة الحوار.

يسهل هذا الفصل تحديث العملية. إذا أضيفت قيمة حالة جديدة، تعدل جدول التحويل ولا تعيد كتابة كل الخطوات. وإذا تغير Locale لمصدر واحد، تربط المصدر بإعداد محدد بدل تغيير المصنف كله. ويمكنك مقارنة إصدارين لمعرفة سبب تغير النتائج.

اختبر القاعدة بثلاث مجموعات

تحتاج كل قاعدة إلى أمثلة يجب أن تتغير، وأمثلة يجب ألا تتغير، وحالات حدية تحتاج مراجعة. قاعدة تحويل المبلغ تختبر 1250.50 و١٢٥٠٫٥٠ و1.250,50، لكنها تختبر أيضًا الصفر والسالب والنص الفارغ والرمز غير المعروف. قاعدة التاريخ تختبر قيمة واضحة وقيمة ملتبسة وقيمة غير صالحة.

إذا اختبرت الحالات الناجحة فقط، ستقيس قدرة القاعدة على العمل في أفضل ظروف لا قدرتها على تجنب الضرر. الحالات التي يجب ألا تتغير مهمة بقدر الحالات التي تتغير. يجب أن يفشل الاختبار إذا تحول رقم العميل إلى عدد أو إذا اختفى الصفر البادئ.

اجعل القاعدة تعيد حالة لا قيمة فقط

الدالة التي تعيد 2026-08-09 لا تخبرك كيف وصلت إليه. الأفضل أن تعيد القيمة والحالة والسبب، مثل PARSED_UNAMBIGUOUS أو AMBIGUOUS_DATE أو INVALID_DATE. في Excel يمكن تحقيق ذلك بأعمدة مساعدة. وفي Power Query يمكن إنشاء سجل أو أعمدة حالة. وفي Python يمكن أن تعيد الوظيفة tuple أو كائنًا.

تسمح الحالة ببناء قائمة مراجعة وحساب التغطية. تعرف كم قيمة تحولت، وكم فشلت، وكم بقيت ملتبسة. كما تمنع استخدام قيمة فارغة واحدة لتمثيل فشل التحويل والقيمة المفقودة الأصلية.

لا تجعل الثقة بديلًا للدليل

قد تقدم الأداة درجة ثقة، لكنها لا تثبت صحة القيمة. استخدم الدرجة لترتيب المراجعة، لا لتجاوز قاعدة العمل. إذا تعارض معرف قانوني بين سجلين، لا يصبح الدمج صحيحًا لأن تشابه الاسم 95%. وإذا كان التاريخ قابلًا لتفسيرين، لا يحسمه الأسلوب اللغوي الواثق.

تكون الثقة أكثر فائدة عندما ترتبط بعناصر قابلة للفحص: تطابق البريد، وتطابق الهاتف، وتقارب الاسم، وعدم وجود تعارض في المدينة. اعرض المكونات لا الرقم المجمل فقط. ويجب أن تكون العتبات قابلة للتعديل بحسب تكلفة الخطأ.

قس أثر القاعدة قبل اعتمادها

نفذ Preview يبين عدد الصفوف والقيم المتأثرة. راجع أعلى القيم تكرارًا وعينة عشوائية وعينات من الحالات الحدية. إذا أثرت قاعدة مخصصة لحذف المسافات في معظم العمود، قد يكون ذلك صحيحًا، لكنه يستحق فحصًا. وإذا لم تؤثر في أي صف رغم أن المشكلة معروفة، ربما فشلت بسبب نوع مختلف أو محرف غير مرئي.

قارن المؤشرات الحساسة بعد كل مجموعة قواعد، لا في النهاية فقط. إذا تغير مجموع المبيعات بعد توحيد النص، فهناك أثر غير متوقع يجب التحقيق فيه قبل إضافة خطوات أخرى. تقسيم التنفيذ يجعل تحديد السبب أسرع.

تسليم ملف نظيف داخل فريق أو مؤسسة

يجب أن يفهم المستلم ما يمكنه فعله بالملف وما بقي معلقًا. سمِّ الملف باسم يوضح الإصدار والحالة، مثل sales_clean_v1_review_required.xlsx. لا تستخدم اسمًا نهائيًا إذا بقيت قرارات حرجة. ضع داخل المصنف ورقة QualitySummary وورقة ReviewQueue وورقة ChangeLog، أو أرفقها في حزمة.

يشرح ملخص الجودة نطاق المصدر وعدد الصفوف والأعمدة والقواعد وتاريخ التشغيل. يذكر ما إذا كانت الصيغ ضمن النطاق، وما إذا كانت العلاقات بين الأوراق فُحصت، وما هي المجاميع التي تمت تسويتها. إذا لم يُفحص عنصر، يذكر صراحة. لا تحول حدود العمل إلى حاشية صغيرة.

تحديد مسؤوليات المراجعة

ليست كل حالة مراجعة للشخص نفسه. تواريخ العمليات قد يراجعها فريق التشغيل، والعملات يراجعها قسم المالية، وأسماء العملاء يراجعها مسؤول البيانات الرئيسية. أضف عمود review_owner وموعدًا وحالة. بهذه الطريقة لا تبقى القائمة ملفًا بلا مالك.

عندما يتخذ المراجع قرارًا، يسجل السبب والدليل. لا يكتب «صحيح» فقط. القرار الجيد يقول إن السجلين يمثلان العميل نفسه لأن المعرف القانوني متطابق، أو إن التاريخ اعتمد من نظام المصدر. يمكن تحويل القرارات المتكررة إلى قواعد في الإصدار التالي بعد اعتمادها.

فصل حالة البيانات عن حالة العملية

قد تكون الخلية صحيحة لكن العملية غير مكتملة لأن المراجع لم يوافق. وقد تكون القاعدة نفذت بنجاح تقنيًا لكنها أنتجت فرقًا غير مفسر. لذلك استخدم حالات مثل CLEANED_PENDING_REVIEW وAPPROVED وREJECTED، ولا تختزلها في «نجاح» أو «فشل» تقني.

النسخة المعتمدة يجب أن تحمل رقم الإصدار وقائمة الاختبارات التي مرت. إذا عاد المصدر بإضافة صفوف جديدة، لا تعدل الإصدار القديم؛ شغل العملية على نسخة مصدر جديدة وأصدر نسخة جديدة. هذا يحافظ على إمكانية العودة ومقارنة النتائج.

خطة تحديث متكرر

إذا سيصل الملف أسبوعيًا، اختبر schema عند كل تشغيل. هل بقيت أسماء الأعمدة؟ هل ظهر عمود جديد؟ هل تغير النوع؟ يجب أن تتوقف العملية عند تغير حرج بدل تطبيق قواعد قديمة على بنية جديدة. بعد ذلك نفذ التحويلات وأخرج تقرير فرق بين الإصدارين.

لا تفترض أن جدول التحويل دائم. قد تتغير أسماء الفروع أو الحالات أو العملات. أعط جدول المرجع إصدارًا وتاريخ سريان. وعند ظهور قيمة غير معروفة، ارفعها للمراجعة بدل إلحاقها تلقائيًا بأقرب قيمة.

متى تعتبر العملية ناضجة؟

النضج لا يعني غياب قائمة المراجعة. يعني أن القواعد معروفة، والنتائج قابلة للإعادة، والفشل يتوقف بوضوح، والتغييرات مسجلة، والقرارات لها مالك. قد تبقى نسبة من الحالات بشرية لأن المجال نفسه غامض. هذا أفضل من أتمتة تبدو كاملة وتخفي الأخطاء.

يمكن قياس التحسن بمرور الإصدارات: انخفاض القيم غير المعروفة، وزيادة تغطية جدول التحويل المعتمد، واستقرار المجاميع، وقلة الفروق غير المفسرة، وانخفاض وقت المراجعة. لا تجعل عدد الخلايا المعدلة مقياس النجاح؛ اجعل قابلية التفسير وسلامة الاستخدام هما المعيار.

أسئلة شائعة عن تنظيف ملفات Excel بالذكاء الاصطناعي

ما الفرق بين تنظيف Excel وتنسيق الجدول؟

التنسيق يغير طريقة العرض مثل الألوان والعرض وعدد المنازل العشرية. التنظيف يعالج معنى القيم وبنيتها: النوع، والفراغ، والتكرار، والتاريخ، والعملة، والمفتاح. قد يبدو الجدول منسقًا بينما أرقامه نصوص لا تدخل في الحساب. لذلك لا تستخدم الشكل معيارًا للجودة؛ استخدم اختبارات الأنواع والمفاتيح والمجاميع.

هل يستطيع ChatGPT تنظيف ملف Excel كاملًا؟

يمكنه المساعدة في تحليل الملفات وكتابة كود أو تنفيذ مهام في بيئات تدعم ذلك، لكن النتيجة تعتمد على حجم الملف وبنيته والأداة والخطة والسياق. لا تطلب «نظفه» فقط. اطلب جردًا وخطة ونسخة جديدة وسجل تغييرات وفحوص قبول، وراجع الحالات الغامضة والبيانات الحساسة.

هل يجب حذف الصفوف المكررة مباشرة؟

لا. اعرض المجموعات أولًا، وحدد وحدة الصف والمفتاح والأعمدة المستخدمة. قد يكون تكرار الاسم صحيحًا لأن العميل لديه أكثر من طلب. الحذف المباشر يحتفظ غالبًا بسجل واحد ويزيل البقية، ولذلك يجب حماية الأصل وتفسير كل صف محذوف.

كيف أتعامل مع شبه التكرار؟

استخدم المطابقة التقريبية لاكتشاف المرشحين، ثم اعرض درجة التشابه والحقول المتطابقة والمتعارضة. لا تجعل الدرجة قرار دمج. ضع حدودًا بحسب تكلفة الخطأ، واستخدم معرفات ثابتة وقواعد حجب، وسجل قرار المراجع ومصدر كل قيمة تُنقل.

هل أستبدل القيم الفارغة بصفر؟

ليس افتراضيًا. الصفر قيمة معروفة، بينما الفراغ قد يعني غير معروف أو غير منطبق أو لم يُجمع. افصل الرموز المختلفة للقيم المفقودة، وحدد القاعدة لكل عمود. إذا ملأت قيمة مشتقة، احتفظ بعلم يوضح أنها ليست أصلية.

كيف أمنع قلب اليوم والشهر؟

حدد Locale للمصدر، واحتفظ بالنص الخام، وحول فقط الصيغ غير الملتبسة. اختبر تواريخ يومها أكبر من 12. التاريخ الذي يسمح بتفسيرين يبقى للمراجعة ما لم توجد قرينة موثقة. لا تستخدم النمط الأكثر شيوعًا دليلًا كافيًا وحده.

ما أفضل أداة: Excel أم Power Query أم Python؟

Excel مناسب لمهمة صغيرة ومرة واحدة مع مراجعة بصرية. Power Query مناسب للتحويلات المتكررة والقابلة لإعادة التشغيل. Python مناسب للقواعد المعقدة والاختبارات والسجلات التفصيلية والملفات الكثيرة. يمكن للذكاء الاصطناعي كتابة الخطة أو الكود، لكن اختيار الأداة يعتمد على المخاطر والتكرار والخبرة.

هل يمكن تنظيف ملف كبير داخل Excel؟

يمكن، لكن الحجم ليس المعيار الوحيد. كثرة الأوراق والصيغ والعلاقات والأنواع المختلطة قد تجعل العملية اليدوية صعبة. استخدم Power Query أو Python عندما تحتاج إعادة التشغيل وسجلًا واختبارات. وتأكد أن ملف التعريف يغطي كامل البيانات لا عينة افتراضية فقط.

هل أرفع بيانات العملاء إلى أداة ذكاء اصطناعي؟

لا قبل مراجعة سياسة المؤسسة والخدمة. قلل البيانات واستخدم عينة مموهة أو مصطنعة عندما يكفي ذلك. في البيانات الحساسة، اطلب خطوات أو كودًا ونفذه محليًا. تذكر أن سجل التغييرات قد يحتوي قيمًا حساسة أيضًا ويحتاج حماية.

ما الذي يجب أن يحتويه سجل التغييرات؟

يحتوي معرف الحدث، وصف المصدر، ومعرف السجل، والحقل، ونوع الإجراء، والقيمة قبل وبعد، والقاعدة، وهل القرار آلي أم بشري، وسبب المراجعة. التغييرات المدمرة تحتاج تفاصيل على مستوى الصف. الهدف أن تستطيع تفسير كل فرق وإعادته.

كيف أعرف أن النسخة النظيفة صحيحة؟

قارنها بخط الأساس. افحص عدد الصفوف والمفاتيح والفراغات والأنواع والمجاميع حسب العملة والعلاقات بين الأوراق. يجب أن يفسر السجل كل فرق. اختبر الصفر والسالب والتواريخ الملتبسة والقيم الحدية. إذا بقي فرق غير مفسر، لا تعتمد الملف.

متى أحتاج إلى متخصص بيانات؟

عندما تكون البيانات عالية الأثر، أو القواعد غير معروفة، أو المصنف يعتمد على صيغ وروابط كثيرة، أو توجد عملات وعلاقات ومفاتيح معقدة، أو سيؤثر الخطأ في رواتب أو تقارير مالية أو قرارات بحثية. يستطيع البرومبت تنظيم العمل، لكنه لا يستبدل معرفة المجال والمسؤولية.

الخاتمة: الملف النظيف هو الملف القابل للتفسير

تنظيف ملفات اكسل بالذكاء الاصطناعي لا يعني أن تجعل كل خلية ممتلئة وكل اسم متطابقًا. النجاح هو أن تعرف ما تغير، ولماذا تغير، وما بقي غامضًا، وكيف اختبرت النتيجة. يبدأ العمل من جرد المصنف وقاموس الأعمدة وخط الأساس، ويمر بخطة لا تعدل الأصل، ثم تنفيذ إلى نسخة جديدة، ثم سجل تغييرات وقائمة مراجعة وبوابة قبول.

استخدم البرومبتات الثمانية عشر بحسب المرحلة، لا دفعة واحدة. ابدأ بالجرد إذا كان الملف مجهولًا. ثبّت Locale والأنواع قبل تحويل التواريخ والأرقام. افصل التكرار التام عن شبه التكرار. حافظ على الصفر والسالب عندما يحملان معنى. ولا تجعل القيمة الشاذة خطأ تلقائيًا.

إذا خرجت من العملية بملف أنظف لكنك لا تستطيع تفسير فرق الصفوف أو المجاميع، فأنت لم تنته. أما إذا بقيت بعض الحالات في قائمة مراجعة وكل فرق له سجل واختبار، فقد بنيت نتيجة يمكن استخدامها بثقة أعلى وتطويرها في الإصدار التالي.