AI 整理 CSV:先訂欄位規則,避免把代碼改成數字

資料清理常見的失誤,是看似整齊了,卻把原本有意義的零、空白與重複紀錄刪掉。AI 可協助提出清理規則,但每項轉換都應能回到原始資料,並說明為什麼需要改。
先建立欄位字典
每欄寫名稱、意義、格式與允許空值的條件。電話、郵遞區號或商品代碼即使由數字組成,也可能要當文字保存。不要因為可以相加,就把所有數字外觀的欄位當成數值。
把缺值與零分開
零可能代表真的沒有,空白可能代表尚未取得;兩者不能統一補零。日期格式也要確認日月順序。請 AI 列出有疑慮的列號與原因,先讓人決定規則,再批次套用。
去重前先定義同一筆
姓名相同不表示同一人,品名相同不表示同一商品。以業務定義的識別欄位判斷,保留疑似重複清單。若需要合併,記錄哪些欄位採用哪一筆,不能默默保留第一筆就結束。
核對筆數與轉換紀錄
輸出原始筆數、刪除或合併筆數、待確認筆數與結果筆數。必要時抽樣比對欄位,不只看總數。保留未修改的原檔及規則版本,發現錯誤時才能重做,而不是繼續修補錯誤結果。
現在可以做的小練習
建立含前導零、空白與同名紀錄的小表,寫出哪些可自動清理、哪些必須人工確認。