Одна эмодзи сломала мой дата-пайплайн на 48 минут — вот что я узнал об кодировке

⚡ Key Takeaways

• Молчаливые отказы в дата-пайплайнах хуже падений — используйте везде UTF-8 и добавляйте параметры обработки ошибок вроде on_bad_lines='skip' 𝕏
• Тестируйте с данными, похожими на продакшн, а не на очищенных выборках — одна эмодзи в 10 тысячах строк обернулась 48-минутной сессией дебаггинга 𝕏
• Добавляйте логирование и трекинг прогресса в пайплайны до того, как они сломаются — observability ловит проблемы за минуты, а не часы 𝕏