CSV Pro
Профилирование CSV-файлов: типы колонок, статистика, аномалии.
Загружай этот скилл когда нужно быстро понять, что лежит в CSV:
типы колонок, диапазоны значений, пропуски, дубликаты и выбросы.
🎯 When to use
Use this skill when:
- Есть CSV-файл и нужно понять его структуру: типы колонок, min/max/mean, уникальные значения
- Нужно проверить качество данных перед загрузкой в БД или ML-пайплайн
- Просят «профиль csv», «анализ csv», «что в csv», «csv anomalies»
- Нужен отчёт об аномалиях: пустые колонки, дубликаты строк, выбросы, длинные строки
Do NOT use when:
- Нужна полная аналитика с корреляциями и рекомендациями — это
data-analysis
- Нужны SQL-запросы к данным — это
sql-helper
- Нужно просто посчитать строки или суммы — проще
wc -l и awk
📦 Files
SKILL.md — этот файлscripts/csv_pro.py — профилировщик CSV (Python 3 stdlib)
🧰 Usage
# Файл → markdown-профиль (по умолчанию):
python3 skills/csv-pro/scripts/csv_pro.py --input data.csv
# Файл → JSON:
python3 skills/csv-pro/scripts/csv_pro.py --input data.csv --output json
# Из stdin (текст прямо в пайплайне):
cat data.csv | python3 csv_pro.py --stdin
# Явный разделитель:
python3 csv_pro.py --input data.csv --delimiter ';'
Canonical analogues
Полный справочник канонических паттернов — references/canonical-patterns.md.
Топ-аналоги и их takeaways:
- ydata-profiling — эталонный набор метрик (skewness, kurtosis, quantiles, MAD, infinite counters) и 18 типов алертов.
- csvkit csvstat — CLI-эталон:
csvstat data.csv --json, метрики len и maxprecision.
- DuckDB SUMMARIZE — SQL-профиль с approx-квантилями и
null_percentage.
- Great Expectations — словарь проверяемых утверждений (63 core-ожидания).
- dataprep.EDA — типизированные инсайты: Zeros, Negatives, Constant Length, High Cardinality.
🔬 Проверка результата
- Markdown: таблица «Колонки» (тип, уникальные, пустые, min/max/mean, топ-3) + секция «Аномалии».
- JSON: валидный JSON с полями
columns и anomalies — проверка python3 -m json.tool.
- Пустой файл: сообщение «Файл пуст», код 0.
- Отсутствующий файл: сообщение в stderr, код 1.