НАВЫКИ ГЛАВНОГО по ДАННЫМ KEY SKILLS for DATA Engineer

Вышла прекрасная статья о том, какие навыки должны быть обязательно у специалиста по управлению данными. Публикую адаптированную (короткую версию).

Вы можете не знать всего остального, но незнание SQL, Git, CLI – существенно снизит вашу продуктивность, если вы оперируете данными.

SQL –

первое что должны знать те, кто хочет разбираться в данных. Это основной язык для получения данных из источников и наиболее применимый. Ваш аналитик не знает SQL? Поздравляю, вы отстали.

Если аналитик знает SQL, он сможет написать запрос к любой реляционной базе: Postgres, Oracle, MySQL.

CLI

(Command Line Interface - Интерфейс командной строки). В ситуации, когда ваги данные находятся на каком-то сервере и вам необходимо достучаться до них и нужна командная строка. Всё что делают девелоперы, основано на знании: Kubernetes, компиляция кода, отправка кода, проверка статуса серверов, пересмотр кода, проверка портов, добавление файлов и пр. В этом случае интерфейс командной строки у вас открыт постоянно.

Git

Важно: если вы не знаете как использовать эффективно Git, хотя бы для commit/pull/review code, вы не сможете быть продуктивным ни в одной компании. Вы должны использовать Git/контроль версий каждый день, чтобы просто набить руку и быстро понимать когда пора сдавать следующую версию проекта.

vickiboykis.com short version of article: Git, SQL, CLI

Origital text (my short version)

If you know nothing else, you’ll be able to start to get to productivity almost immediately using these tools. If you don’t know these tools, you will be hindered from data work.

SQL

Learn SQL first. You absolutely cannot do any data work until you are able to get data from a source. 80-90% of the tech industry runs on traditional relational databases: Postgres, Oracle, MySQL. Once you know how to speak SQL, you can speak to any of them.

Command Line

If your code lives on some remote production server and you need to get to it - command line is your best friend here. You need to know the basics: how to navigate a file system, how to shell into stuff, how to write simple bash scripts, how to look at files, etc.

Git

If you don’t know how to use git effectively, at least in the cycle that you need to commit/pull/review code, you will also be hindered in productivity in any org you go to. One of the only ways to get good at this is to continuously use Git/version control on a daily basis, and to create test projects where you mess up a lot and try things out.