数据工程师是专门从事数据和数据技术的软件工程师，他们不仅需要具备编程技能，而且通常是工程背景。这使得数据工程师与数据科学家有所不同，尽管后者也具有编程技能，但通常不是工程师。在实际工作中，数据科学家可能会为其项目（例如推荐系统）开发算法和模型，然后将其移交给数据工程师进行实际实施。

数据工程师的主要职责包括：设计、构建、测试和维护大规模数据处理系统；编写和维护数据库和数据仓库；处理和分析大量数据，以提取有价值的信息；确保数据的质量和安全性；与其他团队成员合作，如数据科学家和业务分析师，以确保数据的正确性和可用性。

此外，大数据工程师的需求量正在不断增长，薪资待遇也非常优厚，前景广阔。他们在不同的场景下工作，涉及的内容包括但不限于：写SQL、维护环境、维护平台、维护数据、数据采集、数据处理、数据可视化、数据中台、数据仓库和数据平台开发等。