招聘岗位：大数据开发

工作区域：安徽-芜湖-鸠江区
工作职责:
1、负责制定大模型训练和优化数据集方案。根据不同领域场景大
模型落地需求，提出大模型训练和优化数据规模、数据类型、数据
结构等建议。
2、负责大模型数据预处理，通过数据去重、相似度计算、数据脱
敏等手段对数据集进行清洗，沉淀出满足大模型要求的高质量数据
集。
3、负责大模型数据分析。通过对文本、图像等数据内容特征深入
分析，提炼有价值的数据集分类标签，为数据质量改进提供依据。
4、负责数据生成和数据增强。基于种子数据，运用大模型工具生
成完善数据集。
岗位要求:
1、计算机、人工智能等专业，硕士及以上学历，具备8年以上数据
处理或模型训练工作经验。
2、熟练掌握文本、多模态等非结构化数据处理方法，精通数据清
洗、特征提取和数据增强等技术，能够解决数据工作中各种问题。
3、精通Python、Java等至少一种编程语言，具备良好的编码能力和
代码质量意识。熟悉常用的数据处理、文本处理和图像处理库，能
够高效地实现数据清洗和处理的算法和流程。
4、熟练掌握Linux操作系统，具备基本的服务器和集群环境的使用
经验，能够处理大规模数据和分布式计算的需求。
5、具备优秀的分析问题和解决问题能力，勇于挑战困难问题;
6、具备良好的团队协作和沟通能力，能够带领团队达成数据目标