推理引擎工程师
岗位职责
- 1. 负责主流国内外端侧芯片平台上的大模型 / 模型的模型压缩、推理部署、性能加速、精度评测工作，辅助芯片与方案选型。
- 2. 参与模型转换、算子开发与算子优化、图优化、量化（INT4/INT8 等）、稀疏化、蒸馏等模型压缩与推理优化工作。
- 3. 开展端侧推理性能与精度评测，分析 latency、显存 / 内存占用、算力利用率、功耗、首包耗时等指标，定位性能瓶颈与精度退化问题。
- 4. 编写评测脚本、自动化评测工具，搭建端侧模型评测基准，输出评测报告，对比不同芯片、推理框架的优劣。
- 5. 对接端侧芯片 SDK、推理框架，完成模型适配、调试、问题复现与根因分析，推动算子缺陷、框架 bug 闭环。
- 6. 协助进行芯片方案评估、对比测试，输出选型分析材料，支撑业务侧芯片选型决策。
- 7. 沉淀端侧模型优化方法论、调优文档、算子库与评测资产，持续提升模型部署自动化程度。
- 8. 和算法、硬件、产品团队协同，平衡模型精度、推理延迟、内存占用与功耗，保障端侧模型稳定落地。
任职要求
- 1. 27 届应届生硕士/博士学历，计算机、电子工程、人工智能、自动化等相关专业。
- 2. 扎实计算机基础，熟悉数据结构、计算机体系结构、操作系统；熟练 C/C++，掌握 Python，熟悉 Linux 开发环境。
- 3. 熟悉深度学习基础，了解 CNN/Transformer 等网络结构，了解模型量化、剪枝、蒸馏等模型压缩基础原理。
- 4. 了解至少一种深度学习推理框架（ONNX Runtime / TFLite / TensorRT / MNN / NCNN 等）优先；有端侧、嵌入式、NPU/GPU 算子开发或模型部署项目加分。
- 5. 具备基础性能分析能力，能够定位推理瓶颈，对时延、内存、功耗指标敏感。
- 6. 良好的工程调试、文档撰写能力，逻辑清晰，善于复现和定位复杂推理问题。
- 7. 良好跨团队沟通协作能力，对端侧 AI、模型推理加速方向有浓厚兴趣，学习能力强。
- 加分项：
- 有 NPU/MCU/ 边缘芯片模型部署、算子开发经验
- 熟悉 ONNX、模型图优化、算子融合、权重量化
- 了解 ARM 架构、NEON 指令、内存管理、硬件访存特性
- 有模型 benchmark 评测、端侧性能调优相关竞赛 / 项目经历