哔哩哔哩开展大规模AI模型推理实践，旨在提升自身人工智能技术水平。

2023-06-14 10:49:00 上海宽娱数码科技有限公司

• 一、背景 随着AI算法复杂度的逐年上升，支持AI模型的推理和部署需要更高效的方式。然而，随着应用规模的扩大，算力资源消耗也在快速增长，对线上资源产生极大的压力。B站AI涉及计算机视觉(CV)、自然语言处理(NLP)、语音等多个场景，服务于内容安全审核、内容理解和创作的上百个应用场景。 二、挑战和目标 挑战 1. 线上资源随着流量线性增长，在降本增效的背景下，希望控制线上资源的增长。 2. 随着大语言模型在工业界的推广和落地，NLP场景部署了BERT,GPT,T5-Large模型，模型复杂度明显提升。 3. 帧级别的视频处理。例如，在OCR(Optical character recognition) 场景下，24小时内累计处理超过10亿张720p图片。这给模型推理和模型服务带来了极大的压力。 4. 流量的增长和算法复杂度的提升给线上服务的Response Time和QPS带来了巨大的挑战。 目标 1. 提高推理的吞吐，降低资源增长速度。 2. 改进Response Time，提升服务的质量。 3. 扩展新业务，落地更多场景。 4. 提高推理的吞吐，降低资源增长速度。 通过InferX推理框架，我们希望能够扩展新业务，落地更多场景，提高推理的吞吐，降低资源增长速度，同时改进Response Time和提升服务的质量。InferX框架包括Interpreter、Graph Optimizer和Backend等组件，能够帮助我们实现模型量化、稀疏化和优化等计算前链路处理，从而解决线上资源压力的问题。近期，我们迭代了InferX框架，支持ONNX链路，提高模型部署效率，并改进InferX运行时，优化资源获取方式，减少了CPU占用。

  

• 上海宽娱数码科技有限公司成立于2005年，主要从事*类增值电信业务；*类增值电信业务；基础电信业务；出版物批发；出版物零售；餐饮服务；信息网络传播视听节目；网络文化经营；广播电视节目制作经营；营业性演出。（依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准）一般项目：数码科技、计算机软硬件科技领域内的技术咨询、技术转让、技术开发、技术服务，广告发布（非广播电台、电视台、报刊出版单位），票务代理，计算机软硬件、日用百货、办公用品、工艺美术品（象牙及其制品除外）、服装服饰、鞋帽、针纺织品、玩具、文化体育用品、家居用品、电子产品、通讯设备、宠物用品、化妆品、卫生洁具、家用电器、文化用品、皮革制品、包装材料、珠宝首饰的销售。

• 公司旗下具有必剪、BLG、哔哩哔哩bilibili、bilibili直播、哔哩哔哩游戏等知名品牌，发布过哔哩哔哩直播姬、哔哩哔哩(开学季必看攻略)、哔哩哔哩等应用，其最主要app哔哩哔哩直播姬是一款哔哩哔哩直播姬是哔哩哔哩独家为主播和UP主们打造的开播软件，集游戏、娱乐、语音开播为一体。一键即可开播，下一个直播届的超级偶像就是你~ 【多直播场景覆盖】同时拥有摄像头开播、手游录屏开播、手机语音开播等多种模式。满足游戏、娱乐、语音等多种直播内容。一键获取直播权限，你就是下一个主播。 【互动玩法】尊享大航海舰队，超强粉丝团，开启你的专享粉丝舰队 ；大乱斗、天选抽奖、语音连麦，一起直播一起high；超强弹幕互动体验、独特礼物效果， 打造属于你的打赏空间。 【美颜美妆】实时直播也能拥有最美颜值。新增5大功能，五官微整、一键美妆、细节补妆、美肤滤镜、互动贴纸，超100种美颜效果。为你的直播颜值保驾护航~。

• 招聘范围主要集中在上海、济南、重庆，主要招聘经验要求为1-3年，学历要求为高中的岗位。

• 公司参与中标17次，中标金额为2187.30（万元），最近项目为：招商银行信用卡中心集中采购单一来源项目公示（2025-018）、中国电信全渠中心2025年权益合作项目-哔哩哔哩会员权益直接采购公示、丁蜀镇《紫砂江湖》纪录片拍摄服务项目合同。