Logo
    立即注册
    数说方舟
    产品文档
    轮次基础操作
    最近更新时间:2022-08-16 10:28:21

    管理人员可以进入标注任务管理页面,完成多项标注任务基础操作。

    创建标注轮次

    绑定数据源后,点击【创建初始轮】创建第一轮标注数据。标注轮次的条数、比例、标注人员取决于任务创建时的配置。

    轮次生成后页面

     

    轮次任务的重新分配与废弃

    当任务创建后,针对固定人员的任务,可以重新分配标注任务。分配时需要输入被分配人员和数量,系统会把对应的数据划归到新的标注人员下。

    当任务创建错误/标注质量过于糟糕,或者更改任务配置需要轮次使用新的配置,则可以废弃轮次,废弃的时候直接点击重做当前轮标注即可。

    生成下一轮次

    点击【生成下一轮次】按钮,生成新的轮次。若列表中还有未最终确认的轮次,则无法生成下一轮次。

    预标注

    对于还有未标注数据的轮次,可以对数据进行预标注处理。预标注可以减少标注人员的工作量,可以直接提交一些已有正确预标注答案的数据。

    点击【预标注】按钮,进行算法模型配置。可选择的算法模型都是当前项目下已上线的模型。

    查看数据

    任务管理页面中有两种类型的查看数据入口。

    轮次旁的查看数据:可以查看全部标注人员的已标注数据。在最终确认前,管理人员可以进入【轮次旁查看数据-全部数据-可视化模式】页面进行标注检查,具体操作请查看“修改工作”文档。最终确认后,则只能查看数据而不能操作。

    具体标注人员旁的查看数据:可以查看对应标注人员的已标注数据。

    轮次数据

     

    单个标注人员数据

     

    一致率

    评估标注结果的质量,可以通过一致率指标来进行判断。一般来说一致率越高,质量就越好,意味人类本身认知一致。只有标注人员认知一致,模型才有准确的可能。一致率具体的含义可以参考上文任务创建参数解析。

    一致率查看

    生成算法模型版本

    模型有两种,一种是每轮标注任务都会产生的一个临时模型结果,主要给到用户快速了解模型的大概情况。当用户认为数据量足够,临时模型效果也可接受的时候,用户可以选择生成训练模型。 点击【生成算法模型版本】按钮,弹出参数配置窗口,进行字段映射。

    通过此方法训练的模型系统会认为是一个正式模型,一方面会带来模型准确率、召回率的提升,另一方面仅有正式模型可以发布成算法服务接口。

    微信扫描二维码在线咨询