数据清除

Odoo 的 数据清洗 应用通过以下功能维护数据的完整性和一致性:

  • 去重 :合并或删除重复条目以确保数据唯一性。

  • 回收 :识别过时记录并将其归档或删除。

  • 格式化 :根据指定需求查找和替换文本数据以实现标准化。

可自定义的规则确保文本数据保持最新、精简、格式一致,并符合公司特定的格式要求。

安装模块

数据清洗 应用由多个模块组成。请 安装 以下模块以访问所有可用功能:

名称
技术名称

描述

数据回收
data_recycle

启用回收功能的基础模块,适用于 Odoo 社区版

数据清洗
data_cleaning

启用字段清洗功能以跨多条记录格式化文本数据,仅适用于 Odoo 企业版

数据清洗(合并)
data_merge

启用去重功能以查找相似(或重复)记录并合并它们,仅适用于 Odoo 企业版

CRM 去重
data_merge_crm

CRM 应用中启用去重功能,并使用 CRM 默认合并功能

帮助台合并操作
data_merge_helpdesk

帮助台 应用启用合并功能。

项目合并操作
data_merge_project

项目 应用启用合并功能。

UTM 去重
data_merge_utm

UTM 跟踪器 应用启用合并功能。

WMS 会计合并
data_merge_stock_account

如果安装了 库存 应用,则在可能影响库存估值的产品合并情况下生成警告。

重复数据删除

重复项 仪表板通过 去重规则 中设定的条件匹配,将相似记录分组以进行 合并

通过导航至 数据清洗应用 ‣ 去重 访问此仪表板。

数据清洗应用中的去重仪表板。

规则 侧边栏列出了每个活跃的去重规则,并在每个规则旁边显示检测到的重复项总数。

默认情况下,选择 全部 规则。记录按其规则分组,并带有 相似度 评分(满分 100%),包含以下列:

  • 创建时间 :原始记录的创建日期和时间。

  • 名称 :原始记录的名称或标题。

  • 字段值 :用于检测重复项的字段中原始记录的值。

  • 使用情况 :列出引用原始记录的其他模型。

  • ID :原始记录的唯一标识符。

  • 是否为主记录 :重复项将合并到 主记录 中。在一组相似记录中只能有一个 主记录

规则 侧边栏中选择特定规则以过滤重复记录。

合并重复记录

要合并记录,首先在相似记录分组中选择一个 主记录 。主记录作为基础,其他相似记录的附加信息将合并到其中。

可选地,可以不设置主记录,让 Odoo 随机选择一条记录进行合并。

接下来,点击相似记录分组顶部的 合并 按钮。然后点击 确定 确认合并。

一旦记录被合并,主记录的讨论区会记录一条消息,描述合并详情。某些记录(如 项目 任务)会在讨论区记录中附上旧记录的链接,作为合并的便捷参考。

小技巧

通过点击 丢弃 按钮丢弃分组。操作完成后,该分组将从列表中隐藏并归档。

通过从 搜索栏 中选择 已丢弃 过滤器查看已丢弃的分组。

去重规则

去重规则 设置了检测记录为重复项的条件。

这些规则可以针对数据库中的每个模型进行配置,并具有不同的具体级别。要开始,请导航至 数据清洗应用 ‣ 配置 ‣ 去重

小技巧

去重规则默认每天运行一次,作为计划任务 cron 的一部分(数据合并:查找重复记录 )。然而,每个规则都可以随时 手动运行

修改去重规则

选择一个默认规则进行编辑,或者通过点击 新建 按钮创建新规则。

首先,为此规则选择一个目标 模型 。选择模型后,规则标题将更新为目标模型。

可选地,配置一个 以指定符合此规则的记录。符合条件的记录数量显示在 # 条记录 链接中。

根据所选的 模型 ,会出现 重复项移除 字段。选择是 归档删除 已合并的记录。

接下来,选择一个 合并模式

  • 手动 :需要手动合并每个重复项分组,同时启用 通知用户 字段。

  • 自动 :基于相似度百分比高于 相似度阈值 字段中设定的阈值的记录,自动合并重复分组,且不通知用户。

启用 活动 开关以在保存此规则后立即开始捕获重复项。

最后,在 去重规则 字段中创建至少一条去重规则,方法是点击 添加一行 ,在 唯一 ID 字段 列下进行操作。

  • 唯一 ID 字段 下拉菜单中选择模型中的一个字段。该字段用于参考相似记录。

  • 根据 唯一 ID 字段 中的文本,在 匹配条件 字段中选择一个匹配条件以应用去重规则:

    • 精确匹配 :文本中的字符完全匹配。

    • 忽略大小写/重音匹配 :文本中的字符匹配,忽略大小写和语言特定的重音差异。

重要

必须设置至少一条 去重规则 才能捕获重复项。

小技巧

还有一些字段可用于高级配置。

如果是在多公司数据库中, 跨公司 字段可用。启用后,将建议不同公司之间的重复项。

激活 开发者模式 以显示 建议阈值 字段。相似度低于此字段中设定的阈值的重复项将 不会 被建议。

完成规则配置后,可以选择关闭规则表单,或者 手动运行规则 以立即捕获重复记录。

手动运行去重规则

要随时手动运行特定的去重规则,请导航至 数据清洗应用 ‣ 配置 ‣ 去重 ,然后选择要运行的规则。

然后,在规则表单上,选择左上角的 去重 按钮。执行此操作后, 重复项 智能按钮将显示捕获的重复项数量。

点击 重复项 智能按钮以 管理这些记录

回收记录

使用 回收记录 功能清除数据库中的旧记录和过时记录。

字段回收记录 仪表板通过匹配由 回收记录规则 设置的条件,显示可以归档或删除的记录。

通过导航至 数据清洗应用 ‣ 回收记录 访问此仪表板。

数据清洗应用中的字段回收记录仪表板。

回收规则 侧边栏列出了每条活跃的回收记录规则。

默认情况下,选择 全部 选项。记录显示为以下列:

  • 记录 ID :原始记录的 ID。

  • 记录名称 :原始记录的名称或标题。

回收规则 侧边栏中选择特定规则以过滤记录。

要回收记录,请点击记录行上的 验证 按钮。

执行此操作后,记录将根据规则配置被回收,可能是归档或从数据库中删除。

小技巧

通过点击 丢弃 按钮来丢弃分组。执行此操作后,记录将从列表中隐藏,并且未来不会再次被回收规则检测到。

通过从 搜索栏 下拉菜单中选择 已丢弃 过滤器查看已丢弃的记录。

回收记录规则

回收记录规则 设置了记录被回收的条件。

这些规则可以针对数据库中的每个模型进行配置,并具有不同的具体级别。要开始,请导航至 数据清洗应用 ‣ 配置 ‣ 回收记录

小技巧

回收规则默认每天运行一次,作为计划任务 cron 的一部分(数据回收:清理记录 )。然而,每个规则都可以随时 手动运行

默认情况下,不存在回收记录规则。点击 新建 按钮创建新规则。

在回收记录规则表单中,首先为此规则选择一个目标 模型 。选择模型后,规则标题将更新为目标模型。

可选地,配置一个 过滤器 以指定符合此规则的记录。符合条件的记录数量显示在 # 条记录 链接中。

接下来,配置规则用于检测回收记录的字段和时间范围:

  • 时间字段 :从模型中选择一个字段作为时间基准( 增量 )。

  • 增量 :输入时间长度,必须为整数(例如 7 )。

  • 增量单位 :选择时间单位( )。

然后,选择一个 回收模式

  • 手动 :需要手动回收每条检测到的记录,并启用 通知用户 字段。

  • 自动 :自动合并回收分组,且不通知用户。

最后,选择一个 回收操作归档删除 记录。如果选择 删除 ,请决定是否在规则中包含 已归档 记录。

完成规则配置后,可以选择关闭规则表单,或者 手动运行规则 以立即捕获要回收的记录。

Example

可以通过以下配置设置一条回收规则,以删除一年前最后一次更新并且具有特定丢失原因的已归档潜在客户和商机:

  • 模型潜在客户/商机

  • 筛选项

    • 活动 未设置

    • 丢失原因 太贵了

  • 时间字段最后更新时间(潜在客户/商机)

  • 增量1

  • 增量单位

  • 回收模式自动

  • 回收操作删除

  • 包含已归档

潜在客户/商机的回收记录规则表单。

手动运行回收规则

要随时手动运行特定的回收规则,请导航至 数据清洗应用 ‣ 配置 ‣ 回收记录 ,然后选择要运行的规则。

然后,在规则表单上,点击左上角的 立即运行 按钮。执行此操作后, 记录 智能按钮将显示捕获的记录数量。

点击 记录 智能按钮以 管理这些记录

字段清洗

使用字段清洗功能以在整个数据库中保持名称、电话号码、ID 和其他字段的一致格式。

字段清洗记录 仪表板显示记录字段中数据的格式更改,以遵循字段清洗规则设定的约定。

通过导航至 数据清洗应用 ‣ 字段清洗 访问此仪表板。

数据清洗应用中的字段清洗记录仪表板。

清洗规则 侧边栏列出了每条活跃的清洗规则。

默认情况下,选择 全部 规则。记录按以下列列出:

  • 记录 ID :原始记录的 ID。

  • 记录名称 :原始记录的名称或标题。

  • 字段 :包含要格式化的值的原始记录字段。

  • 当前值 :原始记录字段中的当前值。

  • 建议值 :原始记录字段中的建议格式化值。

要清洗和格式化记录,请点击记录行上的 验证 按钮。

执行此操作后,记录将被格式化和/或清洗。

小技巧

通过点击 丢弃 按钮来丢弃记录。执行此操作后,记录将从列表中隐藏,并且未来不会再次被字段清洗规则检测到。

通过从 搜索栏 中选择 已丢弃 过滤器查看已丢弃的记录。

字段清洗规则

字段清洗规则 设置了字段被清洗和/或格式化的条件。

这些规则可以针对数据库中的每个模型进行配置,并具有不同的具体级别。要开始,请导航至 数据清洗应用 ‣ 配置 ‣ 字段清洗

小技巧

字段清洗规则默认每天运行一次,作为计划任务 cron 的一部分(数据清洗:清理记录 )。然而,每个规则都可以随时 手动运行

默认情况下,存在一条 联系人 规则用于格式化和清理 联系人 应用中的记录。选择 联系人 记录以进行编辑,或选择 新建 按钮创建新规则。

在字段清洗规则表单中,首先为此规则选择一个目标 模型 。选择模型后,规则标题将更新为目标模型。

接下来,在 规则 部分点击 添加一行 配置至少一条规则。

执行此操作后,将出现一个 创建规则 弹出窗口,其中包含以下需要配置的字段:

  • 从模型中选择一个 要清洗的字段 并将其分配给某个操作。

  • 选择以下 操作 选项之一:

    • 修剪空格 显示 修剪 字段,以选择 所有空格多余空格 选项。前导、尾随以及连续的空格被视为多余空格。

      Example

      联系人名称 Dr.  John   Doe 可以通过以下 修剪 选项进行格式化:

      • 所有空格DR.JohnDoe

      • 多余空格DR. John Doe

    • 设置大小写类型 显示 大小写 字段,以选择 首字母大写全部大写全部小写

      Example

      潜在客户/商机标题 lumber inc, Lorraine douglas 可以通过以下 大小写 选项进行格式化:

      • 首字母大写Lumber Inc, Lorraine Douglas

      • 全部大写LUMBER INC, LORRAINE DOUGLAS

      • 全部小写lumber inc, lorraine douglas

    • 格式化电话号码 将电话号码转换为国际国家格式。

      Example

      • 比利时:061928374 +32 61 92 83 74

      • 美国:800 555-0101 +1 800-555-0101

    • 清除 HTMLHTML(超文本标记语言) 转换为纯文本。

      Example

      HTML 文本
      <h1>John Doe</h1>
      <p>Lorem ipsum dolor sit <a href="https://example.com">amet</a>.</p>
      
      纯文本
      **John Doe** Lorem ipsum dolor sit amet [1] .[1] https://example.com
      

    选择字段和操作后,点击 保存 关闭 创建规则 弹出窗口。

然后,选择一个 清洗模式

  • 手动 :要求手动清洗每条检测到的字段,并启用 通知用户 字段。

  • 自动 :自动清洗字段且不通知用户。

完成规则配置后,可以选择关闭规则表单,或者 手动运行规则 以立即捕获需要清洗的字段。

手动运行字段清洗规则

要随时手动运行特定的字段清洗规则,请导航至 数据清洗应用 ‣ 配置 ‣ 字段清洗 ,然后选择要运行的规则。

然后,在规则表单上,点击左上角的 清洗 按钮。执行此操作后, 记录 智能按钮将显示捕获的记录数量。

点击 记录 智能按钮以 管理这些记录

合并操作管理器

合并操作管理器 用于启用或禁用数据库中模型在 操作 菜单中的 合并 功能。

启用 开发者模式 并导航至 数据清洗应用 ‣ 配置 ‣ 合并操作管理器

模型按以下列列出:

  • 模型 :模型的技术名称。

  • 模型描述 :模型的显示名称。

  • 类型 :模型是 基础对象 类型还是 自定义对象 类型。

  • 临时模型 :该模型处理不需要长期存储在数据库中的临时数据。

  • 可合并 :为模型启用 合并 操作。

要查看哪些模型默认已启用,请使用 搜索栏 过滤 可合并 的模型。