Real-time Multi-lingual Classification and Sentiment Analysis of Text

技术

分析与建模 - 大数据分析
分析与建模 - 自然语言处理 (NLP)

适用行业

电信

适用功能

商业运营

服务

数据科学服务

挑战

客户是一家大型电信公司，提供全国性电信服务，需要一套能够对文本数据进行实时、多语言分类和情绪分析的系统。他们正在寻找一种解决方案，能够以极高的吞吐量存储、索引和查询 PB 级数据。关键要求包括能够提取和解析大量数据 [250M (15 TB) 条记录/天]，这些记录类型各异，例如网络日志、电子邮件、聊天和文件。他们还需要以极高的准确率（四个九）应用实时多语言分类和情绪分析，存储元数据和原始二进制数据以供查询，并满足冷数据 5 秒的查询 SLA。

关于客户

本案例研究中的客户是一家提供全国性电信服务的大型电信公司。他们需要一个可以对文本数据进行实时、多语言分类和情绪分析的系统。该公司处理大量不同类型的数据，例如网络日志、电子邮件、聊天和文件。他们需要一个解决方案，可以提取和解析这些数据，以非常高的准确度应用实时多语言分类和情绪分析，存储元数据和原始二进制数据以供查询，并满足冷数据 5 秒的查询 SLA。

解决方案

Impetus 提供的解决方案由三个模块组成。分析模块负责执行文本分类和情感分析。它实现了基于矩阵分解的文本分类算法。传入的测试文档必须经过一系列预处理和数值计算。Impetus 设计了分类器以实现极低的延迟。事件存储/索引器抽象层负责根据配置存储和索引信息。发布模块负责将分析结果或事件数据发布到外部系统。

运营影响

Rapid and accurate real-time text categorization and sentiment analysis
Adjustable text categorization for domain-specific classes
Multi-lingual support

数量效益

Ingest and parse high volume of data [250M (15 TB) records/day]
Achieved very high accuracy (four nines) in real-time multi-lingual classification and sentiment analysis
Met Query SLA of 5s on cold data