一种基于数据立方体的数据泛化算法(2)

表1   CityLocation 记录城市所在地

表2   LaborIncome  记录城市人员的收入

表3  记录犯罪率与教育程度

 

我们有一个初始概念层次US_LOCATION：

     CLASSIFY  CITYDATA

     ACCORDING TO UNEMPLOYMENT_RATE

     IN RELEVANCE TO US_LOCATION，FAMILY_INCOME，POVERTY_PCT，

     CRIME_RATE，BACHELOR_PCT

     FROM  LABORINCOME，CRIMEEDUCATION

注意到该发现任务中的维US_LOCATION对应着几个有层次关系的数据库属性：area-name→county→state→region→big region→country，这些属性在概念层次Us location中都对应着相应的层次。每一维的阈值为5。

      根据算法，我们首先作初始化，对family income，poverty pct，crime_rate，bachelor_pct由于它们是数值型的属性，所以概念层次可以自动提取出来，下面便是自动提取出来的概念层次：

运行算法二、三、四步，得到六维的基本立方体和泛化立方体，为方便起见本文给出其中三维的立方体图。

 

 

最后的泛化结果放在了表4。注意到cityid的属性已被移去。

表4 最后的泛化结果

      数据泛化在线分类研究中占有重要地位，它是在线分类规则挖掘算法的基础。在线分类任务的一个重要特征就是数据量庞大，且数据中含有一定量的异常信息，这样的数据是不适合直接分类的。通过数据泛化，可以将数据整理、清洁，为分类提供较好的数据环境。另外数据泛化采用了概念层次技术，可以发现高层的分类规则，从而使分类结果更易理解。

本文结合基本的面向属性归纳技术，提出了一种数据立方体的数据泛化算法，给在线分类提供了较好的数据预处理技术。

 

[1]        Han J, Fu Y. Exploration of the power of attribute-oriented induction in data mining. In: Fayyad U M et al eds. Advances in Knowledge Discover and Data Mining. Cambridge: AAAI/MIT Press, 1996. 399～421

[2]        J. Han, Y. Cai, and N. Cercone. Knowledge discovery in databases: An attribute_Oriented approach. In Proc. 18th Int. Conf. Very Large Data Bases, pages 547--559, Vancouver, Canada, August 1992.

[3]        Cheung D W, Fu A W C, Han J. Knowledge discovery in databases: a rule based attribute oriented approach. In: Zbigniew R ed. Methodologies for Intelligent systems: 8th International Symposium. Berlin: Springer-Verlag, 1994. 164～173

[4]        Han, J., Chiang, J., Chee, S., Chen, J., Chen, Q., Cheng, S., Gong, W., Kamber, M., Liu, G., Koperski, K., Lu, Y., Stefanovic, N., Winstone, L., Xia, B., Zaiane, O. R., Zhang, S. & Zhu, H. (1997), DBMiner: A system for data mining in relational databases and data warehouses, in `Proc. CASCON'97: Meeting of Minds', Toronto, Canada, pp. 249--260.