weka.classifiers.rules

weka.classifiers.rules
  ConjunctiveRule, 連言規則
        適用於類別/數值預測
        利用單條連言(and)規則作預測
          若規則未涵蓋新案例,傳回過去案例之類別分佈或平均值
        規則前件成長法:依條件加入前後之資訊增量為指標,留大者
          分類之資訊量為規則涵蓋及未涵蓋案例資訊量之加權平均值
          迴歸之資訊量為規則涵蓋及未涵蓋案例均方差之加權平均值
        規則前件修剪法:
          若長前修剪策略,限定其前件許可之條件數;
          若長後修剪策略,使用縮減錯誤修剪法
            分類之指標為修剪集中,涵蓋與否案例正確率之加權平均值,變大則修剪
            迴歸之指標為修剪集中,涵蓋與否案例均方差之加權平均值,變小則修剪
        參數:
          exclusive: [false] 名目屬性分叉時考慮排他測試條件,例如,某屬性不為某屬性值
          folds: [3] 訓練集分割組數,其中1組保留作縮減錯誤修剪,其餘供長規則用
          minNo: [2.0] 規則最少案例權重數
          numAntds: [-1] 若>=0,表採用長前修剪策略,其許可前件之條件數;
                        若-1,表採用長後修剪策略,使用縮減錯誤修剪法

  DecisionTable, 決策表
        適用於類別/數值預測
        利用最佳優先搜尋法,以交叉驗證錯誤率為指標,找出最佳屬性子集合
        預測時遇決策表未涵蓋新案例,使用k最近鄰居法,或多數決法
        參數:
          crossVal: [1] 交叉驗證切割組數,1表只保留一測試案例,餘供訓練
          maxStale: [5] 放棄搜尋前,能忍受指標無進步之試走步數
          useIBk: [false] 遇未涵蓋新案例,使用k最近鄰居法,否則使用多數決法
        kohavi-ecml-95-the power of decision tables

  JRip,
        適用於類別預測
        實作ripper分裂演算法,具啟發式規則集全域優化功能
          依案例由少到多類別順序,逐一產生各類別規則集,如下
            1.類別C規則集建造階段
              1.1.以2:1比例分割案例集為新成長集及修剪集
              1.2.重複以下前件成長,修剪動作,直到以下任一條件滿足
                a.類別C案例無前件未涵蓋案例剩下
                b.規則集及未涵蓋案例之描述長度
                  比目前為止最小描述長度,還長超過64位元
                c.錯誤率超過0.5
              1.2.1.前件成長期
                    依資訊增量指標,貪婪(局部最佳)添一前件條件,直到正確率100%
                    條件測試形式為"若某屬性為某屬性值"
                    資訊增量=p(log(p/(p+n))-log(P/(P+N)))
              1.2.2.前件修剪期
                    由後往前逐一試修剪規則前件最後一個條件
                    只要修剪後規則價值有提昇,就繼續修剪
                    規則價值=(p+1)/(p+n+2)
            2.類別C規則集優化階段
              2.1.逐一檢視各規則R
              2.1.1.重新2:1分割案例集為新成長集及修剪集
              2.1.2.剔除修剪集已由其他規則涵蓋(前件符合)之案例
              2.1.3.利用成長集案例
                    貪婪添一前件條件,長出新規則R1
                    從無到有產生一條新規則R2
              2.1.4.利用修剪集案例,修剪R1,R2
                    但規則價值=(p+N-n)/(P+N)
              2.1.5.就R,R1,R2三者,挑選描述長度最短者留下,餘刪除
              2.2.優化後若還有未涵蓋案例,回到1.
              2.3.逐一檢視各規則,若加入會增加規則集描述長度,則刪除之
                  自案例集移除由規則集涵蓋之案例
            註:p,n為規則涵蓋之正反案例數;P,N為類別C之正反案例數
        參數:
          checkErrorRate: [true] 利用錯誤率>=0.5作為終止條件
          folds: [3] 訓練集分割組數,其中1組保留作縮減錯誤修剪,其餘供長規則用
          minNo: [2.0] 每條規則最少案例數
          optimizations: [2] 規則集全域優化次數
          usePruning: [true] 縮減錯誤修剪
        cohen-icml-95-fast effective rule induction

  M5Rules
        適用於數值預測
        利用M5P線性模型樹,產生決策清單
        參數:
          buildRegressionTree: [false] 建迴歸樹,否則只有樹根長葉節點模型
          minNumInstances: [4.0] 各葉節點最少案例數
          unpruned: [false] 不修剪
          useUnsmoothed: [false] 預測數值時不平滑化處理
        hall-ajcai-99-generating rule sets from model trees

  Nnge, Nearest Neighbor GEneralization 最佳鄰居一般化
        適用於類別預測
        仿最近鄰居演算法,利用不相互包含之一般化範例(超矩形規則)作預測
        參數:
          numAttemptsOfGeneOption: [5] 一般化嚐試次數
          numFoldersMIOption: [5] 計算相似資訊量之組數
        roy-ucnz-02-nearest neighbor with generalization
        martin-uwnz-95-instance-based learning- nearest neighbor with generalization

  OneR, One Rule 單規則
        適用於類別預測
        只測試單屬性及值,挑選錯誤最小者,形成單規則
        遇數值屬性會自動分割區間離散化,每區間多數類別案例至少minBucketSize個
        holte--93-very simple classification rules perform well on most commonly used datasets". Machine Learning, Vol. 11, pp. 63-91.

  Part, 零件
        適用於類別預測
        利用移開再征服(separate and conquer)策略,產生決策清單
        每回利用c4.5產生部份決策樹,挑最好葉節點轉成規則
        參數:
          binarySplits: [false] 名目屬性作二元分叉
          confidenceFactor: [0.25] 估錯誤率上限之信心水準,愈小修剪愈多
          minNumObj: [2] 規則最少案例數
          numFolds: [3] 訓練集分割組數,其中1組保留作縮減錯誤修剪,其餘供長樹用
          reducedErrorPruning: [false]  縮減誤差修剪法,否則沿用c4.5修剪法
          unpruned: [true] 樹不修剪
        frank-icml-98-generating accurate rule sets without global optimization

  Prism, 稜鏡
        適用於類別預測,名目屬性,無缺值
        不修剪
        cendrowska-ijmms-87-prism- an algorithm for inducing modular rules

  Ridor, RIpple DOwn Rule 漣漪下移規則
        適用於類別預測
        能產生含例外之規則集
        先產生預設規則,再利用累進縮減錯誤修剪,產生錯誤率最低之最佳例外規則集.
          再就每一例外規則產生最佳例外規則集,迭代直到案例變純剩單類別無例外為止.
        參數:
          folds: [3] 訓練集分割組數,其中1組保留作縮減錯誤修剪,其餘供長樹用
          majorityClass: [false] 多數類別為預設值
          minNo: [2.0] 規則最案例權重數
          shuffle: [1] 每條規則產生前所需案例洗牌次數,若>1,將留下其中最準確者
          wholeDataErr: [false] 依全部案例計算規則價值,否則依前件涵蓋案例計算

  ZeroR, Zero Rule 零規則
        適用於類別/數值預測
        以案例集之眾數類別/平均值,預測類別/數值.