source: doc/theses/aaron_moss_PhD/phd/evaluation/mem-by-max-depth.tsv @ ab3a69c

aaron-thesisarm-ehcleanup-dtorsjacob/cs343-translationjenkins-sandboxnew-astnew-ast-unique-expr
Last change on this file since ab3a69c was 96bf5781, checked in by Aaron Moss <a3moss@…>, 3 years ago

thesis: start evaluating instance difficulty

  • Property mode set to 100644
File size: 11.5 KB
Line 
1i       test    algos completed avg. assns/decl avg. max expr. depth    max. expr depth bu-imm-bas      bu-imm-iti      bu-imm-per      co-imm-bas      co-imm-iti      co-imm-per      td-imm-bas      td-imm-iti      bu-def-bas      bu-def-iti      bu-def-per      co-def-bas      co-def-iti      co-def-per      td-def-bas      td-def-iti      bu-tec-bas      bu-tec-iti      bu-tec-per      co-tec-bas      co-tec-iti      co-tec-per      td-tec-bas      td-tec-iti
2110     debug-stdlib    24      0.003   0.39    3       5       17      5       7       54      7       201     629     5       7       5       6       31      6       11      17      5       7       5       6       31      6       11      17
3107     assert-stdlib   24      0.005   0.42    3       5       11      5       7       31      6       114     314     5       6       5       6       21      6       10      15      5       6       5       6       21      6       10      15
4111     fstream-stdlib  24      0.206   0.46    3       6       18      6       7       61      7       222     704     5       8       6       6       34      7       11      16      5       8       6       6       34      7       11      16
5108     common-stdlib   24      0.015   0.56    3       5       14      5       7       49      7       164     485     5       6       5       6       33      6       10      15      5       6       5       6       33      6       10      15
6114     iostream-stdlib 9       0.182   0.59    3       10      12      8                                               5       7       6                                               6       7       6                                       
743      identFuncDeclarator     24      0.006   0.59    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
8100     variableDeclarator      24      0.006   0.60    3       5       8       5       7       26      6       79      178     5       6       5       6       19      6       10      15      5       6       5       6       19      6       10      15
953      literals        18      0.380   0.61    3       51      44      17      112     148     86                      6       12      7       85      118     100                     6       12      7       84      117     99             
1020      designations    15      0.006   0.62    3       5       10      5                               103     261     4       6       5                               10      15      5       6       5                               10      15
1181      shortCircuit    18      0.374   0.70    3       23      28      12      41      58      34                      6       9       6       20      25      22                      5       9       6       20      25      22             
1246      ifwhileCtl      18      0.377   0.70    3       6       10      6       7       32      7                       6       6       6       6       22      6                       5       6       5       6       22      6               
1342      hello   18      0.381   0.72    3       6       10      6       7       32      7                       6       6       5       6       22      6                       5       6       5       6       22      6               
1487      switch  24      0.007   0.72    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
1565      numericConstants        24      0.007   0.74    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
1652      limits  24      0.006   0.80    3       5       9       5       7       26      7       79      178     5       6       5       6       19      6       10      15      5       6       5       6       19      6       10      15
1751      labelledExit    24      0.007   0.81    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
1817      ctor-autogen    24      0.023   0.84    3       5       11      5       12      41      12      148     340     5       6       5       9       26      9       10      15      5       6       5       9       26      9       10      15
195       attributes      24      0.006   0.84    3       5       9       5       6       29      6       94      231     4       6       5       6       20      6       10      15      5       6       5       6       20      6       10      15
20125     startup-stdlib  24      0.005   0.88    3       5       8       5       7       27      7       81      185     5       6       5       6       19      6       10      16      5       6       5       6       19      6       10      16
2119      declarationSpecifier    24      0.005   0.89    3       5       11      5       6       45      6       144     371     5       6       5       6       28      6       9       14      5       6       5       6       28      6       9       14
2229      fallthrough     24      0.007   0.91    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
2395      tuplePolymorphism       22      0.014   0.93    3       5       9       5       41      52      41      86      203     5               5       41      43      41      10      15      5               5       41      43      41      10      15
2428      extension       24      0.006   0.94    3       5       9       5       16      30      20      85      199     5       6       5       16      28      20      10      15      5       6       5       16      28      20      10      15
2537      gccExtensions   24      0.006   0.97    3       5       9       5       16      30      20      78      178     5       6       5       16      28      20      10      15      5       6       5       16      28      20      10      15
26105     with-statement  24      0.017   0.97    3       5       9       5       9       31      9       113     238     4       6       5       7       21      7       10      15      5       6       5       7       21      7       10      15
2782      simpleGenericTriple     24      0.021   0.98    3       5       9       5       17      29      20      122     252     4       6       5       17      27      20      10      15      5       6       5       17      27      20      10      15
2893      tupleFunction   15      0.006   0.98    3       5       9       5                               83      195     4       6       5                               10      15      5       6       5                               10      15
2968      polymorphism    21      0.021   0.99    3                       11      24      68      12      2545    5681    10              6       15      140     14      35      37      10      10      6       15      140     14      35      37
3032      forall  15      0.196   0.99    3       3439    6401    3257    3415            3253                    22      28      15                              501     590     21      28      15                              501     589
3136      functions       24      0.006   1.00    3       5       8       5       6       26      6       81      186     4       6       5       6       19      6       10      15      5       6       5       6       19      6       10      15
3277      result  24      0.072   1.01    3       6       10      6       15      36      15      134     256     5       6       5       10      23      10      10      15      5       6       5       10      23      10      10      15
3364      nested-types    24      0.015   1.01    3       5       9       5       9       31      9       114     238     4       6       4       7       21      7       10      15      5       6       4       7       21      7       10      15
343       array   24      0.007   1.01    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
35102     voidPtr 24      0.007   1.02    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
3626      enum    24      0.006   1.03    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
3712      cast    24      0.007   1.03    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
3898      typeof  24      0.007   1.03    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
3980      self-assignment 24      0.006   1.04    3       5       9       5       6       27      6       83      195     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
40115     iterator-stdlib 24      0.018   1.04    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
4111      castError       24      0.007   1.04    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
4227      expression      24      0.007   1.04    3       5       8       5       7       26      7       78      178     4       6       4       6       19      7       10      15      5       6       4       6       19      7       10      15
4392      tupleCast       24      0.007   1.05    3       5       8       5       6       26      6       78      178     4       6       5       6       19      6       10      15      5       6       5       6       19      6       10      15
4413      completeTypeError       24      0.008   1.05    3       5       8       5       6       26      6       80      183     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
4566      operators       24      0.006   1.06    3       5       8       5       6       26      6       81      186     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
4659      maybe   24      0.035   1.06    3       5       9       5       11      32      11      117     235     4       6       5       8       22      8       10      15      5       6       5       8       22      8       10      15
4745      identParamDeclarator    24      0.007   1.07    3       5       8       5       6       26      6       78      178     4       6       5       6       19      6       10      15      5       6       5       6       19      6       10      15
4897      typedefRedef    24      0.007   1.07    3       5       8       5       6       26      6       78      178     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
49117     limits-stdlib   21      0.005   1.07    3       5       9       5       7       27      7       84              5       6       5       6       20      6       16              5       6       5       6       20      6       16     
5050      KRfunctions     24      0.006   1.08    3       5       8       5       26      117     27      81      186     4       6       4       26      117     27      10      15      5       6       4       26      117     27      10      15
5116      counter 24      0.007   1.08    3       5       8       5       6       26      6       81      186     4       6       4       6       19      6       10      15      5       6       4       6       19      6       10      15
5260      memberCtors     24      0.006   1.09    3       5       9       5       6       29      6       88      211     4       6       4       6       20      6       10      15      5       6       4       6       20      6       10      15
53121     pair-stdlib     24      0.054   1.10    3       5       9       5       11      31      11      126     245     4       6       5       8       21      8       10      15      5       6       5       8       21      8       10      15
54118     maybe-stdlib    24      0.031   1.17    3       5       9       5       10      30      10      111     226     4       6       5       7       21      7       10      15      5       6       5       7       21      7       10      15
55124     result-stdlib   24      0.073   1.22    3       6       10      6       15      36      15      134     256     5       6       5       10      23      10      10      15      5       6       5       10      23      10      10      15
5688      sync    24      0.007   1.68    3       5       8       5       41      1191    44      78      178     5       6       5       41      1191    44      10      15      5       6       5       41      1191    44      10      15
5784      stdincludes     24      0.002   0.36    4       6       30      7       10      90      10      384     1324    6       10      7       10      53      10      13      18      6       10      7       10      53      10      13      18
5825      else    18      0.179   0.58    4       75      73      26      206     277     154                     8       16      10      166     233     196                     7       16      10      165     232     196             
59126     stdlib-stdlib   24      0.028   0.62    4       6       18      6       30      68      34      217     688     6       8       6       29      50      34      91      251     6       8       6       30      50      34      91      251
6073      random  18      0.259   0.67    4       25      29      13      52      74      45                      7       12      7       33      47      37                      6       11      7       32      47      36             
6123      dtor-early-exit 18      0.285   0.69    4       52      45      18      112     149     87                      7       13      8       86      119     101                     6       13      8       85      118     100             
626       avl_test        24      0.100   0.71    4       45      241     40      34      137     37      271     660     6       7       6       31      52      34      86      239     6       7       6       31      52      34      86      239
634       ato     18      0.289   0.76    4       29      32      14      300     395     207                     8       13      8       267     378     315                     7       12      8       266     376     314             
6496      tupleVariadic   24      0.047   0.76    4       5       14      6       33      59      33      169     504     5       7       5       33      47      33      86      239     5       7       5       33      47      33      86      239
6539      globals 18      0.360   0.81    4       51      44      17      112     149     86                      6       12      7       85      118     100                     6       12      7       84      117     100             
6676      references      24      0.006   0.99    4       5       9       5       26      38      26      86      204     5       6       5       26      32      26      10      15      5       6       5       26      32      26      10      15
6794      tupleMember     24      0.006   1.00    4       5       9       5       46      64      49      85      201     4       6       5       46      55      49      15      33      5       6       5       46      55      49      15      33
6838      genericUnion    24      0.018   1.04    4       5       9       5       9       29      9       107     218     4       6       5       7       20      7       10      15      5       6       5       7       20      7       10      15
69131     imgui   15      0.013   0.35    5       8       24      10                              1350    2715    8       12      10                              1337    2634    8       12      10                              1337    2634
70113     interpose-stdlib        24      0.002   0.37    5       6       25      6       7       83      7       333     1118    6       9       6       7       43      7       11      17      6       9       6       7       43      7       11      17
7122      div     7       0.287   0.64    5       10              8                                               9               7                                               9       11      7                                       
722       alloc   24      0.226   0.65    5       6       18      6       30      68      34      229     728     6       9       6       29      52      34      91      250     6       9       6       30      52      34      91      250
7335      function-operator       22      0.300   0.69    5       35      43      18      88      125     78                      8       16      9       85      120     99      4258    5854    8       17      9       85      119     99      4258    6045
7433      forctrl 9       0.369   0.73    5       1543    895     274                                             14      74      15                                              13      73      14                                     
7574      rational        9       0.432   0.74    5                               250     282     154                                                                                     60      26      13      109     158     70             
7686      swap    9       0.286   0.77    5       1577    912     280                                             15      80      17                                              13      79      16                                     
7799      user_literals   18      0.347   0.77    5       51      44      17      112     149     86                      6       12      7       85      119     100                     6       12      7       84      118     100             
78123     rational-stdlib 17      0.340   0.78    5       32              17      97      150     87                      8       14      9       68      147     76                      8       14      9       68      147     76             
7944      identity        18      0.382   0.81    5       58      49      19      125     155     87                      7       14      8       86      124     101                     6       13      8       85      123     101             
8047      init_once       24      0.006   0.82    5       5       9       5       7       28      7       90      212     5       6       5       6       20      6       10      15      5       6       5       6       20      6       10      15
81130     glm     23      0.206   1.43    5       14      23      14      25      55      26      3197            16      23      13      21      43      23      38      36      14      20      13      21      43      23      34      33
8231      fmtLines        18      0.185   0.55    6       11      23      8       15      79      14                      6       9       6       9       43      10                      6       9       6       9       43      10             
8378      runningTotal    18      0.185   0.55    6       358     319     102     3349    4563    2516                    9       34      11      2126    2999    2524                    8       33      10      2126    2999    2524           
8430      fibonacci       18      0.185   0.55    6       358     319     102     3349    4563    2516                    9       34      11      2126    2999    2524                    8       33      10      2126    2999    2524           
8567      pingpong        18      0.184   0.55    6       7       23      7       12      79      12                      6       9       6       9       43      9                       6       9       6       9       43      9               
8658      matrixSum       18      0.168   0.62    6       26      31      14      52      124     46                      7       12      8       35      84      37                      7       12      8       33      84      37             
8770      prodcons        15      0.170   0.62    6       93      69      26      7601            5047                    9       18      10      6389            7718                    7       18      10      6389            7718           
8824      dtor    18      0.168   0.62    6       8       31      8       35      124     35                      7       11      7       33      84      33                      7       11      7       33      84      35             
8962      monitor 18      0.168   0.62    6       26      32      14      52      125     47                      7       12      8       33      85      37                      7       12      8       33      85      37             
9063      multi-monitor   9       0.168   0.63    6       881     615     192                                             13      58      15                                              12      58      15                                     
9189      thread  18      0.168   0.63    6       53      46      19      117     156     88                      8       14      9       87      124     102                     7       14      9       86      123     102             
9210      boundedBufferINT        18      0.162   0.63    6       53      47      19      114     156     88                      8       14      9       87      120     102                     8       14      9       86      119     102             
939       boundedBufferEXT        18      0.161   0.63    6       53      47      19      114     156     88                      8       14      9       87      120     102                     7       14      9       86      119     102             
94104     when    18      0.166   0.64    6       53      46      19      113     152     88                      8       14      9       87      121     102                     7       14      9       86      121     102             
9575      recurse 18      0.166   0.64    6       25      31      14      43      125     36                      7       12      8       33      85      35                      7       11      8       33      85      35             
9671      quickSort       18      0.166   0.64    6       12      30      9       96      996     102                     9       12      8       96      996     102                     7       12      8       96      996     102             
977       barge   18      0.166   0.64    6       26      31      14      52      127     47                      7       12      8       33      86      38                      7       12      8       33      86      37             
98122     preemption-stdlib       18      0.021   0.66    6       8       40      8       37      165     39                      7       13      8       37      111     38                      7       13      8       37      111     38             
9983      statement       9       0.166   0.67    6       143     87      32                                              11      21      11                                              8       20      11                                     
10072      quoted_keyword  18      0.364   0.68    6       24      29      12      52      83      45                      6       11      6       32      53      36                      6       11      6       32      53      36             
1011       abs     9       0.290   0.68    6       181     111     37                                              10      24      11                                              8       22      10                                     
10241      heap    24      0.031   0.70    6       7       30      7       35      120     35      407     1322    6       11      7       33      81      33      92      252     6       11      7       33      81      35      92      252
103116     kernel-stdlib   9       0.020   0.70    6       8       45      9                                               8       15      8                                               8       15      8                                       
10415      coroutineYield  18      0.150   0.76    6       8       32      8       36      130     36                      8       13      8       33      88      35                      7       13      8       33      88      35             
105103     wait    18      0.146   0.78    6       8       32      8       36      135     36                      8       13      8       33      91      35                      7       13      8       33      91      35             
10621      disjoint        18      0.147   0.78    6       53      47      20      114     156     88                      8       14      9       87      120     102                     8       14      9       87      120     102             
10779      searchsort      9       0.286   0.79    6       1897    1103    362                                             15      54      19                                              15      53      18                                     
10869      preempt 18      0.028   0.79    6       7       30      7       38      125     35                      6       12      7       33      84      35                      7       12      7       33      84      35             
109127     thread-stdlib   18      0.028   0.81    6       7       32      7       35      131     35                      6       12      7       33      88      35                      6       13      7       33      88      35             
110109     coroutine-stdlib        18      0.026   0.81    6       7       32      7       38      131     35                      7       13      7       33      89      35                      7       13      7       33      89      35             
111129     vector-stdlib   24      0.095   0.82    6       6       15      6       37      69      39      227     573     55      52      18      150     103     43      86      240     55      52      18      150     103     43      86      240
112106     alarm-stdlib    18      0.027   0.84    6       7       32      7       35      130     36                      6       12      7       33      88      35                      6       12      7       33      88      35             
113128     time-stdlib     9       0.233   0.87    6       53      44      20                                              7       12      9                                               6       12      9                                       
114120     mutex-stdlib    18      0.032   0.93    6       8       33      8       37      136     39                      7       13      7       34      92      35                      7       13      7       34      92      35             
115119     monitor-stdlib  18      0.028   1.02    6       8       31      8       35      130     38                      7       12      8       33      88      35                      7       12      8       33      88      35             
11657      math4   9       0.256   1.33    6       1273    641     197                                             15      61      15                                              12      59      15                                     
11714      complex 9       0.273   0.45    7       280     126     42                                              12      26      11                                              7       24      11                                     
11818      datingService   22      0.155   0.63    7       7       31      7       36      126     38                      7       11      7       33      85      35      92      252     7       11      7       33      85      35      92      252
119112     heap-stdlib     15      0.025   0.65    7       7       41      7                               315     937     7       13      7                               91      251     7       14      7                               91      251
12061      minmax  9       0.289   0.77    7       1285    649     198                                             17      61      15                                              12      58      15                                     
1218       block   18      0.147   0.79    7       13      32      9       94      133     56                      10      13      9       70      100     80                      8       13      9       69      98      80             
122101     vector  16      0.406   1.08    7       154     55      21      2714    2909    1309                    12      19      10      6539            7717                    7       15      9       6538            7717           
12356      math3   9       0.257   1.29    8       4559    1570    465                                             27      130     25                                              21      127     24                                     
12455      math2   9       0.257   1.32    8       4559    1571    465                                             28      131     25                                              21      128     24                                     
12585      sum     9       0.288   0.76    9       358             98                      7440                    335     113     29                                              10      30      12                                     
12690      time    9       0.290   1.08    9       880     612     191                                             19      56      14                                              11      56      14                                     
12740      gmp     9       0.256   1.25    9       240     93      32                                              13      24      11                                              8       22      11                                     
12854      math1   8       0.256   1.29    10              2371    690                                             47      193     36                                              29      186     35                                     
12934      fstream_test    9       0.381   0.75    11      1154    814     194                                             39      50      13                                              10      50      11                                     
13091      tupleAssign     9       0.377   0.90    12      1620    458     136                                             42      56      16                                              11      49      14                                     
13148      io1     3       0.381   1.09    24                                                                                                                                      26      187     44                                     
13249      io2     6       0.376   1.39    34                                                                      104     520     79                                              70      516     78                                     
Note: See TracBrowser for help on using the repository browser.