Changeset af333e3


Ignore:
Timestamp:
Nov 25, 2020, 1:09:07 PM (10 months ago)
Author:
Thierry Delisle <tdelisle@…>
Branches:
arm-eh, jacob/cs343-translation, master, new-ast-unique-expr
Children:
cde1bf9
Parents:
6f1e695
Message:

Dropped support for raw/csv format in rmit script.
Json output is now formated as the programs run rather than at the end.
Extra options no longer need the -o prefix

File:
1 edited

Legend:

Unmodified
Added
Removed
  • benchmark/rmit.py

    r6f1e695 raf333e3  
    3838                self.vars = re.findall("[a-zA-Z]", value)
    3939
    40 def parse_option(opt):
    41         match = re.search("^(.*):(.*)$", opt)
    42         if not match :
    43                 print('ERROR: extra options should match pattern .*:.*, got {}'.format(opt), file=sys.stderr)
    44                 sys.exit(1)
    45 
    46         key    = match.group(1)
    47         values = match.group(2)
    48 
     40def parse_option(key, values):
    4941        try:
    5042                num = int(values)
     
    121113        parser = argparse.ArgumentParser(description='Python Script to implement R.M.I.T. testing : Randomized Multiple Interleaved Trials')
    122114        parser.add_argument('--list', help='List all the commands that would be run', action='store_true')
    123         parser.add_argument('--format', help='How to print the result', choices=formats, default='json')
    124115        parser.add_argument('--file', nargs='?', type=argparse.FileType('w'), default=sys.stdout)
    125         parser.add_argument('-t', '--trials', help='Number of trials to run per combinaison', type=int, default=3)
    126         parser.add_argument('-o','--option',action='append')
     116        parser.add_argument('--trials', help='Number of trials to run per combinaison', type=int, default=3)
    127117        parser.add_argument('command', metavar='command', type=str, nargs=1, help='the command prefix to run')
    128118        parser.add_argument('candidates', metavar='candidates', type=str, nargs='*', help='the candidate suffix to run')
    129119
    130120        try:
    131                 options =  parser.parse_args()
     121                options, unknown =  parser.parse_known_args()
     122
     123                options.option = []
     124                while unknown:
     125                        key = unknown.pop(0)
     126                        val = unknown.pop(0)
     127
     128                        if key[0] != '-':
     129                                raise ValueError
     130
     131                        options.option.append((key[1:], val))
     132
    132133        except:
    133134                print('ERROR: invalid arguments', file=sys.stderr)
     
    150151        # ================================================================================
    151152        # Identify the options to run
    152         opts = dict([parse_option(o) for o in options.option])
     153        opts = dict([parse_option(k, v) for k, v in options.option])
    153154
    154155        # Evaluate the options (options can depend on the value of other options)
     
    177178        # find expected time
    178179        time = actions_eta(actions)
    179         print("Running {} trials{}".format(len(actions), "" if time == 0 else " (expecting to take {}".format(str(datetime.timedelta(seconds=int(time)))) ))
     180        print("Running {} trials{}".format(len(actions), "" if time == 0 else " (expecting to take {})".format(str(datetime.timedelta(seconds=int(time)))) ))
    180181
    181182        random.shuffle(actions)
    182         result = []
    183183
    184184        # ================================================================================
    185185        # Run
     186        options.file.write("[")
     187        first = True
    186188        for i, a in enumerate(actions):
    187189                sa = " ".join(a)
    188                 print("{}/{} : {}          \r".format(i, len(actions), sa), end = '')
     190                if first:
     191                        first = False
     192                else:
     193                        options.file.write(",")
     194                if options.file != sys.stdout:
     195                        print("{}/{} : {}          \r".format(i, len(actions), sa), end = '')
    189196                fields = {}
    190197                with subprocess.Popen( a, stdout  = subprocess.PIPE, stderr  = subprocess.PIPE) as proc:
     
    199206                                        fields[match.group(1).strip()] = float(match.group(2).strip().replace(',',''))
    200207
    201                 result.append([a[0][2:], sa, fields])
    202 
    203         print("Done                                                                                ")
    204 
    205         # ================================================================================
    206         # Print raw
    207         if options.format == 'raw':
    208                 for r in result:
    209                         print(r, file=options.file)
    210                 sys.exit(0)
    211 
    212         # ================================================================================
    213         # Print json
    214         if options.format == 'json':
    215                 json.dump(result, options.file)
    216                 sys.exit(0)
    217 
    218         # ================================================================================
    219         # Print csv
    220         if options.format == 'csv':
    221                 # Clean result
    222                 headers = ["series", "command"]
    223                 data = []
    224                 first = True
    225                 for r in result:
    226                         if first:
    227                                 first = False
    228                                 headers.extend(r[2].keys())
    229                         else :
    230                                 pass
    231 
    232                         d = [r[0], r[1]]
    233                         for k in headers[2:]:
    234                                 try:
    235                                         d.append(r[2][k])
    236                                 except:
    237                                         d.append(0.0)
    238 
    239                         data.append(d)
    240 
    241                 # Print csv
    242                 print(",\t".join(headers), file=options.file)
    243                 for d in data:
    244                         print(",\t".join(["{}".format(dd) for dd in d]), file=options.file)
    245                 sys.exit(0)
     208                options.file.write(json.dumps([a[0][2:], sa, fields]))
     209                options.file.flush()
     210
     211        options.file.write("]\n")
     212
     213        if options.file != sys.stdout:
     214                print("Done                                                                                ")
Note: See TracChangeset for help on using the changeset viewer.