Ignore:
File:
1 edited

Legend:

Unmodified
Added
Removed
  • tests/test.py

    ra2f2fda r21c3ea1  
    2424
    2525        def match_test(path):
    26                 match = re.search("^%s\/([\w\/\-_]*).expect\/([\w\-_]+)(\.nast|\.oast)?(\.[\w\-_]+)?\.txt$" % settings.SRCDIR, path)
     26                match = re.search("^%s\/([\w\/\-_]*).expect\/([\w\-_]+)(\.[\w\-_]+)?\.txt$" % settings.SRCDIR, path)
    2727                if match :
    2828                        test = Test()
    2929                        test.name = match.group(2)
    3030                        test.path = match.group(1)
    31                         test.arch = match.group(4)[1:] if match.group(4) else None
    32 
    33                         astv = match.group(3)[1:] if match.group(3) else None
    34                         if astv == 'oast':
    35                                 test.astv = 'old'
    36                         elif astv == 'nast':
    37                                 test.astv = 'new'
    38                         elif astv:
    39                                 print('ERROR: "%s", expect file has astv but it is not "nast" or "oast"' % testname, file=sys.stderr)
    40                                 sys.exit(1)
    41 
     31                        test.arch = match.group(3)[1:] if match.group(3) else None
    4232                        expected.append(test)
    4333
     
    7666        if options.regenerate_expected :
    7767                for testname in options.tests :
    78                         testname = os.path.normpath( os.path.join(settings.SRCDIR, testname) )
    79 
     68                        testname = canonical_path( testname )
    8069                        # first check if this is a valid name to regenerate
    8170                        if Test.valid_name(testname):
    8271                                # this is a valid name, let's check if it already exists
    8372                                found = [test for test in all_tests if canonical_path( test.target() ) == testname]
    84                                 setup = itertools.product(settings.all_arch if options.arch else [None], settings.all_ast if options.ast else [None])
    8573                                if not found:
    86                                         # it's a new name, create it according to the name and specified architecture/ast version
    87                                         tests.extend( [Test.new_target(testname, arch, ast) for arch, ast in setup] )
     74                                        # it's a new name, create it according to the name and specified architecture
     75                                        if options.arch:
     76                                                # user specified one or multiple architectures, assume the tests will have architecture specific results
     77                                                tests.extend( [Test.new_target(testname, arch) for arch in settings.all_arch] )
     78                                        else:
     79                                                # user didn't specify an architecture, just create a cross platform test
     80                                                tests.append( Test.new_target( testname, None ) )
    8881                                elif len(found) == 1 and not found[0].arch:
    8982                                        # we found a single test, the user better be wanting to create a cross platform test
    9083                                        if options.arch:
    9184                                                print('ERROR: "%s", test has no specified architecture but --arch was specified, ignoring it' % testname, file=sys.stderr)
    92                                         elif options.ast:
    93                                                 print('ERROR: "%s", test has no specified ast version but --ast was specified, ignoring it' % testname, file=sys.stderr)
    9485                                        else:
    9586                                                tests.append( found[0] )
    9687                                else:
    9788                                        # this test is already cross platform, just add a test for each platform the user asked
    98                                         tests.extend( [Test.new_target(testname, arch, ast) for arch, ast in setup] )
     89                                        tests.extend( [Test.new_target(testname, arch) for arch in settings.all_arch] )
    9990
    10091                                        # print a warning if it users didn't ask for a specific architecture
    10192                                        if not options.arch:
    10293                                                print('WARNING: "%s", test has architecture specific expected files but --arch was not specified, regenerating only for current host' % testname, file=sys.stderr)
    103 
    104 
    105                                         # print a warning if it users didn't ask for a specific ast version
    106                                         if not options.ast:
    107                                                 print('WARNING: "%s", test has ast version specific expected files but --ast was not specified, regenerating only for current ast' % testname, file=sys.stderr)
    10894
    10995                        else :
     
    126112        # create a parser with the arguments for the tests script
    127113        parser = argparse.ArgumentParser(description='Script which runs cforall tests')
    128         parser.add_argument('--ast', help='Test for specific ast', type=comma_separated(str), default=None)
    129         parser.add_argument('--arch', help='Test for specific architecture', type=comma_separated(str), default=None)
    130114        parser.add_argument('--debug', help='Run all tests in debug or release', type=comma_separated(yes_no), default='yes')
    131115        parser.add_argument('--install', help='Run all tests based on installed binaries or tree binaries', type=comma_separated(yes_no), default='no')
     116        parser.add_argument('--arch', help='Test for specific architecture', type=comma_separated(str), default=None)
    132117        parser.add_argument('--continue', help='When multiple specifications are passed (debug/install/arch), sets whether or not to continue if the last specification failed', type=yes_no, default='yes', dest='continue_')
    133118        parser.add_argument('--timeout', help='Maximum duration in seconds after a single test is considered to have timed out', type=int, default=120)
     
    266251        except KeyboardInterrupt:
    267252                return False, ""
    268         # except Exception as ex:
    269         #       print("Unexpected error in worker thread running {}: {}".format(t.target(), ex), file=sys.stderr)
    270         #       sys.stderr.flush()
    271         #       return False, ""
     253        except Exception as ex:
     254                print("Unexpected error in worker thread running {}: {}".format(t.target(), ex), file=sys.stderr)
     255                sys.stderr.flush()
     256                return False, ""
    272257
    273258
     
    377362                # for each build configurations, run the test
    378363                with Timed() as total_dur:
    379                         for ast, arch, debug, install in itertools.product(settings.all_ast, settings.all_arch, settings.all_debug, settings.all_install):
    380                                 settings.ast     = ast
     364                        for arch, debug, install in itertools.product(settings.all_arch, settings.all_debug, settings.all_install):
    381365                                settings.arch    = arch
    382366                                settings.debug   = debug
     
    385369                                # filter out the tests for a different architecture
    386370                                # tests are the same across debug/install
    387                                 local_tests = settings.ast.filter( tests )
    388                                 local_tests = settings.arch.filter( local_tests )
     371                                local_tests = settings.arch.filter( tests )
    389372                                options.jobs, forceJobs = job_count( options, local_tests )
    390373                                settings.update_make_cmd(forceJobs, options.jobs)
     
    394377
    395378                                # print configuration
    396                                 print('%s %i tests on %i cores (%s:%s - %s)' % (
     379                                print('%s %i tests on %i cores (%s:%s)' % (
    397380                                        'Regenerating' if settings.generating else 'Running',
    398381                                        len(local_tests),
    399382                                        options.jobs,
    400                                         settings.ast.string,
    401383                                        settings.arch.string,
    402384                                        settings.debug.string
    403385                                ))
    404                                 if not local_tests :
    405                                         print('WARNING: No tests for this configuration')
    406                                         continue
    407386
    408387                                # otherwise run all tests and make sure to return the correct error code
Note: See TracChangeset for help on using the changeset viewer.