Esecuzione di test junit in parallelo in una build Maven?

Sto usando JUnit 4.4 e Maven e ho un gran numero di test di integrazione di lunga durata.

Quando si tratta di parallelizzare le suite di test, ci sono alcune soluzioni che mi consentono di eseguire ogni metodo di test in una singola classe di test in parallelo. Ma tutto ciò richiede che io modifichi i test in un modo o nell'altro.

Penso davvero che sarebbe una soluzione molto più pulita eseguire X diverse classi di test in X thread in parallelo. Ho centinaia di test quindi non mi interessa davvero creare thread di classi di test individuali.

C'è un modo per fare questo?

Usa il plugin Maven:

<build>
    <plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>2.7.1</version>
        <configuration>
            <parallel>classes</parallel>
            <threadCount>5</threadCount>
        </configuration>
    </plugin>
    </plugins>
</build>

Da junit 4.7 è ora possibile eseguire test in parallelo senza utilizzare TestNG. In realtà è stato possibile dalla 4.6, ma ci sono una serie di correzioni apportate nella 4.7 che lo renderanno un'opzione praticabile. Puoi anche eseguire test paralleli con la molla, di cui puoi leggere qui

Ispirato dal runner sperimentale ParallelComputer di JUnit, ho costruito i miei runner ParallelSuite e ParallelParameterized . Utilizzando questi runner è possibile parallelizzare facilmente suite di test e test parametrizzati.

ParallelSuite.java

public class ParallelSuite extends Suite {

    public ParallelSuite(Class<?> klass, RunnerBuilder builder) throws InitializationError {

        super(klass, builder);

        setScheduler(new RunnerScheduler() {

            private final ExecutorService service = Executors.newFixedThreadPool(4);

            public void schedule(Runnable childStatement) {
                service.submit(childStatement);
            }

            public void finished() {
                try {
                    service.shutdown();
                    service.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
                } catch (InterruptedException e) {
                    e.printStackTrace(System.err);
                }
            }
        });
    }
}

ParallelParameterized.java

public class ParallelParameterized extends Parameterized {

    public ParallelParameterized(Class<?> arg0) throws Throwable {

        super(arg0);

        setScheduler(new RunnerScheduler() {

            private final ExecutorService service = Executors.newFixedThreadPool(8);

            public void schedule(Runnable childStatement) {
                service.submit(childStatement);
            }

            public void finished() {
                try {
                    service.shutdown();
                    service.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
                } catch (InterruptedException e) {
                    e.printStackTrace(System.err);
                }
            }
        });
    }
}

L'utilizzo è semplice. Basta cambiare il valore delle annotazioni @RunWith in una di queste classi Parallel * .

@RunWith(ParallelSuite.class)
@SuiteClasses({ATest.class, BTest.class, CTest.class})
public class ABCSuite {}

tempus-fugit offre qualcosa di simile, controlla i documenti per i dettagli. Si basa su JUnit 4.7 e devi solo contrassegnare il tuo test con @RunWith(ConcurrentTestRunner).

Saluti

Puoi controllare la libreria open source - Test Load Balancer . Fa esattamente quello che chiedi: esegui diverse classi di test in parallelo. Questo si integra a livello di ant-junit in modo da non dover modificare comunque i test. Sono uno degli autori della biblioteca.

Inoltre, pensa a non eseguirli nei thread poiché potresti aver bisogno di una sandbox a livello di processo. Ad esempio, se stai colpendo un DB nei tuoi test di integrazione, non vuoi che un test fallisca perché un altro test ha aggiunto alcuni dati in un thread diverso. La maggior parte delle volte, i test non sono scritti con questo in mente.

Infine, come hai risolto questo problema fino ad ora?

TestNG può farlo (questo è stato il mio primo riflesso - poi ho visto che hai già molti casi di prova).

Per JUnit, guarda parallel-junit .

È possibile eseguire i test in parallelo utilizzando ParallelComputer fornito da Junit stesso. Ecco un piccolo snippet per iniziare.

Class[] cls = { TestCase1.class, TestCase2.class };
Result result = JUnitCore.runClasses(ParallelComputer.classes(), cls);
List<Failure> failures = result.getFailures();

Ciò aiuterà quando è necessario eseguire test dal codice poiché non ha dipendenze da Maven o da altri strumenti di gestione della build.

Tieni presente che questo eseguirà tutti i casi di test in parallelo, se hai delle dipendenze tra diversi casi di test potrebbe causare falsi positivi. NON DOVRESTE comunque avere test interdipendenti.

Un'altra scelta: Punner, un nuovo runner parallelo di junit e plug-in di maven. Non devi cambiare il tuo codice, copialo nel tuo pom.xml:

<!-- Disable default surefire based testing -->
<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-surefire-plugin</artifactId>
  <version>2.20</version>
  <configuration>
    <skip>true</skip>
  </configuration>
</plugin>

<plugin>
  <groupId>com.github.marks-yag</groupId>
  <artifactId>punner-maven-plugin</artifactId>
  <version>${version}</version>
  <configuration>
  </configuration>
  <executions>
    <execution>
      <id>test</id>
      <phase>test</phase>
      <goals>
        <goal>test</goal>
      </goals>
    </execution>
  </executions>
</plugin>

Punner può eseguire metodi di test in parallelo, può mantenere gli output dei test separati e puliti.

Punner ridurrà gli output della tua console mvn, in questo modo:

[INFO] --- punner-maven-plugin:0.9.13:test (test) @ ipc ---
[INFO] Punner report directory: /Users/guile/workspace/ipc/target/punner-reports
[INFO]
[INFO] com.github.yag.ipc.IPCTest.testConnectionHandler.............. PASSED
[INFO] com.github.yag.ipc.IPCTest.testSequence....................... PASSED
[INFO] com.github.yag.ipc.IPCTest.testPartialContent................. PASSED
[INFO] com.github.yag.ipc.IPCTest.testResponseContent................ PASSED
[INFO] com.github.yag.ipc.IPCTest.testPingPong....................... PASSED
[INFO] com.github.yag.ipc.IPCTest.testServerClose.................... PASSED
[INFO] com.github.yag.ipc.IPCTest.testServerSideHeartbeatTimeout..... PASSED
[INFO] com.github.yag.ipc.IPCTest.testClientSideHeartbeatTimeout..... PASSED
[INFO] com.github.yag.ipc.IPCTest.testClientSideHeartbeat............ PASSED
[INFO] com.github.yag.ipc.IPCTest.testClientReconnect................ PASSED
[INFO]
[INFO] Tests run: 10, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 10.952 sec, Time saved: 25.919 sec.

Punner produce output compatibili infallibili, puoi anche ottenere dati di log grezzi e un rapporto in formato markdown dalla directory dei rapporti:

➜  ipc git:(develop) ll target/punner-reports
total 104
-rw-r--r--   1 guile  staff    11K Oct 15 23:07 TEST-com.github.yag.ipc.IPCTest.xml
-rw-r--r--   1 guile  staff   298B Oct 15 23:07 com.github.yag.ipc.IPCTest.txt
drwxr-xr-x  12 guile  staff   384B Oct  8 00:50 logs
-rw-r--r--   1 guile  staff    33K Oct 15 23:07 report.md

Punner è il mio progetto personale, ho scritto Punner per accelerare la fase di test unitario di alcuni altri progetti come il framework IPC, il blocco a grana fine, il servizio di journal, il motore del flusso di lavoro distribuito, ecc. Mi ha risparmiato molto tempo di attesa.

Punner non supporta ancora alcune funzionalità avanzate. Sono molto contento che tu possa provarlo e darmi un feedback.

Puoi cambiare il tuo test in TestNg test in un minuto (devi solo cambiare le importazioni), TestNG è il migliore nei test paralleli.

Potresti provare Gridgain che ti consente di eseguire la distribuzione dei tuoi test su una griglia di calcolo.