NWO institutes praised for quality, innovation and national role

The nine NWO institutes have been evaluated by panels of independent, international experts. The experts praise the innovative research, the global position and the national role of the institutes. The scientific quality, societal relevance and future viability were in all cases assessed as ‘very good’ or even ‘world leading’. SRON scored ‘world leading’ for the criteria scientific quality and societal relevance.

(Dutch version below English)

Every six years, the NWO institutes are evaluated by a panel of independent international experts, according to the Standard Evaluation Protocol (SEP). In the past six months, the nine NWO institutes were visited by panels of international experts and evaluated according to three criteria: scientific quality, societal relevance and future viability. The evaluation committees graded these criteria on a four-point scale: excellent/world-leading, very good, good, and unsatisfactory. Of the 27 assessments, 19 were ‘world leading’ and 8 were ‘very good’.

An international reputation beyond that which may be expected

The evaluation committee was very impressed by how SRON deploys the combination of science, engineering, and technology development to push back the boundaries of scientific research in space. Amongst other things, the committee concluded that the strong international reputation of SRON – as ‘excellent in space research’ – is far beyond that which may be expected from an institute in a small country such as the Netherlands.

Furthermore, the committee concluded that the technology development of SRON is amongst the best in the world. Consequently, the institute has a unique position among the space laboratories in Europe and even worldwide.

For the criterion future viability, SRON scored ‘very good’. SRON’s basic funding, strong position, and outstanding reputation will ensure that it can continue to play a leading role in groundbreaking space missions, and that it will be able to keep reaping the scientific results thereof. However, the evaluation committee did express some concern about the decreasing basic funding for the institute. This could put the impact and capabilities of the organization under pressure. The same applies to the number of leading roles that the institute can fulfill in international missions.



The first missions to study conditions for life on earth-like planets

“I’m extremely pleased with the evaluation committee’s assessment,” says scientific director and general director Rens Waters. “For the first time in the history of international space research, missions are being planned that will study favorable conditions for the evolution of life on earth-like planets around other stars, that will search for the first black holes and galaxies in the universe, and that will measure gravitational waves that arise when supermassive black holes merge. The strong position of SRON, which was confirmed by the evaluation committee, will contribute to the Netherlands having a leading role in this groundbreaking research in the years to come as well.”

Response NWO executive board

NWO president Prof. Stan Gielen: ‘The evaluations reveal a considerable appreciation for the innovative research, the national (facilitating) role of the institutes, and the global position within the scientific field. The NWO executive board was delighted to receive the evaluation reports and is very pleased with the outcome.’

‘NWO sees the institutes as an important strategic instrument for the long-term support of specific disciplines with respect to their long-term missions and for maintaining and developing a vital research infrastructure at a high level. The institutes will therefore play an important role during the implementation of the new strategic plan that NWO will submit to the Minister of Education, Culture and Science this spring.’

Recommendations

The various SEP panels state that the recommendations from the previous evaluations had been fully acted upon by each of the institutes and they encouraged the institutes to continue to give their full attention to further recommendations. Three recommendations come back to several – but not all – institutes. For example, several panels advise to make more use of other sources of funding outside of the standard granting bodies such as NWO and the EU. A second ongoing recommendation is the further strengthening of the national role and international position through the development and provision of research facilities, the expansion of the platform role, scientific renewal, consolidating strengths, and collaborating with universities and within the top sectors, the Dutch National Research Agenda and the EU. The panels also encourage the institutes to further develop their societal relevance and to increase the economic and societal values of their research results.

No decisions yet

The NWO executive board has not yet taken any strategic or financial decisions based on these evaluations but is instead waiting for the conclusions of the portfolio evaluation at the end of 2018. This is a joint, periodic evaluation of the system of research institutes of NWO and KNAW at the request of the Dutch government (Vision for Science 2025, choices for the future). The portfolio evaluation will focus on the national and international role and added value of the institutes system and the institutes within the entire Dutch knowledge landscape, whereas the SEP evaluation concerns the quality of each individual institute. The SEP evaluation of the KNAW institutes will take place this spring.

In anticipation of the portfolio evaluation, NWO also asked the SEP evaluation committees to provide an assessment about the added value of the institutes at the national and international levels. From all of the reports, it is apparent that the institutes each play an important role in (co-)determining the agenda in their sector, and they are, without a doubt, regarded as the expertise centres in the Netherlands within their respective disciplines or research area. The institutes are also active players in their relevant international setting.

About SEP

The Standard Evaluation Protocol was drawn up by NWO, KNAW, and the Dutch universities and provides guidelines for evaluating research and research policy. The evaluations have been realised on the basis of a self-evaluation report from the institute, a preparatory phase of the evaluation committee and a site visit over a period of several days. Unlike in the previous SEP evaluation, productivity is no longer an independent criterion in response to the criticism that the pressure to publish has gone too far in many disciplines.

Ruimteonderzoek SRON ‘excellent’

NWO-instituten gewaardeerd om kwaliteit, vernieuwing en nationale rol

De negen NWO-instituten zijn beoordeeld door panels van onafhankelijke, internationale experts. Zij waarderen het vernieuwende onderzoek, de mondiale positie en de nationale, rol van de instituten. De wetenschappelijk kwaliteit, maatschappelijke relevantie en toekomstbestendigheid zijn in alle gevallen beoordeeld als ‘zeer goed’ of zelfs ‘world leading’. SRON scoorde ‘world leading’ op zowel het criterium wetenschappelijke kwaliteit als maatschappelijke relevantie.

Iedere zes jaar worden de NWO-instituten beoordeeld door een panel van onafhankelijke internationale experts, volgens het zogeheten Standaard Evaluation Protocol (SEP). Het afgelopen half jaar zijn de negen NWO-instituten door panels van internationale experts bezocht en beoordeeld op drie criteria: wetenschappelijke kwaliteit, maatschappelijke relevantie en toekomstbestendigheid. De evaluatiecommissies konden scoren op een vierpuntsschaal: excellent/world-leading, zeer goed, goed en onvoldoende. Dit leverde 27 beoordelingen op. Daarvan waren er 19 ‘world leading’ en 8 ‘zeer goed’.



SRON stijgt ver boven verwachting uit

Bij de beoordeling van SRON was de evaluatiecommissie zeer te spreken over de combinatie van wetenschap, engineering en technologieontwikkeling die het instituut inzet om grenzen te verleggen in het wetenschappelijk onderzoek vanuit de ruimte. De commissie concludeert onder meer dat de sterke internationale reputatie van SRON – als ‘excellent in ruimteonderzoek’ – ver uitstijgt boven wat van een instituut in een klein land als Nederland mag worden verwacht.

De commissie concludeert verder dat de technologieontwikkeling van SRON tot de beste ter wereld behoort. Het instituut bekleedt daardoor te midden van ruimtelaboratoria in Europa en zelfs wereldwijd een unieke positie.

Op het criterium toekomstbestendigheid scoort SRON ‘zeer goed.’ De basisfinanciering, sterke positie en uitstekende reputatie van SRON verzekeren dat SRON een vooraanstaande rol zal kunnen blijven spelen in baanbrekende ruimtemissies, en dat het instituut wetenschappelijk zal kunnen blijven oogsten. De evaluatiecommissie spreekt wel enige zorg uit over de per saldo afnemende basisfinanciering van het instituut. Dit kan ertoe leiden dat de slagkracht onder druk komt te staan. Hetzelfde geldt voor het aantal leidende rollen dat het instituut in internationale missies kan spelen.

Eerste missies ooit voor onstaan van leven



”Ik ben uiteraard heel blij met het oordeel van de evaluatiecommissie,” zegt wetenschappelijk en algemeen directeur Rens Waters. “Voor het eerst in de geschiedenis van het internationale ruimteonderzoek worden er missies gepland die gunstige condities voor het ontstaan van leven op aarde-achtige planeten rond andere sterren moeten gaan bestuderen, op zoek gaan naar de eerste zwarte gaten en sterrenstelsels in het heelal en gravitatiegolven gaan meten die ontstaan wanneer superzware zwarte gaten samensmelten. De, door de evaluatiecommissie bevestigde, sterke positie van SRON draagt er aan bij dat Nederland bij dit baanbrekende onderzoek ook in de toekomst op de eerste rang zit.”

Reactie NWO-bestuur

NWO-voorzitter prof. dr. Stan Gielen: ‘Uit de evaluaties spreekt grote waardering voor het vernieuwende onderzoek, voor de nationale (facilitaire) functie van de instituten en voor de mondiale positie binnen hun wetenschappelijke veld. De raad van bestuur van NWO heeft de evaluatierapporten met genoegen in ontvangst genomen en is zeer tevreden over de uitkomst.’

‘NWO ziet de instituten als een belangrijk strategisch instrument om specifieke disciplines in Nederland langdurig te ondersteunen voor de lange-termijn-missies en om cruciale onderzoeksinfrastructuur op hoog niveau te behouden en te ontwikkelen. De instituten zullen daarom een belangrijke rol spelen bij het implementeren van het nieuwe strategisch plan dat NWO dit voorjaar aan de minister van OCW zal aanbieden.’

Aanbevelingen

De verschillende SEP-panels geven aan dat de aanbevelingen uit de vorige evaluaties goed zijn opgevolgd door elk van de instituten, en moedigen hen aan om hier onverminderd aandacht aan te blijven geven. Drie aanbevelingen komen terug bij meerdere – maar niet alle – instituten. Zo adviseren meerdere panels om meer gebruik te maken van andere financieringsbronnen dan de reguliere subsidiegevers NWO en EU. Een tweede aanbeveling is het verder versterken van de nationale rol en internationale positie door het ontwikkelen en aanbieden van onderzoeksfaciliteiten, het uitbouwen van de platformfunctie, wetenschappelijke vernieuwing, bundeling van krachten en samenwerking met universiteiten en binnen de topsectoren, Nederlandse Wetenschapsagenda en Europa. Ook moedigen de panels de instituten aan om maatschappelijke relevantie verder te bevorderen en economische of maatschappelijke meerwaarde toe te voegen aan onderzoeksresultaten.

Nog geen besluiten

Het NWO-bestuur neemt nog geen strategische of financiële besluiten op basis van deze evaluaties, maar wacht daartoe de conclusies af van de portfolio-evaluatie van eind 2018. Dit  is een gezamenlijke, periodieke evaluatie van het stelsel van onderzoeksinstituten van NWO en KNAW, op verzoek van het kabinet (Wetenschapsvisie 2025). De portfolio-evaluatie richt zich op de (inter)nationale rol en meerwaarde van het institutenstelsel en de instituten in het gehele Nederlandse kennislandschap, terwijl de SEP-evaluatie gaat over de kwaliteit van een afzonderlijk instituut. De SEP-evaluatie van de KNAW-instituten vindt dit voorjaar plaats.

Anticiperend op de portfolio-evaluatie heeft NWO de SEP-evaluatiecommissies ook gevraagd naar een oordeel over de meerwaarde van de instituten op nationaal en internationaal niveau. Uit alle rapporten blijkt dat de instituten elk een belangrijke rol spelen in het (mede) bepalen van de agenda van hun sector en zonder twijfel binnen hun discipline of onderzoeksgebied gezien worden als het expertisecentrum in Nederland. De instituten zijn tevens actieve spelers op het voor hen relevante internationale toneel.

Over SEP

Het Standard Evaluation Protocol is opgesteld door NWO, KNAW en universiteiten en geeft richtlijnen voor het evalueren van onderzoek en onderzoeksbeleid. De evaluaties zijn tot stand gekomen op basis van een zelfevaluatierapport van het instituut, een voorbereiding van de evaluatiecommissie en een meerdaags locatiebezoek. Ten opzichte van de vorige SEP-evaluatie is productiviteit als zelfstandig criterium komen te vervallen, om gehoor te geven aan de kritiek dat de druk om te publiceren in veel vakgebieden is doorgeschoten.

Over NWO
De Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) zorgt voor kwaliteit en vernieuwing in de wetenschap en bevordert de impact ervan op de maatschappij. NWO financiert wetenschappelijk onderzoek aan Nederlandse kennisinstellingen op basis van kwaliteit en onafhankelijke beoordelings- en selectieprocedures. Via NWO-I, de institutenorganisatie van NWO, beheert NWO negen nationale onderzoeksinstituten: AMOLF, ARCNL, ASTRON, CWI, DIFFER, Nikhef, NIOZ, NSCR en SRON. NWO-instituten bundelen krachten rondom een bepaalde onderzoeksvraag en verbinden de Nederlandse wetenschap met de internationale wetenschappelijke gemeenschap.