В 1915 Арп уехал в Цюрих, где и жил до конца войны; здесь он впервые показал на выставке свои геометрические коллажи. Многие работы были выполнены им в соавторстве с художницей Софи Тойбер, на которой он женился в 1922. В 1916 в Цюрихе Арп основал группу «Дада».

Абстрактные деревянные рельефы, созданные художником, кажутся забавными; игровой, шутливый характер произведений характерен для дадаизма, однако за показной несерьезностью всегда стоят сложная интеллектуальная деятельность и глубокая творческая проницательность.

В 1919–1920 Жан Арп и Макс Эрнст возглавили немецкую группу дадаистов в Кёльне. Затем Арп переехал в Париж и в 1925 участвовал в первой выставке сюрреалистов, проходившей в Галери Пьер. В 1930 он создал первые трехмерные скульптуры из дерева и вскоре начал работать в гипсе, бронзе и камне.

Для стиля Жана Арпа характерно использование мягких, ясных и простых, взятых у природы форм, таких, как облака, листья, человеческие тела.