Como es el caso con muchos términos en computación; El origen de la palabra se relaciona con más propiedades físicas. El término escalar es relativamente antiguo en computación. Su definición es menos estricta en estos días. Cuando almacena datos en la memoria de la computadora, estos datos pueden caber en una dirección (1 byte *) o no. Cuando lo hizo, se llamó escalar, cuando no lo hizo, se llamó compuesto. Principalmente porque las CPU solo podían manejar una dirección / pieza de datos (= 1 byte) a la vez. Según lo declarado por @Karl Bielefeldt; el término fue tomado del álgebra.
Llamamos cadena a cadena porque es una cadena de caracteres. Un char es / era un escalar, mientras que una cadena es / era un compuesto. Almacenar 1 pieza de datos (un dato) en varias direcciones difumina un poco la línea. Piénselo así: cuando una CPU podría procesar un dato en una instrucción, era escalar.
En estos días un escalar es cualquier valor singular, y lo que es un valor singular puede definirse de manera diferente entre diferentes idiomas. enteros, flotadores, caracteres, cadenas, booleanos y enumerados son, en su mayor parte, escalares considerados en estos días. Las matrices, listas, árboles, objetos, etc. no lo son.
(* Digo 1 byte para mantener las cosas claras, pero técnicamente estoy hablando de los días en que los 6 bits se usaban más comúnmente en las tarjetas perforadas, por ejemplo, y luego en las tiras magnéticas)
Descargo de responsabilidad: No puedo encontrar ninguna referencia de esto en Internet, obtuve la información en la escuela y en libros antiguos, entre ellos (creo): Tablas matemáticas y otras ayudas a la computación de 1944. Dicho esto, mi memoria ya no es lo que solía ser, por lo que si alguien puede enmendar / confirmar o negar mi respuesta, sería bueno.