Su primitiva casa solar armera radicó en la anteiglesia de Jemein, del partido de Marquina (Vizcaya). De ese solar dimanaron otras casas vizcaínas de este apellido, sitas en el lugar de Basauri y en las anteiglesias de Abando y de Arrigorriaga (Bilbao). La casa del lugar de Basauri se llamó de Careaga de Bolueta. En tiempos antiguos pasó el linaje a la provincia de Santander. También se estableció una rama en el lugar de Barrionuevo de San Millán, del partido de Villarcayo (Burgos); otra en Albistur (Guipúzcoa) y otra en Andalucía, todas muy ilustres.

Escudos de Armas del apellido:
Las primitivas del solar de Jemein, merindad de Marquina: De plata, con una banda de gules. Después, en esa merindad, trajeron los Careaga éstas, que también usan varias ramas de Vizcaya y de Santander: De oro, con un árbol de sinople, y dos lobos de sable atravesados a su tronco. Bordura jaquelada de plata y gules, en dos órdenes. Estas mismas armas son las que figuran esculpidas en la fachada principal de la casa de Careaga en la villa de Albistur. También constan en el expediente de pruebas de nobleza del Caballero de Calatrava, Juan Antonio de Careaga y Eznaola, hijo de dicha casa solariega. Los del lugar de Barrionuevo de San Millán (Burgos), pintan el campo de ese escudo de plata, atan al tronco del árbol los lobos, y la bordura la ponen de gules con ocho sotueres de oro. Así aparecen en la ejecutoria de nobleza que ganaron en la Chancillería de Valladolid, el 23 de Mayo de 1533, los hermanos Juan y Martín de Careaga, descendientes de esa rama. Los Careaga de Bolueta, en Basauri, usaron: En campo de plata, una encina de sinople, y al pie de su tronco, un jabalí pasante de sable y un lebrel que muerde en la oreja al jabalí. Bordura de oro con diez sotueres de gules. Los Careaga de la casa de Arrigorriaga tienen escudo cuartelado: 1º, de plata, con dos lobos de su color natural subiendo una cuesta; 2º, de gules, con dos mazas de oro puestas en sotuer y acompañadas, en su ángulo inferior, de un cordero de plata; medio partido de gules, con una contrafaja de plata y sable, y en la punta, una muralla almenada, de plata, sumada de un león de oro; 3º, de azur, con tres jabalíes de sable subiendo un monte, de su color, sumado de un roble de sinople, y 4º, de plata, con un caldero de sable; medio partido del mismo metal, con un castillo de azur y un guerrero en su puerta con una bandera en la mano, y medio cortado de gules, con un sotuer de oro. Bordura general de plata, con siete sotueres de azur alternando con siete flores de lis del mismo color. Los Careaga, Marqueses de Torre Alta, en Andalucía, traen: De sable con un castillo de oro, y en su torre de homenaje una bandera del mismo metal. Al pie del castillo, un pinar y un río.

Simbología de los escudos de Armas:
Teniendo en cuenta la indumentaria que en la Edad Media vestían los caballeros en la batalla (armadura, celada, etc.), y que los hacía irreconocibles, resultaba necesario buscar un método de identificación y distinción entre los contendientes, que fuera revelador, preciso y rápido a una cierta distancia. De ahí surge la fórmula de exhibir en sus escudos tinturas, emblemas, etc., que los diferenciase de forma inequívoca y singular en el campo de batalla. Por eso la simbología heráldica, en su origen, buscaba formas y colores que fuesen notorios y permitiesen distinguir a sus portadores de un golpe de vista. Tal vez es exagerada la tendencia de algunos autores de dar significado o contenido a todos los emblemas (piezas, muebles, etc.) y esmaltes heráldicos, aún así hay varios tratados que estudian la simbología de los blasones de forma muy exhaustiva, entre ellos: "Ciencia Heroyca", de Don José de Avilés. Año 1725; y "Adarga Catalana", de Don Francisco Xavier de Garma y Duràn. Año 1753 Por las Leyes de la Heráldica, cuantos lleven el oro en sus escudos están obligados a hacer el bien a los pobres y a defender a sus príncipes, peleando por ellos hasta su última gota de sangre. El oro simboliza el topacio. En las armerías de los reyes se le llama "sol", en las de los nobles con título de Duque, Marqués, Conde, etc, "topacio" y en el de la nobleza en general "oro". En su relación con los astros el oro es el Sol; de los doce signos del Zodiaco, Leo; de los elementos, el fuego; de los días de la semana, el domingo; de los meses del año, julio; de los árboles, el ciprés y de las flores, el girasol; de las aves, el gallo; de los cuadrúpedos, el león y de los peces, el delfín. La plata en las armerías recibe el nombre de Luna, en lo que se refiere a las de los soberanos; en las de los títulos, perla, y en las de los restantes nobles, plata; significa blancura, pureza, y los que la llevan en sus armas están obligados a defender a las doncellas y amparar a los huérfanos. La plata significa en su correspondencia con las piedras preciosas la perla. De los astros, la Luna; de los signos del Zodiaco, Cáncer, y de los elementos, el agua; de los días de la semana, el lunes; de los meses del año, los de enero y febrero; de los árboles, la palmera; de las flores, la azucena; de las aves, la paloma; y de los animales, el armiño. El color rojo, denominado en Heráldica, gules, simboliza el valor, la intrepidez y la valentía. Aquellos que llevan este color en sus blasones tienen la obligación de socorrer, amparar y defender, a los injustamente oprimidos. Representa al rubí, y en lo que se refiere a los signos del Zodiaco corresponde a Marte, Aries y Escorpio; como elemento, el fuego; el día, el martes y el mes, el de octubre; el metal, el cobre; árbol, el cedro y la flor, el clavel; de las aves, corresponde al pelícano. El gules en las armerías de los reyes y príncipes se llama Marte; en las de los títulos, rubí, y gules en la generalidad de la nobleza. El esmalte azul (azur) simboliza la realeza, la serenidad y la hermosura. Los que los lleven en sus armas, están obligados a socorrer a los fieles servidores de sus príncipes que "se hallan sin remuneración por sus servicios". En las piedras preciosas representa al zafiro y en los signos del Zodiaco a que se encuentra sujeto son Tauro y Libra. Su elemento es el aire; su metal, el acero; el día de la semana, el viernes; los meses, abril y septiembre; su árbol, el álamo; la flor, la violeta; su animal, el camaleón y su ave, el pavo real. El azur se llama Júpiter en las armerías reales, zafiro en las de los títulos y azur en la nobleza. El esmalte sinople es el verde. Su significado es la esperanza, la abundancia y la libertad; cuantos llevan este esmalte en su escudo quedan obligados a socorrer a los labradores en general y a los huérfanos y pobres que se encuentren oprimidos. Su signo zodiacal corresponde a Mercurio; su elemento es la tierra; el día de la semana, el miércoles; su mes, mayo; su metal, el azogue; como planta, el laurel; la flor, la siempreviva y como ave, el papagayo. En los blasones de los príncipes recibe el nombre de Venus; esmeralda, en el de los títulos y sinople en los de la nobleza en general. El sotuer o aspa se trae a las armerías españolas por la batalla de Baeza, ganada contra los moros el día de San Andrés del Año de 1227, que es la forma de la Cruz en que estuvo este Santo Apóstol en su martirio. La banda significa el tahalí del caballero, y la banda que traían atravesada del hombro diestro al flanco siniestro, y por eso se expresa en esta situación en el escudo, habiéndola puesto por armas muchos de los que fueron a las cruzadas, según el color con que se distinguían las naciones. La bandera es la señal o insignia con que se distingue a un cuerpo de tropa. Símbolo de poder y de señorío sobre huestes y vasallos. La bandera se usaba mas en timbres que como divisa del escudo, sin embargo, dentro del blasón suele proceder de caballeros que pertenecieron a la Orden Militar "Caballería de la Razón", que fundó Don Juan I, rey de Castilla, en el año 1385, usando como divisa un estandarte. La bordura simboliza protección, favor y recompensa; así mismo la cota que vestían los caballeros para la guerra y que al salir de la pelea, ostentándola manchada de sangre enemiga, eran premiados con el añadido de la bordura de escudo, como insignia de valor. La bordura también se usa para combinar armerías, con la particularidad que las armas situadas en la bordura tienen siempre carácter secundario. El caballero simboliza la nobleza. En los comienzos de la Edad Moderna, era "soldado de caballería, que servia a su costa con armas y caballo". Desde el reinado de Felipe III, Caballero es el "Hidalgo de Nobleza reconocida". Los castillos son geroglífico de grandeza, y de elevación, porque ellos exceden en hermosura, en fortaleza, y en magnitud a todos los demás edificios: denota también el asilo, y la salvaguardia. El cordero es el símbolo de la insigne y militar Orden del Toisón de oro, instituida por Felipe II en 1429, y lo llevaron en sus escudos sus caballeros y descendientes. Los calderos servían para el manejo de vituallas. Eran antiguamente la marca de ricohombre en España. Viene su origen del pendón y calderas que entregaban los reyes a aquellos magnates que consideraban Grandes del Reino, teniendo entre sus facultades privativas, la de levantar y sostener tropas a sus expensas. Se asocia siempre a la idea de poder y riqueza. La casa solariega, también llamada solar, casa fuerte, casa palacio, casa torre, casona, casal, etc., es el símbolo de las antiguas libertades de los nobles, caballeros e hidalgos, notoriedad y nobleza.